[分享]郑日昌《心理测量学》湖南版_长篇连载(缺少图片－美中不足啊)

天堂罪犯

第四章  心理测量的误差
前面我们已经讨论了什么是测验，以及如何编制测验，现在转入研究什么是一个好的测验。
无论何种测量工具，我们对它起码的要求是稳定，准确。用心理测量学的术语来说，就是要可信和有效。所谓可信是指多次测量的结果是一致的，所谓有效是指正确地测量了所要测的东西。信度是测量一致性程度的估计，效度是测量准确性程度的估计。
关于测量的信度和效度问题，下边有专章分别讨论。为了考察测量的信度和效度，首先要了解测量的误差。
第一节  什么是误差
一、误差的定义和种类
误差是在测量中与目的无关的变因所产生的不准确或不一致的效应。   
这个定义包含两层意思，1)误差是由与测量目的无关的变因引起的，2)误差是不准确或不一致的测量结果。
定义的后一部分又从准确性和一致性两方面对误差做了区分。准确性与一致性的关系可以用射击靶环来说明。假设有A、B、C三支枪，对准靶面中心固定位置后各放9枪，所得结果如图4—1。






A枪弹着点十分分散，说明准确性和一致性都不好，B枪弹着点虽然比较集中，但偏离靶心，说明一致性好，准确性差：枪弹着点全部集中在靶心，说明一致性和准确性都好。
图4—1的A和B显示了两种主要的误差形式。  一种是随机误差，又叫可变误差，这是由与测量目的无关的偶然因素引起而又不易控制的误差，它使多次测量产生了不一致的结果。此种误差的方向和大小的变化完全是随机的，无规律可循。例如几个人用同杆秤称同一件东西，由于秤杆高低掌握的不同，所产生的不一致即属随机误差。另一种是系统误差，又叫常定误差，这是由与测量目的无关的变因引起的一种恒定而有规律的效应，稳定地存在于每一次测量中，此时测值虽然一致，但不正确。如有的奸商在秤盘或秤砣上搞鬼，一斤多（或少）一两，二斤多(或少)二两，这就是系统误差。可见，系统误差只影响测值的准确性，而随机误差既影响准确性又影响一致性。这就是说，系统误差只与效度有关，而随机误差与效度、信度都有关。
二、真分数
在测量理论中，真分数是个重要概念。所谓真分数就是一个测量工具在测量没有误差时，  所得到的纯正值。这实际上是个循环定义，因为一个量具若测得真值，便没有误差。真分数的操作定义是，经过无数次测量所得的平均值。可见，真分数是一个在理论上构想出来的概念，在实际测量中是得不到的，因为一个测量工具无论多么精确，也会有误差，我们只能通过改进量具来接近真值，而不能完全得到它。
真分数的定义表明，一个人在一个测验上所得的分数，既是他的真分数的函数，也是测量误差的函数，用公式表示如下：X=T+E    （4.1)
这里X为实得分数或观测分数，T是假设的真分数，E是测量误差。
需要说明的是，这里的测量误差（E）指的是引起测量不一致性的变因产生的效应，即指随机误差，不包括系统误差，后者不引起分数的改变，因而包含在真值中。
在公式4.1中，E可能是正的，也可能是负的。这就是说，一个人的实得分数可能大于真实量，也可能小于真实量，总是围绕着真值上下波动。
关于测量误差(E)有以下假设：
1)如果对一个人测量无数次，其平均误差为0，即 =0
2)真分数和测量误差是相互独立的，即rTE=0
3)误差分数和实得分数的相关为0，即rEX=0
公式4.1只表明了在一个特定人身上实得分数、真分数和测量误差之间的关系。在一个团体中，由于每个人的误差都是随机的，方向不同，只要团体足够大，其误差便会互相抵消。因此，一个团体的平均真分数T等于该团体中所有被试实得分数的平均值X。证明如下：
                 （T=X—E）                 （ΣE=）0
对于一个团体来说，实得分数，真分数和测量误差之间有如下关系：

即实得分数的变异数：真分数的变异数加上误差变异数。
公式4.2并不难证明：

以上推导过程。可参看统计学中求和方差的公式。当X=Xl+X 2时，如果Xl 和X 2均为正态分布，则 和数的方差为 公式。
公式4.2只涉及到随机误差的变异，系统误差的变异包含在真分数的变异中。这就是说，真变异数还可以分成两个部分，与测量目的有关的变异和与测量目的无关的变异，即
                             （4.3）
式中的 是与测量目的有关的(亦即有效的)变异数， 是与测量目的无关但却是稳定的变异数。 是由所要测量的变因引起的， 是由其它变因引起的。将公式(4．3)代入公式•(4．2)得到如下公式：
                          （4.4）
这就是说，一组测验分数之间的变异性是由与测量目的有关的变异数、稳定的但出自无关来源的变异数和潞盛误鏊盛异数所决定的。
第二节  误差的来源
一个测验要准确可靠，必须控制各种误差，为此首先要了解误差的来源。
根据误差定义，任何变因只要与测量目的无关，并使得结果不准确、不一致，便可认为是一种误差因素。在心理测量中，
常见的误差来源于三个方面：测验内部，施测过程，受测者本身。
一、测验内部引起的误差
测验内部的误差主要来源于题目取样：当测验题目较少或取样缺乏代表性时，被试的反应受机遇影响较大，(譬如一次考试碰巧准备到或没准备到某题)，当几个测验复本不等值时，接受不同的题目，就会获得不同的分数。   
除题目取样不当可引起误差外，其它一些因素，如题目用词的模棱两可，对反应步骤说得不清，题目过难引起猜测，时限短使被试仓促作答等，也都可能成为误差的来源。
二、由施测过程引起的误差
在三种误差来源中，与施测过程有关的误差可能是最容易控制和检验的。通过长期实践，测验的标准化水平越来越高，大部分施测条件能够得到控制。但由于心理现象的复杂性，许多意想不到的偶然因素仍可能影响测验分数，使人防不胜防。
(一)物理环境
施测现场的温度。光线，声音、桌面好坏，空间阔窄等皆具有影响。
(二)主试者方面：
主试者的年龄、性别、外表，施测时的言谈举止、表情动作等均能影响测验结果。倘若不按照规定实施测验，如制造紧张气氛，给予特别协助或暗示，以及计时错误等，都会带来较大误差，特别是当测验具有复杂步骤和说明，或测验题本身是模糊不确定的形式时，当主试者在安排测验条件上有较多余地(例如个别施测)时，当测验是对幼儿，有情绪困扰者以及对测验程序不熟悉的人施测时，主试者的影响更大。
(三)意外干扰：
在测验环境复杂，特别是当受试人数较多时，容易发生出乎预料的干扰或分心事件。例如：停电、有人生病，有人作弊，计价表停了、临时发现题目或作答纸印刷不清或装订错误等，无论哪种情况都会引起不安和扰乱，导致成绩不准确、不一致。
(四)评分计分，
评分不客观以及计算登记分数出错等也是常见的误差。一般选择题的评分较为客观。而问答题、论文题等自由反应型的题目，评分标准很难掌握，加之阅卷者的偏好各不相同，因而难以保证分数的一致性．
早在几十年前，国外就有人对旧法考试的评分误差做过研究。斯达奇(D•storch)和埃立奥特(E•C•Elliott)将一份英文考卷请142位英文教员评阅，所得分数从50分到98分应有尽有。某国教育界还有一件引为笑谈的事，1920年夏季，许多大学教授在评阅历史试卷时，有一位教授为评分便利起见，自己写了一份标准答案，不料和其它考卷混在一起，经另一位教授评阅竟然不及格。为慎重起见，由其它教授重复评定，结果所得分数以10分到90分不等。1961年美国教育测验中心由53个评判员组成专门小组。对大学一年级学生写的200篇作文按九个等级评分，结果有1／3的文章得到了九个等级，有60％的文章得到了七个或八个等级，没有一篇文章少于五个等级。一般理科评分要比文科客观些，但也不尽然。罗雪（Ruch）将—道地理题的解答请91位教员评阅，满分为20分，结果给17种分数，全距为2—20，给各种分数的人次见表4—1，斯达奇和埃立奥特将一份几何考卷请115位中学教员评立，所得分数为28—92分，全距60多分。我国1979年高考数学试卷第四题叙述并证明勾股定理，对于
    表4—1  91位教师对于一个地理题的回答所给分数的分布
分数        0        1        2        3        4        5        6        7        8        9        10        11        12        13        14        15        16        17        18        19        20
人次        0        0        1        2        0        1        4        3        7        5        24        5        14        8        2        10        2        1        1        0        1
用余弦定理进行循环论证的答卷，有的阅卷教师不给分，有的却给满分(6分)。不仅各教师间有此差异，即使同一教师一次评许多卷，受情绪，疲劳，外界干扰；卷面整洁、试卷前后位置引起的对比效应以及对学生成见的影响，标准也可能不统一，甚至同一张试卷隔一段时间再评，前后给分也可能不一致。至于学校之间，地区之间的差别就更大了。1980年，清华大学受教育部委托对新生进行数学复试，并与高考数学成绩对照。将各省市学生按两次考试的平均成绩分别排队。G省学生的高考平均成绩居第11名，而复试成绩降到第28名，T市学生成绩次序由第8名降到第23名。相反H省和S省考生的名次由第15名和第18名分别升至第3名和第7名，产生这种变化的原因很多，其中很重要的一条是各省评分标准掌握不同，宽严不一。这就使得学生分散的差异在一定程度上反映的是评分者的差异，而不完全是学生水平的差异。
对于论文题、问答题要多少人评分，平均分数才能相对稳定和客观呢?国外有人对此做了研究，结果如下：哲学论文127人，作文78人，物理16人，数学13人。
为了控制与施测过程有关的误差，主试者必须严格遵循标准化程序施测和评分，不得任意改动和发挥，同时要机智地处理各种意外情况。
三、由受测者本身引起的误差既使一个测验经过精心编制，题目取样具有代表性，又有标准化的施测和记分程序，由于受测者本身的变化，仍然会给测验分数带来误差，这种误差是最难控制的。  
来自受测者的误差因素，有些是属于个人的长期的一般的变化，有些是与特定测验内容和形式以及特定施测条件相联系的暂时的特殊变化。
(一)应试动机
受测者对测验的动机不同，会影响其作答态度，注意力、持久性、反应速度等，从而影响测验成绩；例如，在西方国家，大多数人具有较强的竞争观念，因而在参加能力和学业等要求最高行为的测验时，能尽力做出最好的回答，而在一些少数民族和社经地位较低的团体中，则不大强调竞争，测验的内躯力不强，往往随随便便做出回答。因此，黑人儿童和白人儿童在测验分数上的差异反映的就不完全是能力的高低，其中还掺杂有动机效应。
动机效应在人格测验中也有表现。譬如，当个性调查表用于选人时，雇主感兴趣的是申请者的典型行为，但有的申请者，为了给人留下一个好印象，在回答时可能考虑雇主的期望或社会道德等因素，而不按自己的真实情况作答，从而给分数带来误差。
应试动机对测验成绩的影响表现在各方面，如果动机效应使一个人在反复测量中以一种恒定的方式进行活动，这便导致系统误差，使测量的有效性降低，如果受测者的动机引起了偶然性的不稳定的反应，这是一种随机误差，测量的有效性，可信性便都会降低。
(二)测验焦虑
测验焦虑是指受测者在应试前和测试中出现的一种紧张的、不愉快的情绪体验。和一切情绪反应一样，焦虑的产生既有认知因素的作用，也有生理因素的作用。
对测验的焦虑会影响被试的成绩。一般说来，适度的焦虑会使人的兴奋性提高，注意力增强，提高反应速度，从而对测验成绩产生积极影响．过高的焦虑却会使工作能力降低，注意分散，思维变得狭窄，刻板，记忆中储存的东西提取不出来。但一点焦虑没有，也不是好事，内驱力过小的受测者往往采取满不在乎的态度，因而成绩大多较低。焦虑对测验成绩的影响可用图4—2的倒U型曲线来表示。
   





图4—2  焦虑对测验成绩的影响
研究表明，测验焦虑受主客观两方面因素影响：
l．能力和测验焦虑成负相关。能力高的人，测验焦虑一般较低，两对自已的能力没有把握的人，测验焦虑较高。
2．抱负水准与焦虑成正相关，抱负水准过高，求胜心切的人，测验焦虑较高。
3．患得患失、缺乏自信、情绪不稳、顺应不良的人产生测验焦虑。
4．经常接受测验的人焦虑较低，而对测验程序不熟悉的人焦虑较高。
5．测验成绩对被试关系重大，后果严重，或被试受的压力很大时易产生焦虑．
6．被试不了解测验的目的，测验的指导语不清，采用了新的题目形式或施测程序，以及有严格时间限制等测验方面的因素，也会增加被试的焦虑。
(三)学习，发展与教育
由一般学习经验或发展变化所引起的测验分数上的差异，在大多数情况下，只构成恒定误差。但有时，大多数人对于某个测验没有准备，只有个别人获得了特殊训练，或者在两次测验的间隔期中，有的人获得了特殊的教育和训练，而其他人没有，在这种情况下，第二次测验所得到的分数，既反映了第一次施测时所测量的东西，也反映了在两次施测之间所学到的东西。由于受测者所受的训练量不同，他们的分数就会受到不同的影响，而表现出随机误差。
(四)测验经验
受测者对测验的经验也会影响成绩，对测验的程序和技能熟悉程度不同，所得分数便不能直接比较。  
任何时候只要引入一种新的题目形式或一种新的反应程序，就有可能造成理解上的错误并最终在测验中带来误差。因此，当使用一种新的、不寻常的测验形式或反应方式时，需要提供练习题和演示。在大多数情况下，少量的练习就足够了，但对于很少接触测验的人，练习应稍多一些。总之，在测验前，应尽可能使每个被试都对测验程序有所了解。
也有另外一种情况，有些人经历过多次测验，发展了测验技能，成为“测验油子”。他们在觉察正确答案与错误答案的细微差别，合理分配时间，以及适应新的测验形式等方面具有丰富的经验，因此常比那些能力相差不多、但缺乏测验经验和技巧的人获得更多的分数。
（五）练习效应
任何一个测验在第二次应用时，都会有练习效应而使成绩提高。
在能力测验方面，练习效果的研究大体获得下列结论：
    1．练习对于智力较高者，效果较为显著。
    2．着重速度的测验，练习效果较明显。
    3．再作同—个测验比作复本的练习效果显著．
    4.两次测验之间的时距愈大，练习效果愈小，相距三个月以上，练习效果可忽略不计。
    5.一般的平均练习效果，约在1／5个标准差以下，但第二次再测后，练习效果即接近于零。
    以上结论只是某些人使用某些测验的研究结果，不一定具普遍意义。
  (六）反应方式
    反应方式是指独立于测验内容的反应倾向。例如，在速度性测验中，有的人“快而不准”，有的人却“宁慢勿错”；在是非题中，有的人有—种“默认反应方式”，即不管内容如何都答“是”，有时甚至会自相矛盾。为了纠正此种误差，应使“是”“非”答案大体相等。
(七)生理变因
不但心理因素会影响测验成绩，生病，疲劳、失眠等生理因素也会影响测验成绩而带来误差。能影响测验分数的变因还有许多，实际上任何与测量目的无关的变因都可能引起误差，这里介绍的只是几种主要的，这些变因既能引起随机误差，也能产生系统误差。
某些情况如计时错误或指导语不当，很明显会产生可变误  差。其它变因，如个人在有关内容方面的知识或技能，通常产生恒定的效果。然而，当两测验施测时距长，在两次测验当中可能产生不同的学习或遗忘效果，这不仅会使分数不稳定，而且还可能是个人的永久改变。测验的标准化就是为了控制这些因素，以减少误差，使测验分数更可信，更有效。
第五章  测量的信度
第一节  什么是信度
一、信度的定义
信度又叫可靠性，指的是测量的一致性程度。一个好的测量工具必须稳定可靠，即多次测量的结果要保持一致，否则便不可信。信度只受随机误差影响。随机误差越大，信度越低。因此，信度亦可视为测量结果受机遇影响的程度。系统误差产生恒定效应，不影响信度。
在测量理论中，信度被定义为：一组测量分数的真变异数与总变异数(实得变异数)的比率。即，
   
                                                     (5.1)
式中rxx代表测量的信度，S  代表真分数的变异数，   代表实得分数的变异数，即总变异数。
根据公式(4．3)，信度还可表示为
                                        （5.2）
该定义有两点要注意:  1)信度指的是一组测验分数或一列测量的特性，而不是个人分数的特性。2)真分数的变异数是不能直接测量的，因此信度是一个理论上构想的概念，只能根据一组实得分数作出估计。
任何测验只能包含特定样本的题目，由特定的施测者，对特定的被式，在特定的时间、地点施测，情况不同便会得到不同的分数。信度涉及的主要问题是对测验分数的意义的概化能力，即从一次测量来推论总体(真实分数)能达到何种正确程度。
根据现代信息论，每组信息可包括一些真正信息(信号)和一些错误的信息(噪音)。为了提供有用的数据，任何测量必须有高的信号噪音比率——即提供更多真正的信息。信号可由真实分数的变异数表示，噪音可由误差分数的变异数表示。
信噪比与信度有如下关系：
信号／噪音=                                    （5.3）
公式(5．3)并不难证明，将 代入上式的右端可得：

=信号／噪音
假如一个测验的信度为0.90，则信噪比为0.90／(1—0.90)=9.0即真正变异数对误差变异数的比率为9：1。
一个测验的信度只要稍微增加一点就会使信噪比大大改变。例如，信度从0.90增为0.91，可使信噪比从9：1,变为10.1:1。因此，即使一个相当可靠的测验也应努力改善其信度。
二、信度系数
大部分的信度指标都以相关系数表示，即用同一被试样本所得的两组资料的相关作为测量一致性的指标，称作信度系数。
与信度系数有关的一个概念叫信度指数，是实得分数与真分数的相关，这是部分与整体的相关，可用下式表示：

信度指数的平方就是信度系数，可用下列公式表示，
                                                （5.4）
换言之，信度系数是实得分数与真正分数相关的平方。相关系数的平方表示两个变量间共有的变异数比例。因此，信度系数实际是真正分数与实得分数之间的决定系数。可以解释为在实得分数的变异数中有多少比例是由真分数的变异决定的。例如，当rxx =0．90时，我们可以说实得分数中有90％的变异数是来自真正分数的差别，仅有10％是来自测量误差，在极端例子中，如rxx=1．00，则无测量误差，所有的变异都来自真分数，若rxx=0，则所有的变异均反映了测量误差。
对信度系数也要注意三点，1)在不同情况下，对不同样本，采用不同方法会得到不同的信度系数，因此一个测验可能不止一个信度系数。2)信度系数只是对测量分数不一致性程度的估计，并没有指出不一致的原因。3)获得较高的信度系数并不是心理测量追求的最终目的，它只是迈向目标的一步，是使测验有效的一个必要条件。
信度系数达到多高才可以接受呢?最理想的情况是 rxx=1．00m，但这是办不到的。不过我们可用已有的同类测验作为比较的基准。一般能力与学绩测验的信度系数在0.90以上，有的可以达0.95，至于性格、兴趣、价值观等人格测验的信度系数，通常在0.80到0.85或更高些。当 rxx<0.70时，不能用测验来对个人作评价，也不能在团体间作比较，当 rxx>0.70时，可用于团体间比较;当 rxx>0.85时，可用于鉴别个人。
由于信度系数总是在特定情况下获得的，因此只有当一个测验在很多情况下都被证实具有较高的信度时，才可以说它是比较可靠的测验。
三、信度与测验分数的解释
信度系数有两个实际用处：一是用来解释个人分数的意义，二是用来比较不同测验分数的差异．
(一)个人测验分数的误差
信度仅表明一组测量的实得分数与真分数的符合程度，但并没直接指出个人测验分数的变异量。由于存在测量误差，一个人所得分数有时比真分数高，有时比真分数低，有时二者相等。理论上我们可对一个人施测无限多次，然后求所得分数的平均数与标准差。在这个假设的分布里，平均数就是这个人的真分数，而标准差则为测量误差大小的指标。这在实际上是行不通的。然而，我们可以用一组被试(人数足够多)两次施测的结果来代替对同一个人反复施测，、以估计测量误差的变异数。此时，个人在两次测验中的分数差异就是测量误差。据此可制成误差分数的分布。这个分布的标准差就是测量的标准误，是表示测量误差大小的指标。
测量的标准误可用下式求出：
SE=S
这里SE为测量的标准误，  为所的分数的标准差，   为测量信度。从式中可以看出，测量的标准差与信度之间有互为消长的关系：信度越高，标准误越小；信度越低，标准误越大。
测量的标准误实际上是在一组测量分数中误差分布的标准差，可以象其它标准差一样地解释。因此，个人每次测量所得分数(X)有68％的可能性落在真分数(T)加减一个单位标准误(SE)的范围内，有95％的机会落在真分数加减1.96个标准误的范围内。图5—1表明实得分数在真实分数上的回归，以及距回归线一个标准误的平行线。










根据公式(5.6)，知道了一组测量的标准差和信度系数就可以求出测量的标准误。进一步我们就可以从每个人的实得分数估计出真分数的可能范围，即确定出在不同或然率水准上真分数的置信区间。人们一般采用95％的或然率水准，其置信区间为：
(X-1.96SE)≤T≤(X+1.96SE)                          （5.7）
这就是说，大约有5％的可能性真正分数落在所得分数±1．96SE的范围内，或有5％的可能性落在这范围之外。这实际上也表明了再测时分数改变的可能范围。
例如：在一次测验中有些学生得80分，这是否反映了他们的真实水平?如果再测一次他们的分数将改变多少?已知该次测验的标准差为5，信度系数为0.84，将适当的数值代入公式5．6与5.7，并解之：
SE=5× =2
T=80±1.96*2=80±3.92=76.08~83.92
我们可说这些学生的真正分数有95％的可能性落在76与84分之间。即若再测一次，他们的分数低于76、高于84的可能性不超过5％。
(二)两种测验分数的比较
来自不同测验的原始分数是无法直接比较的，只有参照同一个团体的平均分数，将它们转换成相同尺度的标准分数，才能进行比较。
譬如某班期末考试，张生语文数学的成绩转换成T分数(平均数为50、标准差为10)分别为65和70，由此我们可以知道张生的数学比语文考得稍好些，但二者差异是否有意义，仍不清楚。为了说明个人在两种测验上表现的优劣，我们可用“差异的标准误”来检验其差异的显著性，常用的公式如下：
SEd=                                               (5．8)
式中SEd为差异的标准误，SE1、SE2分别是两组测验分数的标准误，用SE1= 和SE2=  代入公式5.8可得：
SEd=                                               (5.9)
这里S表示相同尺度的标准分数之标准差，Txx表示第一种测验的信度系数，ryy表示第二种测验的信度系数。
在上例中，假定此次语文，数学考试的信度系数分别为0．84和0．91，张生的两个分数转化成T 分数后，其差异的标准误为:SEd= 5
采取95％的置信区间(即．05显著水平)，，则张生在这两门课上了分数的差异必须达到或超过1.96SEd=1.96×5=9.8，始能认为二者真有差异。因为数学的T分数只比语文高5分，所以差异并不显著。
用SE估计个人分数的误差要注意三点:1)一个测验有很多可能的信度估计，因而也有同样多的标准误估计，为此，我们要选择最适合某一特殊情况的信度估计来解决问题。例如倘若我们对半年内的分数稳定性感兴趣,我们就以六个月为时距施测两次的相关系数作为信度估计，依据此信度系数求出标准误，再用来估计在六个月内分数可能改变多少。2)这个估计假定SE在所有分数水平都一样，但有时高分段与低分段其标准误并不相同。上面所计算的SE实际是整个分数范围的平均测量误差指标。如果分数的分布近似正态，而且实得的分数不超过可能的全距，则测量的标准误差在所有分数水平上近似一致。3)测验上所得分数是一个人真正分数的最佳现成估计，但是，由于存在测量误差，所以它并不是个确切的指标。所得分数对真分数估计得如何精确，可以由SE的大小或间接地由测验的信度显示出来。因为在一般情况下，rxx<1.00,SE>0，所以我们必须将测验分数看成范围或带状，而不要看成确切的点。这条带子有多宽将取决于测量标准误的大小，最终取决于信度系数。rxx越小，SE越大，这个范围便越广。若经常将分数想成是一个范围，我们在比较不同被试的分数，或同一个被试在不同测验上的分数时，就可以克服对分数间的微小判别作出过分解释的习惯。4）测量标准误是对测量误差的描绘，用它能对个人真正分数的置信区间作出估计，但用它来估计个人真正能力则可能导致严重错误，因为它没有考虑到系统误差的影响，真分数与真正能力是两个不同的概念。

杨柳纷飞

佩服得五体投地！
狂顶！！！

游柚

厉害~佩服~

杨柳纷飞

何日见图片？
期盼中……

qionggong

不顶不行啊

a_canls

敢问这位哥哥是不是心理学很好啊 我也想考心理学不过我以前是学理科的不知道有没有希望呀 因为我的英语也不太好 能不能告诉我学习心理学应该掌握什么样的方法呢

crystaldrop

强阿

pingdesky

高！！！！！！！！！！！

ruqurulai

没了?

selina425

I服U 了