第五章心理测量工具的评价指标

第五章心理测量工具的评价指标正如任何一个测量工具一样，心理测量工具也有它自身的评价指标。

在心理测量学中，信度、效度、项目区分度和有效的常模都是检验心理测量工具是否具有可靠性、有效性、鉴别性、可比性等良好测量特征的技术指标。

因此，了解相关技术指标的内涵和计算方法对于从事心理测量的人力资源管理部门工作人员来说具有重大意义。

第一节心理测量的信度在进行心理测量时，最重要的心理测量学指标之一就是信度（reliability）。

任何一项好的测量都必须有良好的信度，这是人事测评的中心问题，同时它也是标准化测评的一项基本要求和原则。

一、信度的定义信度指的是测量数据和结果的一致性或可靠性程度，它用于分析测量工具测量的前后一致性水平，并以这种一致性的程度来判断测量工具或测量方法的可靠性。

也就是说使用的测评工具可以稳定地测到它所要测量的事物的程度。

我们在选择和使用测评工具或方法时，信度必须是考虑的重要问题。

测验信度越高，表示测验结果越可信，但也无法期望两次测验结果完全一致，信度除受测验工具本身的影响外，亦受很多其它因素的干扰，如所测量的被试样本特征等。

因此没有一份测验是完全可靠的，信度只是一种程度上大小的差别而已。

一致性高的测量工具是指同一群人接受性质相同内容相同的测验测量后，在各结果间显示出的较强的正相关。

稳定性高的测量工具则是指同一批被试在不同的时间接受同样的测验时，结果间的差异很小。

二、信度与误差在进行心理测量时，信度指的是测验分数未受测量误差(errors of measurement)影响的程度。

测量误差指由与测量目的无关的因素产生的不准确或不一致的效应。

测量误差愈小，测量结果愈可靠；换言之，如果测量的结果能反应受试者真实的特征，而不因其他因素而影响测验结果，那么这个测验所测量的结果是可靠的。

测量误差通常包括两种不同类型的误差，即系统误差和随机误差。

系统误差是由与测量目的无关的因素引起的一种恒定而有规律的效应，它稳定地存在于每一次测量中，此时虽然每次的测量值具有一致性，但不正确。

系统误差对信度没什么影响，因为系统误差总是以相同的方式影响测量值的，而不会使测量值上下波动。

随机误差是由与测量目的无关的偶然因素引起而不易控制的误差，这类误差的方向和大小的变化完全是随机的，无规律可循。

它使多次测量产生不一致的结果，从而降低信度。

因此，信度就是对随机误差的一种测量，随机误差越小，信度越高，如果随机误差为零，就认为测量是完全可信的，这时信度最高。

但是我们知道在进行测量时，误差是难免的，这就使得真实值和测量值之间是不可能完全一致。

下面的公式可以用来表示真实值和测量值之间的关系：X=T+E其中X 表示测量值，或称为观察分数（observed score ），它是指在某一次测量中所得的分数值。

T 表示真实值或真实分数(true score)，指做无数次测量得到的一个理想的平均值。

E 表示误差分数。

如果我们讨论一组测验分数的特性时，可用方差代表具体分数，得到公式：222E T X S S S += （5.1）即测量分数的方差等于真实分数的方差与误差方差的和数。

此外，我们可以用信度系数来表示信度的大小。

信度系数是同一样本或个体在两种不同时间、不同情境条件下的测量结果之间的相关系数。

信度系数越大，说明测量工具或评价方法的可信程度越强；信度系数越小，则说明可信程度越弱。

在测量理论中，信度系数是指一组测验分数的真实分数方差与测量分数方差的比率，它是一种特殊的相关。

22XT XX S S r = （5.2） 由于真实分数的方差是无法统计的，该公式可转化为：222221XE X E X XX S S S S S r -=-= （5.3） 因此，信度系数也可以看成是总方差中非测量误差的方差所占的比例。

三、信度的作用信度系数的作用是可以解释测量分数中有多少的比例是真正反映被试者真实分数的部分。

信度系数是一个介于0和1之间的数，它代表了从缺乏信度到完全可信的所有状况。

当然，最理想的信度系数值是1，但在实际上是达不到的，因为误差总会存在的。

那么究竟信度系数为多少才算合适呢？对于信度的高低，并没有绝对的评判标准。

一般来说，对于被试间比较而言，当信度系数小于0.70时，不能用测评结果对个人之间做评价，也不能在团体间做比较；当信度系数大于0.7时，可以将测验结果进行不同团体间的比较；当信度系数大于0.85时，测验结果才能应用于个人之间的比较和评价。

四、信度的类型信度的高低由于随机误差的大小而有所不同，由于造成测量的随机误差的来源形式多样，所以评估信度的方法有很多种。

大体有两种途径可循，一种是估量测验结果的稳定性；另一种是估量测验题目的内部一致性，两种途径各有多种方法可以使用。

在这里主要介绍重测信度、复本信度、内部一致性信度、评分者信度四种不同的信度类型和相应的评估方法。

（一）重测信度信度中比较常用的是重测信度（test-retest reliability），又称稳定性信度，它是根据信度的定义而来的，是指用同一种测量工具或测评方法在不同的时间对同样的被试或被试群体施测两次所得结果之间的相关关系。

重测信度是衡量一个测验的结果是否可靠的标准之一。

重测信度最大的特点是用同样的测量工具对测试对象施测两次，但有时候实施重复测量几乎是不可能的，例如学前儿童的识字量、测量消费者对某种新产品的态度。

所以它只能在允许重测的情况下才能进行，其次，测量的心理特质必须是稳定的，这样才能说明结果的不一致是测量工具的影响，而不是被测的心理特质本身的变化造成的。

第三，练习要与遗忘的影响相互抵消。

我们知道第一次测量时被试会留下印象，在下次测验用同样的量表时会受到练习和记忆的影响，但是如果测量的间隔时间合适，那么这种影响就会被遗忘抵消。

第四，要尽量保证两次测验的条件相同，尤其是容易受环境影响的心理特质，以减少随机误差。

最后，所选取的样本应该具有代表性，而且样本量要够大。

通常进行再次测评需要注意以下几个问题：第一是两次测量的间隔时间。

由于重测信度考察的误差来源是时间的变化所带来的随机影响，所以间隔的时间长短必须适度，间隔时间太长或太短都会影响再测信度系数的高低。

不同的测量工具进行再测的时间间隔也是不同的，通常对于人格测评重测时间在两周到6个月之间比较合适；智力测验的间隔时间一般是6个月左右。

第二，第一次的测量可能会改变测量对象的特征。

比如被试在重测时总是试图回忆先前测试时给出的答案。

可以适当增加题目数量来弥补这种影响。

第三，同样的测量工具由于重测的时间不同得到的重测信度也可以是不相同的。

也就是说一模一样的量表重测信度也可以是不同。

所以，在报告重测信度时，不仅要说明相关系数、被试人数、被试基本情况等，还应同时说明施测间隔的时间。

第四，重测信度系数可能会由于被测项目自身之间的相关而偏高。

第五，重测信度一般只反映由随机因素导致的变化，而不反映被试行为的长久变化，而且不同的行为受随机误差的影响不同。

因此我们必须事先分析测量的行为特征。

另外，重测信度的优点是能够提供测量数据随时间变化而改变的结果，为预测被试将来的行为提供依据。

缺点则容易受第一次测验的影响，练习和记忆的效应比较大。

（二）复本信度复本信度(Alternate-form reliability)是用两个平行的测验来测量同一群体，然后求得被试在这两个测验上得分的相关系数，这个相关系数就称为复本系数。

当一个测验没有办法施测两次时，就要通过两个平行的测验来计算测验的信度。

这里谈到的平行测验不仅内容、形式、数量、效度相同，还要求难易度和差异度也相同，即有相同的平均数和标准差。

如果两份测验是同时连续施测，则这时求出来的相关系数称为等值性系数；若两份测验不是同时实施，即隔一段时间再施测，这样得出来的相关系数为稳定性与等值性系数。

复本是针对原测量工具而言的，两个等值的测验互为复本。

复本信度的高低反映了这两个测验复本在内容上的等值性程度，如果两个测验考察的内容侧重不一样，那么两者之间的相关性肯定不会很高，即复本信度低。

计算复本信度的主要目的在于考察两个测验复本的题目取样或内容取样是否等值，同时复本信度也考虑两个复本实施的时间间隔。

等值系数既可以用来代表测评跨评价角度的一致性，又可以用来表示测评跨时间的一致性和变化。

复本信度的优点：1.它是测量信度的一种好办法，能够考察信度在不同时间和不同内容上的结果。

2.能够避免重测信度的一些问题，如记忆效果和练习效应等。

3.适用于进行长期追踪研究或研究某些干涉变量对测量结果的影响。

4.减少了作弊的机会。

复本信度的局限性在于：1.如果测量的行为易受练习、记忆、成长的影响，则复本信度只能减少而不能消除这种影响。

2.有些测验的性质会由于重复而发生改变。

3.编制测验复本相当困难；不但费时而且费钱，而且也很难够造出内容上完全等价的量表。

从严格的意义上说，两个量表的测量项目应具有相同的均值、方差和相关性，但即使这些条件都满足了，还是有可能出现内容不等价的情况。

这时候相关系数过低可能是量表的信度不够造成的，也可能是由于量表不等价而造成的。

4.测量误差的相关性比重测法低。

（三）内部一致性信度重测信度和复本信度都是建立在信度的基本概念基础上,具有逻辑清晰,易于理解的特点。

但由于两者都需要进行第二次测量，操作成本高,干扰因素多，有时候在实际工作中实施比较困难，那么在无副本只有一次测量结果的情况下，内部一致性信度系数就能较好地解决以上问题。

它是把一个测验的项目分成不同的样本，计算样本间的相关系数，从而间接地得出信度系数的评估方法。

内部一致性信度主要反映的是测验内部题目之间的关系，考察测验的各个题目是否测量了相同的内容或特质。

内部一致性信度包括分半信度和同质性信度。

分半信度是测量内部一致性的简单方法，也是最早的指标。

分半信度（split-half reliability）是通过将测验的项目分成对等的两半，计算这两半测验之间的相关系数而获得的。

这两半相关系数高，则说明量表内部一致性高。

量表的项目可按题号的单数、双数分为两半，也可以随机地划分。

对等两半测验的的内容性质、难易程度最好尽可能一致。

此外，测验愈长，分半信度系数愈高。

分半信度通常在测试只进行一次而且没有复本的情况下使用，要注意以下几点：第一，分半信度系数也会受到分半方法的影响，划分分半的方法不同，得到的信度系数也不同。

第二，分半信度系数的估计要求两半是等值的，如果两半不等值就会产生估计的偏差，等值性越低，偏差越大，因此当一个测验不能分成等值的两部分时不能选用分半信度。

第三，对测验进行分半时，如遇到上下有联系的题目时，应把这些题目放在同一半测验中，这样可以避免高估信度值。

第四，测验为速度型测验或题目中有任选题时，不适合选用分半法评估信度。