谢小庆《测验等值》讲义

测验等值

主讲:谢小庆

一、为什么进行测验等值研究

测验、考试被作为一种尺度来对人的心理特质进行测量。这种尺度应该具有稳定性。不同的考试版本之间应该具有一致性。对于同一个测量对象，不能用这个版本测量得到一个度量，用另一个版本测量却得到相差很大的另一个度量。尽管我们在命题过程中总是尽量保持考试难度的稳定性，但不同试卷之间在难度、信度、分数分布方面的差别很难完全避免的。这种差别不仅会影响到测验的质量，影响到评价标准的客观性，而且会使参加考试时间不同、使用试卷不用的考生受到不公平的对待。这样，就需要将具有不同难度、分数分布的试卷的分数转换到一个统一的量尺之上，采用统一的量尺对应考者进行测量。这种将一个测验的不同版本的分数统一在一个量表上的过程即等值（equating）。

如果不进行等值处理化，不同时间举行的考试的成绩之间不具备可比性，评价标准或证书授予标准会受到试卷难度起伏的影响。一些水平不高的考生可能会由于运气好遇到较容易的试卷而通过考试获得相应资格，一些水平较高的考生可能会由于运气不好遇到较难的试卷而未通过考试并未能获得相应资格。这种状况，不仅影响到选拔效率和人员素质，而且对考生也是很不公平的。

等值研究的意义并不局限于保证考试公平。今天，为了避免命题和试卷编制中的盲目性和偶然性，许多考试机构都在致力于建设题库。实现基于项目反应理论（Item Response Theory，简称IRT）的题目参数等值是建设科学化、大规模题库的前提。基于经典测验理论（Classical Tesing Theory，简称CCT）之上的等值方法只能实现不同试卷之间的等值，满足“试卷库”建设的需要，很难实现在统一的量尺上标定试题难度和区分度的任务，很难满足大规模题库建设的需要。

实现计算机化自适应性考试是许多考试的发展方向，也是摆在许多考试机构面前的重要课题。计算机化自适应性测验开发中的一个核心环节就是在统一的量表上标定试题参数，实现各个考生所回答的不同题目之间的等值。

二、等值的定义

一般说，等值是将一个测验的不同版本的分数统一在一个量表上的过程。如果一个考生在参加不同版本的考试时，他的成绩不会受到影响，那么，我们可以认为这两份试卷是等值的。在实际进行等值处理时，需要对等值的操作定义。在等值概念中，应该包括等价性、对称性、样本组间一致性等涵意。

㈠等价性

Lord首先提出等值的等价性(equity)概念(1980,第195页)。根据Lord的等价性概念，一组能力相同的考生组在测验X上的真分数分布经等值转换后，应该与他们在测验Y上的真分数分布相同。这种等价性可以表达为：

为x在测定义T为真分数，x为测验X上的分数，y为测验Y上的分数，)

e

(x

y

验Y上的等值分数，G为累积分布函数，则等价性的含义是对于所有的真分数T有：T

G

x

G

=(1)

y

e

(

|

(T

)

)

|)

(

y

这一等价定义意味着具有相同水平的考生在测验X和测验Y上的观察分数的平均数、标准差、分布形态完全一样。正如Lord指出，只有在测验X和测验Y完全相同的情况下，这种等价性才可能实现。在测验实践中，两份试卷不可能被编制得完全相同。如果能够编制出完全相同的两份试卷，也没有必要再进行等值处理。因此，Kolen和Brennan认为，“如果以Lord的等价性作为标准，等值处理既不可能，也无必要。(1995,第11页)因此，Morris于1982年提出了一个可能实现的等价性定义：

定义E为一个变量的期望，则等价性的含义是对所有的真分数有：

T

y

E

=(2)

E

e

x

)

(T

(

|

(

)

|)

y

上式中)

的用法与式(1)中相同。这一定义被称为“一阶等价(first order (x

e

y

equity)”或“弱等价(weak equity)”。这一等价定义意味着具有相同水平的考生在测验X和测验Y上的观察分数的平均数相等。

无论是经典测验理论中的“真分数”还是IRT中的“潜在特质”，都是无法直接把握的。在实际的等值中，我们经常以基于对一组人的观察之上的观察分数来定义等价性：

x

G

e

G

=(3)

(

(y

(

)

))

y

这一定义意味着，如果一组考生在测验X上的观察分数分布与在测验Y上的观察分数分布相同，我们就认为测验X与测验Y等值。

在下面所介绍的等值方法中，有些是基于公式(2)所定义的等价性之上，如Levine 真分数等值方法；有些是基于公式(3)所定义的等价性之上，如等百分位方法。

㈡对称性

对称性又称可逆性，是指等值转换关系是双向的。对于两个平行测验X和Y，如果测验Y上的60分等值于测验X上的50分，那么X上得分50分也一定等值于Y上的60分。这种对称性的要求将回归方法排除在等值方法之外。等值问题并不单单是个回归问题。通常，X对Y的回归与Y对X的回归并不一致，回归关系不具有对称性。

㈢样本组间一致性

等值处理的结果应该不受到进行等值处理所采用的考生样本组的影响。根据不同的样本组建立起来的测验X与测验Y之间的等值关系应该基本一致。例如，两个测验版本之间的等值关系对于男生样组和女生样组应该是一样的。

在实际的等值过程中，等值的这一含意往往难以满足。等值结果或多或少要受

到等值样组的影响，有时影响会很大。一般说，真分数等值模型较少受到等值样组的影响，而观察分数模型则较多受到等值样组的影响。因此，在等值过程中，应该尽量使样组对于测验的对象群体具有好的代表性。(kolen,1995,第12页)

三、横向等值和纵向等值

根据等值的应用性质，可以将等值分为横向等值(horizontal equating)和纵向等值(vertical equating)。一般说，等值是在测验的平行版本之间建立联系，这种联系属于横向的联系。因此多数的等值属于横向等值。有的时候测验被用来建立发展量表，一组水平不同的测验被用来刻划考生的发展水平。在这些不同水平的测验之间建立联系的过程被称为纵向等值。例如，中国汉语水平考试(HSK)包括基础、初等、中等、高等等不同水平的考试；一个小学生言语发展量表可能包括分别适用于一至六年级的六个不同水平的测验。以统计方法在这些不同水平的测验之间联系的过程即纵向等值。

由于这些测验本来不属于相同水平，不是真正意义上的“等值”，所以，有些研究者不使用“纵向等值”的概念而是使用“纵向量表化(vertical scaling)”的概念。(kolen,1995,第12页) 今天，在教育测量与心理测量的文献中，“纵向等值”概念仍然被广泛使用。

四、等值问题的研究状况

在心理测量学领域中，等值问题的研究开展较晚。虽然从50年代就有一些零星的研究，但80年代才引起比较广泛的注意（R. L. Brennan，ACT,1987）。在70年代、80年代出版的有关心理测量的教科书中几乎见不到关于等值问题的讨论，甚至一些90年代出版的大学心理测量学教科书中都未涉及测验的等值问题。直至90年代后期，关于等值问题的系统性文献也十分罕见（Livingston, ETS,1996，第369页）。近年来，心理测量学家们对测验等值问题给予越来越多的关注，不仅提出了许多等值方法，而且围绕等值问题展开了多方面的研究。这些研究主要集中在下面几个方面。

1、不同等值设计之间的比较

2、不同理论模型之间的比较

3、不同等值系数估计方法之间的比较

4、关于造成等值误差因素的研究

5、关于等值误差估计方法的研究

在我国，迄今等值是测验研究中最薄弱的一个环节，许多重要的考试都尚未实现统计等值。

五、影响等值误差的因素

象测验误差不可避免一样，等值误差也是不可避免的。影响等值误差的主要因素包括：

①被等值测验的同质性；

②被等值测验之间的难度差别；

③被等值测验分数的分布特点，包括偏度、峰度等；

④被等值测验的单维性；

⑤锚题对测验的代表性，或锚题分数与测验分数的相关；

⑥用于等值估计的考生样本的容量；

⑦用于等值估计的考生样本分数分布的相似性；

⑧测验长度；

⑨锚题数量；

⑩锚题在测验中的位置。

实际的影响因素可能更多。等值还会受到测验所关注的分数段、测验目的对分数精确性的要求水平、测验分数的应用、计算条件等多种因素的影响。

六、等值数据的收集

测验等值过程包括两个阶段，一个是等值数据的收集，一个是等值数据的处理。（见图一）

图一：等值方法

多种等值数据资料的收集方法可以分为两大类，一类是采用以“人”为媒介的共同组设计，即让一组人接受不同的测验版本；另一类是以“题目”为媒介的“锚测验”设计，即在不同测验版本中含有共同的题目。

㈠共同被试组设计

共同组设计(common-subject equating design)中包括单组设计(single-group design)、平衡随机组设计(counterbalanced random-group design)和等组设计(equivalent-group design)等几种不同的等值设计。

图二：各种等值数据收集方法的图示——————————————————————————————

⒉

⒍部分预先等值设计

7. 题目预先等值设计

注：P1是从总体P 抽取的随机组，Q1是从总体Q 抽取的随机组。“√”表示收集数据，没有“√”的项目表示不收集数据。 ——————————————————————————————————

㈡ 共同题设计

共同题等值设计(common-item equating design)包括锚测验随机组设计(anchor-test-random-group design)、锚测验非等组设计(anchor-test-nonequivalent-group design)、部分预先等值设计(section pre-equating design)、题目预先等值设计(item pre-equating design)等几种不同的等值设计。

七、等值数据处理的主要方法

㈠ 基于经典测验理论的等值模型

1.平均数等值

平均数等值(equimean equating) 是最简单的等值转换模型，用于共同组设计的情况。这时，两个不同版本在较短时间内先后施测于同一组考生。我们可以认为这组考生的水平在两次考试之间没有变化，在两个测验中的真分数应该具有相同的平均数。当某一个版本的所得分数平均分较高时，可以认为这个版本较容易。

2.线性等值

线性等值(linear equating)是平均数等值的扩展。在平均数等值模型中，我们假设两个不同版本具有相同的分数分布，即具有相同的标准差。如果不作标准差相同的假设，两个版本中等值分数可以表达为：

x

x x y y y S O O S O O -=- (4) 经过整理，有

y x x

y x x y y O O S S O S S O +-= (5) 在共同组设计中，根据式(5)可以计算出与新卷X 的分数相应的标准试卷得分。在共同题设计中，计算较复杂，影响等值结果的误差因素也较多，如共同题与整卷之间的相关，两组考生之间的能力水平差距，等等。基于不同的假设，在计算等值转换系数时可以采用Tucker 观察分数、Levine 观察分数、Levine 真分数和Angoff V 等不同模型。

3.等百分位等值

等百分位等值(equipercentile equating)模型将两个测验版本上百分等级相同的分数界定为等值分数。以最简单的共同组设计为例，在版本X 上得分低于60分的人占全体考生的80%，在在版本Y 上得分低于65分的人占全体考生的80%，那么，我们就认为在测验版本X 上与测验版本Y 的65分对应的等值分数是60分。

用公式表示就是，当

total

yl y total xl x N N N N N N +?=+?5.05.0 (6) 则 y x e y =)(

x N 为在版本X 上获得分数x 的人数

y N 为在版本Y 上获得分数y 的人数

xl N 为在版本X 上分数低于x 的人数

yl N 为在版本Y 上分数低于y 的人数

total N 为参加考试的总人数。

对于等百分位等值更严格的用累积分布函数表达是，当

G G =* 时

)]([)(1x F G x e y -= (7)

F 是X 得分的累积分布函数

G 是Y 得分的累积分布函数

*G 是X 在Y 上的等值分数的累积分布函数。(Braun & Holland, 1982,13页) 在共同题设计中，等百分位的等值计算要比共同组设计复杂许多。在复杂的等百分位等值计算中，分布函数的表示具有非常重要的意义。

等百分位等值是非线性的。在图 中给出了对同一组数据进行线性等值和等百分位等值的结果。从图中可以看出，在线性等值中，两个版本的分数成线性转换关系，而在等百分位等值中，两个版本的分数成非线性转换关系。

图三 线性等值与等百分位等值的对照

㈡ 基于项目反应理论的等值模型

如果已经存在科学化题库，如果题库中每个题目均已经标定了具有可比性的题目特征参数，我们就可以根据考生在测验中的反应模式估计出考生的能力参数θ。(Hambleton & Swaminathan ，1985) 这时，从不同测验版本中得到的能力分数具有直接的可比性。如果两名考生分别参加了来自同一题库的两个不同版本的测验，经过

能力估计，得到两个相同的能力分数θ，我们就可以认为这两名考生具有相同的能力水平。

这时，如果以观察分数作为真分数的估计值，我们就可以在两个测验版本的真分数之间建立联系。首先找到对应于版本X 的每个真分数的能力分数θ，再在版本Y 上找到对应于每个θ值的真分数。这样，就在两个版本的观察分数之间建立了联系，实现了等值。图 给出了这一过程的示意图。从图中可以看出，版本X 较难一些，b=0.5，版本Y 较容易一些，b=0，

图四 真分数等值的示意图

版本Y 的区分度(a=1)略高于版本X(a=0.8)。从图中可以看出，版本X 的29.66分与版本Y 的37.03分等值，这时，能力分数θ值为0.375。

如果没有科学化的题库，从两个不同测验版本中估计得到的题目特征参数之间不具有可比性，据此计算得到的能力θ值之间也不具有可比性。为了在两个版本的得分之间建立联系，就需要某种中介。这种中介可以是共同组，也可以是共同题。测验等值的任务就是要借助这种中介在两个测验版本的能力分数θ之间建立联系。

1.参数转换等值(parameter transfer equating)

我们以最简单的共同组设计为例来说明参数等值。当将两个不同的测验版本X 和Y 施测于同一组人时，由于两个版本之间可能存在难度差别，经过参数估计，每个受测者可以得到两个不同的能力分数x θ和y θ，每个题目可以得到两组不同的题目参数x x x c b a ,,和y y y c b a ,,，二者之间具有关系：

B A x y +?=θθ (8)

A

a a x y =

(9) B b A b x y +?= (10) x y c c = (11)

由于测验施测于同一组考生，可以认为考生的能力水平是不变的。实际估计得到的能力分数的差异是由试卷的难度差别造成的。由于我们得到了两组能力分数θ值，代入式(8)后，就可以通过回归方法计算得到转换系数A和B。这样，就在两个不同试卷的得分之间建立了联系。显然，我们既可以根据式(8)实现能力参数等值(Ability parameter equating )，也可以根据式(9)实现题目参数等值(item parameter equating)。在实现了能力θ值之间的等值之后，就可以实现真分数等值(true-score equating)或观察分数等值(observe-score equating)。

在题目参数的估计中可以采用几种不同的模型，包括：

1)单参数模型(one parameter model )

2)双参数模型(two parameter mode)

3)三参数模型(three parameter model)

在等值转换系数的计算中可以采用几种不同的计算方法，包括

1)平均数与标准差方法(mean and sigma method)

2)平均数与平均数方法(mean and mean method)

2.参数标定等值

IRT的参数估计是一个迭代的过程。在这一过程中可以对某些参数数值进行固定。我们可以通过在迭代过程中固定一些参数的方法在来自两个不同试验组的参数之间建立联系。参数转换方法是分别估计参数，之后在两组参数之间建立联系。而参数标定方法则是先估计一组的参数，之后，根据对第一组参数估计的结果，在第二组参数的估计中固定一些参数，从而在两组参数之间建立起联系。

3.同时参数标定等值

在存在共同题的情况下，我们还可以通过另一种思路来在两组参数之间建立联系。我们可以将测验的两个版本视为一份测验。在这份测验中，包括3个部分：仅包含于X版本的题目；仅包含于Y版本的题目，同时包含于两个版本的共同题。我们可以将参加了X版本测验的考生视为仅仅回答了前两部分题目的考生，将参加了Y版本测验的考生视为仅仅回答了后两部分题目的考生。这样，我们在将两个版本视为同一个测验的同时，将两组考生视为同一组考生，只不过回答的题目不同而已。这样，我们就可以根据这个“大样本”来估计这个“大测验”的参数。估计出来的参数自然具有统一性和可比性。这就是同时参数标定的等值方法。Bilog软件中有一个测验等值模块，采用的就是这种思路。

主要参考文献

Angoff, W. H.(1984)Scale, Norms, and Equivalent Score, ETS

Brennan, R. L.(1987) Introduction to problems, perspectives, and practice issues in equating, Applied Psychological Measurement,11-3

Hambleton, R. K.，Swaminathan, H.(1985) Item response theory: principle and application, Kluwer Nijhoff Publishing

Holland, P. W. , Rubin, D.B. ed.(1982) Test equating ,New York: Academic Press

Kolen, M. J. Brennan, R. L.(1995).Test equating, Springer-Verlag

Livingston, S. A.(1996) Book reviews: Test equating, Journal of Educational Measurement,33-3

Lord, F. M.(1980) Applications of item response theory to practical testing problems,

Lawrence-Erlbaum Associates

Petersen, N. S. et al.(1989) Scaling, norming and equating, educational measurement, ed. by R. L. Linn, MacMillian

漆书青、戴海崎(1992)项目反应理论及其应用研究，江西高校出版社

漆书青等（1998）现代教育与心理测量学原理，江西教育出版社

叶佩华等译(1990)测验等值，广东高等教育出社