计算机自适应测验中RASCH模型稳健性的模拟研究

计算机自适应测验中RASCH模型稳健性的模拟研究邓远平1，罗照盛2（江西师范大学教育学院，南昌，330027）摘 要：计算机自适应测验（Computerized Adaptive Test，以下简称CAT）是建立在项目反应理论（Item Response Theory）的基础上，按照一定的策略进行选题并根据被试的作答情况不断地调整测题，以准确地估计被试的能力水平。

本研究采用模拟数据的方法，在CAT 中分别采用Rasch及Birnbaum两种模型估计能力，通过比较两者的误差均方根（Root Mean Square Error，简称RMSE）、平均差异（Average Deviation，简称AD）及能力相关，对Rasch 模型在CAT中的稳健性进行了研究。

结果发现RASCH模型在区分度不等的条件下中仍然能较准确地估计被试的能力水平，具有很强的稳健性。

关键词：CAT，Rasch模型，Birnbaum模型，稳健性1引言在项目反应理论（Item Response Theory）的基础上，出现了一种新型的考试方式______计算机化自适应测验(Computer Adaptive Test，以下简称CAT)，它被誉为“测验领域的新天地”。

传统的纸笔测验不分被试水平高低，都作答同样一批题目，导致低难度对高水平被试和高难度对低水平被试而言都是形同虚设，测验效率低下，CAT扬弃了这一缺点，它的施测方式是从题库中选择与被试水平相匹配的题目进行施测，直到测验的终止规则达到为止。

它具备的优点有：结果更加准确、测试时间更短、测验安排的时间更方便、测验的安全性更高，题目曝光率更好控制、测验结果的呈现更即时[1] 。

CAT具备下列一些特征：(1)有一个由一定量精选而来的测题所组成的题库作为支持；(2)按照一定的策略进行选题并根据被试的作答情况不断地调整测题；(3)按一定的规则终止测验，评分在施测的过程中进行[2]。

CAT近几十年来测验研究中引人注目并取得了重大发展，特别是美国教育服务社（ETS）提出对托福留学外语考试（TOEFIE）、研究生资格考试（GRE）、护士资格证书等进行计算机化考试以来，CAT更是引起了人们的广泛注意，测试技术正面临重大革新的局面，意义将深远重大。

2CAT的概述2.1测量模型在教育和心理测量中一个主要问题就是如何将被试在所有题目上的反映如何转化为有意义的量化测量，项目反应理论模型是心理测量潜在特质理论的具体化，是人的测验行为与潜在特质之间关系的真实描述和模拟。

模型计分的方式有两种，一种是多级计分，另一种1、0计分（正确记为1，错误记为0），本研究仅介绍1、0计分的逻辑谛斯克模型。

2.1.1 Rasch模型 丹麦学者拉希（Rasch）是最早独立研究项目反应并获得巨大成功的学者，Rasch模型通常也叫单参逻辑什谛克模型，指的是被试的能力与项目难度两者关系的数学模型，它只有一个项目难度参数而没有区分度参数。

拉希认为，用一批项目去测试被试，就是要在一个线性系统上去确定被试的特质水平，除了项目难度之外，应该维持所有项目的相同性质。

拉希公式如下：1邓远平（1979、12一），男，江西兴国人，硕士，研究方向为心理统计与测量 Email：dyp304@。

2罗照盛（1971、9一），男，江西南昌人，副教授，硕士生导师。

()()1/1)i b i p e θθ−−⎡⎤=+⎣⎦ （1）其中：表示答对某题的概率，b 表示题目难度，p θ表示能力值。

2.1.2 伯恩鲍姆（A.Birnbaum ）于1957年到1958年提出了一个Birnbaum 逻辑斯谛克模型，用一个函数将被试在这道题目上的能否正确作答与否与该题的难度、区分度及能力联系起来。

此模型公式为：()()1/1)i i a b i p e θθ−−⎡⎤=+⎣⎦ （2）与公式(1)相比，多了一个题目区分度。

a 2.1.3 为了适应测量中低能力被试在多重选择试题上对正确作答进行猜测而出现的非0，伯恩鲍姆建议增加一个猜测概率参数，称其为三参逻辑谛斯克模型。

表达式如下：c ()()(1)/1)i i a b i i i p c c e θθ−−⎡⎤=+−+⎣⎦ （3）2.2特质水平值的估计特质水平值的估计方法常用的有两种方法极大似然估计(MLE)和贝叶斯估计(Bayesian) ,当被试的作答异常时，极大似然估计会产生极端的偏离值 (Bock & Mislevy,1982)， Weiss(1982)指出在一个自适应测验中，采用贝叶斯方法的估计值趋向回归于先验平均值，尤其是在短测验中。

期望后验估计(EAP)是贝叶斯估计中的一种方法，因本研究模拟的被试的能力值是呈正态分布，故先验分布能准确指定，使得估计值更加准确。

故采用EAP 方法来估计能力值。

公式如下：$()()()q h h=11/qi h i h h h Z L Z W L Z W Z θ==∑∑（4）h Z 为能力节点值，(i h )L Z 是节点h Z 对应i 个题目的作答的似然函数，对应那个节点的权重，它代表了密度曲线在相应节点处的高度()h W Z [3]。

2.3 项目选择选题策略是CAT 一个非常重要的环节，它直接影响到侧验的效率问题。

其中比较常用的选题策略主要有两种：一种是信息函数最大化策略，另一种提加权偏离模型（Weighted Deviation Model ,WDM ）。

本研究中使用信息函数最大化策略。

()2i I ()/i i p p θ′=i q （5）其中：(i I θ)是指能力为θ的被试在第题的信息量，i i p ′是指第i 题项目反应函数对θ的一阶导数，i p 是指第题的项目反应函数， i 1i i q p =−。

[4]项目信息函数是一个比值，是项目反应函数一阶导数的平方数，跟项目反应函数对1的余数的积的比。

每个项目所提供的信息量是它所测被试特质水平的函数。

针对某特定的点挑选信息函数最大的项目，直到信息量达到指定的要求。

近几年有学者从测验的安全性及测验的效率角度出发，提出了项目难度分区,区分度分层的多阶段计算机自适应性测验选题策略，为计算机自适应测验的选题策略提供了一种更加有效的方法。

2.4 开始和终止规则CAT施测过程，一般分为两个阶段：一是试验性探查阶段，测验刚开始时，一般并无被试真实水平信息，故设置一批探查性项目，初步估计其水平。

本研究中，设置五个项目，难度分别为－2，－1,0，1,2；二是精确估计真值阶段，适应被试的水平从题库中挑选出能提供最大信息量的项目。

CAT终止规则是CAT过程中一个重要的环节，若测验太短了，特质估计的准确性可能不够，若测验太长了，将浪费时间和资源，导致不必要的题目暴光，并且被试也感到疲倦。

常用的终止规则有三种：一是确定题数，二是确定测量标准误，三是前两者的结合：若题数已达到，但标准误不及，则仍要继续施测，直至达到指定的测量标准误为止。

3研究目的项目反应模型建立在强假设基础之上，若假设不成立，选用模型不当，结果可能不能很好地解释客观实际。

如有项目区分度不等时，用RASCH模型则不恰当。

但在以前的研究中，即使项目等区分度的假设违背时，该模型仍然具有稳健性(van de vijver,1986;dinero & Haertal,1977)，如 van de(1986)曾下结论：即使在小样本和小测验中，区分度不等也对RASCH 模型估计的结果有很难的影响。

但在CAT中，Rasch模型的稳健性却没有系统性的研究过，本研究采取模拟数据的方法,对Rasch模型在CAT中的稳健性作了初步探索。

4 研究方法：4.1 模拟数据本研究中，先产生50道题的难度参数（分布在-3与+3之间）和区分度参数（分布在0.5与1.5之间），模拟500个被试呈正态分布的能力参数（分布在-3与+3之间），用Birnbaum 模型（公式2）生成1、0计分的作答数据。

在本研究中，将能力分成六个小组，分组区间及人数见下表：组别能力区间人数1 －3___－2 112 －2—－1 623 －1—0 1604 0—1 1835 1—2 766 2—3 8限于篇辐，项目参数表及能力参数及模拟作答数据均不列出。

4.2 CAT设计在CAT设计中，分别采用的是RASCH模型及Birnbaum模型，使用Rasch模型时,将原有的项目参数的区分度均定为1；测验终止规则采用定长：分别为10、15、20题三种；选题策略采用最大信息量法。

4.3 两个评价指标能力估计的准确性的评价指标通常用误差均方根（Root Mean Square Error，简称为RMSE）和平均差异（Average Difference, 简称为AD）。

RMSE可以用来测量能力真值与CAT 产生的能力估计值的一致性。

AD统计指标给出了两者之间的平均差异。

RMSE与AD的公式定义如下。

$()1/2n2k kn kθθ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎦⎣∑－RMSE=（6） $nk k nk θθ⎛⎞⎜⎟⎝⎠∑－AD= （7） $θ是被试的能力估计值，k θ是已知的用来模拟产生作答的能力值。

n 是被试总数，设计这二个试题指标的意义是：RMSE 是一个常用的表示参数估计程序对真值的修复能力的指标，其好处是在一定条件下，可以讨论RMSE 的分布或渐近分布；AD 则可用其大小和符号来考察参数估计程序是否有系统的高估或低估的现象发生[5]。

5 结果5.1 RMSE 及AD 结果表一 两种模型的RMSE 及AD 结果比较误差均方根（RMSE ） 平均差异（AD ） 组别 模型 10题 15题 20题 10题 15题 20题Rasch 0.67 0.39 0.37 0.52 0.28 0.26 1 Birnbaum 0.69 0.46 0.44 0.57 0.36 0.34 Rasch 0.48 0.41 0.38 0.15 0.04 0.01 2 Birnbaum 0.43 0.40 0.36 0.18 0.08 0.06 Rasch 0.37 0.30 0.30 0.04 -0.01 -0.05 3 Birnbaum 0.35 0.30 0.28 0.08 0.02 0.01 Rasch 0.40 0.33 0.32 -0.13 -0.10 -0.12 4 Birnbaum 0.36 0.29 0.29 0.08 -0.05 -0.05 Rasch 0.51 0.39 0.36 -0.31 -0.19 -0.16 5 Birnbaum 0.42 0.35 0.31 -0.21 -0.11 -0.10 Rasch 0.46 0.45 0.37 -0.40 -0.39 -0.31 6 Birnbaum0.43 0.28 0.27-0.30 -0.20 -0.14从表一中可以看出：在六个能力组中，两种模型的RMSE 值都随CAT 中测试题目数量的增长而下降；中间能力组（即三、四组）的RMSE 值稍小，能力区间的两端组稍大，其原因是因为大多数题目的难度恰好处于这段能力区间中，故在CAT 选题中能够选择合适的题目给中等能力被试施测，进而测验信息量更大，估计值相对能力两端而言更接近于真值。