项目反应理论及其应用

概化理论认为，测量的总方差可以分解为代表目标测量的 方差成分和构成误差的种种方差成分。测量工作中要加以 认识和予应用的心理特质水平是测量目标。而构成测量条 件与具体情境关系的因素，称为测量侧面(Facets of Measurement)。如学生阅读能力测验，• 其目的是对学生阅 读能力的测量，因此，阅读能力就成为测量目标，除此外 试题的水平和评分者等因素也会影响测验的总变异。这两 个因素就是测量侧面。这里对学生阅读能力的测量是在双 侧面情境的条件下进行的。测量侧面中的单个事例叫侧面 的水平，如有两个评分者甲和乙，则评分者这一侧面就有 两个水平。测量侧面又分为随机侧面和固定侧面。随机侧 面是指测量侧面中所包含的各水平中是类似水平的随机样 本，而非固定不变的侧面，如大规模考试中评分者每次都 有可能不同，由这样变化的评分者所组成的测量侧面就称 为随机侧面。固定侧面是指在各次实施中测量侧面的所在 水平一直保持不变的测量侧面，如标准化的心理测验中测 验的项目总是一样，这样的侧面就叫固定侧面。
项目反应理论及其应用
中国水利水电出版社
概化理论

凡测量都有误差，误差可能来自测量工具的不标准或不适合所测 量的对象，也可能来自工具的使用者没有掌握要领，也可能是测 量条件和环境所造成，也可能是测量对象不合作所引起。总之产 生测量误差的原因是多种多样的，而CTT理论仅以一个E就概括了 所有的误差，并不能指明哪种误差或在总误差中各种误差的相对 大小如何。这样对于测量工具和程序的改革没有明确的指导意义， 只能根据主试自己的理解去控制一些因素，针对性并不强。鉴于 此种情况，二十世纪六十至七十年代初，克伦巴赫(Cronbach)等 人提出了概化理论(Generalizability Theory)简称GT理论。

概化理论强调，测量目标是具体的，并不是绝对固 定不变的。因而全域分数也就不固定，可以有多种。 一方面，当固定侧面时，侧面本身会转化为测量目 标的一部分（如对一般阅读理解能力的测量转变为 对科技说明文的测量），测量目标要局限化；另一 方面，当测量中考察目的与应用需要改变时，测量 目标对象就可能完全转移。比如，当作文考试结果 是要对考生作判断时，测量目标就是考生的作文能 力，若要把评分严与评分宽的评分者区分开，评分 者的能力就成了测量目标，也即测量目标就完全发 生了转移。显然，测量目标不同时，标志测量目标 的分数也就不同。测量目标在具体关系条件下的分 数叫全域分数。这样，有时对同一批测量资料来说， 当测量工作的具体关系变化时全域分数也会变。即 同一测验资料就可能有多种全域分数。
IRTP主要具有如下功能： 可同时计算IRT二级评分项目和多级评分项目的项目参 数及考生的能力参数，并将能力参数转换成人们习惯 的“分数”。 可绘制项目特征曲线、项目信息函数曲线、测验分数 分布直方图、最优分数分布直方图和能力分数分布直 方图等各种相关图形。 可对逻辑斯蒂模型和测验数据集进行卡方拟合检验。 可计算经典测量理论的项目参数（难度、区分度）、 信度系数以及测验标准误。
1Ui i
（9-4）
式中 Qi =1— Pi ，其中 Pi 由（9-3）式 确定
联合极大似然估计
若有N个被试，经过n个试题的测试， 根据作答的反应矩阵，我们可以应用联合 极大似然方法，同时，估计出所有被试的 能力（特质）水平和所有试题的参数 值 ai ，bi，ci 。
9.3 项目和测验的信息函数
测验信息函数
测验信息函数是项目反应理论中非常 有用的一个特征，它能从根本上告诉研究 者一项测验在整个能力分数范围内对被试 能力水平进行估计的精确程度。
[ Pi ( )] I ( ) Qi ( ) i 1 P i ( )
N ' 2
（9-12）
项目反应理论参数计算软件IRTP简介
c
9.2 项目反应模型的参数估计
9.2.1 项目参数已知的能力参数估计 9.2.2 联合极大似然估计
9.2 项目反应模型的参数估计
项目反应理论用项目特征曲线表示被 试的潜在特质与其对项目的正确反应的概 率之间的关系，再用一定的数学模型拟合 项目特征曲线，从而为估计被试的潜在特 质奠定了基础。
项目参数已知的能力参数估计



概化理论把全域分数方差对总变差的比称为为概括力系数（简称G系 数）。而总方差可以分成全域分数方差(δ2 (p)和误差分数方差(δ2(δ))， 如果测验是常模参照性测验，则G系数E2ρ是评价测验稳定性程度的最 佳指标: 即: E2ρ=(δ2(p))/[ δ2(p) +(δ2(δ))] 若该测验是标准参照性测验，则其依存性j指标是测验稳定一致性的最 好指标。 j=(δ2(p))/[ δ2(p) +(δ2(△))] 上两式中，误差方差δ2(δ)可能是很多项的和，如上例中考生的阅读 理解能力的方差是标志测量目标的方差，即为全域分数方差记为 (δ2(p))，而试题、评分者及三个主效应间的交互作用方差（共有7种 方差成分）都不应包括在全域分数方差之中，作为误差方差(δ2(δ))的 一部分，是构成总方差的成分之一。由此可见，当全域分数方差不变， 而误差分数方差增大时，概括力系数值降低，信度降低。反之，当全 域分数方差增大，而误差分数方差不变，则概括力系数增大，信度提 高。所以，随着测量情境关系的变化，测量目标与侧面的变动，概括 力系数即信度也就会不同。同一批资料就可能有多种不同含义与取值 的概括力系数。一般说来，增大概括力系数的方法有两种：第一种是， 固定测量侧面（如固定试题）。第二种是增加侧面所包含的水平数 （如增加试题或评分者数目）。(漆书青,1993)
目录
1 2 3 4 项目反应理论概述 项目反应模型的参数估计 项目和测验的信息函数 项目反应理论的应用
9.1 项目反应理论概述
9.1.1 9.1.2 9.1.3 9.1.4 项目反应理论的产生 项目反应理论的含义 项目反应理论的发展 项目反应理论基础模型例举
项目反应理论的产生
1．经典测量理论的局限和不足，其不足表 现在以下几方面： 按经典测量理论所求出的难度、区分度、 信度和效度等质量指标，严重依赖于样 本，样本的代表性好坏直接影响着这些 参数。
3．选题策略 项目反应理论指导下的选题策略有两 种： 自动组卷的选题策略 自适应测验的选题策略。
题目参数等值
题库的题量很大，项目参数的估计都 要分批进行，在不同批次获得的参数值， 一定要使用等值技术转换到同一量表系 统上去。在项目反应理论中，由于题目 参数估计具有跨群体不变性和潜在特质 参数估计具有可选择性，使来自不同群 体施测的题目参数可以用参数等值方法 将它们统一于同一个单位系统中，这就 保证了题目参数的准确性。



概化理论是用方差分析的方法来全面估计出各种方差成分的相对大小， 并可直接比较其大小。虽然真分数理论也可以分别地估出某一方差成 分的大小，如代表试题侧面的内部一致性系数，代表评分者侧面的评 分者信度等，正因为是单独估出的，这些值之间不能直接比较，也只 有对主效应作估计，而不能对交互作用进行估计。而概化理论却能做 到这一点。它既能估计出主效应，也能估计出交互作用效应，并能对 各估计值的大小进行直接比较。在概化理论中，理论估出各方差成分 相对大小的过程，叫概化理论的概括分研究阶段或称G－研究阶段。 概化理论并不内静止地分析各种误差来源，还要在G－研究的基础上， 通过实验性研究，进一步考察不同测验设计条件下的概括力系数的变 化状况，如固定侧面或增加侧面水平下的变化状况，从而探求到最佳 的控制误差的方法，作出最佳的设计决策，从而改进测验的内容、方 式方法提供了有价值的信息。这一阶段称作决策研究或称D－研究阶段。 GT在研究测量误差方面有更大的优越性，它能针对不同测量情境估计 测量误差的多种来源，为改善测验，提高测量质量有用的信息。其缺 陷是统计计算相当繁杂，如果借助一些统计分析软件可以解决这一问 题。GT理论目前在我国还处于实验研究阶段，在面试、考核等主观性 测评中有一些应用何测量都处在 一定的情境关系之中，应该从测量的情 境关系中具体地考察测量工作，提出了 多种真分数与多种不同的信度系数的观 念，并设计了一套方法去系统辩明与实 验性研究多种误差方差的来源。并用 “全域分数”(Universe Score)代替“真 分数”(True Score)• ，• 用“概括化系数， • G系数”(Generalizability Coefficent)代 替了“信度”(Reliabilty)。
项目反应理论基础模型例举
逻辑斯蒂模型有单参数、双参数及三 参数之分，其函数表达式分别为：
P i ( )
1 1 e
D ( bi )
（9-1）
Pi ( )
1 1 e
Dai ( bi )
（9-2）
项目反应理论基础模型例举
1 ci Pi ( ) ci Dai ( bi ) 1 e
将题目参数已知的测验施测后，我们 要根据被试所得分数矩阵估计出被试的能 力（特质）参数，为了方便，首先考虑一 个被试。 若能力（特质）水平为的被试在第题 上的反应变量为，如果为1或0取值的二分 变量，则该被试在第 i 题上的答对率为：
项目参数已知的能力参数估计
P(Ui / ) P i Q
Ui
（9-3）
式中， Pi ( ) 表示能力为的被试在项目上正确作答的概率； 表示被试的能力；bi 表示项目i 的难度参数； e 表示自然对数之底=2.71828； D表示量表因D=1.7； ai 表示项目 i 的区分度参数； i 表示项目i 的伪随机水平 参数，习惯称猜测参数。 上述三个模型中以三参数逻辑斯蒂模型应用最为广泛。
项目反应理论的产生



经典测量理论中测验信度的估计是真分数方差 与测验总方差之比，但这是建立在两个前提假 设的基础之上，即个体的测验总分仅线性分解 为真分数和误差分数两部分，并且这两个部分 是相互独立的。 经典测量理论认为人的测验总分是这个人在些 特质上的真分数和测量误差之和。 经典测验理论多是使用匹配和随机化来进行误 差控制 。