第六章 测验的项目分析
合集下载
心理测量学第六章-测验题目性能与题目编写(项目分析).PPT
根据题干从备选项中选出正确选项的题目。单项 选择题指只有唯一正确选项的选择题。 2、特点功能： ①评分标准明确，评分客观，有利于减少评分带来 的评分误差。 ②有利于对基础知识和基本技能进行考查。
③选择题适合考查较低层次的能力，如识记能 力、较低的理解能力等，而不宜考查较高层 次的能力，如综合能力、创造性和独立思维 能力。
一、区分度的定义
（一）定义 ❖ 测验项目对所测量的心理特性水平差异的区分能力或鉴别。 （二）作用 ❖ 测验是否有效度的“指示器”。 ❖ 若区分度高，则水平高者得分高，水平低者得分低；若区分
⑤行为情景判断题设问方式一般有四种形式： 一是要求受测者选择最优行为项，二是要求 受测者选择最差行为项，三是要求受测者同 时选择最优和最差行为项，四是要求受测者 针对每一行为项的有效性做出评价。应根据 实际选择具体方式。
第二节 测验题目的难度与难度控制
一、难度的定义 二、难度的计算 三、测验难度水平的确定 四、难度的等距变换 五、测验的难度对测验分数分布的影响
的差异等于第2题和第3题间的差异。 （二）解决方式：等距变换，即把难度P转换成标准分数Z。 ❖ Z分数(0，+1σ)约占全体人数的34%,(1σ,2σ)间占全体人数的
13.5%。 ❖ 项目A通过率为84%(难度为0.84)，难度值为-1σ。 ❖ 项目B通过率为16%(难度为0.16)，难度值为+1σ。 ❖ 项目C通过率为50%(难度为0.50)，其难度为0。
②论述题和计算题不仅能够考查考生较低层次的能 力目标，而且能够比较好地考查较高层次的能力 目标。
③论述题和计算题能够反映考生的思维过程，因而能 比较有效地考查考生接受信息、鉴别和选择信息的 能力，分析、推理、综合应用知识的能力，能鉴别 出考生对问题解决的程度。
③选择题适合考查较低层次的能力，如识记能 力、较低的理解能力等，而不宜考查较高层 次的能力，如综合能力、创造性和独立思维 能力。
一、区分度的定义
（一）定义 ❖ 测验项目对所测量的心理特性水平差异的区分能力或鉴别。 （二）作用 ❖ 测验是否有效度的“指示器”。 ❖ 若区分度高，则水平高者得分高，水平低者得分低；若区分
⑤行为情景判断题设问方式一般有四种形式： 一是要求受测者选择最优行为项，二是要求 受测者选择最差行为项，三是要求受测者同 时选择最优和最差行为项，四是要求受测者 针对每一行为项的有效性做出评价。应根据 实际选择具体方式。
第二节 测验题目的难度与难度控制
一、难度的定义 二、难度的计算 三、测验难度水平的确定 四、难度的等距变换 五、测验的难度对测验分数分布的影响
的差异等于第2题和第3题间的差异。 （二）解决方式：等距变换，即把难度P转换成标准分数Z。 ❖ Z分数(0，+1σ)约占全体人数的34%,(1σ,2σ)间占全体人数的
13.5%。 ❖ 项目A通过率为84%(难度为0.84)，难度值为-1σ。 ❖ 项目B通过率为16%(难度为0.16)，难度值为+1σ。 ❖ 项目C通过率为50%(难度为0.50)，其难度为0。
②论述题和计算题不仅能够考查考生较低层次的能 力目标，而且能够比较好地考查较高层次的能力 目标。
③论述题和计算题能够反映考生的思维过程，因而能 比较有效地考查考生接受信息、鉴别和选择信息的 能力，分析、推理、综合应用知识的能力，能鉴别 出考生对问题解决的程度。
心理测量学 第六章 项目分析
CV 9 . 80 14 . 44 0 . 22 ;
题目B的方差为3.88,
3 . 88 6 . 89 0 . 29 ;
CV
由于题目满分较高，所以，题目A的方 差大于题目B的的方差，但变异系数却 是题目B大于题目A。题目B的区分能 力优于题目A，这一点可以直观地从这 一组简单的数据中看出。当数据数目 较多的时候，就难以直观地看出，需 要借助统计手段。
AD - BC
A B C
D A C B D
A=在测验和效标中均通过的人数 B=在测验上通过而在效标未通过的人数 C=在测验上未通过而在效标上通过的人数 D=在测验和效标中均未通过的人数。
φ相关系数的显著性考验公式为：
0 . 05
1 . 96 N
(一) 方差 方差是标准差的平方，是反映一组数据离散程度的指 标。一个题目得分的离散程度越高，鉴别能力自然也 较高，因此，方差可以作为区分度的一种指标。 请看题目和题目的得分： A：6 5 4 4 3 3 3 3 3 2 2 1 0 B：4 3 3 3 3 3 3 3 3 3 3 3 2
难度差的计算公式
D Ph Pl
D=鉴别指数 Ph=高分组难度(通过率) Pl=低分组难度(通过率)
（六）题目特征曲线
另一种简单、形象的题目区分度分析方法是绘 制题目特征曲线。题目特征曲线反映了题目的 通过率与效标（或测验总分）之间的关系。
第三节 难度与区分度的关系
我们以通过率P作为难度的指标，以方差
度
一、难度定义与计算 难度是题目的难易程度 的指标。难度(Df)以正 确回答的人数在全体受 测者中的比例来定义。
题目B的方差为3.88,
3 . 88 6 . 89 0 . 29 ;
CV
由于题目满分较高，所以，题目A的方 差大于题目B的的方差，但变异系数却 是题目B大于题目A。题目B的区分能 力优于题目A，这一点可以直观地从这 一组简单的数据中看出。当数据数目 较多的时候，就难以直观地看出，需 要借助统计手段。
AD - BC
A B C
D A C B D
A=在测验和效标中均通过的人数 B=在测验上通过而在效标未通过的人数 C=在测验上未通过而在效标上通过的人数 D=在测验和效标中均未通过的人数。
φ相关系数的显著性考验公式为：
0 . 05
1 . 96 N
(一) 方差 方差是标准差的平方，是反映一组数据离散程度的指 标。一个题目得分的离散程度越高，鉴别能力自然也 较高，因此，方差可以作为区分度的一种指标。 请看题目和题目的得分： A：6 5 4 4 3 3 3 3 3 2 2 1 0 B：4 3 3 3 3 3 3 3 3 3 3 3 2
难度差的计算公式
D Ph Pl
D=鉴别指数 Ph=高分组难度(通过率) Pl=低分组难度(通过率)
（六）题目特征曲线
另一种简单、形象的题目区分度分析方法是绘 制题目特征曲线。题目特征曲线反映了题目的 通过率与效标（或测验总分）之间的关系。
第三节 难度与区分度的关系
我们以通过率P作为难度的指标，以方差
度
一、难度定义与计算 难度是题目的难易程度 的指标。难度(Df)以正 确回答的人数在全体受 测者中的比例来定义。
第6章测验项目分析
（2）在选择题目时，最好使试题的平均难度 接近0.5，而各题难度在0.5±0.2之间。 理由：1965年，伊贝尔的试验: 测验一：16道试题难度均在0.5左右； 测验二：试题难度均匀分布在0.2～0.8之间； 测验三：试题难度分别集中在0.2和0.8两端。
（3）对于选择题来说，P值一般应大于概 率水平。例如，对于是非题而言，其难 度应该为0.75最为合适；而对于四选一 的题目，其难度值维为0.63时最为合适。
（3）由于人的大多数心理特性呈常态分布, 所以题目难度的分布也以常态分布为好,即 特别难与特别易的题目少些，接近中等难 度的题目多些，而所有题目的平均难度为 0.50。这样不仅能保证多数题目具有较高 的区分度，而且可以保证整个测验对被试 具有较高的区分能力。
第三节 多重选择题的题目分析
对多重选择题作题目分析，可以解决以下问题: （1）题目是否具有所预期的功能?对于常模参照测 验，测题是否有足够的区分度?对目标参照测量 来说，测题是否能充分地测量到教学的结果? （2）题目的难度是否得当? （3）题目是否有缺陷? （4）诱答选项是否都有效?
二、计算方法 在理论上，题目区分度是以题目得分高 低与实际能力水平高低之间的相关来表示 的。但是，被试的实际能力水平是很难直 接测量的。在具体估计题目区分度时，我 们常用其他指标替代实际能力水平，其中 用得最多的是测验总分。
（一）鉴别指数 （1）按测验总分高低排列答卷； （2）确定高分组与低分组，每一组 取答卷总数的27%； （3）分别计算高分组与低分组在该 题目上的通过率或得分率。
对选择项的反应模式注意从以下几方面进行分析： （1）如果正确的备选答案被所有的受测者所选 择，说明该题目太容易或者可能是题目中提供 某种暗示，使正确答案过于明显。 （2）如果某个错误答案没有任何被试选择，则 说明该选项不具有迷惑性，错得过于明显，除 增加阅读时间外，不起任何作用。一般说来， 除非有2％以上的人选择，否则该备选答案应 该修改或删掉。 （3）如果所有被试都选择了同一个错误答案， 可能是编制测验时把正确答案搞错了，也可能 是在教学中发生了错误。
心理测量 第6章 项目分析
错率（用符号Q来表示）代表难度。
Q=1-P
二、难度的计算方法
（一）二分法记分的项目
PH PL P 2
高分组——总分前27%的人组成的小组 低分组——总分最后27%的人组成的小组
（二）非二分记分的项目
X P 100% X max
难度的校正公式
在是非题或选择题中，由于有猜测的 成分，被试的得分可能被夸大，不能真 正反映测验的难度，为平衡机遇对难度 的影响，可用吉尔福特的公式矫正：
第一节 项目的难度
一、定义
难度（ difficulty ），顾名思义，是指 项目的难易程度。难度分析主要用于最高 作为测验。在典型作为测验中，不存在难 易问题，一般称“通俗性”。
R P 100 % N
P值越大，表示题目越简单；数值大小
与实际的含义恰好相反，准确地说，应该
叫“易度”。因此有人用未通过率或者答
DP i Pu
说明：PH为高分组在某项目上的通过率
PL为低分组在该项目上的通过率
确定的标准，测验结果只与既定标准比较
而不在被试之间作比较。因此，测验分数
的变异性不是标准参照测验的必要条件。
所以，常模参照测验的项目分析方法不完全适用ຫໍສະໝຸດ 标准参照测验。1.难度分析
由于标准参照测验的目的是为了考察被 试对某方面的知识技能的掌握情况，因此， 只要能反映教育目标或者教育者认为重要 的内容，无论其难度为多少，都可以编入 测验。 例如，我们在教学开始之前，为了了解 学生的准备状态所进行的前测，多数题目 将产生很低的通过率，但这些题目应该保 留，因为它们表明了哪些东西需要学习。
如果高分组对正确答案的选择与低分组相
等或者低于后者，说明所考察的东西与水 平无关；
Q=1-P
二、难度的计算方法
（一）二分法记分的项目
PH PL P 2
高分组——总分前27%的人组成的小组 低分组——总分最后27%的人组成的小组
（二）非二分记分的项目
X P 100% X max
难度的校正公式
在是非题或选择题中，由于有猜测的 成分，被试的得分可能被夸大，不能真 正反映测验的难度，为平衡机遇对难度 的影响，可用吉尔福特的公式矫正：
第一节 项目的难度
一、定义
难度（ difficulty ），顾名思义，是指 项目的难易程度。难度分析主要用于最高 作为测验。在典型作为测验中，不存在难 易问题，一般称“通俗性”。
R P 100 % N
P值越大，表示题目越简单；数值大小
与实际的含义恰好相反，准确地说，应该
叫“易度”。因此有人用未通过率或者答
DP i Pu
说明：PH为高分组在某项目上的通过率
PL为低分组在该项目上的通过率
确定的标准，测验结果只与既定标准比较
而不在被试之间作比较。因此，测验分数
的变异性不是标准参照测验的必要条件。
所以，常模参照测验的项目分析方法不完全适用ຫໍສະໝຸດ 标准参照测验。1.难度分析
由于标准参照测验的目的是为了考察被 试对某方面的知识技能的掌握情况，因此， 只要能反映教育目标或者教育者认为重要 的内容，无论其难度为多少，都可以编入 测验。 例如，我们在教学开始之前，为了了解 学生的准备状态所进行的前测，多数题目 将产生很低的通过率，但这些题目应该保 留，因为它们表明了哪些东西需要学习。
如果高分组对正确答案的选择与低分组相
等或者低于后者，说明所考察的东西与水 平无关；
第六章测验项目的难度与区分度
1
2 3
4
5
6
7
8 9 10 11 12 13 14 15
65 70 31 49 80 50 35 16 81 69 78 55 77 90 42 0 1 0 1 1 0 1 0 0 1 1 0 1 1 0
rφ
升级 留级 合计 通过 6（a） 2（b） 8（a+b） 未通过 2（c） 5（d） 7（c+d） 合计 8（a+c） 7（b+d） 15（N）
X H X L 2 NL P 2 N ( H L)
XH：高分组所得总分； XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25％
例：200人参加某测验，该测验最后一题作文 题总分30分，该题最高得分29分，最低得分 13分，高分组平均分24分，低分组平均分18 分，请计算该题的难度？
2、极端分组法
（1）客观题的极端分组法
根据测验分数按高低排序，用两个极端组在某项目 上的平均通过率表示项目的难度
PH PL P 2
PH、PL分别为高分组与低分组的通过率。
步骤：
A、按测验总分由高到低排序 B、从高分段向下选出全部试卷的27％作为 高分组 C、从低分段向上选出全部试卷的27％作为 低分组 D、按照上述公式计算项目难度值
区分度的评价标准
以上标准仅作参考，不是绝对的。事实上，项目区分 度的要求应根据测验目的而定，若测验目的在于选人， 主要评判被试的个别差异，那么区分度要求高些；若测 验只是考察被试对所学知识的掌握情况，可不过多考虑 区分度。
三、区分度对测验的影响
1.区分度与难度的关系
试题的区分度与难度有密切关系。试题难度过大或过小， 其区分度都较低。当难度值为1.00或0时，高分组和低 分组或全部通过得满分，或全部未通过得0分，这时区分 度都为0分。
心理与教育测量第六章
组被试在要计算难度的项目上的平均分。F为满分值。
特 其分数式中别。：代表PPH 和高 低PHP分L2组分PL答别对代人表=数高(R，分H/组NNH与H和+低NRLL分分/N组别L)的代/2通表过高率低。分组RH总和人RL
编辑ppt
6
举例：请分别用通过率法和高低分组 法计算下列两题难度
编辑ppt
7
计算公式
其中p、q为答对和答错的人数比率。 和答错该项目的被试的总分平均数， 准差。
与 对应于答对 为所有X 被p 试X总q 分的标
x
编辑ppt
17
举例：请计算该题区分度
编辑ppt
18
（二）二列相关
适用范围
题分和总为均为连续变量，但人为地将其中一个变量 （既可以是总分，也可以是题分）区分为二分变量（例 如，将总分为及格和不及格两类）。
心理与教育测量
编辑ppt
1
第六章 测验的项目分析
测验项目的难度 测验项目的区分度分析 猜测问题与猜测率 多重选择题的项目分析
编辑ppt
2
第一节 测验项目的难度
难度的意义 项目难度的计算 测验难度水平的确定 难度的等距变换 难度对测验的影响
编辑ppt
3
一、难度的意义
难度分类
项目难度和测验难度。本章主要讲项目难度。
2、对于正确答案
主要考察高分组和低分组被试在正确答案上的选答率是否是 正差，及这一差距是否足够大。只有当高分组和低分组被试 在正确答案上的选答率是正差，且这一差距足够大时，这时 题目质量较佳。
编辑ppt
43
3、对距是否足够大。只有当高分组和低分组被试在正确 答案上的选答率是负差，且这一距差足够大时，这时干扰项 的设置比较合理，否则干扰项设置不合理，应对干扰项进行 删除或修改。
特 其分数式中别。：代表PPH 和高 低PHP分L2组分PL答别对代人表=数高(R，分H/组NNH与H和+低NRLL分分/N组别L)的代/2通表过高率低。分组RH总和人RL
编辑ppt
6
举例：请分别用通过率法和高低分组 法计算下列两题难度
编辑ppt
7
计算公式
其中p、q为答对和答错的人数比率。 和答错该项目的被试的总分平均数， 准差。
与 对应于答对 为所有X 被p 试X总q 分的标
x
编辑ppt
17
举例：请计算该题区分度
编辑ppt
18
（二）二列相关
适用范围
题分和总为均为连续变量，但人为地将其中一个变量 （既可以是总分，也可以是题分）区分为二分变量（例 如，将总分为及格和不及格两类）。
心理与教育测量
编辑ppt
1
第六章 测验的项目分析
测验项目的难度 测验项目的区分度分析 猜测问题与猜测率 多重选择题的项目分析
编辑ppt
2
第一节 测验项目的难度
难度的意义 项目难度的计算 测验难度水平的确定 难度的等距变换 难度对测验的影响
编辑ppt
3
一、难度的意义
难度分类
项目难度和测验难度。本章主要讲项目难度。
2、对于正确答案
主要考察高分组和低分组被试在正确答案上的选答率是否是 正差，及这一差距是否足够大。只有当高分组和低分组被试 在正确答案上的选答率是正差，且这一差距足够大时，这时 题目质量较佳。
编辑ppt
43
3、对距是否足够大。只有当高分组和低分组被试在正确 答案上的选答率是负差，且这一距差足够大时，这时干扰项 的设置比较合理，否则干扰项设置不合理，应对干扰项进行 删除或修改。
6第六章 测验的项目分析
低
中 能力
高
难度不同的3个项目的ICC
1.00 率 概 的 目 项 答 回 确 正
A B
0.50
0.00
C D
低 中 能力 高
多项选择中每个选项的ICC
二、区分度计算
项目区分度可以有不同的计算方法，我们要根据测验 的目的以及测验分数的特征来选择合适的方法。
1、鉴别指数法（适合0、1计分）
一个项目的鉴别指数指总分高分组与低分组在该 项目上的通过率之差。
注意：标准化测验一般采用27%为分组点。也可
以取总人数的1/4或1/3（即25%或33%）为分组点。 当样本小于100时，一般选50%作为分界点。
（二）非二分法计分的难度 当项目是多重计分时，难度等于平均分与满分之比。
=试题的难度 X =全体被试在该题上的平均分数 X max=该题的满分分数
P
例题
问答题满分为15分，10名被试在该题的得分如下。 试计算该题的难度。
1 2 3 4 5 6 7 8 9 10
被 试 得 分Leabharlann 131510
10
9
11
10
9
11
10
问题 有A、B两个测题，项目A为四重选择题，通 过率为0.58；项目B为五重选择题，通过率为 0.56，能否说项目A更容易，项目B更难？
鉴 别 力 较 好
低 中 高
能力
1.00 率 概 的 0.50 目 项 答 回 0.00 确 低 正 1.00 率 概 的 0.50 目 项 答 回 0.00 低 确 正
中 能力
高
鉴 别 力 较 低 鉴 别 力 为 负
中
高
能力
1.00 率 概 的 目 项 答 回 确 正
测验的项目分析
测验的项目分析第一节测验的难度难度是指测验项目的难易程度。
一个测验项目，如果大部分被试都能答对，则该项目的难度就小；如果大部分被试都不能答对，则该项目的难度就大。
进行难度分析的主要目的是为了筛选项目，项目的难度水平多高合适，取决于测验的目的的项目形式以及测验的性质。
1、在教育工作或实际工作中，若测验的目的是为了了解被试在某方面知识技能的掌握情况，可以不必过多地考虑难度，只要教育者认为重要的内容就可以选用，甚至那些通过率为100％或为0的项目都可以采用。
2、如果测验的目的是用于选拔录用人员，就应该将项目的难度控制在接近录取率左右，即较多地采用那些难度值接近录取率的项目。
例如，要从高中生中选拔15％的人参加全市的数学竞赛，则就应提高项目难度，使P 值接近0.15。
一、难度的计算测验的记分方法不同，项目难度的计算方法也有所不同。
（一）二分法记分项目的难度1、通过率如果不考虑被试作答是猜测成功的机遇，二分法记分测验项目的难度通常以通过率来表示，即以答对或通过该项目的人数的百分比来表示：P=R/N (6.1)式中，P代表项目难度，N为全体被试数，R为答对通过该项目的人数。
以通过率表示项目的难度，通过人数越多，P值越大，其难度就越小；通过人数越少，P值越小，难度越大，题目越难。
所以有人也称P值为容易度。
事实上，这里的P值与我们通常所了解的难度意义正好相反。
2、极端分组法当被试人数较多时，则可以先将被试依照测验总分从高到低排列，分成三组，总分最高的27％被试称为高分组（），总分最低的27％被试为低分组（），分别计算高分组和低分组的通过率，然后求项目的难度。
（6.2）或式中、分别表示高分组和低分组的通过率；、表示高分组和低分组通过该项目的人数；、分别代表高分组和低分组的人数。
（二）非二分法记分项目的难度对于论述题，每个项目不只有答对和答错两种可能结果，而是从满分至零分之间有多种可能结果。
对这类项目，常常用下面的公式来计算其难度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
难度 区分度 猜测问题 多选题的项目分析
• 信度和效度分析是对测验质量的整体评价。 • 项目分析是对测验中每一个测题的质量进 行的分析。 • 项目分析的目的是通过分析改进项目统计 量进而提高测验的信度和效度。 • 项目分析包括分析质的分析和量的分析。
第一节 项目的难度
一、难度的意义
• 难度一般是指测验项目的难度，当然 也可指一个测验的难度。后者是其所 包含的所有测题难度的综合指标。我 们这里所讲的是项目的难度。 • 从心理学角度看，难度是被试在作答 项目时心智操作感到的难易程度。
• 提出者 – 美国测验学家：伊贝尔（L. Ebel）
测题鉴别指数与评价标准
区分度（D） 0.40以上 0.30－0.39 评 价
非常良好 良好，如能改进则更佳
0.20－0.29
0.19以下
尚可，仍需再改进
劣，必须淘汰或加以修改
极端组的划分
• 高低组的比率介于25%---33% • 标准化测验采用27% • 样本人数过少时，可以用50%作为分界点。 • 此方法只利用了一部分信息，精确性差一 些。
（二）非0、1记分项目
X P X max
某题的 平均得分
该题的 满分值
例4-4：某试卷中一 论述题为20分，10 名参加测验者得分为 10、18、14、8、 18、3、14、10、 9、8。试问该题的 难度是多少？
112 X 11 .2 10 11 .2 P 0.56 20
• 2、极端分组法
三、区分度与难度的关系
• 难度是区分度的必要条件
– 难度愈接近.50，试题区别作用愈大。 – 较难项目，对高水平被试区分能力高 – 较易项目，对低水平被试区分能力高
– 中等项目，对中等水平被试区分能力高
P与D最大值的关系
P 1.00 .90 .80 .70 .60 .50 .40 .30 .20 .10 .00 最大鉴别值 0.00 0.20 0.40 0.60 0.80 1.00 0.80 0.60 0.40 0.20 0.00
题 号 1 2 3 4
组 别 高分组 低分组 高分组 低分组 高分组 低分组 高分组 低分组
选 答 A B C 5 22 58 26 17 25 1 1 92 50 10 21 15 11 44 56 1 12 15 15 28 19 14 10
人 D 2 16 16 36 28 34 36 28
• 一个测验项目，如果大多数人能答对，则 该项目的难度就小；如果大部分人都不能 答对，则该项目的难度就大。
– 在这里，难度是题目的性质和被试水平共同作 用的结果。
测验的难度
• 依据
– 取决于构成测验的试题难度
• 一般原则
– 标准化测验：正态分布 – 效标参照测验：允许偏态分布
二、计算方法
（一）0、1记分的项目
二、具体分析步骤：
• 1、按被试测验的总分，从高到底依次排列试卷。 • 2、从最高分依次向下取全部试卷的27%作为高分 组。 • 3、从最低分依次向上取全部试卷的27%作为低分 组。 • 4、分别登记高分组与低分组选中各选择项的人数 （亦可将人数换为人数比例），然后登记。 • 5、根据登记结果进行选择项的质量分析。
数 未答 0 0 1 2 12 11 5 5
正确 答案
B A
D C
分析程序
• • • • • 抽取代表性样本(370人)，预测； 按总分高低排序，确定高低分组（27%） 求两组的通过率及平均通过率； 求鉴别力指数和相关系数； 比较高低分组的难度和区分度及不同答案 的反应； • 根据分析结果，筛选试题或修改试题；
三、测验难度对测验的影响
• （一）测验难度影响测验分数的分布形态 • 测验的难度直接依赖于组成测验的项目难度。通 过考察测验分数的分布，可以对测验的难度作出 直观分析。 • （二）测验难度影响测验分数的离散程度。 • 过难或过易的测验，会使测验分数相对地集中在 第分端或高分端，从而使的分数的全距缩小。
• 1、定义式 通过 人数
R P 100 % N
参测 人数
P值大，难度小。 P值小，难度大。
2、极端分组法
• 含义 – 以高低分组平均通过率表示的难度
步骤 高、低分组通过率
pH
RH , NH
RL pL NL
平均通过率
PH PL P 2
例4-1：200人参
加某项测验，在一 填空题上高分组48 人通过，低分组23 人通过。试问该题 的难度值是多少？
题 号 1 2 3 4
组 别 高分组 低分组 高分组 低分组 高分组 低分组 高分组 低分组
选 A 5 22 58 26 17 25 1 1
答 B 92 50 10 21 15 11 44 56 C 1 12 15 15 28 19 14 10
人 D 2 16 16 36 28 34 36 28
数 答 未答 案 0 0 1 2 12 11 5 5
二、具体步骤
• • • • 分析试题内容 计算区分度 计算难度 选项分析
• 求高低分组在 所有项目，所 有选项上的选 答率 • 列表 • 分析：逐个项 目地进行分析
例4-2：在100名 学生中，高分组与 低分组各有27人。 其中高分组答对第 一题的有20人，低 分组答对第一题的 有10人。试问该题 的难度是多少？
N H N L 100 0.27 27
20 PH 0.74 27 10 PH 0.37 27 0.74 0.37 P 0.56 2
四、项目难度分布的选择
• 进行难度分析的主要目的是为了筛选项目， 项目难度水平多高合适，取决于测验的目 的、测验形式以及测验的性质。 • 在教育工作中或实际工作中，若测验的目 的是为了了解被试在某方面知识技能的掌 握情况，可以不必过多地考虑难度。 • 如果测验的目的是用于选拔录用人员，就 应该将项目的难度控制在接近录取率左右。
P、D与答案分析实例
例4-12：有人计划
编制一套上海市中 学几何学科测验， 按预定题数加倍制 定测题再以项目分 析法选择最适当的 测题。现从上海初 三全域抽取代表性 样本370人为预测对 象接受测验。按学生 总分高低顺序排列， 抽取最高和最低的试 卷各27%为高低分 组。现从中选出4个 选择题，经过项目分 析获得以下结果。
Ni N H N L
200 27% 54
1 48 23 P 2 54
71 0.66 108
N H N L 200 0.27 54
48 PH 0.89 54
23 PH 0.43 54
0.89 0.43 1.32 P 0.66 2 2
• 计算题分与总分的相关系数 • 例：8名学生在某题上的得分及测验总分如下表， 求项目区分度。
学生 1 6 2 10 3 6 4 8 5 9 6 7 7 3 8 5 某题得分
测验总分
34
36
35
37
42 30 27
29
解：rxy
2 2 S x2 S y SD
2S x S y
4.4375 20.9375 10 ＝ 2 2.1065 4.5758 ＝0.7975
• 区分度的实质：题分与总分的一致性程度，或 者说就是它们的相关系数。 • 区分度的值域：D∈[-1，+1］
二、计算方法
（一）鉴别指数
• 含义
– 高、低分组通过率之差：
D PH PL
• 步骤
– 按测验总分高低排序试卷 – 确定高低分组：每组占27% – 分别计算各组的通过率 – 代入鉴别指数公式
• 各种测验的难度
– 标准化测验：0.30～0.70； – 一般测验： 极难（P﹤.1）→极易P﹥.9） – 选拔和诊断测验：接近录取率 – 效标参照测验：有时不考虑难度
• 常模参照测验
– 测验难度在0.50左右。
ห้องสมุดไป่ตู้
• 选拔测验
– 要求在录取线附近具有最强的鉴别能力。 – 对于选拔点左右的人而言，题应具有0.50左右的难度。
第三节 多重选择题的项目分析
一、分析的作用与内容
• 对该题进行品质分析，看其是否能测到你想测的那 种心理品质。 • 计算该题的区分度，看区分度能否达到要求。 • 看该题的难度是否合适、恰当。 • 正答选项的选答率是否恰当。正答选项在高、低分 组的选答率是否是正差，差距是否足够大。（理论 上是越大越好） • 诱答选项（迷惑项或分心因子）的选答率是否恰当， 诱答选项在高低分组上的选答率是否是负差，差距 是否足够大。
（二）相关法
• 某一测题分与效标成绩或测验总分的相关
• 具体方法
– 点二列相关——客观题
– 二列相关——主观题
–Φ 相关
点二列相关、二列相关和Φ 相关
变量 一列 一列 点二列相关 二列相关 连续变量 二分名称 二分名称 （人为的） Φ相关 二分名称 二分名称
积差相关：论文式题目
相关法
• 计算题分与总分的相关系数 • 例：10名被试在某测验第一题上的作答情况与测 验总分如下表所示，计算该题的区分度。
例4-7：100人参加 某项测验，对其中四 道题做对的人数分布 如表所求，试问这些 试题的区分度分别是 多少？
题 目 1 2 3 4
做对人数 高分组 低分组 27 12 6 22 24 1 8 12
结果
题 目 1 2 3 4 做对人数 通过百分比 高分组 低分组 高分组 低分组 27 12 6 22 24 1 8 12 1.00 0.44 0.22 0.81 0.89 0.04 0.30 0.44 D 0.11 0.40 -0.08 0.37
• Δ＝13+4Z
• 计算所有题目的平均难度
第二节 项目的区分度
• 信度和效度分析是对测验质量的整体评价。 • 项目分析是对测验中每一个测题的质量进 行的分析。 • 项目分析的目的是通过分析改进项目统计 量进而提高测验的信度和效度。 • 项目分析包括分析质的分析和量的分析。
第一节 项目的难度
一、难度的意义
• 难度一般是指测验项目的难度，当然 也可指一个测验的难度。后者是其所 包含的所有测题难度的综合指标。我 们这里所讲的是项目的难度。 • 从心理学角度看，难度是被试在作答 项目时心智操作感到的难易程度。
• 提出者 – 美国测验学家：伊贝尔（L. Ebel）
测题鉴别指数与评价标准
区分度（D） 0.40以上 0.30－0.39 评 价
非常良好 良好，如能改进则更佳
0.20－0.29
0.19以下
尚可，仍需再改进
劣，必须淘汰或加以修改
极端组的划分
• 高低组的比率介于25%---33% • 标准化测验采用27% • 样本人数过少时，可以用50%作为分界点。 • 此方法只利用了一部分信息，精确性差一 些。
（二）非0、1记分项目
X P X max
某题的 平均得分
该题的 满分值
例4-4：某试卷中一 论述题为20分，10 名参加测验者得分为 10、18、14、8、 18、3、14、10、 9、8。试问该题的 难度是多少？
112 X 11 .2 10 11 .2 P 0.56 20
• 2、极端分组法
三、区分度与难度的关系
• 难度是区分度的必要条件
– 难度愈接近.50，试题区别作用愈大。 – 较难项目，对高水平被试区分能力高 – 较易项目，对低水平被试区分能力高
– 中等项目，对中等水平被试区分能力高
P与D最大值的关系
P 1.00 .90 .80 .70 .60 .50 .40 .30 .20 .10 .00 最大鉴别值 0.00 0.20 0.40 0.60 0.80 1.00 0.80 0.60 0.40 0.20 0.00
题 号 1 2 3 4
组 别 高分组 低分组 高分组 低分组 高分组 低分组 高分组 低分组
选 答 A B C 5 22 58 26 17 25 1 1 92 50 10 21 15 11 44 56 1 12 15 15 28 19 14 10
人 D 2 16 16 36 28 34 36 28
• 一个测验项目，如果大多数人能答对，则 该项目的难度就小；如果大部分人都不能 答对，则该项目的难度就大。
– 在这里，难度是题目的性质和被试水平共同作 用的结果。
测验的难度
• 依据
– 取决于构成测验的试题难度
• 一般原则
– 标准化测验：正态分布 – 效标参照测验：允许偏态分布
二、计算方法
（一）0、1记分的项目
二、具体分析步骤：
• 1、按被试测验的总分，从高到底依次排列试卷。 • 2、从最高分依次向下取全部试卷的27%作为高分 组。 • 3、从最低分依次向上取全部试卷的27%作为低分 组。 • 4、分别登记高分组与低分组选中各选择项的人数 （亦可将人数换为人数比例），然后登记。 • 5、根据登记结果进行选择项的质量分析。
数 未答 0 0 1 2 12 11 5 5
正确 答案
B A
D C
分析程序
• • • • • 抽取代表性样本(370人)，预测； 按总分高低排序，确定高低分组（27%） 求两组的通过率及平均通过率； 求鉴别力指数和相关系数； 比较高低分组的难度和区分度及不同答案 的反应； • 根据分析结果，筛选试题或修改试题；
三、测验难度对测验的影响
• （一）测验难度影响测验分数的分布形态 • 测验的难度直接依赖于组成测验的项目难度。通 过考察测验分数的分布，可以对测验的难度作出 直观分析。 • （二）测验难度影响测验分数的离散程度。 • 过难或过易的测验，会使测验分数相对地集中在 第分端或高分端，从而使的分数的全距缩小。
• 1、定义式 通过 人数
R P 100 % N
参测 人数
P值大，难度小。 P值小，难度大。
2、极端分组法
• 含义 – 以高低分组平均通过率表示的难度
步骤 高、低分组通过率
pH
RH , NH
RL pL NL
平均通过率
PH PL P 2
例4-1：200人参
加某项测验，在一 填空题上高分组48 人通过，低分组23 人通过。试问该题 的难度值是多少？
题 号 1 2 3 4
组 别 高分组 低分组 高分组 低分组 高分组 低分组 高分组 低分组
选 A 5 22 58 26 17 25 1 1
答 B 92 50 10 21 15 11 44 56 C 1 12 15 15 28 19 14 10
人 D 2 16 16 36 28 34 36 28
数 答 未答 案 0 0 1 2 12 11 5 5
二、具体步骤
• • • • 分析试题内容 计算区分度 计算难度 选项分析
• 求高低分组在 所有项目，所 有选项上的选 答率 • 列表 • 分析：逐个项 目地进行分析
例4-2：在100名 学生中，高分组与 低分组各有27人。 其中高分组答对第 一题的有20人，低 分组答对第一题的 有10人。试问该题 的难度是多少？
N H N L 100 0.27 27
20 PH 0.74 27 10 PH 0.37 27 0.74 0.37 P 0.56 2
四、项目难度分布的选择
• 进行难度分析的主要目的是为了筛选项目， 项目难度水平多高合适，取决于测验的目 的、测验形式以及测验的性质。 • 在教育工作中或实际工作中，若测验的目 的是为了了解被试在某方面知识技能的掌 握情况，可以不必过多地考虑难度。 • 如果测验的目的是用于选拔录用人员，就 应该将项目的难度控制在接近录取率左右。
P、D与答案分析实例
例4-12：有人计划
编制一套上海市中 学几何学科测验， 按预定题数加倍制 定测题再以项目分 析法选择最适当的 测题。现从上海初 三全域抽取代表性 样本370人为预测对 象接受测验。按学生 总分高低顺序排列， 抽取最高和最低的试 卷各27%为高低分 组。现从中选出4个 选择题，经过项目分 析获得以下结果。
Ni N H N L
200 27% 54
1 48 23 P 2 54
71 0.66 108
N H N L 200 0.27 54
48 PH 0.89 54
23 PH 0.43 54
0.89 0.43 1.32 P 0.66 2 2
• 计算题分与总分的相关系数 • 例：8名学生在某题上的得分及测验总分如下表， 求项目区分度。
学生 1 6 2 10 3 6 4 8 5 9 6 7 7 3 8 5 某题得分
测验总分
34
36
35
37
42 30 27
29
解：rxy
2 2 S x2 S y SD
2S x S y
4.4375 20.9375 10 ＝ 2 2.1065 4.5758 ＝0.7975
• 区分度的实质：题分与总分的一致性程度，或 者说就是它们的相关系数。 • 区分度的值域：D∈[-1，+1］
二、计算方法
（一）鉴别指数
• 含义
– 高、低分组通过率之差：
D PH PL
• 步骤
– 按测验总分高低排序试卷 – 确定高低分组：每组占27% – 分别计算各组的通过率 – 代入鉴别指数公式
• 各种测验的难度
– 标准化测验：0.30～0.70； – 一般测验： 极难（P﹤.1）→极易P﹥.9） – 选拔和诊断测验：接近录取率 – 效标参照测验：有时不考虑难度
• 常模参照测验
– 测验难度在0.50左右。
ห้องสมุดไป่ตู้
• 选拔测验
– 要求在录取线附近具有最强的鉴别能力。 – 对于选拔点左右的人而言，题应具有0.50左右的难度。
第三节 多重选择题的项目分析
一、分析的作用与内容
• 对该题进行品质分析，看其是否能测到你想测的那 种心理品质。 • 计算该题的区分度，看区分度能否达到要求。 • 看该题的难度是否合适、恰当。 • 正答选项的选答率是否恰当。正答选项在高、低分 组的选答率是否是正差，差距是否足够大。（理论 上是越大越好） • 诱答选项（迷惑项或分心因子）的选答率是否恰当， 诱答选项在高低分组上的选答率是否是负差，差距 是否足够大。
（二）相关法
• 某一测题分与效标成绩或测验总分的相关
• 具体方法
– 点二列相关——客观题
– 二列相关——主观题
–Φ 相关
点二列相关、二列相关和Φ 相关
变量 一列 一列 点二列相关 二列相关 连续变量 二分名称 二分名称 （人为的） Φ相关 二分名称 二分名称
积差相关：论文式题目
相关法
• 计算题分与总分的相关系数 • 例：10名被试在某测验第一题上的作答情况与测 验总分如下表所示，计算该题的区分度。
例4-7：100人参加 某项测验，对其中四 道题做对的人数分布 如表所求，试问这些 试题的区分度分别是 多少？
题 目 1 2 3 4
做对人数 高分组 低分组 27 12 6 22 24 1 8 12
结果
题 目 1 2 3 4 做对人数 通过百分比 高分组 低分组 高分组 低分组 27 12 6 22 24 1 8 12 1.00 0.44 0.22 0.81 0.89 0.04 0.30 0.44 D 0.11 0.40 -0.08 0.37
• Δ＝13+4Z
• 计算所有题目的平均难度
第二节 项目的区分度