第六章测验项目的难度与区分度
第六章 测验的项目分析
• 信度和效度分析是对测验质量的整体评价。 • 项目分析是对测验中每一个测题的质量进 行的分析。 • 项目分析的目的是通过分析改进项目统计 量进而提高测验的信度和效度。 • 项目分析包括分析质的分析和量的分析。
第一节 项目的难度
一、难度的意义
• 难度一般是指测验项目的难度，当然 也可指一个测验的难度。后者是其所 包含的所有测题难度的综合指标。我 们这里所讲的是项目的难度。 • 从心理学角度看，难度是被试在作答 项目时心智操作感到的难易程度。
• 提出者 – 美国测验学家：伊贝尔（L. Ebel）
测题鉴别指数与评价标准
区分度（D） 0.40以上 0.30－0.39 评 价
非常良好 良好，如能改进则更佳
0.20－0.29
0.19以下
尚可，仍需再改进
劣，必须淘汰或加以修改
极端组的划分
• 高低组的比率介于25%---33% • 标准化测验采用27% • 样本人数过少时，可以用50%作为分界点。 • 此方法只利用了一部分信息，精确性差一 些。
（二）非0、1记分项目
X P X max
某题的 平均得分
该题的 满分值
例4-4：某试卷中一 论述题为20分，10 名参加测验者得分为 10、18、14、8、 18、3、14、10、 9、8。试问该题的 难度是多少？
112 X 11 .2 10 11 .2 P 0.56 20
• 2、极端分组法
三、区分度与难度的关系
• 难度是区分度的必要条件
– 难度愈接近.50，试题区别作用愈大。 – 较难项目，对高水平被试区分能力高 – 较易项目，对低水平被试区分能力高
– 中等项目，对中等水平被试区分能力高
教育测量与评价的质量特性难度与区分度
难度的影响因素
测验项目的性质
测验目的
测验项目的性质不同，难度也会有所 不同。例如，记忆类的题目通常比分 析类的题目更容易。
测验目的不同，难度也会有所不同。 例如，选拔性测验通常比水平性测验 更难。
被试群体的水平
被试群体的水平越高，测验项目的难 度通常越低。反之，被试群体的水平 越低，测验项目的难度通常越高。
案例二：某评价体系的区分度评估
总结词
该案例介绍了如何通过区分度指标来评估某评价体系的区分度，以确定评价结果是否准确反映学生的 实际水平。
详细描述
首先，选取两个水平不同的学生群体作为参照样本。然后，根据评价体系对两个样本进行测试，并记 录每个样本在各个评价指标上的得分。接着，计算每个评价指标的区分度值，并分析其分布情况。最 后，根据区分度值的大小和分布情况，评估该评价体系的区分度是否良好。
案例三：难度与区分度的综合应用
总结词
该案例探讨了如何将难度和区分度两个 质量特性结合起来，以优化教育测量与 评价体系的设计。
VS
详细描述
首先，分析现有教育测量与评价体系的难 度和区分度情况。然后，根据分析结果， 调整试题难度和区分度指标，以提高评价 体系的准确性和可靠性。最后，通过实际 应用和验证，评估优化后的教育测量与评 价体系的效果。
难度的计算方法
通过率
通过率是指被试在测验项目上的 通过人数与总人数之比，可以直
观地反映测验项目的难度。
难度指数
难度指数是指被试在测验项目上的 平均得分与该测验项目的满分之比， 可以更准确地反映测验项目的难度。
难度曲线
难度曲线是以难度为横轴，通过率 为纵轴绘制的曲线，可以更全面地 反映测验项目的难度分布。
因素分析法
心理测量学第六章-测验题目性能与题目编写(项目分析).PPT
③选择题适合考查较低层次的能力，如识记能 力、较低的理解能力等，而不宜考查较高层 次的能力，如综合能力、创造性和独立思维 能力。
一、区分度的定义
（一）定义 ❖ 测验项目对所测量的心理特性水平差异的区分能力或鉴别。 （二）作用 ❖ 测验是否有效度的“指示器”。 ❖ 若区分度高，则水平高者得分高，水平低者得分低；若区分
⑤行为情景判断题设问方式一般有四种形式： 一是要求受测者选择最优行为项，二是要求 受测者选择最差行为项，三是要求受测者同 时选择最优和最差行为项，四是要求受测者 针对每一行为项的有效性做出评价。应根据 实际选择具体方式。
第二节 测验题目的难度与难度控制
一、难度的定义 二、难度的计算 三、测验难度水平的确定 四、难度的等距变换 五、测验的难度对测验分数分布的影响
的差异等于第2题和第3题间的差异。 （二）解决方式：等距变换，即把难度P转换成标准分数Z。 ❖ Z分数(0，+1σ)约占全体人数的34%,(1σ,2σ)间占全体人数的
13.5%。 ❖ 项目A通过率为84%(难度为0.84)，难度值为-1σ。 ❖ 项目B通过率为16%(难度为0.16)，难度值为+1σ。 ❖ 项目C通过率为50%(难度为0.50)，其难度为0。
②论述题和计算题不仅能够考查考生较低层次的能 力目标，而且能够比较好地考查较高层次的能力 目标。
③论述题和计算题能够反映考生的思维过程，因而能 比较有效地考查考生接受信息、鉴别和选择信息的 能力，分析、推理、综合应用知识的能力，能鉴别 出考生对问题解决的程度。
(完整word版)项目分析的计算(难度、区分度及其优缺点)
项目分析难度与区分度的计算一、难度难度：指项目的难易程度。
难度的计算：（一）二分法计分项目的难度计算（只有答对或答错两种情况）1、通过率用题目的通过率估计难度。
被试正确回答或通过题目的人数与总数之比。
NR p =（R 为通过人数，N 为总数） 主要用于客观题的难度计算。
优点：比较简单，适用于小规模测试。
缺点：难度的指标是根据样本水平来确定参照点的，具有相对性。
所反映的是项目的相对难度，而不是绝对难度。
此P 值易受到项目的编制技术以及受测者的经验的影响。
不够可靠。
不适用于人数较多的大规模测试中。
2、两端分组法当被试人数较多时，可将被试依照测验总分从高到低排列，分成三组，当测验总分分布符合正态分布时，高分组和低分组各占27%；分布较平坦时，应高于27%。
一般介于27%~33%之间。
)(2率分别为高、低分组通过、L H P P P P P LH +=优缺点：易受到高低分组的标准的影响。
（二）非二分法计分项目的难度1、用被试得分平均数估计对于简答题、论述题等题型，每个项目不只有答对和答错两种可能，是从0分至满分之间。
此类题常用以下计算公式：)(max max为该项目的满分的平均得分；为所有被试在该项目上X X X X P = 优缺点：按此公式计算难度时, 可用随机抽样方法, 以使样本具有代表性, 也利于统计分析。
当测验不是二值计分时，且受测者人数很多时，难度等于总分上高分组与低分组平均分之和与2倍满分之比。
max2x x x p l h +=（max ,,x x x l h 分别代表该项目上高分组，低分组的平均分；满分。
） 2、用难度的校对公式计算在多项选择题中，由于有猜测的成分，被试的得分可能被夸大，不能反映测验的难度，吉尔福德提出了一个难度矫正公式：)(11为选项的数目为实际得到的通过率，为矫正后的通过率，K P CP K KP CP --= 优点：当猜测成分占的比重较大时，不能真实反映实际情况时，适合用这个公式。
项目难度与区分度的影响因素与测量方法
项目难度与区分度的影响因素与测量方法概述在项目管理中，项目难度和区分度是决定项目成功与否的重要因素。
本文将探讨项目难度和区分度的影响因素以及测量方法，以帮助项目经理更好地评估项目的复杂性和挑战性，从而制定合理的计划和策略。
影响因素1. 项目规模：项目规模是衡量项目难度和区分度的重要指标。
规模越大，涉及的功能点、团队规模、资源投入等都会增加，难度和区分度也会相应提高。
2. 技术复杂性：技术复杂性是指项目中所涉及的技术难题和解决方案的复杂程度。
如果项目需要采用前沿技术或者解决技术壁垒，那么难度和区分度就会提高。
3. 资源限制：项目中可能存在资源受限的情况，例如时间、人力、预算等。
资源限制会增加项目难度，同时也会影响项目的区分度。
4. 环境不确定性：项目所处的外部环境不确定性也会影响项目的难度和区分度。
例如，市场需求、竞争状况、法律法规等因素的变化都会对项目的进行带来影响。
测量方法1. 项目难度评估矩阵：项目难度评估矩阵是一种常用的评估方法。
通过综合考虑项目规模、技术复杂性、资源限制和环境不确定性等因素，对项目的难度进行评估和量化。
评估结果可以作为项目决策和资源分配的依据。
2. 专家访谈：专家访谈是收集项目难度和区分度信息的有效方法。
通过与相关领域的专家进行访谈，获取他们的意见和建议，以了解项目的难度和区分度。
3. 经验总结和案例分析：对过往的项目经验进行总结和分析，可以得出一些关于项目难度和区分度的规律和经验。
通过借鉴和参考这些经验，可以更好地评估当前项目的复杂性和挑战性。
4. 可行性研究报告：在项目启动前，进行详细的可行性研究，包括市场分析、技术评估、竞争情况等。
可行性研究报告可以提供对项目难度和区分度的详细分析，为项目管理提供重要参考。
结论项目难度和区分度是影响项目成功的重要因素，项目经理需要充分了解和评估项目的复杂性和挑战性，以制定合理的计划和策略。
影响项目难度和区分度的因素包括项目规模、技术复杂性、资源限制和环境不确定性等。
第6章测验项目分析
（2）在选择题目时，最好使试题的平均难度 接近0.5，而各题难度在0.5±0.2之间。 理由：1965年，伊贝尔的试验: 测验一：16道试题难度均在0.5左右； 测验二：试题难度均匀分布在0.2～0.8之间； 测验三：试题难度分别集中在0.2和0.8两端。
（3）对于选择题来说，P值一般应大于概 率水平。例如，对于是非题而言，其难 度应该为0.75最为合适；而对于四选一 的题目，其难度值维为0.63时最为合适。
（3）由于人的大多数心理特性呈常态分布, 所以题目难度的分布也以常态分布为好,即 特别难与特别易的题目少些，接近中等难 度的题目多些，而所有题目的平均难度为 0.50。这样不仅能保证多数题目具有较高 的区分度，而且可以保证整个测验对被试 具有较高的区分能力。
第三节 多重选择题的题目分析
对多重选择题作题目分析，可以解决以下问题: （1）题目是否具有所预期的功能?对于常模参照测 验，测题是否有足够的区分度?对目标参照测量 来说，测题是否能充分地测量到教学的结果? （2）题目的难度是否得当? （3）题目是否有缺陷? （4）诱答选项是否都有效?
二、计算方法 在理论上，题目区分度是以题目得分高 低与实际能力水平高低之间的相关来表示 的。但是，被试的实际能力水平是很难直 接测量的。在具体估计题目区分度时，我 们常用其他指标替代实际能力水平，其中 用得最多的是测验总分。
（一）鉴别指数 （1）按测验总分高低排列答卷； （2）确定高分组与低分组，每一组 取答卷总数的27%； （3）分别计算高分组与低分组在该 题目上的通过率或得分率。
对选择项的反应模式注意从以下几方面进行分析： （1）如果正确的备选答案被所有的受测者所选 择，说明该题目太容易或者可能是题目中提供 某种暗示，使正确答案过于明显。 （2）如果某个错误答案没有任何被试选择，则 说明该选项不具有迷惑性，错得过于明显，除 增加阅读时间外，不起任何作用。一般说来， 除非有2％以上的人选择，否则该备选答案应 该修改或删掉。 （3）如果所有被试都选择了同一个错误答案， 可能是编制测验时把正确答案搞错了，也可能 是在教学中发生了错误。
教育测量与评价的难度与区分度
难度与区分度
2005－11－21
教育测量与评价中题目（项目） 教育测量与评价中题目（项目）的难度
一、难度的含义 难度是指测验项目的难易程度 刻画被试作答一个题目所遇到的困难程度的量数，叫做题目的难度系数， 刻画被试作答一个题目所遇到的困难程度的量数，叫做题目的难度系数， 用符号 P表示 表示 在教育测量中， ＝正确回答试题的人数/参加测验的总人数 在教育测量中，P＝正确回答试题的人数 参加测验的总人数 二、难度的计算 客观试题（二分法记分）： 客观试题（二分法记分）： P＝R/N R：答对该题的人数；N：参加测验的总人数 ＝ ：答对该题的人数； ： 对选择题的解答，因被试可猜测， 对选择题的解答，因被试可猜测，故需对难度系数加以校正
四种量表的比较
量表 水平
名称量表
特性
文字表达 同一性 区分性 符号表达 断定： 断定： A＝B或A≠B ＝ 或
图示
功能
例
1
2
分类、命名、 准考证号码； 分类、命名、 准考证号码； 男1女2；男 女 ； 符号化 3 生喜欢11、 生喜欢 、男 生不喜欢 10…… …… 分等级、位 分等级、 3 4 次、排列顺 序 学习成绩： 学习成绩： 好＝3 中＝2 差＝1 温度
教育测量与评价中题目（项目） 教育测量与评价中题目（项目）的难度
四、难度对测验的影响
难度对测验分数分布的影响 过易、过难会造成测验分数偏离正态分布， 过易、过难会造成测验分数偏离正态分布，使测验分数离散程 度变小 难度对测验鉴别力的影响 测验的主要功效是鉴别考生实际水平的高低 适宜难度可以加大考生得分的差异， 适宜难度可以加大考生得分的差异，从而提高测验的鉴别力 项目难度的适宜值为0.5左右时 左右时， 项目难度的适宜值为 左右时，测验得分的方差才可达最大值 难度与测验目的的关系 项目难度应根据测验目的来确定 常模参照评价： 常模参照评价：区分学生能力或成就的高低 标准参照评价： 标准参照评价：了解学生达到教学目标规定的掌握程度
测验评价的难度与区分度
难度与区分度
在测验评价过程中常有一个难度和区分度的问题，通常所说的难度是指试题或试卷难易程度的指标，而且相对于被试的该批考生而言，其计算方法如下：
（1）客观性试题的难度计算：通常用通过率来衡量。
P=R/N×100%（P为通过率，R为答对或通过该题目的人，N为全体考生数）
（2）主观性试题的难度计算：
P=X/W×100%（P为通过率，X为被试在某一试题上的平均分，W为该题的满分）
（3）整个试卷的难度计算：试卷的难度是指一份试卷的总体难易程度，其由试卷中每道题的难度决定。
其计算办法为：将每道题目的难度与满分值相乘的积相加，然后将其总和除以试卷的满分值，所得的商即为整个试卷的难度。
区分度是指区分测验试题对考生实际水平的区分程度，其取值范围介于−1.00和+1.00之间。
（1）客观性试题的区分度计算：
D=Ph－Pl（D为区分度，Ph为高分组通过率，Pl为低分组通过率。
注：将被试依照总分从高到低排列，然后将总分最高的27%和最低的27%的被试分别定为高分组和低分组。
）
（2）主观性试题的区分度计算：
D=（XH－XL）/N(H－L)（XH为高分组总分， XL为低分组总分，H为该题最高分，L为该题最低分，N为考生总人数的25%）
（3）整个试卷的区分度计算：试卷的区分度是指一份试卷总体对学生的区分程度。
其计算办法为：将每道题目的区分度与满分值相乘的积相加，然后将其总和除以试卷的满分值，所得的商即为整个试卷的区分度。
上述标准也常是在设计测验试卷过程中所要考虑的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2、相关法 以项目分数与效标分数（效标分数不易得到时，
以测验总分代替）的相关作为项目区分度的指标 相关越高，区分能力越好
具体方法：积差相关法，点二列相关 二列相关，Φ相关
①点二列相关：适用于一类变量为二分名义变量， 另一类变量为连续变量的成对变量的相关计算。
②二列相关：适用于两个连续变量，但其中一个 变量被人为分成两类。
三、难度对测验的影响 1、难度对测验分数分布的影响
2、难度对测验鉴别力的影响
测验的主要功效之一就是鉴别考生实际水平 的高低。适量难度可以加大考生得分的差异， 从而提高测验的鉴别力。
P值越接近0.50，试题的鉴别能力就越高； 相反，P值越接近1.00或0，试题的鉴别能 力就越低。
3、难度与测验目的的关系
低分组 D、按照上述公式计算项目难度值
例：100人参加某测验，高分组与低分组各 取27人，其中第一题高分组20人答对，低 分组10人答对。这道题的难度系数是多少？
（2）主观题的极端分组法
步骤：
A、按测验总分由高到低排序 B、从高分段向下选出全部试卷的25％作为
高分组 C、从低分段向上选出全部试卷的25％作为
（1）对于一般的常模、参照测验而言，其目的在于 测量个体差异，一般只要求测验题目的平均难度为 0.50，而个题难度可在0.50+0.20之间 。
（2）当测验用与选拔或诊断时，题目的难度值应更 多地接近录取率。
（3）就选择题而言，P值应大于概率水平。P值若 等于概率，说明被试纯粹凭猜测作答；P值若小于概 率，说明题目很可能存在问题。
第六章 测验项目的难度与区分度
[内容提示] 一、难度 二、区分度
第一节 项目的难度分析 一、难度的定义 1、难度：是指项目的难易程度。
2、难度的指标：
P R N
R：答对该题的人数；N：参加测验的总人数以 通过率表示难度时，通过人数越多，即P值越 大，难度就越低；P值越小，难度越高。因为P 值大小与难度高低成反比，有人将其称作易度。
③ Φ相关：适用于两个变量均为二分名义变量。
学生序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 效标分数 65 70 31 49 80 50 35 16 81 69 78 55 77 90 42 第1题得分 0 1 0 1 1 0 1 0 0 1 1 0 1 1 0
0.75
2、极端分组法
（1）客观题的极端分组法
根据测验分数按高低排序，用两个极端组在某项目 上的平均通过率表示项目的难度
P PH PL 2
PH、PL分别为高分组与低分组的通过率。
步骤：
A、按测验总分由高到低排序 B、从高分段向下选出全部试卷的27％作为
高分组 C、从低分段向上选出全部试卷的27％作为
27％的被试为低分组 分别求出这两组被试通过试题的百分比
（2）主观性试题区分度的计算公式：
D XH XL N(H L)
说明： XH：高分组所得总分；XL：低分组 所得总分；H：该题最高分；L：该题最低分； N：考生总人数的25％
步骤：按测验总分由高到低排序；分别确定 测验总分的25％、25％作为高低分组；列 出试题分析表；将数据带入以上公式加以计 算
低分组 D、按照上述公式计算项目难度值
P X H X L 2NL 2N(H L)
XH：高分组所得总分； XL：低分组所得总分；H：该题最高分；L：该题最低分；N：考生总人数的25％
例：200人参加某测验，该测验最后一题作文 题总分30分，该题最高得分29分，最低得分 13分，高分组平均分24分，低分组平均分18 分，请计算该题的难度？
例题：假定某题有75％的被试通过，若该题 有5个备选答案，则校正后的通过率为：
当有4个备选答案时，CP=0.67； 当有3个备选答案时，CP＝0.63； 当有2个备选答案时，CP＝0.54。
（2）主观题的平均数法
X P
max
非二分法记分：例如某一数学能力测验题的 满分为20分，全体被试在该题上的平均分数 为15分，则该题的难度为： P＝15/20＝
项目难度应根据测验目的来确定，不能认为 测验项目都必须保持值等于0.50最好。事实 上，一方面，如果每个项目的难度都等于 0.50，测验项目之间存在高度相关，会使测 验分数的分布呈双峰状态，即有5%的人所 有题目都答对，得满分，另外5%的人全部 答错，得0分。
为此，难度水平的确定应根据测验的目的，性质及 题目的形式。
三、难度对测验的影响
1、难度对测验分数分布的影响
（1）P值越小 →测验项目越难→测验分数集 中在低分端→分数分布呈正偏态分布。
（2）P值越大→测验项目越易→ 测验分数集 中在高分端→分数分布呈负偏态分布。
即：测验项目过份容易或过份难，都会造 成测验分数偏离正态分布，而使测验分数的 离散程度变小。
（4）整个测验的难度水平取决于组成测验的题目的 难度。
第二节、项目的区分度
一、区分度的概念 区分度是测验对被试实际水平的区分程度。是测
验项目分析的重要内容 是作为评价项目质量、筛选项目的主要指标与依
据
通常用D表示，取值范围为＋1.00至－1.00
D越高时，试题的质量越好，D值范围在-1.00和 +1.00之间，值越大，试题的区分能力越强。
当D为正值时，说明试题是积极区分，即高分组通过 率高，低分组通过率低。为D负值时，说明试题有消 极区分，高组通过率低，低组通过率高。D为0时， 说明试题无区分度。
二、区分度计算方法
1、项目鉴别指数法
（1）客观性试题区分度的计算公式：
D＝PH－PL
按测验总分从高到低排序 确定测验总分最高的27％的被试作为高分组，最低的
二、难度的计算
1、原始定义法 （1）客观试题（二分法记分）：
P R N
由于选择题允许猜测，所以通过率可能因机遇作用 而变大。备选答案的数目越少，机遇的作用越大， 越不能真正反映测验的难度。
为此，吉尔福特提出了一个P值校正公式。
CP KP 1 K 1
CP：校正后的难度值；P：实际得到的通过 率；K：选项数目