第三讲 信度难度区分度
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
t
方差。 例3 某校《写作》试卷由三题组成，样本容量为100，算得总分 标准差 S 13.03，第一、二、三题的得分标准差 t 为 ，求该测验的信度。
wenku.baidu.com
S1 3.38, S2 5.25, S3 8.70
解：根据克朗巴赫公式可算得信度为
3 13.032 (3.382 5.252 8.702 ) 0.4868 2 3 1 13.03
第三讲 测验的质量分析
§3.1
§3.2
测验的信度
测验的效度
§3.3
§3.4
测验的难度
测验的区分度
§3.1 测验的信度
一、信度的定义 二、信度系数的计算 三、提高测验信度的途径
任何一种测量都必然会存在误差。误差是不可 避免的，可以分两种：
随机误差：是由一些偶然因素引起的误差。比如一个考生 在测验的得分，他的心情好与不好时测验得分会不一样， 这种误差就叫随机误差。 系统误差：是指与测量目的无关的因素引起的误差，如考 生的阅读理解能力会对他的数学成绩产生影响。物理测验 中含有与物理知识无关的数学内容等等，都会他的成绩， 这种误差就称为系统误差。系统误差一般的表现是稳定的， 不变的。
学生编号 x y 学生编号 x y 1 8 10 11 16 21 2 15 10 12 23 18 3 8 15 13 21 26 4 19 20 14 21 19 5 15 22 15 24 22 6 15 19 16 22 21 7 20 16 17 19 21 8 23 16 18 27 22 9 20 17 19 25 16 10 19 16 20 20 23
0.7以下，表明误差太大，该测验不能使用。
二、信度系数的计算
实际工作中，通过对测验结果的一致性程度来计算信度的，主要
有三种：稳定性系数、等值性系数和内在一致性系数。
1、稳定性系数（再测信度）
用同一个测验，对同一组考生前后两次进行测验，两次测验分数
的相关系数为再测信度.因为它能反映两次测验结果的一致性和稳定程 度，也称稳定系数。其计算公式为：
例1 若10名学生奇数题得分与偶数题分如下表所示，试求这份整 体试卷的分半信度。 学生 x y 1 38 30 2 35 32 4 21 8 5 27 18 6 42 25 7 14 15 8 14 22 9 28 21 10 28 17 11 7 9
解：由上表可求得
x 254, y 187, xy 5259 x2 7612 y 2 3917 , , .
观察分数用X表示，XT、XSE表示测量误差，则真分数的基 本方程式为：X = XT + XSE 。这里的误差只包括随机误差， 系统误差是包含在真分数里的。
数学模型
假设
根据公式我们可推导出三个相互关联的假设公理： 第一，反复观察N次，误差平均数为零，即真分数等于实得 分数的平均数XT=E(X)或E（XSE）=0. 第二，真分数和测量误差之间相互独立。ρ（XT, XSE ）=0 第三，各平行测验误差相关为零。ρ（ XSE1, XSE2 ）=0
例4 有6位教师各自评阅五篇作文，每位教师给每篇作文都评 了等级，并列入下表，向6位评分者所评等级的一致性如何？
评分者 A B C
作文编号（N=5） 1 3 3 3 2 5 5 4 3 2 2 1 4 4 4 5 5 1 1 2
D
E F
3
3 3
5
5 5
1
2 2
4
4 4
2
1 1
Ri
解：
18
i
29
10
三、提高测验信度的途径
1、适当增加题量：增加样本容量，减小抽样误差，使信度增高。
加长测验后的信度计算公式为：
式中 度。
s 为原测验的信度，n 为加长的倍数， n 为加长 n 倍后的信
n 0.8
s 0.56 ，现在要求信度
，需要加长到多少试题？
ns n (n 1)s 1
学生编号
x y 学生编号
21
23 21 31
22
24 23 32
23
21 20 33
24
24 18 34
25
23 26 35
26
28 18 36
27
28 26 37
28
31 21 38
29
28 28 39
30
28 23 40
x
y 学生编号 x y
26
24 41 37 26
33
26 42 28 34
27
3、内部一致性系数
内部一致性系数是同一个测验的两部分得分的相关系数，有两种计 算方法：①分半信度 分半法是按正常的程序实施测验，然后将全部试题分成相等的两半 （通常采用奇偶分半法），根据各人在这两半测验的分数计算其相关系 数。由于这样求得的只是半个测验的信度，因此要用斯皮尔曼-布朗 （Spearman-Brown）公式较正，校正公式为： 2r （3.1.4） XX 1 r 式中 为两半测验的相关系数， XX 为整个测验的信度值。
s
2 X
s T s SE s V s RE s SE
2 2 2 2 2
测验的信度是指测验结果的可靠性或可靠程度。可靠性是指对
同一组对象进行两次相同测量所得结果的一致性和稳定性程度。
一、信度的定义
测量学中，信度可定义为真分数方差与实得分数方差的比率， 即
XX
2 ST 2 SX
于是
10 5259 254187 10 7612 2542 10 3917 1872
XX
2 0.73 0.844 . 1 0.73
0.73.
再由公式(3.1.4)得
②库-理信度系数公式 库德（Kuder）、理查逊（Richardson）和克朗巴赫 （Cronbach）因不满意半分法，从方差分析的角度提出了以试题统 计量为转移的信度求法，可避免任意两半分的误差。他们提出的适用 于客观题试卷的一系列公式，较为常用的是K—R20公式：
25
8
R 18 29 10 25 8 90, R 18 29 10 25 8 1954.
2 i 2 2 2 2 2
代入公式(3.1.11)，注意
K 6, N 5 ，则 902 1954 5 W 0.93 1 6 2 (53 5) 12
α系数法能编成程序由电子计算机求得结果。
4、评分者的信度
当测验是论文式试题时，不同评分者对同一试卷的评分结果不相 同，因为此时误差主要来自评分者的差异。主要计算公式为：
W
Ri2
( Ri ) 2 N
(3.1.11)
1 K 2 (N 3 N ) 12
i
R 是第 i 题等级和 。 式中K为评分者人数，N为评分的试卷数，
（3.1.1）
2 S X 中所占的比重越大，
2 2 2 S X ST S E
这表明，真分数方差 S 2 在实得分数方差 则信度 由于
就越高。 XX
XX
T
公式（3.1.1）改写为
ST2
是未知数，所以根据误差方程
2 2 S X SE 2 SX 2 SE 2 SX
可将
1
(3.1.2)
XX
X X
1
2
/ N X1X 2
（3.1.3）
式中X1和X2为同一考生两次的测验分数， 1 , X 2为两次测验的平均分数， X
S1 S 2
S1和S2为两次测验的标准差，N为考生人数。
再测信度的计算在使用时，两次测验之间的时间间隔要适宜，相隔 时间不要太短，也不宜太长。再测法适用于速度测验而不适用于难度测 验，同时要提高考生的积极性，使他们认真负责的参加每次测验。 2、等值性系数（复本信度） 两个等值但具体内容不同的测验，在最短时距内，对相同考生分两 次测验所得分数的相关系数即为复本信度，计算公式与（3.1.3）相同。 所谓等值是指测验在题型、题数、难易、时限以及题目内容和形式等方 面相同或相似。
而 S 2和
X
有实际意
2 S E 都可以从一组实得分数中计算出来，所以（3.1.2）式更
从公式（3.1.1）或（3.1.2）看出，若真分数T与实得分X接近时，
2 SX ST2也会接近，而误差 及 和
就会很小，此时信度就会增大。可 E S2
E
见，信度是实测值与真值之间差距大小的量度。测验信度越高，误差 就越小，测验的结果也越可靠。理想情况下，误差为零时，信度达到 最大值
S 1 pi ，
2 t
i
为所取样本中考生总分的方差。此外，
例2 某省年度教育自学考试《英语泛读》试卷由100题组成，每题答 对得1分，不答或答错得0分，现分层按比例抽取50份试卷，并规定奇号题 得分为x，偶号题分得为y，列表如下(表3.1)，试用库—理公式计算信度。
表3.1 《英语泛读》50份试卷的奇偶题得分
1 1
所有题的
pq
i 1 i
100
i
21.4096
。然后由库-理公式得
100 21.4096 k (1 ) 0.9081 2 100 1 14.56
库-理还提出另一公式，用来计算同质性信度时，不需要逐题计算通 过率，该公式为
K R21 公式：
nSt2 X (n X ) (n 1) S
(3.1.18)
例6 原来由6道题组成的测验，其信度 提高到 解：由(3.1.18)式得
0.8 (1 0.56) n 3.14 s (1 n ) 0.56 (1 0.8)
加长后的题数=原长 n
n (1 s )
6 3.14 19
。
2、用标准化考试：尽量减少各环节的测验误差，特别是提高
28 43 31 30
26
28 44 33 33
27
29 45 36 37
30
21 46 35 37
31
26 47 39 37
24
29 48 42 36
33
31 49 46 37
29
31 50 41 40
，再逐题计算 p q 后 14.562 i i t p1 求和，第1题有43人答对，答对率： 0.86 , 则答错率 q 1 p 0.14 ,于是 p1q1 0.86 0.14 0.1204 解：先计算样本中考生的总分方差S 2
2 t
n 1 n pi qi k ( ) 2 n 1 St
其中
(3.1.8)
X
为测验总分的平均数。
③克朗巴赫公式 克朗巴赫提出了论文式测验的信度公式（α系数），其基本想法是 2 以每题得分的方差 Si 来代替 pi qi ：
S2 S2 n t i (3.1.10) n 1 St2 式中n为测题数， 2为所取样本的总分方差， 2 为样本的第 i 题得分 S Si
(；当信度很低，甚至降为零时，表明测验分数中 1) XX
充满误差，它比不测验还糟。
时，测验可靠性很高，但不常见； XX 为0.9～0.94是通常能得到的最 好结果； XX 为0.8～0.9也比较好；
XX
信度的值在（0～1）之间，称为信度系数。当 XX 为0.95～0.99
为0.7～0.79尚可使用，XX 在
在实际应用当中，用平行测验反复测量同一个人的同 一心理特质是行不通的，因为平行测验不仅要求所测 特质相同，对题目、数量、难度、区分度等也要保持 一致性。这就增加了编制方面的困难。一般我们都是 用同一个测验测量一个团体，团体中的每个人的误差 可以假定是随机，并服从正态分布。所测团体的实测 分数、真分数和误差分数的方差之间有如下的关系，
测验成绩中包含有这两种误差，它是以测验分 数的形式出现的。如何区分包含在测验分数中 的这两种误差呢？ 在经典测量理论中，对这两种误差的主要是用 信度与效度来进行描述的。
在介绍信度与效度的概念前，我们需要了解测 量的真分数理论。
真分数
为了研究方便，心理学家引入了真分数的概念。真分数即 是测量中不存在测量误差时的真值或客观值，操作定义就 是无数次测量结果的平均值，在实际的测量中，误差是不 可避免的，当测量结果接近于真分数时，我们就说误差较 小。通常用XT表示真分数。
2 n St pi qi k n 1 St2
(3.1.7)
式中n是测题数，Pi是第i题的答对率（难度指数）， 为第i题的答错 q 率，显然 qi
n 因 pi qi 0 ,从而使括号中的值不等于1，故乘以修正系数 以 n 1
使信度估计值不致偏小。
方差。 例3 某校《写作》试卷由三题组成，样本容量为100，算得总分 标准差 S 13.03，第一、二、三题的得分标准差 t 为 ，求该测验的信度。
wenku.baidu.com
S1 3.38, S2 5.25, S3 8.70
解：根据克朗巴赫公式可算得信度为
3 13.032 (3.382 5.252 8.702 ) 0.4868 2 3 1 13.03
第三讲 测验的质量分析
§3.1
§3.2
测验的信度
测验的效度
§3.3
§3.4
测验的难度
测验的区分度
§3.1 测验的信度
一、信度的定义 二、信度系数的计算 三、提高测验信度的途径
任何一种测量都必然会存在误差。误差是不可 避免的，可以分两种：
随机误差：是由一些偶然因素引起的误差。比如一个考生 在测验的得分，他的心情好与不好时测验得分会不一样， 这种误差就叫随机误差。 系统误差：是指与测量目的无关的因素引起的误差，如考 生的阅读理解能力会对他的数学成绩产生影响。物理测验 中含有与物理知识无关的数学内容等等，都会他的成绩， 这种误差就称为系统误差。系统误差一般的表现是稳定的， 不变的。
学生编号 x y 学生编号 x y 1 8 10 11 16 21 2 15 10 12 23 18 3 8 15 13 21 26 4 19 20 14 21 19 5 15 22 15 24 22 6 15 19 16 22 21 7 20 16 17 19 21 8 23 16 18 27 22 9 20 17 19 25 16 10 19 16 20 20 23
0.7以下，表明误差太大，该测验不能使用。
二、信度系数的计算
实际工作中，通过对测验结果的一致性程度来计算信度的，主要
有三种：稳定性系数、等值性系数和内在一致性系数。
1、稳定性系数（再测信度）
用同一个测验，对同一组考生前后两次进行测验，两次测验分数
的相关系数为再测信度.因为它能反映两次测验结果的一致性和稳定程 度，也称稳定系数。其计算公式为：
例1 若10名学生奇数题得分与偶数题分如下表所示，试求这份整 体试卷的分半信度。 学生 x y 1 38 30 2 35 32 4 21 8 5 27 18 6 42 25 7 14 15 8 14 22 9 28 21 10 28 17 11 7 9
解：由上表可求得
x 254, y 187, xy 5259 x2 7612 y 2 3917 , , .
观察分数用X表示，XT、XSE表示测量误差，则真分数的基 本方程式为：X = XT + XSE 。这里的误差只包括随机误差， 系统误差是包含在真分数里的。
数学模型
假设
根据公式我们可推导出三个相互关联的假设公理： 第一，反复观察N次，误差平均数为零，即真分数等于实得 分数的平均数XT=E(X)或E（XSE）=0. 第二，真分数和测量误差之间相互独立。ρ（XT, XSE ）=0 第三，各平行测验误差相关为零。ρ（ XSE1, XSE2 ）=0
例4 有6位教师各自评阅五篇作文，每位教师给每篇作文都评 了等级，并列入下表，向6位评分者所评等级的一致性如何？
评分者 A B C
作文编号（N=5） 1 3 3 3 2 5 5 4 3 2 2 1 4 4 4 5 5 1 1 2
D
E F
3
3 3
5
5 5
1
2 2
4
4 4
2
1 1
Ri
解：
18
i
29
10
三、提高测验信度的途径
1、适当增加题量：增加样本容量，减小抽样误差，使信度增高。
加长测验后的信度计算公式为：
式中 度。
s 为原测验的信度，n 为加长的倍数， n 为加长 n 倍后的信
n 0.8
s 0.56 ，现在要求信度
，需要加长到多少试题？
ns n (n 1)s 1
学生编号
x y 学生编号
21
23 21 31
22
24 23 32
23
21 20 33
24
24 18 34
25
23 26 35
26
28 18 36
27
28 26 37
28
31 21 38
29
28 28 39
30
28 23 40
x
y 学生编号 x y
26
24 41 37 26
33
26 42 28 34
27
3、内部一致性系数
内部一致性系数是同一个测验的两部分得分的相关系数，有两种计 算方法：①分半信度 分半法是按正常的程序实施测验，然后将全部试题分成相等的两半 （通常采用奇偶分半法），根据各人在这两半测验的分数计算其相关系 数。由于这样求得的只是半个测验的信度，因此要用斯皮尔曼-布朗 （Spearman-Brown）公式较正，校正公式为： 2r （3.1.4） XX 1 r 式中 为两半测验的相关系数， XX 为整个测验的信度值。
s
2 X
s T s SE s V s RE s SE
2 2 2 2 2
测验的信度是指测验结果的可靠性或可靠程度。可靠性是指对
同一组对象进行两次相同测量所得结果的一致性和稳定性程度。
一、信度的定义
测量学中，信度可定义为真分数方差与实得分数方差的比率， 即
XX
2 ST 2 SX
于是
10 5259 254187 10 7612 2542 10 3917 1872
XX
2 0.73 0.844 . 1 0.73
0.73.
再由公式(3.1.4)得
②库-理信度系数公式 库德（Kuder）、理查逊（Richardson）和克朗巴赫 （Cronbach）因不满意半分法，从方差分析的角度提出了以试题统 计量为转移的信度求法，可避免任意两半分的误差。他们提出的适用 于客观题试卷的一系列公式，较为常用的是K—R20公式：
25
8
R 18 29 10 25 8 90, R 18 29 10 25 8 1954.
2 i 2 2 2 2 2
代入公式(3.1.11)，注意
K 6, N 5 ，则 902 1954 5 W 0.93 1 6 2 (53 5) 12
α系数法能编成程序由电子计算机求得结果。
4、评分者的信度
当测验是论文式试题时，不同评分者对同一试卷的评分结果不相 同，因为此时误差主要来自评分者的差异。主要计算公式为：
W
Ri2
( Ri ) 2 N
(3.1.11)
1 K 2 (N 3 N ) 12
i
R 是第 i 题等级和 。 式中K为评分者人数，N为评分的试卷数，
（3.1.1）
2 S X 中所占的比重越大，
2 2 2 S X ST S E
这表明，真分数方差 S 2 在实得分数方差 则信度 由于
就越高。 XX
XX
T
公式（3.1.1）改写为
ST2
是未知数，所以根据误差方程
2 2 S X SE 2 SX 2 SE 2 SX
可将
1
(3.1.2)
XX
X X
1
2
/ N X1X 2
（3.1.3）
式中X1和X2为同一考生两次的测验分数， 1 , X 2为两次测验的平均分数， X
S1 S 2
S1和S2为两次测验的标准差，N为考生人数。
再测信度的计算在使用时，两次测验之间的时间间隔要适宜，相隔 时间不要太短，也不宜太长。再测法适用于速度测验而不适用于难度测 验，同时要提高考生的积极性，使他们认真负责的参加每次测验。 2、等值性系数（复本信度） 两个等值但具体内容不同的测验，在最短时距内，对相同考生分两 次测验所得分数的相关系数即为复本信度，计算公式与（3.1.3）相同。 所谓等值是指测验在题型、题数、难易、时限以及题目内容和形式等方 面相同或相似。
而 S 2和
X
有实际意
2 S E 都可以从一组实得分数中计算出来，所以（3.1.2）式更
从公式（3.1.1）或（3.1.2）看出，若真分数T与实得分X接近时，
2 SX ST2也会接近，而误差 及 和
就会很小，此时信度就会增大。可 E S2
E
见，信度是实测值与真值之间差距大小的量度。测验信度越高，误差 就越小，测验的结果也越可靠。理想情况下，误差为零时，信度达到 最大值
S 1 pi ，
2 t
i
为所取样本中考生总分的方差。此外，
例2 某省年度教育自学考试《英语泛读》试卷由100题组成，每题答 对得1分，不答或答错得0分，现分层按比例抽取50份试卷，并规定奇号题 得分为x，偶号题分得为y，列表如下(表3.1)，试用库—理公式计算信度。
表3.1 《英语泛读》50份试卷的奇偶题得分
1 1
所有题的
pq
i 1 i
100
i
21.4096
。然后由库-理公式得
100 21.4096 k (1 ) 0.9081 2 100 1 14.56
库-理还提出另一公式，用来计算同质性信度时，不需要逐题计算通 过率，该公式为
K R21 公式：
nSt2 X (n X ) (n 1) S
(3.1.18)
例6 原来由6道题组成的测验，其信度 提高到 解：由(3.1.18)式得
0.8 (1 0.56) n 3.14 s (1 n ) 0.56 (1 0.8)
加长后的题数=原长 n
n (1 s )
6 3.14 19
。
2、用标准化考试：尽量减少各环节的测验误差，特别是提高
28 43 31 30
26
28 44 33 33
27
29 45 36 37
30
21 46 35 37
31
26 47 39 37
24
29 48 42 36
33
31 49 46 37
29
31 50 41 40
，再逐题计算 p q 后 14.562 i i t p1 求和，第1题有43人答对，答对率： 0.86 , 则答错率 q 1 p 0.14 ,于是 p1q1 0.86 0.14 0.1204 解：先计算样本中考生的总分方差S 2
2 t
n 1 n pi qi k ( ) 2 n 1 St
其中
(3.1.8)
X
为测验总分的平均数。
③克朗巴赫公式 克朗巴赫提出了论文式测验的信度公式（α系数），其基本想法是 2 以每题得分的方差 Si 来代替 pi qi ：
S2 S2 n t i (3.1.10) n 1 St2 式中n为测题数， 2为所取样本的总分方差， 2 为样本的第 i 题得分 S Si
(；当信度很低，甚至降为零时，表明测验分数中 1) XX
充满误差，它比不测验还糟。
时，测验可靠性很高，但不常见； XX 为0.9～0.94是通常能得到的最 好结果； XX 为0.8～0.9也比较好；
XX
信度的值在（0～1）之间，称为信度系数。当 XX 为0.95～0.99
为0.7～0.79尚可使用，XX 在
在实际应用当中，用平行测验反复测量同一个人的同 一心理特质是行不通的，因为平行测验不仅要求所测 特质相同，对题目、数量、难度、区分度等也要保持 一致性。这就增加了编制方面的困难。一般我们都是 用同一个测验测量一个团体，团体中的每个人的误差 可以假定是随机，并服从正态分布。所测团体的实测 分数、真分数和误差分数的方差之间有如下的关系，
测验成绩中包含有这两种误差，它是以测验分 数的形式出现的。如何区分包含在测验分数中 的这两种误差呢？ 在经典测量理论中，对这两种误差的主要是用 信度与效度来进行描述的。
在介绍信度与效度的概念前，我们需要了解测 量的真分数理论。
真分数
为了研究方便，心理学家引入了真分数的概念。真分数即 是测量中不存在测量误差时的真值或客观值，操作定义就 是无数次测量结果的平均值，在实际的测量中，误差是不 可避免的，当测量结果接近于真分数时，我们就说误差较 小。通常用XT表示真分数。
2 n St pi qi k n 1 St2
(3.1.7)
式中n是测题数，Pi是第i题的答对率（难度指数）， 为第i题的答错 q 率，显然 qi
n 因 pi qi 0 ,从而使括号中的值不等于1，故乘以修正系数 以 n 1
使信度估计值不致偏小。