信度和效度测量stata

k
n) k
j 1
i )2
n
(ti3j
i 1
tij )]
面试官
甲
1
乙
2
791.5 1 632

6
0.85 丙
1.5
1 32 (63 6) 3[(23 2) (23 2) (23 2)]
12
i
4.5
BCD
4 2.5 5 315 3 1.5 4 10 5 14

n
i 1
1 [k 2 (n3 12

2 i

1 n
(
n i 1
k
n) k
j 1
i )2
n
(ti3j
i 1
tij )]
i , n, k与上面相同；tij为第j个评价者对第i个被评对象所评结果中的相同等级数量。
Stata命令：
For rKendall ktau var1 var2
HRM量化技术研究
授课教师：谭远发 授课进度：信度与效度测量 2011-9-19
主要内容
测量理论 信度 效度 信度与效度的关系 信度与效度的分类及Stata计算 信度与效度的影响因素 提高信度与效度的途径
测量理论
信度(Reliability)
正如很多教科书所说：信度是指测试方法不受随机误差干扰的程度，反映 测试结果的一致性和稳定性(consistency, and stability)。
算连续变量的重测信度时，应采用rFisher系数更准确。
一般来说, ICC 大于0. 75 表示极好, ICC 在0. 6 ～0. 75 表示较好。
Stata命令： For rpearson corr var1 var2
For rFisher loneway var1 var2
复本信度
复本信度是指用母本和复本两次等值测评结果的一致性程 度。它的计算与重测信度相似，即计算母本和复本测评数 据的相关性。当测评结果为分数或数值时，用rPearson法或 rFisher计算；当测评结果为等级或名次时，用斯皮尔曼等级 相关系数 (Spearman Rank Correlation)。这些方法的适用性 和差异见下表：
原有的相关系数公式计算，也可以先算出每一对样本的等
级之差di，结合样本量n；再用下列公式计算：
n
6 di2
rSpearman Rank
1
i 1
n(n2
1)
上例中由于等级完全一致，所有di = 0，所以r-spearman rank =1 。
Stata命令：
For r-spearman rank spearman var1 var2
例题： 3名面试考官对6名应聘者的综合素质进行了测评，评 分经等级转换如下表所示，试分析评分者信度。
根据右表可知：n=6,k=3
n
6
i 63;

2 i

791.5
i 1
i 1
应聘者 评等级 A
rkandall-2

n
i 1
1 [k2(n3 12

2 i

1 n
(
n i 1
E
F
6 2.5
6
4
5.5 5.5
17.5 12

2 i
20.25 100 25 196 306.25 144
效度分类及计算
信度主要分为三大类： 内容效度(Content Validity)
抽样效度(Sampling Validity) 表面效度(Face Validity) 效标关联效度(Criterion-Related Validity) 同时效度(Concurrent Validity) 预测效度(Predictive Validity) 构思效度(Construct Validity) 收敛效度(Convergent Validity) 区分效度(Discriminant Validity)
Kappa 系数大于0. 75 表示重测信度很好, 在0. 4 ～ 0. 75 表示较好,而低 于0. 4 表示较差。如果结果显示某个问卷(量表)项目的Kappa 系数低于0. 4 , 则要考虑修改或删除该项目。
重测信度——ICC系数
对于连续变量，可采用Ronald Fisher(1954)提出的ICC (Intraclass Correlation Coefficient )系数来测量：
例如：在招聘应届毕业生时，可将应聘大学生的面 试和笔试综合分数与其在校综合测评成绩(效标)进 行相关性分析。
预测效度
(2)预测效度(Predictive Validity) ,它是指问卷(量表) 测量结果经过一段时间后与未来实际结果予以相关 性分析,两者之间的吻合程度。
例如：对于被录用者，可以将招聘测试分数与一段 时间(半年或一年)之后的工作业绩考核结果进行比 较。若这些人的工作绩效和招聘测试分数呈现密切 相关关系时，说明招聘方法是有效的，可以推广到 人员甄选与选拔中去。

1 n
(
n i 1

i
)2
1 k 2 (n3 n)
3192 1 1262

6
1 62 (63 6)
0.87
B C D
12
12
E
2
13
4
5
6
3
21
5
4
6
4
12
6
3
5
3
12
6
4
5
F
4
21
5
3
6
i
19 8 11 31 23 34

2 i
361 64 121 961 529 1156
pe

25 50
30 50

25 50
20 50
0.3 0.2 0.5
A
B 好 坏 合计 好 20 5 25
k pa pe 0.7 0.5 0.4
1 pe
1 0.5
坏 10 15 25 合计 30 20 50
将上表恢复为原始数据集后，采用Stata的kappa命令可得如下结果：
例题： 6名面试考官对6名应聘者的综合素质进行了测评，评 分经等级转换如下表所示，试分析评分者信度。
应聘者
根据右表可知：n=6,k=6
评等级 一 二 三 四 五
六
6
6
i 126;

2 i

3192
i 1
i 1
面试官
A
3
12
5
4
6
r kandall-1
n i 1

2 i
效标关联效度
效标关联效度是指问卷(量表)测量结果和效度标准( 被假设或定义为有效的某种外在标准)之间的一致 程度。
根据效度标准获取的时间可分为:同时效度和预测 效度。同时效度和预测效度的大小直接反映了问卷 (量表)效标关联效度的高低。
同时效度
(1)同时效度(Concurrent Validity) ,即同时在研究对 象中进行测评和效度标准测量得到的结果之间的相 关程度,其效度系数通常较低,多在0. 20～0. 60之间, 很少超过0. 70 ,一般以0. 4～0. 8 之间较理想。
效度(Validity)
T
它反映测试的准确性(accuracy)，即在多大程度上 测量了想要测的内容。
信度和效度的关系
可以证明：
举例来说
总而言之，信度和效度相互排斥又相互依存；没有信度就 不可能有效度；没有效度，信度就毫无意义；高信度可能 带来低效度；高效度也可能带来低信度。
信度分类及计算
确定测验内容效度常用的方法是由专家对测验项目 与所涉及的内容范围进行符合性判断，这是一种定 性分析的方法。
这个效度产生的过程是：首先进行职务分析，确定 完成该职位任务所需进行的工作，需具备的技能和 能力；其次，确定衡量这些特征的测试题目。最后 ，请相关领域专家就这些测试题目是否涵盖了有效 地内容进行评估和筛选。
分析效标关联效度的通常作法是对问卷(量表)测量 结果与有效标准进行相关分析,相关系数越大表示 问卷(量表)的效标关联效度越好,一般认为相关系数 在0. 4～0. 8 比较理想。
从表中数字可以看出，工人的考试成绩愈高其产量也愈高 ，二者之间的联系程度较一致，rPearson=0.691；并不算太高 ，这可能由于它们之间的关系并不是线性的。
如果分别按考试成绩和产量高低变换成等级(见上表第3、4
列)，则可以计算它们之间的斯皮尔曼等级相关系数为1。
计算斯皮尔曼等级相关系数可以将数据变换成等级以后用

2rh rh 1
通常地，前半部分问卷和后半部分问卷的方差不相等，Flanagan将其拓展为：
rFlanagan

2 [1
sa2 sb2 s2
ab
]
其中sa2，sb2，sa2b分别为前半部分、后半部分和整个问卷(量表)的方差。
内部一致性系数——Cronbach系数
当问卷(量表)的问项(项目)总数为奇数，无法分成为对等的两部分时,
通
常 的
rPearson

1 n 1
n i 1

xi sx
x



yi sy
y

相
关
x

1 n
n i 1
xi , sx2

1 n
n i 1
( xi
x )2
系数：y

1 n
n i 1