信度和效度

• 使用分半信度时要注意两个问题： • 一是问卷题目所测的应是同一种特 质； • 二是两半题目应是等值的。对问卷 题目进行分半会造成了对整个问卷信 度的低估，为此需要对分半信度进行 校正。
(4)库得─理查森信度 (Kuder ─ Richardson)
• 库德-理查森信度适用于计算‚对或错‛的是 非题的同质性信度，其是计算所有可能的分半 信度的平均数。 • 最有代表性的计算公式是库德-理查森公式:
•
缺点： • 如复本编制不容易，易出现顺序 效应，受练习的影响； • 复本信度只能反应问卷内容所造 成的误差，无法反应答卷者本身所造 成的误差等。
(3)分半信度(split-half reliability)
• 当测验没有复本且测验不可避免地受到 时间的影响，只适合用于一次测验时，可 用分半信度。 • 分半的方法很多，一般是将奇数题和偶 数题各作为一半，而非前后分半，目的是 避免顺序效应。分半信度也叫折半信度， 其计算方法是将问卷的题目分成对等的两 半，分别求出两半题目的总分，再计算两 部分总分的相关系数。
5.提高信度的方法
• 问卷的信度越高，受到人、时、 地、物的干扰就越低，其所能反应 事实或让人相信的程度越高，因此 在问卷实施前如何有效提高信度是 问卷测验成败的关键。通常提高问 卷信度的方法为：
（1）适当延长问卷的长度
• 问卷题目较多，其在一定程度上排除了偶 然因素的影响，从而提高了问卷的信度。 • 但是问卷长度的增加与问卷的信度 的增加并不总是成正比的，当信度系数较 小时，延长问卷长度，问卷的信度系数增 加较大；而当信度系数较大时，延长问卷 长度对信度系数的影响就较小。
rKR20
S
2 X`
n (1 n 1
pq
i 1
n
i i
S
2 X
)
为问卷测验总得分的方差，pi表示答对该 题的人数占总答卷人数的比例，pi可视为该题的 难度，qi=1-pi 。式中n为问卷包含的题目数.
(5)克隆巴赫信度系数 (Cronbach’sronbach 于1951年创立的，用于评价问卷的内 部一致性。α系数取值在0到1之间， α系数越高，信度越高，问卷的内部 一致性越好。Cronbach’s α系数不 仅适用于两级记分的问卷，还适用于 多级计分的问卷。
Guttman）
• 库德-理查森系数 • 克隆巴赫α系数 • 评分者信度*
• （1）重测信度(test-retest reliability) • 假定短时间内一批对象的状况并 没有改变，对每个对象用同一个问卷 先后测验两次，两次测验得分的相关 系数就称为重测信度。重测信度是用 皮尔逊积差相关系数r公式计算的。
measurement Error reliability system Error validity
2.信度的定义
信度是用估计测量误差大小的尺度，来说明 问卷测验结果中测量误差所占的比率。 信度可定义为真实分数(true score)的方差与 测验实得分数(observed score) 的方差之比， 当实得分数变异可以全部由真实分数的变异解释 时，测验误差就是0，这时问卷测验的信度为1。
其计算公式为： n
n (1 i 1 2 ) n 1 SX 式中n为问卷包含的题目数，
S
2 i
S S
2 i` 为答卷者在第 题得分的方差， 2 X ` 为答卷者问卷测验总得分的方差。
i
• α系数有以下性质： • （1）α系数是所有可能的分半信度的平均 值； • （2）α系数是估计信度的最低限度； • （3）当问卷计分为二分名义变量时，即答 案为0或1，α系数与KR20值相同，即库德理查森信度公式是克隆巴赫的α系数的一个 特例。
• 若用表示问卷测验的信度，理论 应有 2 SE 2 S • r T 或 rXX 1 2
XX 2 SX
SX
• 式中 S 表示真实分数的方差； • 表示实得分数的方差； 2 • S X 表示误差的方差。
S
2 E
2 T
信度系数类型 ： • 重测信度 • 复本信度 • 分半信度（Spearman — Brown；
（4）测验的时间要充分
• 一份问卷应保证绝大多数答卷者 在规定的时间内能完成测验。当答卷 者不能从容地回答所有题目时，问卷 的得分就不能反映答卷者的真实情况。
（5）测验的程序要统一
• 问卷题目要统一，指导语、回 答问题的方式、分收试卷的方法和 问卷测验的时间等都要统一，这些 是问卷有较高信度的基本保证。
what's reliability?
信度？
一、背景准备
1、误差公理 误差(error)是指对事物某一特征的度量值偏离 真实值的部分，即测定值与真实值之差，样本统计量与总 体参数之差。 误差公理：实验结果都会有误差，误差自始至终 存在于一切科学实验的过程之中 2、误差的种类： 1）随机误差包括随机测量误差和抽样误差 随机测量误差：没有固定的倾向，可使多次观测结果有 大有小。 抽样误差：由于抽样造成的样本指标与总体指标之间的 差别。
2）系统误差：是由于偏倚（使研究结果按照一个 方向偏离总体， bias）产生的错误结果，可校正 和消除。 3）过失误差（gross error)是由于科研设计错误， 或实验者的主观片面、粗心大意引起的误差。
• 问卷测验中测量误差通常来源于两个方面： 一是产生于问卷测验过程中的误差，称为测 量误差（measurement Error），也称为随 机误差（random error） 二是由问卷的结构质量造成的误差，称为系 统误差（system Error）
（2）问卷的难度适中
• 当问卷题目难度太大时，问卷得 分普遍过低；当问卷题目难度太小时， 问卷得分普遍较高。问卷题目太难或 太易都会使问卷得分差异减小，使实 得分数方差减小，从而降低了问卷的 信度。
（3）问卷的内容尽量同质
• 内容同质的问卷，要求答卷者具 有相同的能力、知识和技能。因而为 了提高问卷的信度，问卷的内容应尽 量保持同质。
• 低信度：α<0.35, 中信度： 0.35<α<0.70,高信度： 0.70<α • 一般地，问卷的α系数在0.8以 上该问卷才具有使用价值。 –Cronbach‘s α值皆达0.85以 上，表明问卷信度良好。
(6)评分者信度（inter-scorer reliability）*
• 考察评分者信度的方法为，随机抽取相当 份数的问卷，由两位评分者按记分规则分 别给分；然后根据每份问卷的分数计算相 关系数，就得到评分者信度。评分者信度 也可以是一位评分者两次评分的相关系数。 如果是多个评分者或一位评分者两次以上 的评分，可采用肯德尔和谐系数和Kappa系 数。肯德尔和谐系数用于等级资料，Kappa 系数用于定性资料。
重测信度也存在着局限性：
•
•
间隔时间长，环境影响； 如果间隔时间短，记忆影响。
(2)复本信度（alternate form reliability）
• 复本通常是根据相同的设计说明分别独立 编制的两个平行问卷，即题目不同但是内 容相似的两份问卷。复本信度也叫等值性 系数（coefficient of equivalence）。 两个复本间隔一定时间或同时施于同一答 卷者所得分数的相关系数就是复本信度