量表的信度与效度分析计算

编码员间信度
(inter-coder reliability)
3、等价性分析 在内容分析中，要评价编码员间信度 编码：将分析单位（如单词、符号、主题等） 置于各种内容类别中
不同的编码者独立地编码 如果能得到比较一致的结果 则信度较高
3、等价性分析--编码者间信度的计算公式
霍斯提(Holsti)公式 假定两个编码员分别同时做了m1和m2个 单位的编码，其中一致的编码数为m，则
α = K (1 - Σ σ
K σ i2 Σ σ σ T2
i
2/σ
T
2)/(K-1)
i
2
量表中题（项目）的总数 第i个题（项目）得分的题内方差 K个题项的方差之和 总得分（所有题项得分之和）的方差
α 信度系数是评估量表内部一致性的比较常用系数
2、内在一致性分析 方法之三：平均相关系数法 缺点：偏重于项目之间的相关 而不是整个量表的信度 项目越多，平均相关系数就可能越高 提高信度的方法之一： 增加量表中的测量项目
1、内容效度
• 尽量收集和阅读与测量内容有关的资料 • 除了研究人员的主观判断之外 • 最好再请一些专家来帮助判断
1、内容效度 单项与总和相关效度分析法
• 确定各个具体的题项对整个量表的效度是否 都有足够的贡献 • 或考察量表内的题项是否具有同质性
计算每个题项的得分与总分的相关系数 如果相关不显著，表示该题项的鉴别力低，最好剔除 题项与总和的相关关系越显著，量表的内容效度也越高
2、效标效度
也叫做效标关联效度或独立标准效度 效标是一个与量表有密切关联的独立标准 • • • 将量表所测特性看成因变量 将效标看成自变量 所测特性与效标密切相关的量表 才是有效的量表
2、效标效度的分析方法
• • 考察所测特性（因变量）与效标（自变量） 是否有显著的相关 (相关分析) 或是对效标的不同取值，特性的值是否表 现出显著的差异 (t检验、F检验） 效标的确定并不是一件容易的事 选择效标一般要根据某种已知的理论、或 某种已经得到肯定的结论
1、内容效度
例如， 1993 年卜卫等在厦门受众调查问卷中（见 “媒介·人·现代化”），设计了一个四级李克动机 量表，以测试厦门受众的媒介使用动机。表中的受 众媒介动机量表就是剔除了不合格题项后的量表， 表中的各个题项的得分与总分都是显著相关的（概 值 P≤0.001 ），说明量表内的各个题项之间具有 较好的同质性。
1、稳定性分析
方法： 用“再测信度”来测量稳定性 再测信度：两次测量结果间的相关系数
相关系数越接近 1，表示稳定性越好
1、稳定性分析
缺点：
一般应用中很难真正实现（人力、财力、时间） 再测信度的应用有局限性 • 第一次的测量可能会影响到第二次（信度偏高）
• 两次测量间客观的情况可能有变化（信度偏低）
表
厦门受众的媒介使用动机--四级李克动机量表，以及各题项与总和的相关
非常 符合 4 4 4 4 4 4 4 4 4 4 4 4 与总和 的相关 ** ** ** ** ** ** ** ** ** ** ** **
您为什么看电视、报纸或杂志，和听广播呢？下列情况符合您吗？ 不 有点 比较 符合 符合 符合 1 2 3 1、为了娱乐 1 2 3 2、为了消遣 1 2 3 3、满足好奇心 1 2 3 4、寻求购物参考 1 2 3 5、寻求解决工作、生活问题的方法 1 2 3 6、增加新知识、新见闻 1 2 3 7、了解别人对各种事物的看法 1 2 3 8、了解各地的事情 1 2 3 9、了解方针政策 1 2 3 10、和家人或朋友共享欣赏或阅读乐趣 1 2 3 11、工作时可以得到调剂 1 2 3 12、增加谈话资料
• •
2、效标效度的举例
• 用高考的成绩，作为预测学生大学期间学业成绩的效标 （是否有研究结果表明，这两者之间是有密切相关关系的） • 设计测量人们现代化观念的量表时，媒介接触行为可 能是主要的效标之一
（很难设想不看报、不听广播的人会具有现代化的观念） 可考虑以媒介接触频度、时间、内容等为具体的效标
与研究者设计量表时假设的结构一致 说明这一动机量表具有很好的结构效度
表 6-8 厦门受众的媒介使用动机量表的因子分析结果 公共因子 媒介使用动机量表中的题项 负荷量 增加新知识、新见闻 因子一 了解别人对各种事物的看法 信息寻求动机 了解各地的事情 了解方针政策 为了娱乐 为了消遣 因子二 满足好奇心 娱乐消遣动机 和家人共享阅读的乐趣 工作时可以得到调剂 增加谈话资料 因子三 寻求购物参考 社会功利动机 寻求解决工作、生活问题的方法 0.81387 0.71011 0.68234 0.64671 0.74905 0.77368 0.56495 0.36928 0.57227 0.51867 0.84701
• 在多大程度上给出了他/她所想要的
例如，研究者希望测量电视广告的传播效果
目的：了解广告能否引起目标消费群的购买欲望 消费者的购物决策是否与观看的电视广告相关 如果：最终测得的不是广告对消费者购物决策的影响 而主要是消费者对广告艺术感染力的评价 结论：所用量表是无效的或是效度很低的
• •
信度高时效度不一定高 但效度高时信度一定高
因为各个项目的随机误差可能会相互抵消
2、内在一致性分析 小结： • 信度的高低既依赖于项目的内在一致性 • 也依赖于量表的长度 因此： • 一方面尽量设计内在相关性更高的项目 • 另一方面也可以考虑适当增加项目的数量
3、等价性分析 A 当使用两种不同的量表去测量同一概念时，这
两种量表是否等价？
方法：在同一时段中，让同一组被访者接受两种量表 的测试；计算两组得分之间的相关，用于评价信度
因子分析法
(factor analysis)
• 评价量表中的各个题项能否有效地区分研究对象
各题项能否有效地鉴别态度不同的被访者？ 题项内容的难易度是否合适？
项目分析法
(item analysis)
3、结构效度---因子分析法
• 因子分析法是一种高级的统计分析法
将量表中的题项集合成不同的群 使每一个群的变量（题项）共享一个公共因子 这些公共因子就代表了量表的基本结构
B 当两个评分者（或编码员）判断同一现象时， 评价结果是否一致？
方法：计算两个评分者评分之间的相关；或计算两个 编码员编码结果一致的比例，用于评价信度
3、等价性分析
• 前一种应用 A 比较少见（构造等价的量表 非常困难） • 后一种应用B比较常见，也称为 评分者内在信度
(inter-rater reliability)
• 将反向题作逆向处理后，计算累加量表的总分 • 总分按由小到大的顺序排列，划分成人数相等的四个组 • 分数最高和最低的两个组分别为“高分组”和“低分组” • 计算这两组的被访者在每个题项上的“通过率” PH和 PL 正向题的通过率=（“非常同意”+“比较同意”）的比例 逆向题的通过率=（“很不同意”+“不太同意”）的比例
三、信度评价
从三个方面来分析测量的信度
• 稳定性 (stability)
• •
内在一致性 (internal consistency) 等价性 (equivalency)
1、稳定性分析 也叫做测验--再测验法 目的： 考察对于同样的问答题（或测试） 对同一组被访者或受测试者 前后两次测量的结果是否基本一致
2、内在一致性分析 方法之一：折半法 (split-half technique) 注意：需先将量表中的反意题作逆向处理 再分别计算两部分的总得分 前提假设：两半题项得分方差大致相等
否则可能会低估信度系数
2、内在一致性分析 方法之二：alpha信度系数法
克朗巴哈提出用α 系数来测量累加量表的信度
3、等价性分析--编码者间信度的计算公式
史考特(Scott)指数
编码员间信度π = (π o - π e)/(1 - π e)
π o：观测到的一致性或叫实际一致性（用霍斯提公式计算） π e：纯粹由于偶然性而造成的一致性或叫期望一致性 （等于每个类别出现的相对频率的平方和）
3、等价性分析--编码者间信度的计算公式
四、效度评价
效度主要有三种类型：
• • • 内容效度 (content validity) 效标效度 (criterion validity) 结构效度 (construct validity)
1、内容效度 也叫做表面效度(face validity) • 用最简单的也是最基本的主观判断的方法
• 一般根据测量量表所选的题项来判断 • 仅从表面上来观察判断其是否能够代表想 要测量的内容或主题
• 利用霍斯特公式计算时，一般信度在90%或以上 • 利用史考特公式计算时，信度大都是75%或以上 考察编码员内(intra-coder)信度时
• 让同一个编码员在不同的时间内对同一个资料编码两次 • 然后借助以上公式计算编码-再编码信度
将上式中对应两个编码员的数据， 改为同一编码员的两次数据
例 在一项少儿电视节目内容分析的编码表中，两个编码员 分别同时独立地将100个少儿节目分配到如下三个类别中：1、 单本剧 2 、连续剧 3 、系列剧。已知编码不一致的节目 共计 8 个；这三个类别的节目数分别占 30% 、 45% 和 25% 。试 分别利用霍斯提和史考特公式，评价这两个编码员编码的等 价性。 解： m1= m2 =100, m = 100-8 = 92 霍斯提信度 = 2m/(m1 + m2)=2(92)/(100+100)=0.92 π o = 0.92, π e = (0.30)2+(0.45)2+(0.25)2=0.355 史考特信度π = (π o - π e)/(1 - π e) = (0.92-0.355)/(1-0.355) = 0.876
2、内在一致性分析
目的：检验多项目量表中各个项目的一致性