信效度分析

准则效度又称为效标效度或预测效度。准则效 度分析是根据已经得到确定的某种理论，选择一种 指标或测量工具作为准则（效标），分析问卷题项 与准则的联系。 若二者相关显著，或者问卷题项对准则的不同取值、 特性表现出显著差异，则为有效的题项。评价准则 效度的方法是相关分析或差异显著性检验。 在调查问卷的效度分析中，选择一个合适的准则往 往十分困难，使这种方法的应用受到一定限制。


同一种试验，对同一群受试者，前后测试两次，再 根据受试者两次测验分数计算其相关系数，即得出 再测信度。 重测信度所考察的误差来源是时间的变化所带来的 随机影响。在评估重测信度时，必须注意重测间隔 的时间。对于人格测验，重测间隔在两周到6个月 之间比较合适。 在进行重测信度的评估时，还应注意以下两个重要 问题：⑴重测信度一般只反映由随机因素导致的变 化，而不反映被试行为的长久变化。⑵不同的行为 受随机误差影响不同。



结构效度是指测量结果体现出来的某种结构与测值之间的对应 程度。结构效度分析所采用的方法是因子分析。 有的学者认为，效度分析最理想的方法是利用因子分析测量量 表或整个问卷的结构效度。 因子分析的主要功能是从量表全部变量（题项）中提取一些公 因子，各公因子分别与某一群特定变量高度关联，这些公因子 即代表了量表的基本结构。通过因子分析可以考察问卷是否能 够测量出研究者设计问卷时假设的某种结构。在因子分析的结 果中，用于评价结构效度的主要指标有累积贡献率、共同度和 因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程 度，共同度反映由公因子解释原变量的有效程度，因子载荷反 映原变量与某个公因子的相关程度

折半信度法是将调查项目分为两半，计算两半得分的相 关系数，进而估计整个量表的信度。 折半信度属于内在一致性系数，测量的是两半题项得分 间的一致性。这种方法一般不适用于事实式问卷（如年 龄与性别无法相比），常用于态度、意见式问卷的信度 分析。


在问卷调查中，态度测量最常见的形式是5级李克特 （Likert）量表。进行折半信度分析时，如果量表中含 有反意题项，应先将反意题项的得分作逆向处理，以保 证各题项得分方向的一致性，然后将全部题项按奇偶或 前后分为尽可能相等的两半，计算二者的相关系数。



某空间性向测验有20题单选题，分别在十 月与第二年四月施测同一组10名学生，以 下是测验结果：
Person Oct Apr A B C D E F G H I J
18
18
16
18
5
6
13
16
15
17
16
16
12
14
5
5
8
7
10
11

1.将数据导入spss
先将数据输入excel， 打开spss，【文件】→ 【打开文本数据】



1.沿用一致性信度分析里的数据，将没有信度 的Q1、Q8、Q10三个变量删去 2.按【分析】→【降维】→【因子分析】

因子分析之前， 首先对原始数据进行 KMO检验和barlett球 形检验，KMO值>0.5， （barlett球形检验的统 计量的显著性概率）p 值<0.05，问卷才有结 构效度，才能进行因 子分析。 从表中数据可以看出，p值=0.02<0.05，KMO值 =0.672>0.5，通过了检验。
理论上所有主成分的累积方差贡献率要达到85%以上， 意味着主成分就包含了原始数据85%以上的信息，信 息损失少。 在这个案例中，按照特征值大于1的原则，我们可以 提取出两个主成分，累积方差贡献率为64.734%，



在旋转元件矩阵当中，本应 该没有空白，但因为设置了 载荷大于0.6的才显示，所 以载荷比较小的就被屏蔽了。 由表中数据可看出，成分1 在Q6、Q5、Q4、Q3上的载 荷大于0.6，说明这4个指标 可以归为一类，以此推类， Q7、Q8这两个指标可以归 为另一类，而Q9在两个成 分的载荷都小于0.6，所以 可以说它是没有效度的。
信度主要是指测量结果的可靠性、一致性和稳 定性，即测验结果是否反映了被测者的稳定的、 一贯性的真实特征。 信度系数 大部分信度指标都以相关系数（r）表示，即 用同一样本所得到的两组资料的相关系数作为 测量一致性的指标，成为信度系数。 信度系数高表明测量的一致性程度高，测量误 差少。理想的状态是：r=1。一般来说，信度 系大于等于0.8，即可认为该测量是达到了足 够的信度。

6题的随堂测验施测5位学生， Y表示答对， N表示答错，以下是测验结果：
Person Joe Sam Sue Peg Gil Item 1 Y Y Y N N Item 2 Y N Y Y Y Item 3 Y N N N N Item 4 Y Y Y N N Item 5 N N Y Y Y Item 6 Y Y Y N Y
我们原始的数据有7个 指标，因为指标毕竟不是完 全相同的，我们把不完全相 同的指标强行归为一类，必 然会造成一些信息损失。 在对数据的7个指标归 类之后，对于Q2这个指标 的提取度，由原来的100% 变为50.1%，意味着损失了 49.9%的信息。 一般认为所有指标的信 息损失在40%以下，因N用0替换。
图为奇数和，偶数和亦然
1.计算α系数 【分析】 【度量】 【可靠性分析】
结果

该案例的α 值为0.731， 严格说来α 值要在0.8 以上，那 么就需要 进行调试， 试着让问 卷的信度 更高。
分析
度量 可靠性分析

在第二个表格的最 后一列，数值代表 如果删除这个问题， 剩余问题的α值。 当该值不降反 增，就意味着这个 问题是没有信度的， 可以上去，从而增 加问卷的信度。 可以从表中看 出第1、8、10项对 应的值不降反增， 即大于0.731，所以 可以删去这三项

效度分为三种类型:内容效度、准则效度和 结构效度。

内容效度又称表面效度或逻辑效度，它是指所设计 的题项能否代表所要测量的内容或主题。对内容效 度常采用逻辑分析与统计分析相结合的方法进行评 价。 逻辑分析一般由研究者或专家评判所选题项是否 “看上去”符合测量的目的和要求。 统计分析主要采用单项与总和相关分析法获得评价 结果，即计算每个题项得分与题项总分的相关系数， 根据相关是否显著判断是否有效。若量表中有反意 题项，应将其逆向处理后再计算总分。


当删除了 第1 、8 、10这 3项后，α系数 已经达到0.8了， 这说明该问卷 的信度已经足 够高了。 虽然从第二 个表格的最后 一列数据来看， 还有改进的空 间，但是已不 需要再删除项 了


效度即有效性，它是指测量工具或手段能 够准确测出所需测量的事物的程度。测量 结果与要考察的内容越吻合，则效度越高; 反之，则效度越低。


某自我概念量表，有20题是非题，题本A与 B 分别施测同一组10个人，分数愈高表示愈 具有正向自我概念，以下是施测结果：
Person Form A Form B A B C D E F G H I J
16
15
12
12
14
15
10
10
9
10
11
12
13
14
9
9
16
16
12
13


1. 将数据导入spss 2. 按【分析】→【相关】→【双变量】 3.将左边两变项选入右边「变量」内，在 「相关系数」方盒内选取「□Pearson」； 在「显著性检验」方盒内选取「□双尾检 验」；勾选最下面的「□标记显著性相关」 4.输出结果
从表格可以看出，信度系数为0.972，远大于0.8， 说明该量表信度高

如果一套测验有两种以上的复本，则可交替使用，根据 一个受试者接受两种复本测验的得分计算其相关系数， 即可得复本信度。复本类似于考试中得A、B卷，如果 一个人在A卷和B卷的得分相同，就说明考题具有信度； 如果两者差异很大，则缺乏信度。 复本信度的主要优点在于：⑴能够避免重测信度的一些 问题，如记忆效果、练习效应等；⑵适用于进行长期追 踪研究或调查某些干涉变量对测验成绩影响；⑶减少了 辅导或作弊的可能性。☆复本信度的局限性在于：⑴如 果测量的行为易受练习的影响，则复本信度只能减少而 不能消除这种影响；⑵有些测验的性质会由于重复而发 生改变；⑶有些测验很难找到合适的复本。