调查问卷的信度与效度

调查问卷的效度、信度
a
1
what's validity? 效度？
what's reliability? 信度？
Main Content
一、 Questionnaire Validity 二、 Example of Validity 三、 Questionnaire Reliability 四、 Example of Reliability 五、 The correlation between
这项指标看量表各题目均可以保留，无
a
36
a
37
a
38
摘 要 目的：探讨调查问卷的可
靠性。方法：对武警十五支队201名
战士，作心理卫生自评90项调查问
卷资料，利用SAS软件编程，计算
a
23
(4)判别效度（Discriminant Validity）
判别效标也称为辨别效标，是
指运用相同的问卷测定不同特质和 内涵，测量结果之间不应有太大的 相关性。
a
24
(5)聚合效度（Convergent Validity）
聚合效度也称为收敛效度，是 指运用不同测量方法测定同一特质 所得结果的相似程度，即对同一特 质的两种或多种测定方法间应有较 高的相关性。
用问卷测量得分与效度准则之间的相关系数表示。
a
22
一般估计效标效度的主要方法 有：
（1）相关法，即求某问卷分数与效 标间的相关，所得结果即效标效度。
（2）区分法，即看问卷分数是否可 以区分由效标所划分的团体。
可以运用t检验对先后两次问卷结 果平均分数进行差异性检验。若差异 有统计学意义，说明问卷是有效的； 若差异无统计学意义，说明问卷是无
a
27
（4）样本适宜且要预防流失。重视 问卷调查的回收率。样本容量一般 不应低于30；
（5）适当增加问卷的长度。增加问 卷的长度既可提高问卷的信度，也 可以提高问卷的效度，但增加问卷 的长度对信度的影响大于对效度的 影响；
（6）排除无关因素干扰。认清并排 除足以混淆或威胁结论的无关干扰 变量。
0.9742
I87 31.9250 1277.1481 0.6231
0.9736
I88 32.0500 1282.9718 0.6057
0.9737
J89 32.2000 1304.1641 a 0.0000
0.9741
35
一般地，在做问卷的敏感性分析
时，可以将“Alpha if Item Deleted”
a
26
7.提高问卷效度的方法
（1）理论正确，解释清楚。问卷内容 要适合问卷测验的目的，题目要清楚明 了，易于理解，问卷的排列要由易到难， 题目的难度和区分度要合适；
（2）操作规范以减少误差； （3）控制系统误差。它主要包括仪器
不准，题目和指导语有暗示性，答案安 排不当(被试可以猜测)等, 控制这些因 素可以降低系统误差, 提高效度；
a
21
3．效标效度（Criterion Validity）
效标效度也称为准则关联效度
（Criterion-Related Validity）、经验效度
（Empirical Validity）、统计效度
（Statistical Validity）。效标效度是说明问
卷得分与某种外部准则（效标）间的关联程度，
Reliability and Validity
a
3
Preparative Knowledge
a
4
1.误差公理
误差(error)是指对事物某一特征的 度量值偏离真实值的部分，即测定值与 真实值之差，样本统计量与总体参数之 差。
没有一项研究推论能够达到百分之 百的真实。 No study is free of errors, the inferences are never perfectly valid.
a
20
常用的确定结构效度的方法有：
(1)根据文献、前人研究结果、实际经验等建 立假设性理论建构； (2)对问卷题目进行分析。主要是分析问卷的 内容，答卷者对题目所作的反应，问卷题 目的同质性以及分项目之间的关系来判断 问卷的结构效度； (3)根据建构的假设性理论编制适当的问卷； (4)计算与同类权威问卷的相关; (5)以统计检验的实证方法去考查问卷是否能 有效解释所欲建构的特质。
Corrected Item-Total Correlation: 当前 题目得分与去掉当前题目问卷合计分的 Pearson相关系数；
Squared Multiple Correlation:以当前题 目为因变量，其它所有题目为自变量求得的 决定系数R2；Alpha aif Item Deleted: 去34
a
28
二、效度分析实例 (example)
a
29
例2 对例1中的问卷测验结果进 行效度分析
a
30
1．问卷的敏感性（可靠性）分 析
（1）操作过程
从菜单选择Analyze → Scale → Reliability Analysis…→ Item （输入问卷的各条目或各因子包含 的条目）→ 单击“Statistics”按 钮，弹出信度分析统计量对话框 → Descriptives for: → √ Scale
0.9736
E2
31.7500 1253.6282 0.8027
0.9732
B3
31.8250 1261.0712 0.7408
0.9734
A4
31.7500 1259.7821 0.7557
0.9733
D5
31.7000 1278.2667 0.3872
0.9740
C6
31.8250 1300.0455 0.0596
if item deleted →OK
a
31
a
32
a
33
Scale if item deleted:去掉当前题目整个 问卷的描述统计量，即敏感性分析，包括以 下内容：Scale Mean if Item Deleted:去 掉当前题目问卷合计分的均数；
Scale Variance if Item Deleted: 去掉当 前题目问卷合计分的方差；
（2）输出结果
SCL90各条目的敏感性分析结果:
Item
Scale
Scale Corrected
Mean Variance Item-
Alpha
if Item if Item
Total
if Item
Deleted Deleted Correlation Deleted
A1 31.7250 1272.7173 0.6397
问卷的准确性或称为有效性是用 问卷的效度加以刻划的，它反映了对 问卷的系统误差的控制程度。Fra bibliotek 2、效度的定义
效度是指问卷测验的准确性，即 测验能够反映所要测量特性的程度.
其包括两个方面的含义：一是问 卷测验的目的；二是问卷对测量目标 的测量精确度和真实性。效度是一个 具有相对性、连续性、间接性的概念。
值，作为调整题目的一个重要参考依据。
如果“Alpha if Item Deleted”值
越大，其相对应的题目越应是首先考虑
调整的题目。从本次问卷结果敏感性分
析可以看出，量表的各个题目的
“Alpha if Item Deleted”值均在
0.97左右变化，且变化的幅度很小。所
以，就 “Alpha if Item Deleted”值
a
8
问卷测验中测量误差通常来源于 两个方面：
一是产生于问卷测验过程中的误 差，称为测量误差（measurement Error），也称为随机误差（random error）；
二是由问卷的结构质量造成的误 差，称为系统误差（system Error）。
measurement Error
reliability
抽样误差（sample error） ： 由于抽样造成的样本指标与总体指 标之间的差别。
a
7
（2）系统误差（systematic error）
是由于偏倚（使研究结果按照一 个方向偏离总体， bias）产生的错误 结果，可校正和消除。
(3) 过失误差（gross error)是由于科研 设计错误，或实验者的主观片面、粗心大意 引起的误差。必须避免和剔除！
一般常用的效度指标有内容效度、 结构效度。
a
16
(1)内容效度 (content validity)
内容效度是指问卷内容的贴切性
（relevance）和代表性
（representativeness）,即问卷内容能
否反应所要测量的特质，能否达到测验
目的，较好地代表所欲测量的内容和引
起预期反应的程度。内容效度常以题目
a
18
常用的内容效度的评价方法有两种：
一是专家法，即请有关专家对问卷题目与原
来的内容范围是否符合进行分析,作出判断，看
问卷题目是否较好地代表了原来的内容。
二是统计分析法，即从同一内容总体中抽取
两套问卷，分别对同一组答卷者进行测验, 两种
问卷的相关系数就可用来估计问卷的内容效度。
计算某个问题与去掉此问题后总得分的相关
分布的合理性来判断，属于命题的逻辑
分析，所以，内容效度也称为“逻辑效
度” (logical validity)、“内在效度
a
17
内容效度的评价主要通过经验判 断进行，通常考虑3方面的问题：
其一是项目所测量的是否真属于 应测量的领域；
其二是测验所包含的项目是否覆 盖了应测领域的各个方面；
其三是测验题目的构成比例是否 恰当。
性情况，分析是否需要被剔除（敏感性分析）。