研究工具的信度与效度08.4
第三节实验研究的信度和效度
影响实验信度的因素
3.影响研究信度的随机因素
被试方面的因素（身心健康状况、动机、注意力、 持久性、对待研究的态度等） 主试方面的因素（不按规定程序实施研究、制造紧 张气氛、给予特别关注、评判主观等） 研究设计方面的因素（有研究材料取样不当、问题 陈述不清等） 研究实施方面的因素（有研究环境的各种难以控制 的变化条件等）
詹金斯的四个评价维度
詹金斯（Jenkins,1979）提供四个评实验结果普遍性的 维度： 1.用其他的被试人群也能得到同样的结果吗 2.用其他的实验材料也能得到同样的结果吗 3.用其他不同类型的测验也会有同样的结果吗 4.用不同的实验处理和不同的自变量操作方式也能有 同样的结果吗 特定的结果能否从被试人群、材料、情景以及因变 量的测量等几个方面推广。
影响实验信度的因素
1.观察量的大小
观察量越大，样本更能够代表所在总体，多次得 到的结果更可靠。 e.g.：研究大学生的语言能力，第一次用男性被试， 下一次用女性被试，两次结果不稳定。
2.研究工具的信度
研究工具首先必须准确、可靠，即具有较高的信 度。无论何种研究工具和仪器，如果其自身信度 较低，就谈不上研究的信度的高低。
前测 示范 后测 比较前测与后测差异，结果？
教师的提示讲解对应用题解答成绩的影响，也有学生在前测 中掌握的技巧与经验起作用
影响内在效度的因素
4.被试的选择偏性
在对被试者进行分组时，如果没有用随机取样和随机 分配的方法，在实验处理之前，他们在各方面并不相 等或有偏性，从而造成实验结果的混淆，因果关系就 不那么明确，降低了内部效度。
效度信度关系
效度信度关系效度信度关系引言在社会科学研究中，效度和信度是两个非常重要的概念。
效度指的是研究工具或测量工具所测量的变量是否真实反映了研究对象的本质特征；信度则指的是测量工具在不同时间、不同场合下所得到的结果是否一致可靠。
本文将从定义、测量方法、影响因素等方面详细探讨效度与信度之间的关系。
一、定义1.1 效度效度是指测量工具所测量的变量是否真实反映了研究对象的本质特征。
简单来说，就是测量工具是否能够有效地衡量出所需要衡量的内容。
1.2 信度信度则指在不同时间、不同场合下，使用相同或类似方法进行测量，所得到的结果是否一致可靠。
简单来说，就是测量工具是否能够稳定地衡量出所需要衡量的内容。
二、测量方法2.1 效度（1）内部一致性法：通过分析问卷中各项问题之间相互关系来检验问卷内部各项问题之间的相关性以及整个问卷与目标变量之间的关系。
（2）外部标准法：通过与已有的有效测量工具进行比较，检验自己设计的测量工具是否与已有的有效测量工具相似。
（3）因素分析法：通过因素分析，将多个问题合并成为一个因素，检验该因素是否能够很好地反映目标变量。
2.2 信度（1）重测法：在同一时间或不同时间内，对同一受试者进行两次或多次测量，并将所得结果进行比较。
（2）平行测试法：在同一场合下，同时使用两个或多个类似的测量工具对同一受试者进行测量，并将所得结果进行比较。
（3）半数分裂法：将问卷中的题目随机分成两组，分别计算每组题目得分之和，然后比较两组题目得分之和是否存在差异。
三、影响因素3.1 效度（1）研究对象特征：不同研究对象可能有不同的特征，需要根据不同对象设计相应的测量工具。
（2）研究环境：研究环境也可能会影响到效度。
例如，在实验室条件下所得到的结果可能会与在自然环境下所得到的结果存在差异。
（3）测量工具设计：测量工具的设计是否合理、问题是否清晰明确等，都会影响到效度。
3.2 信度（1）测量工具稳定性：测量工具的稳定性是影响信度的重要因素。
研究工具之信度与效度
研究工具之信度與效度
Reliability and Validity 一、研究工具的信度 1. 再測信度 Test-retest reliability (或稱為穩定度 Stability reliability) (1)連續變項 a.同一組研究對象重複測兩次，進行相關分析 (Correlation analysis)，一般 Correlation coefficient r=0.7 以上即為已具高度相關 b.除了相關係數外，仍可以 Paired t-test (無母數則以 Wilcoxon signed rank tesst) c.也可以使用內在等級相關(intra-class correlation；ICC) (2)類別變項 a. Kappa 氏相關係數 b. McNeumar 氏檢定 相隔時間？？？ 2wks 2.內在一致性 3.測試者一致性信度 一、 研究工具的效度 1.
测量工具的信度和效度分析
测量⼯具的信度和效度分析测量⼯具的信度和效度分析常⽤的测量⼯具主要有调查问卷和量表，它们都是对个⼈⾏为和态度的⼀种测量技术，是测量答卷者对问卷题⽬主观认识的个体差异的⼯具，也是研究者⽤来搜集资料的⼀种技术。
⼀般情况下，编制⼀份量表必须做效度和信度评价，⽽调查问卷则不是必须的。
对于有些调查问卷，其包含了类似量表性质对答卷者客观指标测量的题⽬，对这部分题⽬需要进⾏效度和信度的评价。
第⼀节信度分析概述⼀、信度的概念信度是指测量⼯具的可靠性和稳定性的程度，或是指使⽤某测量⼯具所获得结果的⼀致程度或准确程度。
测量⼯具的信度包含2层含义：⼀是相同的个体在不同时间，以相同的测量⼯具测验或以复本测验，或在不同的情景下测验，是否能得到相同的结果，即测量⼯具的测验结果是否随时间和地点等因素⽽变化；⼆是能否减少随机误差对测量⼯具测验结果的影响，从⽽反映测量⼯具所要测量的真实情况，即测量⼯具是否具有稳定性、可靠性和可预测性。
信度的三个特征是：稳定性、内部⼀致性和等同性。
⼀个好的测量⼯具必须是稳定可靠，且多次测验结果应前后⼀致。
信度本质上是⼀个统计学概念，是⽤于估计测量误差⼤⼩的尺度，主要说明测量⼯具测验结果中测量误差所占的⽐例。
实际应⽤中主要通过构建平⾏测验来计算测量⼯具的信度。
⼆、信度的评价⽅法信度研究的是测量⼯具测验结果的可靠性与稳定性，这种可靠性与稳定性可以从4个不同的⾓度来评价：①在相同条件下所得测量⼯具测验结果⼀致程度；②不同研究者⽤同⼀种测量⼯具同时测验所得结果的⼀致程度；③同⼀研究者⽤同⼀种测量⼯具在不同时间内测验所得结果的⼀致程度；④同⼀答卷者在不同时间内对同⼀种测量⼯具测验的稳定程度。
根据研究⾓度不同，信度分为外在信度（external reliability）与内在信度（internal reliability）两⼤类。
外在信度是指不同时间测量时测量⼯具测量的⼀致性程度。
内在信度是指测量⼯具是否测量的是单⼀概念，同时也表明测量⼯具各项⽬之间的内在⼀致性程度。
心理学研究中的实验效度与信度的评估
心理学研究中的实验效度与信度的评估实验效度和信度是心理学研究中两个重要的概念。
实验效度指的是实验结果对于所要研究的问题的程度。
信度则是实验工具在不同场景下产生一致的结果的程度。
在心理学研究中，评估实验效度和信度是确保研究结果的可靠性和有效性的关键步骤。
实验效度是指研究是否对所要研究的问题进行了合理有效的测量。
一个具有高实验效度的研究将能够准确地反映所要研究的现象或变量。
为了评估实验效度，研究者通常使用多种方法，包括内部效度和外部效度。
内部效度是指研究设计是否能够有效地控制外来因素对结果的影响，从而确保所观察到的变化是由独立变量引起的。
为了提高内部效度，研究者通常采用随机分组、对照组设计和双盲实验等方法来确保实验条件的一致性。
此外，合理使用控制变量，确保实验条件的稳定性也是提高内部效度的关键。
外部效度是指研究结果是否能够推广到其他场景或人群中。
为了评估外部效度，研究者需要确保研究样本的代表性，并重复实验以验证结果的可靠性。
此外，与现实生活中的情境接近的实验设计也能提高外部效度。
与实验效度相对应的是实验信度。
实验信度是指实验工具在不同场景下产生一致结果的程度。
在心理学研究中，研究者通常使用重测法和平行测量法来评估实验工具的信度。
重测法是指在不同时间点对同一样本进行重复测试，通过比较两次测量结果的一致性来评估实验工具的信度。
较高的一致性表明实验工具具有较高的信度。
平行测量法是指使用不同但相关的测量工具对同一样本进行测量，并比较两组测量结果的一致性。
与重测法类似，较高的一致性表明实验工具具有较高的信度。
评估实验效度和信度的方法不仅能保证研究结果的可靠性和有效性，还能提供更可靠的数据和结论供后续研究和应用。
无论是在实验设计阶段还是在数据分析阶段，都需要仔细评估实验效度和信度，并根据评估结果进行相应的调整和解释。
总结而言，心理学研究中的实验效度和信度评估是保证研究结果可靠性和有效性的重要步骤。
研究者应该关注内部效度和外部效度的提升，并使用重测法和平行测量法评估实验工具的信度。
实验的效度和信度
（二）实验的外部效度及其影响因素
• 实验的外部效度是指实验结果能够普遍 推论到样本的总体和其他同类现象中去 的程度，即实验结果的普遍代表性和适 用性。
• 以人的行为为对象所获得的实验结果， 其推论法往往有相当的局限性。
• 实验的外部效度主要受下列三方面的影 响：
1、实验环境的人为性
• 实验是在控制条件下进行的，实验环境的人 为性可能使某些实验结果难以用来解释日常 生活中的行为现象。
类比故事——指挥官故事
• 一支坦克部队的指挥官要向敌军司令部 (要塞)发起攻击。如果用许多坦克，他赢 的机会很大；但他的部队必须经过又窄 又不牢仅能通过少数坦克的桥，因此只 能用少量的坦克发起袭击，但易被敌方 击退。为了取得胜利，这支坦克部队指 挥官制订了一个让坦克分别通过每座小 桥包围敌司令部的计划。这样，所有坦 克都能立刻过桥攻击和占领敌司令部。
实验设计
• 三种实验处理：
– ①解决问题前没有阅读指挥官故事； – ②解决问题前阅读无关故事； – ③解决问题前阅读指挥官故事。 – 前两种条件下
实验结果
• 在解决辐射问题前没有阅读故事或阅读无关故 事的被试仅有大约10％是用最有效的方法解决 问题的。在解决辐射问题之前阅读过类比故事， 的被试约有75％在时间限度内解决了问题。
吉克和霍利约克的研究（研究 一）
• 最早研究中，45个被试只有2个（4%）提出 了“会聚解决法”。
• 他们想研究：当在辐射问题前先给出一个类似 的问题及其解决办法时，是否会有更多的人能 解决这个问题。即是否被试能从第一个问题中 抽象出指导原则，然后运用到第二个中去。
• 基于这种想法，吉克和霍利约克提出了其他的 “类比故事”。这些类比故事蕴涵着高效解决 辐射问题的基本原则。
研究工具的信度和效度(王志稳2011-7)
的一致程度
测评方法 用2种工具同时测一组人，计算
一致程度
(3)结构效度
该工具与理论/概念的符合程度 测评方法： 各维度与总分的相关性
因子分析
样本量为条目数的10倍
糖尿病患者足病预防护理知识 与行为状况
采用自设问卷，根据相关文献[2-6]和工 作经验，在征询专家意见的基础上形 成。经5名专家评定,内容效度指数 (CVI)为0.842；预试验选取20名患者， 测定其Cronbach’α 为0.856；间隔2周 进行重测，重测信度为0.823。
用该工具对一组人进行1次测评 用SPSS软件计算Cronbach’ a 系数 Analyze→Scale→Reliability (>0.7)
(1)选择分析路径： Analyze→Scale→Reliability Analysis
(2)选择要分析的变量：弹出对话框，将 量表各个项目选入右侧的“item”框内
(1)内容效度
问卷内容的恰当性
测评方法：
请专家评定问卷内容 5-7名；熟悉该领域内容 计算内容效度指数(CVI系数)
您是否同意下列的条目，请在相应空格内画 “∨”， 并填写具体的修改意见
评 问卷条目
1．×××××
价
意
见 一点都 不相关 修改意见
非常 相关
相关， 但需少 量修改
(3)点击“OK”按钮，看结果：0.743
(3) 评定者间信度
用问卷或观察进行他评时，涉及评 定者的主观性，需测评定者间信度 测评方法： 2名评定者用同一工具，同时测同 一对象，所得结果的相关系数
2. 效度
某一研究工具能真正反映它所期望
学术研究中的可信度与效度检验
学术研究中的可信度与效度检验学术研究是通过合理的方法和规范的步骤来获取、处理和分析信息的过程。
在进行学术研究时，可信度与效度检验是非常重要的环节。
本文将探讨学术研究中的可信度与效度检验的定义、意义和常用方法。
一、可信度检验的定义与意义可信度是指研究结果的稳定性和一致性，即相同的研究在同样的条件下能够得到相似的结果。
可信度检验的目的是评估研究方法的稳定性和可靠性，以确定研究结果的真实性和可信度。
如果一个研究方法具有高可信度，那么不同的研究者在相同的情况下得到的结果应该是一致的。
可信度检验常用的方法包括测试-再测试法、半分信度法和内部一致性法。
测试-再测试法是指将同一测量工具在不同时间点或不同情境下进行两次测试，然后比较两次测试结果的一致性。
半分信度法是指将测量工具的两个部分进行比较，以评估它们的一致性。
内部一致性法则通过计算测量工具内部各项指标的相关性来评估测量工具的一致性。
二、效度检验的定义与意义效度是指研究结果的准确性和相关性，即研究结果是否与实际情况相符合。
效度检验的目的是评估研究方法的有效性和相关性，以确定研究结果的可靠性和有效性。
如果一个研究方法具有高效度，那么它所测量的变量应该与其他相关变量存在一定的关联。
效度检验常用的方法包括内容效度法、构念效度法和准则效度法。
内容效度法是指通过专家评估来评估测量工具所包含的内容是否与研究目的一致。
构念效度法是指通过和已有测量工具进行比较来评估测量工具所测量的变量是否与已有测量工具的结果相符合。
准则效度法是指将测量工具的结果与其他已知结果进行比较，以评估它们之间是否存在一定的关联。
三、可信度与效度检验的关系可信度与效度是相互关联的概念，二者的检验过程也是相互影响的。
可信度是效度的前提条件，只有一个测量工具具有高可信度，才能保证它具有高效度。
在进行效度检验时，需要首先进行可信度检验，以确保测量工具的稳定性和一致性。
只有通过可信度检验，才能进一步评价测量工具是否具有准确性和相关性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Item-total Statistics Scale Mean if Item Deleted X1 X2 X3 X4 6.1100 6.0500 6.1500 6.0700
Scale Variance if Item Deleted 1.6342 1.7247 1.7652 1.5405
同时效度（concurrent validity)
研究工具与现有标准之间的相关性
预测效度(predictive validity)
测量工具作为未来情况预测指标的有效程度。
检验方法：相关分析或差异显著性检验
效标关联效度测定
研究对象 1 2 3 4 5 6 7 8 9 10 护士专业水平 量表得分 25 30 17 20 22 27 29 19 28 15 发表论文篇数 2 4 0 1 0 2 5 1 3 1
Corrected ItemTotal Correlation .5198 .3307 .4470 .5587
Alpha if Item Deleted .6255 .6855 .6512 .6085
X5
X6 N of Cases = Alpha =
5.6500
6.1200 100.0
1.6439
1.6824
效度的相关问题
研究工具性能测定
学习目标：
1. 能说出信度、效度的概念 2. 能描述信度的三个特征 3. 能进行重测信度、内部一致性信度的计算 4. 能说出效度的类别 5. 能进行内容效度的计算 6. 能描述信度与效度的关系
（Reliability）
一、信度（reliability)概念 是指研究工具的可靠性和稳定性的程 度。或是指使用某研究工具所获得结 果的一致程度或准确程度。 包括三个主要特征： 稳定性、内部一致性和等同性
.2006
.4817 N of Items = 6
.7831
.6382
Reliability Coefficients
.6943
评定者间信度 （interrater reliability)
不同评定者使用相同的工具，同时测 量相同的对象时，需计算评定者间一 致程度。 检验方法：相关系数
复本信度
指两个大致相似的研究工具同时被用于 研究对象，需计算复本信度。 • 检验方法：相关系数
。
信度的大小由信度系数（r）来表
示。
信度水平的评价：
高水平：
r 〉0.75
中等水平：r= 0.5-0.75 低水平：
r〈 0.5
量表信度的影响因素
策略：- 增加条目数
删除低区分度的条目 删除低相关性的条目
量表条目数量、条目区分度和条目相关性
他评量表中各类别定义的准确性
策略：培训研究人员
效度
效度概念（validity)
指测量工具是否有效地测定到了
它所打算测定的内容或测定工具 的测定结果与预想结果的符合程 度。（某研究工具能真正反映它所
期望研究的概念的程度，即正确程 度。） 效度的大小由效度系数来表示。
效度的类型
表面效度（face validity） 内容效度（content validity） 效标关联效度（criterion－ related validity） 结构效度（construct validity）
医生需求与去向 农村学历层次
调整前
0. 435 0. 317
调整后
0. 734 0. 734 0. 813
农村医学教育基本模式 0. 406
影响信度的因素
• 导致产生不一致的事件 1.被测者的实际特征发生了变化 2.随机变化 • 量表的设计 1.应答条目的级数（12％、35％） 2.条目的数量 3.条目的代表性 • 得分范围 • 样本容量
重测信度（test-retest reliability）
程 度。
指标： 重测相关系数（r）
r＝ 0－ 1
；
r 越接近1，重测信度越高
人格问卷重测值
研究对象 1 2 3 4 5 6 7 8 9 10 第一次测试值 23 44 35 53 44 26 32 28 38 39 第二次测试值 27 38 37 49 46 28 34 25 34 36
2. 第一次测量结果的记忆效应
3. 被调查者对第二次测评的不认真
4. 条目设置问题
5. 答案的评分等级问题
※研究表明：采用同一份由204个
问题组成的自填式医学问卷，对 2352名病人进行两次调查，间隔 30分钟，发现仅20％的人对所有 问题两次回答一致，有5％的人对 13个及以上的问题两次回答不一 致。
人格问卷的折半情况
研究对象 1 2 3 4 5 6 7 8 9 10 总分 55 49 76 37 44 50 57 62 48 66 奇数项得分 28 26 34 18 23 30 30 33 23 28 偶数项得分 27 23 42 19 21 20 27 29 25 38
折半信度测定的缺点 • 不同的折半方法会导致不同的结
研究样本的异质性
-量表信度并非固定不变，
• 反向问题的处理:在调查问卷中出
现反向问题是问卷设计的实际需 要 。由于反向问题的计分是反序 的,所以需要调整成为正序。调不 调成正序对信度的影响十分大。以 克朗巴赫系数α为信度指标,下表 给出调整前后的α值的变化。
调整反向问题前后的α值的变化
模块问题数
目数占总条目数的百分比。
如：AB-0.8 AC-0.9 AD-0.85、AE-0.9、BC-0.7、
BD-0.8、BE-0.85、CD-0.7、CE-0.75、DE-0.75
计算所有组的平均值，得到CVI为0.8
3、效标效度
（criterion-related validity）
以一个公认有效的研究工具作为标准， 检验新工具与标准工具测定结果的相 关性。
社会心理学领域 相关领域的临床护理专家 护理教育专家
专家的资格要求：
1. 在本领域具有较高的学术水平
2.具有较高的教育背景 3.具有丰富的社会心理学知识 4.熟悉测量工具的发展与心理学 特征测定的方法 5.严谨求实的科学态度
内容效度的评价
主要通过专家对研究工具的内 容进行评价 检验方法：文字形式评价 内容效度指数CVI公式
使用重测信度需考虑的问题
1. 两次测量间隔时间 2. 研究工具所测量的变量性质 -适用较稳定的变量：人格特征、能力、生 活质量、某些生理指标。 3. 测量环境的一致 包括：物理环境、时间、测量程序与测试 者等 4.样本量：预计样本的10%（10-20例）
重测信度结果的影响原因
1. 变量随时间推移而发生改变
定义
- 指量表中条目反映所测量内容的程度。 - 即每个条目与所测内容的相关性，以及量表 中条目是否充分地反映了测量工具所测的领域。
适用：问卷或量表形式的研究工具
内容效度为专家对工具内容的合适性进行
判断，一般需3个以上专家。
建立的基础：
大量查阅文献 工作经验 综合分析、判断
评定方法：
专家组（expert panel）评定
效度可作为某行为、现象的预测指标。
4、结构效度（constructive
validity)
反映研究工具所依据理论的程度， 与理论框架相符合与否。用已 知的具体的概念反映抽象的概 念。 检验方法：因子分析
因子分析的主要功能是从量表全部变 量（题项）中提取一些公因子，各公 因子分别与某一群特定变量高度关联， 这些公因子即代表了量表的基本结构。 通过因子分析可以考察问卷是否能够 测量出研究者设计问卷时假设的某种 结构。在因子分析的结果中，用于评 价结构效度的主要指标有累积贡献率、 共同度和因子负荷。累积贡献率反映 公因子对量表或问卷的累积有效程度， 共同度反映由公因子解释原变量的有 效程度，因子负荷反映原变量与某个 公因子的相关程度。
克朗巴赫系数α(Cronbach α)： 研究工具中所有项目的平均相关程度， 用SPSS统计软件计算。
计算方法：公式: α=Np/[1＋p(N-1) SPSS软件
Spss 中Cronbach α的步骤
在任务栏中选Analyze scale reliability items alpha
Chronbach’s a相关系数
………………
问题的方
4、………….. 5、………….. 1 1 2 2 3 3 4 4
………………
………………
**根据修改意见修改后，间隔一定时间（10—14d）再次评议
5位专家两两配对成10组。
AB、AC、AD、AE、BC、BD、BE、CD、CE、DE
分别计算各组中两个专家都认为相关的条
r=0.83
同时效度举例
测评量表：健身锻炼自我效能量表 效标：个体是否进行每周3次的每次20分钟有氧锻炼 考察指标：两项结果的相关系数
预测效度举例
测评量表：青少年对婚前性生活的态度量表
效标：测评后2年间是否发生婚前性生活 考察指标：两者间相关性
若两者之间高相关，该量表具有很好的效标
( content validity index)
应对方式量表内容效度测定
完全 需修改 相关但 非常 修改意见
不相关 否则不相关 仍需改动 相关
1、通过抽烟、喝酒等方 式来解决烦恼 2、幻想可能会发生某种 奇迹改变现状 3、找出几个不同的解决 1 2 3 4 ……………… 1 2 3 4 ……………… 1 2 3 4
• 估量信度的方法有很多，只用一次测
验求出的信度系数反映的是测验的内 部一致性（比如二分法、折半法、克 朗巴赫系数α），用两次以上测验求 出的信度系数是对测验等值性或稳定 性的估量（比如复本信度，评定者间 信度，重测信度）。