心理测讲义量的信度和效度
第四章 心理测验的信度与效度
27
2、确定信度可以接受的水平
SE Sx 1 rxx
(公式5-4)
式中SE表示测量的标准误,即误差分布的标准差; Sx表示一次测量分数的标准差;rxx表示信度系数。
32
我们可以用测量的标准误来估计个人测验的真分数 的大小。
如果选用95%的可靠性水平(置信水平),即显著 性水平(a值)为.05,Z ,2 真分数有95%的可能落入 X ±1.96SE ,即X ±1.96 SE的范围之内,也可以 写成X-1.96SE T X+1.96 SE,SE则用公式5 -4代入。或有5%的可能落入这范围之外。这实际 上也表明了再测时分数改变的可能范围。
被试有条件接受两个测验。
17
(三)内部一致性信度
1、定义:
反映的是题目之间的关系,表示测验能够测量相同内容 或特质的程度。
2、方法:
(1)分半信度: 通常是先把一份测验按题目的奇偶顺序或其它方法分 成两个尽可能平行的半份测验,然后计算两半之间的 相关,即得到分半信度系数。
18
ABCDE FGH I J X1 16 15 13 13 11 10 10 9 8 7 X2 15 16 14 12 10 9 11 8 6 7
2、注意事项: 所测量的心理特性必须是稳定的。 遗忘和练习的效果基本上是相互抵消的。 在两次施测的间隔时期内,被试在所要测验的心理特 质方面没有获得的更多的学习和训练。 易受练习和记忆的影响,两次测试的时间间隔要适当, 一般是2~4周较宜,间隔时间最好不超过6个月。
第五讲 心理学研究的信度和效度
第五讲心理学研究的信、效度长江大学教育科学系严磊研究设计的主要目标是特高整个研究的科学性水平,即保证研究结果、结论能真实的反映人的心理活动规律和教育规律。
信度与效度不但是研究设计应当遵循的标准,而且也是评价研究设计质量乃至整个研究结果科学水平。
信度、效度源于心理与教育测验领域,现在心理学者将诶用了测量领域的信度与效度概念,并把研究的信度和效度作为设计与评价各种研究的标准,以提高心理与教育科学中各类研究的客观性、可靠性和科学性。
如今,有关研究信度和效度的理论和方法已经为心理、教育研究者普遍接受,成为研究和实验设计的关键,也成为心理、教育研究方法发展的里程碑。
一心理测量的信度和效度射击打靶1.真分数假设假设一:在所讨论的问题范围内,真分数不变,亦即个体具有恒定的特质,其分量一定,取值是常数。
假设二:误差是完全随机的。
这里有二层意思,一是测量误差是平均数(期望值)为零的正态随机变量;二是测量误差跟被测心理特质即真分数间相互独立。
假设三:观察分数是真分数与误差分数的和。
2.测量的信度信度(reliability)是指测量结果的稳定性和可靠性程度。
重测信度、复本信度、分半信度、评分者一致性信度3.测量的效度一研究的信度二研究的信度1.研究信度的概念研究的信度指研究所的事实、数据的一致性和稳定性程度。
一向好的心理与教育研究,其结果必须稳定可靠,即重复研究的结果要保持稳定、一致,否则便可不信。
根据影响信度的误差来源,信度可分为两大类:稳定性和同质性。
稳定性指研究结果跨时间、跨情境的一致性。
同质性指研究工具本身各项目内容的一致性。
举例:用同一思维研究工具在前后相隔较短的时间内测查某一年级的儿童两次,结果发现两次测查结果不一致,第一次测查结果表明被试未达到逻辑思维水平,第二次结果发现他们已经达到逻辑思维水平。
2.判定研究信度的方法重复法运用重复测量、重复研究的方法,在相同条件下用相同方法进行两次以上的研究,然后考察它们是否取得相同结果。
实验心理学期末复习-信度和效度
信效度(1)效度:实验是否有效、明确,确定实验的有效性,就是效度。
实验研究效度是一项实验所能揭示的事物本质规律的有效程度。
反应实验结果的准确性和有效性程度。
主要包括内部效度和外部效度。
内部效度和外部效度是互相联系、互相影响的,提高实验内部效度的措施可能会降低其外部效度,而提高实验外部效度的措施又可能会降低其内部效度。
这两种效度的相对重要性,主要取决于实验目的和实验的要求。
一般而言,在实验中控制额外变量的程度越大,则对因果关系的测量就越有效。
因此,可以在保证实验内部效度的前提下,采取适当措施以提高外部效度。
(2)内在效度:实验的内部效度是指实验中的自变量与因变量之间的因果关系的明确程度。
由于研究中有系统误差的存在,自变量和因变量之间固定的明确关系程度变得不明确了,也就是降低了实验研究的内在效度。
影响内在效度的因素可能有:生长和成熟、历史(经历)、前测的影响、被试的选择偏性、被试者的缺失、实验程序的不一致(例如台湾繁体字和大陆简体字)、统计回归的影响(向总体的平均水平靠拢的趋势)(3)霍桑效应和安慰剂效应:混淆自变量效果,从而降低了内部效度(4)统计回归的影响:在取样时,选取某些特质位于两极端的被试,而这些被试在前后两次测试时出现最高分和最低分的被试其得分向中间回归,即高分组降低分数,低分组被试提高了分数这一自然回归现象。
(5)外部效度:实验的外部效度是指实验结果能够普遍推论到样本的总体和其他同类现象中去的程度,即实验结果的普遍代表性和适用性。
任何造成研究条件更具有特异性的因素都会带来对研究外部效度的损害,这些因素的特异性越强,越有可能导致研究情景与人们日常生活情景的差异性,也就制约了研究结论的可推广性。
影响外部效度的因素可能有:实验环境的人为性(模拟研究和现场试验研究)、被试者样本缺乏代表性、测量工具的局限性。
(6)模拟研究:监狱实验(7)现场试验研究:旁观者效应(8)信度:是指实验结论的可靠性和前后一致性程度。
心理测量学的基本要求
心理测量学的基本要求心理测量学啊,它有这么几个基本要求呢。
一、信度要求。
1. 稳定性。
就像盖房子打地基得稳一样。
比如说你用一个尺子量东西,今天量是10厘米,明天量还是10厘米(当然得是在被测物体没变化的情况下)。
在心理测量里,如果一个测试今天测一个人性格外向程度是中等,过了几天再测,不能变成极度内向了,这测试得有稳定性。
要是忽高忽低的,就像个调皮捣蛋的小孩,一点都不靠谱,那这个测量就没啥价值了。
2. 内部一致性。
这就好比一个拼图,各个小块得能拼到一块儿。
在一个心理量表里,比如说测量智力的量表,里面不同的题目得是朝着一个方向使劲儿的。
不能有的题目在测记忆力,有的题目在测绘画能力,结果想得到一个关于智力的分数,那不是乱套了嘛。
各个题目之间得有内在的联系,这样整个量表才能像一个团结的小团队一样,共同准确地测量出想测的心理特质。
二、效度要求。
1. 内容效度。
这就像是做菜,你说你要做一道红烧肉,那你得用猪肉、酱油、糖这些和红烧肉相关的食材吧。
在心理测量里,如果要测量一个人的数学能力,那测试的题目就得是和数学知识、数学思维有关的内容。
你不能弄一堆历史知识或者体育规则的题目在里面,那不是测数学能力的东西,就像拿做鱼的材料去做红烧肉,肯定不对味儿。
2. 效标效度。
这有点像给东西找个参考标准。
比如说你想知道一个新的减肥方法有没有效果,你可以拿体重这个效标来看。
在心理测量中,如果有一个新的测试是测量焦虑程度的,那可以拿已经被广泛认可的焦虑量表或者观察一个人在焦虑情境下的实际行为(比如遇到考试会不会紧张得手抖之类的)作为效标。
如果这个新的测试和这些效标对得上,那就说明这个测试有一定的效度,就像新的减肥方法真的让体重下降了,那就靠谱。
三、常模要求。
1. 代表性。
常模就像是个比较的标杆。
这个标杆得有代表性,不能是随便找几个人的测试结果就当常模。
就好比你要知道一个人的身高在人群中处于什么位置,你不能只拿篮球队员的身高数据做常模,那大部分普通人在这个常模下就都成矮子了。
心理测量学指标
评判试卷质量优劣的测量学指标一、信度:1、定义;信度是指测量结果的一致性、稳定性及可靠性,一般多以内部一致性来加以表示该测验信度的高低。
信度系数愈高即表示该测验的结果愈一致、稳定与可靠。
系统误差对信度没什么影响,因为系统误差总是以相同的方式影响测量值的,因此不会造成不一致性。
反之,随机误差可能导致不致性,从而降低信度。
信度可以定义为随机误差R影响测量值的程度。
如果R=0,就认为测量是完全可信的,信度最高。
2、评介信度的方法一般通过使用同一量表进行不同测量,分析各测量结果之间联系的方法来评价信度。
如果联系密切,各测量结果具有一致性,则认为量表是可信的。
评价信度的方法主要有:再预测量、替换形式、内部一致性方法。
再测信度用同样的量表,对同一组访问对象在尽可量相同的情况下,在不同的时间进行两次测量。
两次测量相距一般在两到四周之间。
用两次测量结果间的相关分析或差异的显著性检验方法,可以评价量表信度的高低。
结果越是相关,差异越不显著则信度越高。
用再次测量法评价信度存在一些问题。
首先,结果与时间间隔关系密切。
在其他方面都相同的情况下,时间间隔越长,信度越低。
其次,最初的测量可能会改变被测特征。
例如,测量人们对低脂肪食品的态度可能会使他们更为关心健康问题,从而对低脂食品持更为肯定的态度。
第三,实施重复测量有时是不可能的,例如测量消费者对某种新产品的反应。
第四,第一次测量的答案可能会对以后测量有影响。
受访者可能会图回忆第一次受测时给出的答案。
第五,在两次测量之间一个有利的信息可能会使受访者的态度更为有利。
最后,再测信度的相关系数可能会由于被测项目自身之间的相关而偏高。
两次测量中,同一项目自身之间的相关性要比不同项目间的相关性高。
因此,即使不同项目之间的相关性很差,也可能得以很高的再测相关系数。
替换形式信度用两个形式不同的等价量表,对同一组受访者在不同的时间(通常间隔两到四周)进行测量。
两次测量结果间的相关性被用来评价量表的信度。
心理测量的信度和效度
信度的估计方法
一、重测信度(test-retest reliabilty)
含义:同一组受评者在两次不同时间作同一套量表评定,对两次结果作 相关性检验,以估计量表结果的稳定性。 使用的前提条件: 所测心理特性必须是稳定的,如成人的人格测验 练习和遗忘的效果基本上相互抵消 在两次施测的间隔期内,被试在所要测查的心理特质方面没有获得更 多的学习和训练
四、测量的效度
效度(Validity)
即有效性,它是指测量工具或手段 能够准确测出所需测量的事物的程度。 ►效度是一个相对的概念 ►效度是测量的随机误差和系统误差的 综合反映 ►判断一个测量是否有效要从多方面搜 集证据
信度与效度的关系
信度是效度的必要而非充分条件 测验的效度受信度制约
效度的分类
教育测评系列讲座
第一讲 测量的信度与效度
主讲人:孙洁
一、心理与教育测量的概念
二、心理与教育测量简史 三、测量的信度 四、测量的效度
一、心理与教育测量的概念
测量 依据一定的法则使用量尺对事物 的属性进行定量描述的过程。
心理与教育测量 根据心理与教育学法则给人的心 理特质和教育成就指派数字,或者依 据一定的心理学和教育学理论在测验 上对人的心理特质和教育成就进行定 量描述的过程。 高度复杂、高度专业化
西方现代
1796 英国天文台 贝塞尔 个人观察误差 1869 高尔顿 遗传 差异是可以测量的 1890 卡特尔 《心理测验与测量》 1905 比内-西蒙量表
三、测量的信度
信度(Reliability)
即可靠性,它是指采用同样的方法 对同一对象重复测量时所得结果的一 致性程度。 ►信度是反应测量中随机误差大小的指 标。 ►描述测量一致性程度的指标可以用信 度指数,即信度系数的平方根。
1、简述量表信度和效度的含义及检验方法。
1、简述量表信度和效度的含义及检验方法。
1.引言1.1 概述在心理学和社会科学研究中,量表是研究者收集数据和评估心理现象的常用工具。
量表信度和效度是评估量表质量的重要指标,影响着研究结果的可靠性和有效性。
量表信度是指量表测量结果的稳定性和一致性,表示在相同条件下,量表能够得出相似或一致的结果。
具有高信度的量表能够在重复测试中获得相似的分数。
如果一个量表的信度较低,那么对于同一个人在不同时间或不同测评者之间得到的结果可能会有较大的差异。
常见的量表信度检验方法包括重测信度和内部一致性信度。
重测信度是通过对同一受试者在不同时间点进行重复测量来评估量表的信度。
该方法通过比较两次测量结果之间的相关性或一致性来确定量表在时间上的稳定性。
一种常用的重测信度检验方法是计算测量结果的相关系数,如皮尔逊相关系数或斯皮尔曼相关系数。
内部一致性信度是通过量表中各个项目之间的相关性来评估量表的信度。
这种方法可以反映一个量表内部各项是否协调一致,即一致的测量同一个构念或特质。
常见的内部一致性信度指标包括Cronbach's alpha系数和切分半信度。
量表效度是指量表能否准确地测量到所要评估的心理现象或特质,即量表能否有效地反映研究对象的真实状态。
具有高效度的量表能够准确地评估所研究的心理现象。
常见的量表效度检验方法包括内容效度、构效度和准确度效度。
内容效度是指量表是否全面、完整地涵盖所要评估的内容范围。
评估内容效度常常需要通过专家评审和已有文献综述等方法来进行。
专家评审可以评估量表的项目是否合理、明确地反映所要评估的特质,从而确保量表的内容效度。
构效度是指量表能否测量到所要评估的构念或特质。
构效度可以通过因素分析、相关分析和已有理论与研究结果的比较等方法来检验。
通常,构效度检验需要通过对量表结果与其他相关测量结果之间的关系进行比较,以确定量表所测量到的特质与其他测量结果的一致性。
准确度效度是指量表在预测行为或事件上的准确性。
信度和效度名词解释
信度和效度名词解释一、信度1. 定义- 信度是指测验结果的一致性、稳定性及可靠性。
一般多以内部一致性来加以表示该测验信度的高低。
信度系数愈高即表示该测验的结果愈一致、稳定与可靠。
例如,用同一个量表对同一组被试在不同时间进行测量,如果每次测量结果都很相近,就说明这个量表的信度较高。
2. 信度的类型- 重测信度:用同一种测验,对同一组被试者,前后施测两次,再根据被试者两次测验分数计算其相关系数,即得重测信度。
它反映了测验跨时间的稳定性。
例如,在一个月内,对同一批学生使用相同的智力测验进行两次测试,两次测试结果的相关性就是重测信度。
- 复本信度:复本是内容、形式、难度等方面与原测验相似的测验。
复本信度是根据一组被试者接受两个复本测验的得分计算的相关系数。
有A、B两套英语水平测试题,它们在题型、难度等方面相似,对同一组学生先进行A卷测试,过一段时间再进行B卷测试,然后计算两次成绩的相关系数就是复本信度。
- 内部一致性信度:主要反映的是测验内部题目之间的关系,表示测验能够测量相同内容或特质的程度。
例如,在一个包含多个项目的人格测验中,内部一致性信度高意味着各个项目之间测量的是人格的同一个方面,常用的计算方法有克伦巴赫α系数等。
- 评分者信度:用于衡量不同评分者对同一组被试评分的一致性程度。
在一些主观性较强的测验中,如作文评分、面试评分等,评分者信度就非常重要。
如果不同评分者对同一篇作文或同一个面试者的评分比较接近,那么评分者信度就较高。
3. 影响信度的因素- 被试样本:被试样本的同质性(相似性)程度会影响信度。
如果被试样本的同质性高,信度可能会较低,因为他们在测验所测特质上的差异较小;反之,异质性高的被试样本可能会使信度较高。
例如,在一个只针对高智商学生的智力测验中,由于学生的智商都比较高且接近,可能会导致信度系数较低。
- 测验长度:一般来说,测验的题目数量越多,信度越高。
因为较长的测验能够更全面地测量被试的特质,减少随机误差的影响。
信度与效度
分半信度实际上反映的只是两半测验项目之间 的相关系数,由于在其他条件相同的情况下, 测验越长,信度越高,因而分半法经常会低估 信度,必须通过一些公式去加以修正,借以估 计整个测验的信度。
同质性信度
同质性主要代表测验内部所有题目间的一致性。 当各个测题的得分有较高的正相关时,不论题
目的内容和形式如何,其测验为同质的。 相反,即使所有题目看起来好像测量同一特质,
所谓真分数就是一个测量工具在测量没有误差时,所 得到的纯正值。
这实际上是个循环定义,因为一个量具若测得真值, 便没有误差。
真分数的操作定义是,经过无数次测量所得的 平均值。
可见,真分数是一个在理论上构想出来的概念,在 实际测量中是得不到的,因为一个测量工具无论多 么精确,也会有误差,我们只能通过改进量具来接 近真值,而不能完全得到它。
但相关很低或为负相关时,其测验为异质的。
此外,对于一些复杂的、异质的心理学变量, 采用单一的同质性测验是不行的,因而常常采 用若干个相对异质的分测验,并使每个分测验 内部具有同质性,这样每个分测验就能用来预 测异质效标的某一方面。
评分者信度
评分者信度用于测量不同评分者之间所产生的 误差。为了衡量评分者之间的信度高低,可随 机抽取若干份测验卷,由两位评分者按评分标 准分别给分,然后再根据每份测验卷的两个分 数计算相关,即得评分者信度。
把任何一个测验成绩都看做是真分数和测量误差 的和,这是经典测量理论的基本思想 X=T+E
这里X为实得分数或观测分数,T是假设的真分 数,E是测量误差。
关于测量误差(E)有以下假设:
1)如果对一个人测量无数次,其平均误差为0,即 E=0
2)真分数和测量误差是相互独立的,即rTE=0 3)误差分数和实得分数的相关为0,即rEX=0
心理测量-信度与效度
五、测量的标准误差
X T E
2 X
2 T
2 E
1
Байду номын сангаас
2 T 2 X
2 E 2 X
1
X1X2
2 E 2 X
2 E
2 X
(1
X1X
2
)
E X 1 X1X2 E称为测量的标准误差
(一)速度测验的信度
没有完成测验的人数的百分比,可以作为 判断一个测验是否是速度测验的依据。但要视具 体情况而定。
一般来说,纯速度测验几乎不考虑难度因 素,但如果难度与速度测验混在一起,就更难处 理了。
纯速度测验可用复本法和再测法,指标是 两次回答完题目的数量。
如果速度和难度混在一起,就将时间分为 四等份,在每个时间点上要被试作记号, 然后将一四时间段的题目合并,二三时间 段的题目合并,再用分半相关法计算信度。
4、内容效度没有可靠的数量指标。
5、内容效度是许多测验要考虑的,但不适合 人格和能力倾向测验,因为它们没有明确 范围。
影响效度的因素:
1、测验本身的因素(题目、结构) 2、实施 3、信度
(四)差异信度(如语文与数学分数差异的稳 定性)
(五)变迁信度
有时,分数稳定性对研究者来说毫无意义,相 反,我们希望分数是提高或者降低的(如教学、 心理治疗、体育训练等),所以传统的信度理 论(高信度)还要发展,以应对复杂的问题。
一、效度概述 (一)效度要回答什么 1、一个测验测量到什么东西? 2、测验对它要测量的东西测验到什么程度? (二)效度的含义 1、效度的概念:一个测验对其要测量的特性测
(二)标准参照测验的信度
作为心理与教育统计,都是以个别差异的 模式为基础的,即适合常模参照测验。在 教育测验种有很多是标准参照测验(掌握 测验),统计方法还在探索中,还不成熟。 一般以两次测验的通过率差异来判断,当 然,前提是被试同质
