第五章效度

合集下载

第五章 效度与系统误差

第五章 效度与系统误差
100/6
100/1 100/4 88/12
94/8
50/3
33/4 22/5 4/2
85/10 48/7 63/16 31/13
4、命中率法
决策
结果
将会成功
接受
将会失败
关于个体 的信息 策略 可能成功 拒绝 可能失败
决策过程
真 正 的 表 现 水 平
成功
失误 (错误的消极)
命中 (正确的积极)
二者的一个重要差别 是进行测验(即预测源) 与进行效标测量之间的 时间 • 不同时间=预测效度 • 同一时间=同时效度
方法不同
• 预测效度
学生参加高考,有些人上了北师大 以后,将他们的平均学业成绩与高 考分数求相关 这个相关称为效度系数 如果二者相关很高,那么高考成绩 对预测大学平均学业成绩来说有高 效度

当测验用于提高工作或学习效率时,应重视正命 中率;当强调维护社会公平时,则应重视总命中 率。

5、功利率法
对使用测验的投入和产出进行比较,这种效度指标 叫功利率。
U=B(Ns)-C(Na)-S
U:效度 B:录用一个合格的人所产生的平均利润 C:录用一个不合格的人所造成的损失 Ns,Na:录用合格和不合格的人数 S:整个选拔过程的费用

多种特质-多种方法的矩阵说明:

实线三角形对角线上的相关系数是采用相同方法测量相同特 质,是两次测量的信度系数; 在虚线三角形对角线上的相关系数,是采用不同方法测量相 同特质(相容效度),它们的数值越大说明测量的效度越好; 实线三角形中的相关系数是采用相同方法测量不同特质的结 果(区分效度),它们的数值越小说明测量的效度越好; 虚线三角形中的相关系数,是采用不同方法测量不同特质的 结果。

第五章效度

第五章效度
内容效度、构想效度、预测效度、同时效度 ? French、Michbel 内容效度、构想效度、效标效度
二、内容效度
(一)内容效度及基本保证条件 1、定义 内容效度(content validity) 是指测验项目所涉及
的内容对欲测内容范围的代表性程度。或者说所 测内容对要测内容范围行为取样的代表性,又称 推理效度、逻辑效度。 2、内容效度的基本保证条件 要获得较高的内容效度,必须具备两个基本条件: 1)欲测的内容范围必须定义清楚,界限分明。
(2)二列相关系数 适用条件:测验分数和效标分数都是连续变量,其中一个变
量被人为分为两类
(3)四分相关系数 适用条件:当测验分数和效标分数都是连续变量,且每一个
变量的变化都被人为地分为两类
(4)φ相关系数 适用条件:当测验分数与效标分数都是真正的二分变量
(5)列联相关系数 适用条件:当测验分数与效标分数其中一个变量不止分为两
? 表面效度指被试或其他未受过专门训练的 人员对测量有效性程度的估计
? 表面效度不能算是一种效度,它不反映测 验实际测量的内容,但可取得被试的合作。
? 成就测验需较高的表面效度,而人格测验 则需较低的表面效度。
(五)内容效度的优缺点
? 优点:对测验内容的详细描述是编制任何测验都 应借鉴的
? 缺点:
四、效标关联效度
(一)定义、种类、运用 1、定义 是指测验对个体的效标行为表现进行估计的有效程度。 又称实证效度、经验效度、准则关联效度 2、分类(收集效标的时间)
? 同时效度:效标资料与测验资料同时获得,如机械能力倾向测验。 ? 预测效度:效标资料后于测验资料获得,如MBA考试。
3、应用(二者本质区别)
2. 尽量不让评定者知道以前的测验结果,防止评 定时产生主观倾向。

心理测量学 第五章 效度(用)

心理测量学 第五章  效度(用)

b YX r XY
sY sX
0
0 . 923

a=57.5-0.923×69.4=-6.56 Yˆ =-6.56+0.923X
如果我们已知一组人的测验得分,我们可以 根据上式得到他们的效标成绩平均值的预测 值: X=76时, Yˆ =-6.56+0.923×76=63.6 X=55时, Yˆ =-6.56+0.923×88=74.7 预测值不是一个确定值,只是一个估计值, 可以被理解为所有获得某一测验分数者的平 均效标分数值。就是说,所有在测验上得76 分的人的效标分数的平均分为63.6,在例1 中,测验中实际得76分的人的效标平均分为 59.5,测验得88分的人的效标平均分为79.5。
三、影响效标关联效度的因素
(一)样本 这种影响来自两个方面:一是样本的含量,二是样 本的代表性。 (二)基础率 基础率是经选择的总体中具有某种与测验目的有关 的特质的人数比例。极高与极低的基础率,运用测 验都是得不偿失的。 (三)录取率 录取率是根据测验选拔出的人数与全体受测者的比 例。录取率越低,选拔的有效性越高。录取率越高, 错误选择的可能性越大。
2. 方差比例。根据效度定义,效度是有效 分数方差在所得分数方差中所占比例。这只 是一种理论概念,在实际的效度系数的计算 中,效度分数的平方可以解释为在效标分数 的方差中可以用测验分数来解释的百分比,
r XY
2

S YX SY
2
2

r XY =效度系数
S YX
2
SY
2
=由测验所决定的效标分数方差 =效标分数方差
例1 为了考察高等教育自学考试数学试卷的 效度,有关单位在自学高考的高等数学考试 之后,请30名考生参加了某重点大学的高等 数学结业考试。这些考生在两次考试上的成 绩如下表。 计算自学高考数学试卷成绩与普通大学数学 考试成绩之间的相关系数:见附件1

心理测量学知识--效度

心理测量学知识--效度

智力结构。
• 测验的内部一致性指标可以推断测验是测量单一 还是多种特质:分半信度、a系数等。

分析被试者对题目的反应特点也可以作为构思效
度的证据:
24
2013-7-9
二、构想效度
第二单元 效度评估的方法
测验间的相互比较
通过分析几个测验间的相互关系,找出共同之处,进 而推断这些测验的特质是什么,确定构思效度如何。 • 相容效度是构思效度的一个证据:一个旧测验是 有效度证据的,一个新测验是没有效度证明的, 两者测同一种特质。计算两种测验之间的相关。 相关高,新测验所测特质与旧测验一致性就高, 这一相关为相容效度。 • 相容效度高,证明新测验构思效度高。
(logical validity)。
2013-7-9
17
一、内容效度
第二单元 效度评估的方法
专家判断法 • 专家评定前的准备: 1、定义好测验内容的总体范围,描述有关的知识与技 能及所用材料的来源; 2、编制双向细目表,确定内容和技能各自所占的比例, 每个题目测什么内容和技能; 3、制定评定量表来测量测验的整个效度; 最后,由每位评判者在评定量表上作出判断,获得测
第一单元 效度的概念
学了,就知道了!
1、什么是效度?
效度是指所测量的与所要测量的心理特点之间符合的程度,或者简 单地说是指一个心理测验的准确性。
2、信度与效度的关系?
信度受随机误差影响,效度受随机误差和系统误差影响。可信的测
验未必有效,有效的测验比可信。信度是效度的必要条件。
3、效度的性质?
相对性、连续性
(一)效度具有相对性
任何测验的效度都是对一定的目标来说的。测 验只有用于与测验目标一致的目的和场合才会 有效。… 测验不是万能的,只对特定心理属性有效。…

第5章效度_PPT幻灯片

第5章效度_PPT幻灯片

3、经验推测法
这种效度是通过实践来检验效度。如儿 童发展量表是否有效,需要经过实践调查。
(三)内容效度的特性 表面效度(重点):是由外行对测
验作表面上的检查确定的,它不反映 测验实际测量的东西,只是指测验表 面上看来好像是测量所要测的东西。
编制测验时,表面效度需要考虑。
最高行为测验,如智力测验、成 就测验,需要较高的表面效度。
第三节 影响效度的因素
一、测验本身的因素 二、测验实施中的干扰因素 (一)主试的影响因素 (二)被试的影响因素 三、样本团体的性质 (一)样本团体的异质性 (三)干涉变量 四、效标的性质
一、测验本身的因素
如词汇和句型不能过于太难,如低年级 小学生,要用拼音和图形来注解。测验取 材、测验长度、试题类型、难度、区分度 及编排方式等都会影响效度。
• 1、如果某测验的效度系数是0.70,则在测 验中无法作出正确预测的比例是( )。
• (A)0.30 • (B)0.51 • (C)0.49 • (D)0.70
• 2、一个测验所测量的与所要测量的心理特 点之间符合的程度,指的就是测验的( )。
(A)信度 (B)难度 (C)区分度 (D)效度
• 3、好的效标应具备的条件包括( )。 • (A)效标测量本身必须有效 • (B)效标必须具有较高的信度 • (C)效标可以客观地加以测量 • (D)效标测量的方法经济实用
典型行为测验却要求较低的表面效 度,如大多数人格测验,如UPI中的25 题“想轻生”。
二、构想效度
(一)什么是构想效度 定义:是指测验能够测量到理论上的构
想或特质的程度,即测验的结果是否能 证实或解释某一理论的假设、术语或构 想,解释的程度如何。
建立构想效度的三步

第五章 效度

第五章 效度


观念效标和效标测量

同一个观念效标可有多个效标测量
①效标测量必须真实地反映观念效标的重要侧面;
②效标测量必须稳定可靠;
③效标测量必须客观,避免偏见; ④在保证有效性的前提下,效标测量必须尽可能简 单、省时、花费少。
“大学学习成功”?
实证效度的估计方法:


相关法 区分法 命中率
命中率:用某智力测验对1万名儿童进 行鉴定的结果 测验鉴定 为弱智 真正弱智 真正正常 合计 240 70 310 测验确定 为正常 60 9630 9690 合计 300 9700 10000


如何确定内容效度? ◆ 专家判断法:“逻辑效度” “双向细目表” ◆ 统计分析法:复本信度(等值性系数) ◆ 再测法

为什么编制问卷时需要双向细目表?
原因一:它是设计试卷的蓝图,使命题者明确测验的目标, 把握试题的比例与分量,提高命题的效率和质量。 原因二:它对于审查试题的效度也有重要的指导意义,包括 两个维度(双向)的表格,反映测验内容、测验目标。
第五章 测量效度
——你的测验准吗?
第一节 效度概述
一、效度的含义 效度——是指一个测验或量表实际能测 量出其所要测的心理特质的程度。 相对性 综合反映随机误差和系统误差 要从多方面收集证据
CTT理论假设:
SX2=SV2+SI2+SE2
效度的数学定义:
S r S
2 xy
2 v 2 x


补充: 信度与效度的关系 信度是测验和自己/严格平行的测验的相 关程度 效度是测验和某个效标测验之间的相关, 此效标不必是平行测验

各种效度策略的恰当使用:
内容效度最适于测量具体属性的测验

效度

效度

第五章 测量效度当我们面对某一测量工具时,有时对它非常信任,有时也会发生怀疑,这时我们可能会采用再次施测该测验的方法,判断该测量有无误差。

或者我们还会找到测量相同心理特质的较成熟测验,通过对两个测验的相关系数的考察,检验新测量工具的准确性。

这种在原测量工具之外寻找新的证据来肯定或否定某一测量工具准确性的做法就是在研究测量的效度问题。

效度是指测量结果的正确性、有效性程度。

举个例子来说,在一项物理测验中,本来打算考察学生的力学三定律的实际应用能力,但是,大量的测题是关于公式的记忆考察的,这就存在一个需要注意到的系统误差问题。

通过上一章内容介绍,我们知道信度的高低是受随机误差大小的影响。

这个物理测题复测的一致性可能很高,但是这个测验却并没能真正测量到学生运用定律解决实际问题的能力,所以,我们认为它是低效的、不准确的。

另一方面,如果这个测验测量到了需测量的东西,但它对于所测量的东西又测量到了什么程度?是低效还是高效呢?这两个问题都是信度所不能研究的,他们却是测验效度的基本问题:1.测验测量的对象是什么?或者说,测验测是否测到了它要测得对象?2.测验对它所测量的对象测量到什么程度?两个基本问题就类似要测量一个人的身高,首先要有一把尺子,尺子是测量高度的适宜工具。

然而这个尺子准不准?除了要考察几次测量结果是不是稳定一致,即信度问题以外,还要考察尺子刻度的准确性。

心理测量不像物理测量,它是一种间接测量,需要对反映心理特性的行为进行考察。

因为效度才能表明测验对其想测量的心理特性测量的如何,所以效度问题是科学测量工具最应该重视的问题。

第一节 效度概述一、效度的定义效度(validity )是指一个测验或量表实际能测出的与所要测量的心理特点之间符合的程度,或简单地说是指一个心理测验的准确性。

例如,一个小学生数学测验,由于小学生识字数量或者文字理解上的有限性,数学成绩受到影响,数学测题对学生真实数学能力考察的准确性就值得怀疑了。

第五章 效度

第五章  效度

ˆ 这里, Y 为预测的效标分数;
S X 和 SY 分别为效标分数与测验分数的标准差.
X为测验得分。
效标关联效度的关键是选择好效标。一个好的效标必 须具备以下几个条件:(1)可靠性,即效标测验必须具有 较高的信度,如果效标测验不稳定,就不能与本测验有恒 定的关系.相关系数也就不能科学地解释同时或预测效度; (2)有效性,即效标测验本身必须是有效的,如果效标测 验本身缺乏有效性,则无法准确确定本测验的同时效度或 预测效度;〔3)客观性,即效标测验必须尽量客观 标准化.力求排除主观偏见,特别是防止效标污染的影响; (4)实用性.即效标应尽量使其用法简单、省时、花费少、 讲究经济实用。
三、效标关联效度
效标关联效度是指测验分数与作为效标的另一独立测验结果之间 的一致性程度。一般是用本测验与效标测验去测同一组被试得到的 两组分数的相关系数表示。 所谓效标,是检验测验效度的参照标准。效标实际上是本测验 所想测量或要预测的特性或功能,这些特性和功能通常以另一独 立测验的结果来表示。因此,效标是估计效标关联效度的主要根 据,所以效标必须确实能反映某个方面的特性和功能,才能成为估 计测验效度的依据。在运用效标进行测验时.还要避免效标污染。 所谓效标污染,是指由于主试知道某个人(或某个集体)的原来测验 成绩,存有成见,凭印象给分.影响了在效标测验中对某个人(或 某个集体)的成绩评定。
第一节 效度的估算
效度的估算与效度的类型相关,对于测验效度 的类型,不同学者有不同的分类方法。美国心理 学会1974年发行的《教育和心理测验的标准》一 书,正式采用将效度分为内容效度、构想效度和 效标关联效度三大类的方法。目前在教育与心理 测量中,应用最广泛的就是这种效度分类方法。
一、内容效度
内容效度是指测验内容与预定要测的内容之间 的一致性程度。也可以说是指测验内容对所要测 验的全部内容的取样代表性程度。取样代表性是指 测验题目能最大限度地代表预测的内容范围。因 此,一个测验要具有较高的内容效度必须具备两个 条件,其一是测验内容范围明确,其二是取样具有 代表性。
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

3、效标和效标测量:
效标,即衡量测验有效性的参照标准,指的是 可以直接而且独立测量的我们感兴趣的行为。
效标可以分为两个层次,其一是理论水平的观 念效标,其二是操作定义水平的效标测量。
4、常用的效标
(1)学业成就; (2)实际工作表现 (3)特殊训练成绩 (4)精神病诊断 (5)等级评定 (6)效标团体的比较 (7)先前有效的测验
(二)构想效度(construct Validity)
1954年提出,有人翻译为构思效度,也有叫结 构效度。它是指测验能够测量到理论上的构想 和特质的程度,即测验的结果是否能证实或解 释某一理论的假设、术语或构想,解释的程度 如何。
(三)效标效度
1、定义:又称实证效度,反映的是测验预测个 体在某种情境下行为表现的有效性程度。
空间想象能力 67 1 2 4 6 4 6 1 2 2 3 1 35 23
测验成绩
00403106308
一年后几何测 65 7 6 5 4 6 7 3 6 5 4 6 70 62
验成绩
02588282088
1 110011010011 1
5、效标效度的表示方法 (1)相关法:
(2)命中率法
是当测验用来做取舍的依据时,用其正确决定 的比例作为效度指标的一种方法。命中率的计 算有两种方法,一是计算总命中率,另一种是 计算正命中率。
(3)命中率法
效标成绩 测验预测
成功(+)
失败(-) A(失误)
成功(+) B(命中)
失败(-) C(命中) D(失误)
总命中率:PCT

命中 命中 失误 100%

A
CB BC
100% D
正命中率 : PCP

成功人数 选择人数 100%

B A B
100%
三、提高测量效度的方法
学生序号 1 2 3 4 5 6 7 8 9 10 11 12
测验成绩 28 35 36 24 38 23 44 32 16 22 43 38
高考成绩 录 未 录 未 录 未 录 未 未 未 录 录
素描成绩 68 75
80
85
78 76
(3)判断一个测量是否有效要从多方面收集证 据.
2、在测验理论中,效度被定义为在一组测量 中,与测量目标有关的真实方差(或称有效方 差,由所要测量的变因引起的有效变异)与总 方差(实得变异数)的比率,即
二、效度和信度的关系
SX2=SV2+SI2+SE2
一组测验分数的总方差等于真实方差与误差方 差之和,而真实方差又可分为两部分,即与测 量目的有关的方差和与测量目的无关的但稳定 的方差,后者也就是所谓系统误差带来的方差 由于有效方差是一个理论值,无法测量,所以 效度和信度一样是一个理论上的概念。
被预测的行为是检验效度的标准,简称效标。 由于这种效度是看测验对效标预测如何,所以 叫效标效度。这种效度需在实践中检验,所以 又称为实证效标。
2、效标效度分类
根据效标资料是否与测验分数同时获得,又可 分为同时效度和预测效度两类。同时效度即测 验所得分数可与效标同时验证,通常与心理特 征的评估及诊断有关。
式中 是测验x增长至原来的K倍后,新测验与 效标(y)的相关(效度系数);K为测验增长的 倍数; 原测验的效度系数; 为原测验的信
度系数。
1、影响测量效度的因素
(2)测验的实施过程 一个测验在实施过程中,如不遵从指导语的要求、
或出现以外干扰、或评分计分出现差错等等,都会降低 测量效度。 (3)接受测验的被试
1、影响测量效度的因素
(1)测验的构成 当组成测验的试题样本没有较好地代表欲测内容或
结构时,测量的内容效度或结构效度就必然会不高。 同时若题目语义不清、指导语不明、题目太难或太
易、题目太少或安排不当等等,都会降低测量效度。 一般而言,增加测验的长度可以提高测量信度,进
而为提高测量效度提供了可能。于是,一些研究者便得 出了测量长度与效度的公式如下:
(1)精心编制测验量表,避免出现系统误差。 这就要求题目样本要能较好说代表欲测内容或结构,
要避免出现题目偏倚。 同时,题目的难易程度、区分读也要恰当,题目的
数量也要适中。太难、太易、太多、太少都是有损测量 效度的。
此外,测验试卷的印刷,题目作答的要求,评分计 分的标准,题目意思的表述等等,都必须严格检查,避 免一切可避免的误差的出现。
一般情况下,被试的应试动机、情绪、态度、身体 状态等等,都会影响测量信度,造成较大的随机误差, 进而影响测量的效度。
就整个被试团体而言,如果缺乏必要的同质性,则 很可能会得到不恰当的效度资料。
Hale Waihona Puke 1、影响测量效度的因素(4)所选效标的性质
由于同一个测验可以有不同的效标,同一 个观念效标也可以有不同的效标测量,所以在 评价测量效度时,所选效标的性质是很重要的 考虑因素。
1、影响测量效度的因素
(5)测量的信度
测量信度是测量的随机误差的反映,而任 何误差的增加都会降低测量的效度,所以在考 察测量效度时,一定要注意测量信度。信度不 高的测验不可能具有很高的测量效度。
2、提高测量效度的方法
要想提高测量效度,必须设法控制随机误差、减小 系统误差,同时,还要选择好特别恰当的效标,把效度 系数准确地计算出来。
说明:下面两图中,其一为名画原本,另一为 修改后在艺术上较差者,让被试选择出原本。
一组美术专业学生在高考前的梅尔美术能力测 验中的成绩(假定30分以上及格),他们高考的 录取情况,以及考上大学的这些学生在入学后的 某一次美术素描成绩如下。试问梅尔美术能力 测验作为预测学生美术能力的效标关联效度如 何?
2、提高测量效度的方法
(4)选好正确的效标、定好恰当的效标测量, 正确地使用有关公式。
在评价一个测验是否有效时,效标的选择 是一个重要方面。假若所选效标不当,或所选 效标无法量化,则很难正确地估计出测量的实 证效度。如果效标及效标测量都合乎要求,则 公式的选择也是影响效度估计的重要方面。
作业:
利用测验结果材料从多角度对测验的效度进行 评估.
2、提高测量效度的方法
(2)妥善组织测验,控制随机误差。
在测验实施过程中,系统误差一般不太明显, 但随机误差却有可能失控。这就要求测验实施 者一定要严格按手册指导语进行操作,要尽量 减少无关因素的干扰。
2、提高测量效度的方法
(3)创设标准的应试情境,让每个被试都能发挥正常 的水平。
在各种测验中,有些被试往往因各种原因而发挥不 出应有水平(比如过分焦虑致使水平失常等),因此, 我们应让被试调整好应试心态,让他们从生理上、心理 上、学识上等做好应有的准备。否则,焦虑因素和其他 无关影响过大,必然会降低测量效度,测不到欲测的内 容或结构效度。
5、效标效度的表示方法
(1)相关法:
效度系数是最常用的效度指标,尤其是效标效 度。它是以皮尔逊积差相关系数来表示的,主 要反映测验分数与效标测量的相关。当测验成 绩是连续变量,而效标资料是二分变量时,计 算效度系数可用点二列相关公式或二列相关公 式。
学生
1 2 3 4 5 6 7 8 9 1 1 1 13 14 012
二、效度和信度的关系
(一)信度是效度的必要而非充分条件。
rxx=ST2/SX2
rx2y

sv2 sx2
二、效度和信度的关系 (二)效度是受信度制约的:信度系数的平方 根是效度系数的最高限度,
可见,一个测验的效度总是受它的信度所制约。
三、效度的类型及评估方法
(一)内容效度
1、定义:指的是项目对欲测的内容或行为范围 的取样的适当程度。也即测验题目对有关内容 或行为取样的适用性,从而确定测验是否是所 欲测量的行为领域的代表性取样。
1、影响测量效度的因素
(4)所选效标的性质 有的学者认为,智力测验分数与教师对学生等级评定之 间的效度系数只要在0.30~0.50之间就可以了,因为 教师的评价会受到与智力无关的其他因素的影响。与此 类似,相同科目的标准化测验成绩与教师评价之间的相 关应达到0.60~0.70,两种不同智力测验或标准化测验 之间的相关应达到0.60~0.80等等。 所有这些不同的要求,主要是因为所用效标的不同而提 出来的。
第五章 效度
[内容提示] 一、效度的含义 二、效度估计的方法
一、效度(validity)
(一)定义:
效度是指所测量的与所要测量的心理特点之间 符合的程度,或者简单地说是指一个心理测验 的有效性和准确性。或是指一个测验或量表实 际能测出其所要测的心理特质的程度。
1、关于效度的概念,我们要特别注意以下几点:
(1)效度是一个相对的概念。这种相对性表现在两个方面:
①效度是相对于一定的测量目的而言的。
②心理特质是较隐蔽的特性,只能通过他的行为表现来进 行推测,因此,心理测量不可能达到百分之百的准确,而只 能达到某种程度的准确。
(2)效度是测量的随机误差和系统误差的综合 反映。任一误差的存在,测量的效度都会受到 影响.
相关文档
最新文档