第五章 量化评价法

二、问卷数据的收集 在问卷正式使用于大量的调查之前，首先 要做小样本的测验，包括对问卷用语的规范性、 通俗性、明确性以及结合统计分析对问卷题目 的设计作相关的信度和效度的检验等，都是确 保调查能在更大程度上达到评价者的目的，也 使评价者能够作出更科学合理的评价。 （一）现场问卷法 （最好） （二）电话访谈法 （三）面谈问卷法 （四）邮件问卷法
• 相关的类别
• • • •
（1）正相关：两个变量的变化方向相同。 例如，你用于学习的时间越多，考试成绩越高。 （2）负相关：两个变量的变化方向相反。 例如，你完成考试的时间越少，所犯的错误越 多。 • （3）零相关：两个变量的变化方向无一定规 律。例如，智商与体重的关系。 相关的程度（1）强相关或高度相关 （2）中度相关
2.区分度与测验信度、难度的关系
（1）区分度与信度的关系
（2）区分度与难度的关系
P接近0.5区分度越高
3.提高区分度的方法。 第一，使题目的难度适中，使整个考试难度适中。 第二，要着重考查复杂的学习结果，提高区分度。
第三节 问卷法
•
通过问卷（questionnaire）进行调查的 研究方法，在心理学、社会学、人类学等领域 都被广泛运用，因为这种方法能够在比较短的 时间内收集到尽可能大的被试样本的资料和内 容，可以说在量的角度上有比较大的优势。
同时效度：用于诊断现状。 预测效度：用于预测某个个体将来的行为。
3.结构效度：指一个测验能够测量到理论上结构 或特质的程度，也就是该测验所要测量的概念 能够显示科学意义并符合理论上的设想。
4.影响效度的因素主要有： （1）测验组成方面 （2）测验实施方面 （3）被试主观状态方面 （4）估计效度所依循的效标 （5）样本方面
i i i i i i
3.难度对测验的影响
（1）测验难度影响测验分数的分布形态 （2）测验难度影响测验分数的离散程度 （3）测验难度影响测验的鉴别能力
4.测验的适宜难度
P=0，P=1， P=0.50 左右
5.控制题目难度的基本方法
（二）项目的区分度 1.区分度的概念：区分度是指测验对考生实际水平的区 分程度，区分度又叫鉴别力。它是评价试题质量，筛 选试题的主要指标与依据。 区分度的计算方法有两种： （1）将学生按其考试总分排序，取高分之27%定为高分 组，取低分之 27% 定为低分组，然后分别计算高分组 和低分组考试分数的平均值，按以下公式计算各题的 区分度： d =(X -X )/f (i=1,2,…,Q) d 为第i题的区分度， X 为第i题高分组的平均分值， X 为第i题低分组平均分值， f 为第i题的满分，Q为题目数。
♪ 学科测验：＞ 0.90 ♪ 智力测验：＞0.80 ♪ 品德测验：＞0.60
测验使用时的信度标准
注意问题： ♪ 一般来说，
♪ 当信度<0.70，测验不能用于对个人作出评价 与预测，而且不能作团体间比较；
♪ 当0.70≤信度<0.85时，可用于团体比较； ♪ 当信度≥0.85时，才能用来鉴别或预测个人成 绩。
第二节 测验法
教育测量是教育评价的基础，测量的结 果是教育评价的依据，评价是对测量结果的 解释过程，如果不依据测量结果进行价值分 析和判断，测量结果就会失去意义。
测量的工具：（1）教育、心理测验等量表。
（2）根据评价的内容和评价
对象来编制相关测验。
• 一、与教学、考试性质有关的测验类型 • 1.诊断性测验
2017/9/20
11
系统误差只影响测量的准确性、不影响稳定性。 随机误差既影响稳定性又影响准确性。
• S2E是随机误差的变异，系统误差的变异 包含在真分数的变异之中。 • 真分数还可以分成两部分：与测量目的有 关变异(S2V)和与测量目的无关的变异 (S2I),即：
S2T=S2V+S2I

• 信度的定义二
• 信度乃是一个被测团体的真分数与实得分数的
相关系数的平方。
• rXX=ρ2TX
信度的定义三
• 信度是一个测验X（A卷）与它的任意一个
“平行测验”X′（B卷）的相关系数。即：
rXX=ρXX′
• 说明：定义1和定义2，信度是就一批人的数据
而言的，并不是用同一种工具反复测量同一个 人。但是由于真分数是不知道的，因此这两个 定义只具有理论意义。定义3才具有实际意义。
i i
hi li
i
hi
li i
（2）采用相关计算方法 计算学生各题得分与考试总分的相关系数 r。区分度 系数一般情况亦为(O≤r≤l)。 r越趋向于1，说明学业水平高的学生考试成绩也高， 学业水平低的学生考试成绩也低，即所谓正区分； r越趋向于0，说明学业水平不一的学生考试成绩没有 差异即所谓零区分； 区分度系数有时会出现负相关，r<0，说明学业水平 高的学生反而考试成绩低，学业水平低的学生反而考 试成绩高，即负区分。
（2）测验的实施所引起的误差。
指导语、主试、记分、环境等。
（3）学生自身因素所引起的误差。
考试动机、 学习与发展、经验、焦虑、 生理因素 等
• 提高测验信度的常用方法
（1）适当增加测验的长度； • 注意：①新增项目与原有项目同质 • ②新增项目的数量必须适度
（2）是测验中所有试题的难度接近正态分布，并控制 在中等水平； （3）提高测验试题的区分度；
• 2.成绩测验 • 3.学能(学习能力)测验
二、测验的信度与效度 • 测验是否有价值，就必须考察测验的质量， 包括它的稳定性、可靠性，和有效性。
• 稳定性、可靠性：即在同样条件下重复测量，其 结果的一致性——信度 • 有效性：即测量结果中包含预测特质的信息量的 程度——效度
各种教育、心理测验的信度水平
三、案例分析 四、问卷数据的统计分析
（一）集中量数 （二）差异量数 （三）标准分数
（四）相关量数
• (四)相关量数
• 1. 事物之间的相互关系：
• （1）因果关系，一种现象是原因，另一种现象 是结果。 • （2）共变关系，表面有联系的两种事物都与第 三种事物有关。 • （3）相关关系，两类现象在发展变化的方向与 大小方面存在一定的联系，但不是前两种关系。
（3）弱相关
• 2.相关系数用来描述两个变量相关程度的统计指 标。 • 一般样本的相关系数用r表示，总体的用ρ表示。
（1）相关系数的取值： -1.00≤ r ≤1.00 （2）相关系数的符号：“＋”表示正相关，“－”表示负 相关。 （3）相关系数 r=1表示完全正相关, r=-1表示完全负相关， r=0表示完全独立，零相关或无相关。 （4）相关系数取值的大小表示相关强弱程度。 绝对值0≤∣r∣≤1，绝对值接近1一般为相关程度 密切，接近0值端一般为关系不够密切。
开放式问题：不向受测者提供具体的答案，受测者 根据问题以自己的语言和陈述方式自由回答。 优缺点 封闭式问题：在提出问题后面附有相应的答案，供 受测者选择。 优缺点 半封闭半开放式：
Байду номын сангаас
（三）问卷的用语 1.问卷的指导语要清晰、简洁，以简短的 话语说明问卷的目的、作答方式以及所需要的 时间。 2.问卷用语尽量本土化。 3.在问卷题目中要避免情绪性词语、负载 性问题、引导性问题、一题多问、以及假设性 问题。
R P = —— N P 为试题的难度， R 为正确回答客观题目的人数， N 为参加测验的总人数。
（2）主观题的难度的计算 主观题的难度等于该题考生所得分数的平均值 与该题应得的满分之比。以P 表示试题的难度， 其计算公式是： P =X /f (i=1,2,…,Q) X 为各题考试分数的平均值， f 为各题的满分值， Q为试题个数。
第三节 问卷法
一、问卷设计
（一）明确评价目的 要设计问卷对学生进行评价，必须首先明 确具体的评价目的，包括评价对象（即目标群 体）、评价内容、相关的专家对该评价提出的 好想法 。 问卷设计必须紧密围绕所要评价的问题。
（二）问题的类型 问卷中问题形式的设置可以分为开放式、封 闭式和半封闭半开放式三类。
5.提高效度的方法： • （1）控制系统误差 • （2）精心编制量表 • （3）妥善组织测验 • （4）扩充样本的容量和代表性 • （5）合理处理效度和信度的关系 • （6）适当增加测验的长度
三、测验的项目分析——难度 与区分度
（一）项目的难度 1.难度的概念：难度是指测验试题的难易程度 2.难度的计算 （1）客观题难度的计算 在教育测量中，客观题的难度一般用正确回答试题的人 数与参加测验的总人数之比值来表示。
那么就有：


S2X=S2V+S2I+S2E
一次测验中，一个团体的实测分数之间的变 异性是由与测量目的有关的变异(S2V)、稳 定的但出自无关来源的变异数(S2I)和测量 误差的变异数(S2E)所决定的。
SX2
SV2
SI2
SE2
2017/9/20
ST2
14
• 信度的定义一
• 信度是一个被测团体的真分数的变异数与实得 分数的变异数之比， • 即rxx=sT2/sx2 • 观察分数的变化是以下两个因素的结果： （1）真分数的变异（2）随机误差的变异， 即S2X=S2T+S2E • rxx=S2T /(S2T+S2E)=S2T / S2X • rxx表示的是由真分数能够解释测验分数方差 的比率。
• 估计信度的方法：
1.分半信度 :将测验编写成两个尽量平行的子测 验，组成一个完整的测验，可以采用随机分半 或奇偶分辨，计算两半测验的相关系数。
2.内部一致性（α系数）：同质性信度也叫内部 一致性系数，它是指测验内部所有题目间的一 致性程度。 克隆巴赫α系数可以处理任何测验的内部 一致性系数的计算问题。
• • 效度的测量： 1.内容效度：指的是预定和假设要评价的内容与实 际评价所得到的的内容之间的一致性，也就是测验 内容对于期望的目标的代表性程度。 常用方法：①专家评估法，看题目的代表性 ②统计分析方法计算复本相关系数