基于内容效度的大学英语学业测试实证研究

合集下载

大学英语四级考试仔细阅读20092012内容效度研究

大学英语四级考试仔细阅读20092012内容效度研究

独创性声明
本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果.据我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得安徽大学或其他教育机构的学位或证书而使用过的材料。

与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。

学位论文作者签名:孙l氩签字日期:2013牟-缃矽日
学位论文版权使用授权书
本学位论文作者完全了解安徽大学有关保留、使用学位论文的规定,有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允许论文被查冈和借阅。

本人授权安徽大学可以将学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。

(保密的学位论文在解密后适用本授权书)
学往论文作者样:孑冬1有导师签名:觯f
签字日期:2.01:3年乡月矽日签字日期:缈/等年箩月z移日学位论文作者毕业去向:
工作单位:舞萨虽17币;岂字P乏与¨§诒等l‰话:05sg,盯.fff5
通讯地址:聋萨丑·脚;芑总阮勿人l虱谵孳院邮编:23‘口3_I。

大学英语四级考试信度与效度研究综述

大学英语四级考试信度与效度研究综述
这一大样本的统计数据能够证明新四级考试试卷的每个 部分有效测试了不同维度的语言能力,而且各个部分的综合 能够准确而有效地反映学生总的语言水平。
朱正才、杨惠中(2001)对机助自适应大学英语四、 六级考试的效度、信度问题做了研究。论述大学英语 四、六级考试如何处理“英语交际语言能力”的测量 问题,并充分利用计算机多媒体技术进一步改善测试 的真实性和题型的多样性,开发出具有自适应能力的 计算机化考试系统,大大改善了语言测试的效度。
(1)含义:
关于效度的含义:国外的研究中,较早的效度定义是由Kelly提出的, 他认为效度就是一项测试是否真正测量了它所要测量的东西。后来,对效度 的认识一直有两个不同的体系:一是认为效度可以分割成不同的种类;另一 种 观 点 认 为 效 度 应 该 作 为 一 个 整 体 去 认 识 和 理 解 。 同 时 , Messick 、 Bachman等把效度看作一个不可分割的整体,它既不是某个内涵单一的概念, 也不好按其内涵分成不同的种类。(薛梅2006.06)
此外,不少学者试求基于新热点角度进行探讨。Alderson 认为语料库的应用可以提高考试的内容效度,因为测试材料选 自真实语言文本,具有自然语言特征。也就是说,语料库作为 一种手段,可以用来提高考试内容效度(转引自邹申2008.11)。 薛梅(2006.06)在《基于效度验证的新四级考试效度》的探讨 中认为试卷内容、反应过程、试卷的内部结构以及测试的后果 与其他外部变量之间的关系这四方面会新四级考试的效度有较 大影响。金艳(2010,03)在《大学英语四级网考效度初探》 中认为影响网考效度的因素产生于测试任务的呈现方式和考生 答题方式,而且这些因素可能对不同的考生会产生不同的影响, 包括考生对考试的态度和评价、考生的心理过程、认知策略、 答题策略以及考试成绩。

大学英语成绩测试的信度与效度关系探析

大学英语成绩测试的信度与效度关系探析

大学英语成绩测试的信度与效度关系探析陈哲【摘要】信度和效度是第二代语言测试体系提出的两个不同的概念,处理好两者之间的关系,有利于教师正确把握大学英语测试的科学性.以第二代语言测试体系理论为基础,利用Gitest数据统计软件,进行一项针对大学英语成绩测试的信度与效度分析时发现,测试信度的实现以效度为代价,严重影响了测试的质量.而信度与效度的平衡关键在于测试目的的明确和测试方式的灵活处理.%Reliability and validity are two major concepts of the second testing theories, the balance of which contributes to improving the quality of College English test.This paper is intended to make an analysis of the validity and reliability of a College English final achievement test based on the second testing ing the software developed by Guangdong University of Foreign Study, the paper discovers that in the current context of College English achievement test, high reliability comes with the price of low validity,which causes great damage to test qualities.The keys to the balance of reliability and validity come down to clear test objectives and flexible test methods.【期刊名称】《广东海洋大学学报》【年(卷),期】2011(031)002【总页数】4页(P98-101)【关键词】大学英语;成绩测试;信度;效度;考试质量【作者】陈哲【作者单位】湛江师范学院外国语学院,广东,湛江,524048【正文语种】中文【中图分类】H310.4+G642.4741 语言测试的信度、效度无可否认,在一定程度上测试分数并不能总是反映学习者获得的能力,但通过不断完善考试质量,我们可使测试结果不断接近学习者真实的能力水平。

大学英语测试中信度和效度的个案研究——以吕梁学院为例

大学英语测试中信度和效度的个案研究——以吕梁学院为例

目前 , 对 大 学英 语 教 学 成果 的评 价 主要 还 是通
过 一 系列 的测 试 。 无论 是 全 国性 的大 学英 语 四六 级
否遵循 了教学 大纲 总体 目标 ;教师 的专业 素养 是 否 也会 对命 题信 度和 效度 产生 负面影 响等 。这 一切 均 都对 测试 的信 度 和效度 产生 不 同程 度 的影 响 。
题 量较 大 , 相 对 而言 , 基 本 能保 证评 分 的客 观准 确 ,
从 而有 效地 提高测 试 的信度 。 尽 管如此 , 在 实际 的考 核 中也存 在 一些 问题 , 命题时。 不 同 的老师 负责命 不
同题 型 , 命题 的难 度系 数就 会存 在有差 异 ; 不 同的命
题 老 师对语 言点 测试 的侧重 点不 尽相 同 ,有 的是 大 相 径庭 , 且对 主 、 客观 试题 的评分 标准 的确 定也会 有
可 以衡量 学 生对英语 基 本能力 的掌 握 。这类题 通 常
靠 性就低 ; 题 量大 , 可靠 性就越 高 。 同时 , 考试 的结 果
要 有一定 的离 散度 , 要呈 正态 分 布 , 也 就是说 试题 的 区分度要 高 , 即可 以把不 同层 次 的被测 者 区分开 来 , 并 且试 题 的难度 要适 中 。 这样 才 能 区分 被 测 者 的水 平, 测试 的内容应 与被 测者 相适 应 , 应 属于 被测 者 的 能力 水平之 内。 如果 测试 问题太 难或 太容 易 , 或 测试 分 数 发 现在 一个 点 和 一个 地 区 , 那 么 测试 也 会 失 去 可靠性 [ 2 j 。 在 组 织和 实施 测试 方 面 . 测 试 环 境 和 条 件
2 0 1 4年 7月
韶关 学 院学报 ・社会 科学

基于语料库的大学英语四级完型填空测试内容效度验证研究

基于语料库的大学英语四级完型填空测试内容效度验证研究

着语料 库 应 用 于 语 言 测 试 的研 究 。 肖依 虎 和 潘 翠 琼 立 足于语 料 库 与语 言 测试 的 内涵 , 阐述 了语 料
库应用于语言测试的理性认识 , 分析 了基于计算机的 语料库应用于语言测试的必要性 、 可能性 , 同时指 出其 利用 过程 中的优 势 和 局 限性 , 并在 此 基 础 上 指 出语 料 库在语言测试中的应用前景 周佳 论述 了基于 计算机语料库的语言测试相关研究 孔 文 、 邹申
卷和测试材料的选择等方面给予设计者更 多可靠 、 真 实的信息资源 。 国 内方面 , 曾用强 教授 年在其
《基于语料库的适应性学 习模式 》一文 中提到 语料库
基于计算机的语料库应用于测试效度的理论研究
提 出 , “所有基 于语料库 的新 形式和考试都应该满足通常对其效度和信度 的要求 ” 。 关于效度 , 认为语料库 的应用可 以提 高考试 的内容效 度 , 因为测试 材料 选 自真实 语 言文 本 , 具有 自
提示学生在备考过程 中应重点掌握哪些语言点 。 与此 同时 , 曾教授还 自行研发 了基于语料库 的练习生成系
统 详 见 曾用强 , , 在 理 论 和 实践 两 方 面从 事
作者简介 穆 惠峰 男 ,硕 士 , 讲师 。研 究方向 语言测试 ,语料库语言学 ,计算机适应性考试等 。
收 稿 日期 刁 一 中的全部语料 刀 甲 公 , 涉及书面语 和口语 语料 , 语料体 裁涉及各类 报刊 、 杂 该研究所运用的是英语国家语料库
填空 旨在测试学生综合运用语言的能力 。
考虑到该项 目测试形式 , 试题设计者在编辑试题 时首先要找到一篇在单词 、 语法 、 难度等方面与大纲规 定相符的文章 , 其次需要对其进行加工 , 根据相应的原

大学英语四级仔细阅读内容效度分析

大学英语四级仔细阅读内容效度分析

到 了生 活 的许 多方 面 。经 过统 计 , 现 大部 分材 料 发 选 自原 汁 原 味 的英 美 报 刊 杂 志 。例 如 :0 9年 1 20 2
月份仔 细阅读 中 S ci et nB的 P s g n 选 自 20 o as eo e a 08
语篇输人 体裁
生词 量
比照《 教学大纲》 考 试大纲 》 阅读的教学和 和《 对
考 试 要 求 , 语 篇 输 入 、 期 回答 方 面 人 手 , 英 从 预 对 语 四级 仔 细 阅读 理 解 内容 效 度 进 行 分 析 , 析 英 解
目标 。作为大规 模标 准化 考试 , E 4具 有科 C T一
学 性 和 严 谨 性 。本 文 以 2 0 0 9年 1 2月 至 2 1 0 1年
(06R v i ) n C lg nHhC rclm Rqi m ns (07 .T ersl hw ta teraig 20 eio ”ad” oeeE gs ur uu eu e et” 2o ) h ut so t dn sn l i r e s h e h
c mpe e s n p r e ea yc non erq i me t ,b t eg n ei osn l d sl dtee a nn o rh n i at g n rl o frlt t e ur n s u e r st igea oea x miig o s l oh e h t o n n h
JNG C oy n I a —u ( eat e t f u dmetl o r s ha x C l g f o muia o n eh o g , i 1 0 8 C ia) D p r n o n a na us ,S ani o eeo m nct na dT cn l y X i 7 0 1 , hn m F C e l C i o m

大学英语学业考试试卷设计的效度

大学英语学业考试试卷设计的效度

这个 经验 效度 (m ic ad y。经验 效度 目中的一个 样本 , 试题 的代 表性 的程度 , e p i v ii ) ra l t l 连同 目 ) 标 的 本 文通 过研 究大 学英 语 学 考试 大 纲 , 旨 是 一种 衡量测 试有 效 性的量 度 ,通过 把一 次 就是 这一试 题对 有关 教学项 目( 通常来 说 , 我们开 展测验与评 价的 在 探 讨 大 学英 语 学 业 考试 试卷 设 计 效度 问 测 试 与 一个 或 多个 标 准 尺度 相对 照 而得 出 。 内容效 度 。 题, 并使考 试 的形式 有利 于实 现测 试 的 目的 , 经 验效 度可 分为 两种 : 是共 时效 度 (ocr 核心 目的是 考查 学 生实现 预期学 习 目标 的程 一 cnu— 学 et adt , l y 使大 学英语 考试试 卷设计 尽可 能准 确地 反 映 rn v ii )即将一 次测试 的结 果 同 另一 次 度。但 是 , 生 的学 习 目标 涉及 知识与技 能 、 学生 的实 际水平 ,充分 发挥大 学英 语考 试 的 时问相 近 的有 效测 试 的结果 相 比较 ,或 同教 学科共通能力、情感态度与价值观等多个领 师 的鉴 定相 比较而 得 出的 系数 ;二是 预测 效 域 , 个领域 又包 含 十分 广泛 的内容 , 每 即便是 鉴定 和激励 功能 。 度 (rd t e v l i )即 将 一次 测试 的结果 pe i i a d y , cv it 次学 科专 项测 验 ,要测量 的任 务也是 一个 2效度 及效度 和语 言 测试 的关 系 所 我们通 常无法对某 一范 效度表 示一项 研究 的真实 性和 准确 性 程 同后来 的语 言能力 相 比较 ,或是 同教 师后来 相 当大 的 范围 。 以, 围或 领 域 中 的所 有 内容 和 任务

大学英语四级写作测试语境效度实证研究

大学英语四级写作测试语境效度实证研究

的定义如下 : 效度指的是证据及理论对包含在所提 议 的测试 使 用 之 中 的测 试 分 数解 释 的支 持 程 度 L 4 J 。
效 度理 论 主要经 历 了三 个 时 期 的发 展 , 即单 一 效 度 观 时期 、 分类 效 度 观 时期 和 整 体效 度 观 ( U n i i f e d V a . 1 i d i y) t 时期 。 自 2 0 世纪 8 O年 代 以来 , 许 多 学者 从 不 同角度 论述 了效 度理 论 和 校 验方 法 , 其 中美 国心 理
级命题作文 , 写作 的体裁呈多样化, 有议论文、 说 明
文、 记叙文 , 内容贴近现实 , 多是社会热点问题 , 如旅 游、 交通 、 诚信 、 竞争上 岗等。丰富的体裁和 内容让 学生有话可说 , 也避免了套路化 、 格式化 , 避免学生
信度是指测试分数的稳定性和一致性程度 , 它所 回 答的主要问题是 : 考生 的成绩在 多大程 度上可信。 效度( v a l i d i y t ) 是指 在多 大程度 上 能够 证 明 一项 测 试
的解 释 和使 用 是 合 理 的 ( Me s s i c k , 1 9 8 9 , 转 引 自李 清
来, 围绕如何使大学英语考试能够更加有效地测量 学生的英语水平这一问题 , 大学英语教育与测试工 作者坚持不懈地努力探索 。大批应用语言学 的专家
学者 对语 言 的效 度 测试进 行 了细 致研究 。其 中写作
是 一项 综合 性 的测 试 , 不 仅 检 验 学 生 的词 汇 、 语法 ,
六 级考 试 ( C E T 4—6 ) 一直 受 到 教 育部 门以及 社会 各 界 的关 注 。大 学英语 四、 六级 考试 自实施 以来 , 对 考
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

基于内容效度的大学英语学业测试实证研究
基于内容效度的大学英语学业测试实证研究
应用重测法,从独立学院特点的角度,对近两年大学英语学业测试内容效度进行实证研究。

通过问卷、访谈、试卷分析等有效数据的分析,论证了不同因素对测试内容效度的影响及其相互关系,从而为制定符合独立学院特点保证测试效度的试卷,提供了可靠依据。

学业测试内容效度真实水平可靠信息
一、研究背景
语言测试效度研究被引入大学英语教学后,随着教学理念、教学模式的更新而快速发展。

由于历史原因独立学院发展起步较晚,在教学模式、测试评估体系等方面受传统习惯影响,大学英语学业测试虽然采用了终结性评价和形成性评价相结合的方法,但仍以终结性评价为主,在测试模式上固定单一;因学生英语基础较差,两级分化严重,试卷客观题量偏大。

由于客观题出题较难,有的教师在拟定客观题时直接引用现成的题目;有的甚至模仿、照搬大学英语四、六级考试,忽视了独立学院与其他学院的区别和学生特点,致使学业测试无法准确的检测大学英语教与学的实际情况。

因此,进行学业测试内容效度研究,检测学业测试是否考了教学目标所规定的内容;是否达到了测试目的要求;试题题型的设计是否合理等等这些问题都关系到测试的效度。

二、文献综述
内容效度是指测试内容与预定要测试内容之间一致性的程度,包括相关性和内容覆盖面,是评价一个测试的出发点。

测试的相关性即测试内容和测试的目是否一致。

内容的覆盖面是指试题所代表的需要测试的范围是否充分。

内容效度是检验测试质量的一个重要指标,是测试效度的一部分。

近半个多世纪,语言测试效度的研究取得了重大进展。

自20 世纪60年代以来,效度理论发展大体划分为3个时期:(1)单一效度观时期;(2)分类效度观时期;(3)效度整体观时期,但在不同时期
内容效度始终被认为是效度的一部分。

90年代后效度理论发生了明显的变化。

“国际心理测量学界在1999年修订的新版《教育与心理测量标准》(Standards for Educational and Psychological Testing 中,效度被定义为“关于测验分数的特定解释所得到的支持程度。

这种支持来自累积的证据或理论。

这种解释是测验应用的基础。

”(184页)这里,通过考察测验内容与测验构念之间关系的(在编制测验时,对“这个测验测什么?”问题的回答,就是“构念”)基于内容的证据仍是效度证据的重要来源。

”(谢小庆2010)在收集效度证据的6种方法中的内容分析、项目(题目)或任务的实验分析、纬度分析方法均属内容效度范畴。

内容效度一直被认为是检验测试的一个重要指标。

内容效度的作用是考察学生对所学知识的掌握,一般要参考某种教学大纲,甚至考虑到教学法,对语法要素和技能都要有所体现。

测试是否符合教学内容,试题是否适合被测试的学生,所教过的东西都应在检测范围内,并应注意具有代表性的试题应占有一定比例。

因为高内容效度是良好学业测试与评价最重要的特征之一。

如果测验内容效度不理想,那么它就无法准确反映学生在学习方面的信息。

依据学生分数所做的解释、推论和决策也不会合理和有效。

这样的测验,即使精心施测与客观评分,而且实际获得的信度、难度和区分度指标都可以接受,也不能被认为是好的测试。

三、研究设计
研究的主要问题:学业测试是否检测出了学生英语学习的实际水平。

研究目的:进一步了解独立学院学生学习特点和影响测试内容效度的相关因素,提高测试效度,使其对教学发挥积极的反拨作用。

研究对象为09、10、11级学生,对2010至2012学年度四个学期的大学英语期末测试内容效度的跟踪调查。

研究方法:采取文献研究、访谈、问卷调查、试卷分析相结合的方法进行实证研究。

被访谈、问卷者为学习相对稳定的班级、学生,以保证收集的数据真实可靠。

被抽取的有效访谈、问卷为2010-2011学年度第一学期32份,2011-2012学年度第二学期51份。

四、数据分析
分析表明:1、大多数学生认为,目前的大学英语学业测试基本
上反映了他们的实际水平。

但在题材、体裁的选择,题目(内容)表述等方面需改进。

2、2011-2012学年度第二学期比2010-2011学年度第一学期在测试内容与测试目的要求一致性提高了9%;覆盖面提高了9%;难题比例降低了8%:中等难度提高了6%;容易题比例提高了 3%;区分度有所提高,测试效度明显提高。

五、启示与建议
1、测试目的与测试内容效度
期末学业测试是对学生一个学期学习的成果评估。

内容效度的高低决定语言测试的质量。

因此,命题时必须以教学大纲为依据。

一般来说独立学院的生源、教学条件等方面与其它本科院校不同,学业测试应从实际出发做到三个同步:一是制定教学目标与确定测试目的要求同步,以保证测试以教学大纲为依托。

二是教学与备考同步,在教学过程中讲知识、重点难点的同时,明确备考范围,做到教、学、备考联动。

三是教师反馈与命题设计同步,教师应参与测试讨论,反馈学生学习信息,根据测试目的要求安排、调整学习计划和方法,使测试者更好地掌握学生学习状况和教学动态,并以此为依据,先编制方案,搭好框架,再细化考题内容,形成试卷,以保证测试内容与测试目标相符。

2、题型设计与比例
题型设计是否合理,主客观题型比例是否得当直接影响测试的内容效度。

鉴于独立学院学生特点,在试卷设计中应进行三个调整:一是调整题型比例。

主客观题应各占50%,但题量不变。

这样既能保证测试内容的覆盖面,有利于考察学生语言知识和技能,也有利于加强对学生英语语言应用能力的考察。

二是调整主客观题的选材、体裁范畴比例。

改变过去测试题目素材直接选用教材上内容的倾向,扩大课外选材比例,引用与教学内容相关的现实生活内容,使测试即考察语言知识又注意素材的实用性,同时这样也能更好地避免在测试出现“原题”。

三是调整主观题的表达方式。

主观题主要包括翻译和写作,翻译题可为单句或半句翻译,也可采用翻译短文中的句子,以帮助学生分析理解。

写作除了作文,可采用文章改写、续写、缩写、图表写作等,这对考察独立学院学生的语言综合运用能力将会更为适合有
效。

3、口语测试与课堂评估
目前大学英语学业测试以笔试为主,其内容包括听力、阅读、翻译、写作等,但最能反映英语综合应用能力、体现内容效度的口语却不在其内。

在现阶段口语测试适于以形成性评估的形式进行。

由此,课堂应成为口语测试的主要平台,在课堂教学过程中实现口语能力评估。

在实际操作中,应根据学生的实际水平和教学条件,借助多媒体手段,将口语与听力相结合以课堂活动为主,采用定题发言、角色扮演、对话、看图说话、复述故事、短文朗读等形式进行,并将其评估成绩计入到期末学业测试总成绩中。

有效的口语测试将会使学业测试更加完善。

4、难易度与区分度
在影响内容效度的因素中,包括难易度和区分度。

把握测试难易度是指根据受试者不同层次的英语水平来设计测试的难易度。

区分度是指测试中区分考生能力的程度。

独立学院学生英语基础高低差异较大,试题难了就会考住一片,试题简单了又起不到考核的作用,区分度低了还会挫伤学习好的学生积极性。

因此,把握难易度和区分度很关键。

在命题设计时,应将学生按学习水平高低的实际情况进行命题,使整个试卷难度分布有层次性、区分性。

区分度高的试卷能把好、一般、差三个层次的学生区分开,收到较好的测试效果。

六、结论
注重内容效度的大学英语学业测试,应以考察语言知识、技能和语言应用能力为核心,不仅试题依托的知识点具有代表性、内容具有全面性,还要注意测试内容的输入方式要有利于学生思考、表达和发挥的空间,以有效地全面考察学生的英语语言实际水平,为教学提供可靠信息。

因此,期末学业测试不能照搬照抄任何版本的测试模式,一定要根据测试理论和本院学生特点、教学实际,并把影响内容效度的因素考虑在内,科学地设计试卷,使学业测试最大限度地对不同层次学生的学习起到巩固知识、帮助提高、增强学习信心和提高教学质量。

参考文献:
[1]谢小庆.对检测效度的一些新认识[J].考试研究,2010,(12).
[2]李筱菊.语言测试科学与艺术[M].长沙:湖南教育出版社,2000.
[3]刘润清,韩宝成.语言测试和它的方法[M].北京:外语教学与研究出版社,1991.
[4]付英,李鉴.大学英语校内测试信度效度分析[J].读与写,2011,(6).
------------最新【精品】范文。

相关文档
最新文档