测试题型对英语写作测试的影响

三、结果
1．试卷的信度 信度是检验试题质量的主要标准之一。为考察本研究中两份试卷的可靠性，我们分别用 Kuder-Richarson 21 和 Cronbach Alpha 信度统计方法分别对两份试卷的测试结果进行了信度估算，统计结果见表 1。表中的 数据表明两份试卷信度较高。此外，表 2 中两位评分员分别在写作内容、文章结构、语言的准确性和表达的 复杂性 4 个方面评出的分数高度相关，这表明两种测试题型从不同的角度测试了考生同种能力即写作能力， 说明两份试卷具有较高的信度。另一方面，表 2 也进一步证明评分员采用了一致的评分标准，评分结果可信。
· 115 ·
F-ratio
总分 79.204**
表 6 测试题型 Scheffe Test 的 F 值
内容
结构
178.673**
68.149**
准确性 1.161Leabharlann 复杂性 120.680**
四、讨论
从以上结果可以得出的主要结论是：在写作测试中测试题型会影响考生的成绩。在本研究所采用的两 种测试写作水平的题型中，读短文写作比给提示作文要容易。
1
0.400
Test Item Type * Rater
1
0.100
注：** p<0.01
F-ration 78.317 0.000 0.230 178.143 1.472 0.059 69.256 3.196 1.372 1.156 0.913 0.357 119.430 0.291 0.073
Signif.Of F 0.000** 0.987 0.632 0.000** 0.227 0.809 0.003** 0.076 0.243 0.284 0.341 0.551 0.000** 0.590 0.788
试卷 一 二
表 1 两份试卷的信度 K-R 21 988 967
Cronbach alpha 0.972 0.925
评分员 A 评分员 B
内容 结构 准确性 复杂性 内容 结构 准确性 复杂性
表 2 评分员各评分项相关系数统计
内容
评分员 A
结构
准确性
复杂性
内容
评分员 B
结构
准确性
1
0.896（**）
1
Between group：Test Item Type
1
Accuracy Within group：Rater
1
2.256 2.025 1.600
Test Item Type * Rater
1
Between group：Test Item Type
1
0.625 164.025
Complexity Within group：Rater
[作者简介] 李盛曦（1976-），女，湖南常德人，广州城市职业学院人文学院讲师，研究方向：语言测试、二语教学。
一、研究背景及目的
近 10 几年来，国内不少学者对英语写作测试进行了研究（张在新 1995；马广惠，文秋芳 1999；简庆闽，陆 建平 2000；王初明 2000，杜金榜 2001；牛强，2001；王文宇，2002；韩宝成，2002；李志雪，李绍山 2003；王立非 ，2005，2007）。针对测试题型与写作成绩之间的关系，Weigle (2004)在美国作了一次研究。她采用了两种题 型：读短文写作和给提示作文。她的研究显示，读短文写作测试具有积极的反拨作用，且评分员信度和评分 一致性都相对较高；另一方面，在此种题型测试中多次失败的学生在英语和历史课程的学习上也会感到困难。
1
0.628（**） 0.708（**）
1
0.883（**） 0.901（**） 0.726（**）
1
0.956（**） 0.899（**） 0.652（**） 0.885（**）
1
0.831（**） 0.875（**） 0.770（**） 0.846（**） 0.867（**）
1
0.578（**） 0.627（**） 0.853（**） 0.600（**） 0.640（**） 0.801（**）
表 5 测试题型的双向方差分析
df
Between group：Test Item Type
1
MS 1788.906
Total
Within group：Rater
1
0.006
Test Item Type * Rater
1
Between group：Test Item Type
1
5.256 302.500
读短文写作题型要求考生在理解阅读材料的基础上利用自身的知识和潜能，用自己的语言将个人观点 写作出来，其写作环境类似于真实的日常写作，考生的写作水平能正常发挥，成绩较好。这正如 Campbell (1999) 所指出的，最好的学术写作应是基于一定的内容且是真实的。同时，Heaton（1989）也认为在写作测试 中，写作任务应确保考生有话可说，为何而说，在这中间就应提供“有意义的环境”，即阅读材料。相反，给提 示作文则使考生处于“人造”的环境中（B.Hut 2002B，B.A. Huot 1990，Leki 1991），大多数考生感到要就自己 从未见过或根本不了解的话题写作非常困难；且由于受时间限制，考生往往没有足够的时间来回顾其它信息 或勾勒、整理写作的架构。相比较而言，读写结合的读短文写作题型有很多优势：一方面，研究证明写作很少 孤立的进行，它需要参考一定的资料且应是基于文章阅读的反馈（Cumming，Grant，Mulcahy-Ernt，& Powers 2004）；另一方面，阅读相关的材料使考生在相同的信息背景下，在写作内容上处于平等地位（Weigle ，2004）。 从评分的角度看，考生在试卷一（读短文写作题型）中较多的针对所读文章开展写作，而在试卷二（给提示作 文）中，考生只能根据个人经历来完成写作任务，相比之下，试卷一的答卷具有更大的可比性，评分信度也会 更高（见表 1）。由此可见，读短文写作题型能提高评判中的真实性并减少评分误差（E.M.White ，1994）。
二
3.00
7.00
5.1500
1.39361
2.00
7.00
4.9500
1.24917
一 复杂性
二
2.00
8.00
5.5625
1.59702
1.00
8.00
5.1625
1.49636
3．测试题型对考生成绩的影响 通过计算以测试题型为组间因素、评分员为组内因素的双因素方差可以发现测试题型对考生写作成绩 有影响，而评分员因素对成绩没有影响。表 5 列出了总分及每个评分项测试题型与评分员之间的双因素方 差，从中可以看出，测试题型对总分及写作的内容、结构和复杂性的双向方差分别为 78.317，178.143，69.256， 119.430（p<0 .01），这说明测试题型除了对写作语言的准确性方面（F= 1.156，p = .284，p > 0.01）没有显著影响 外，对其它评分项及总分的成绩都有显著影响。此外，Scheffe Test 被用来进一步检查测试题型对考生写作成 绩影响程度的差异。表 6 的数据说明在四个评分项中，测试题型对写作内容和表达复杂程度的影响最大，对 结构的影响较小，而对语言的准确性上基本无明显影响。
试题型会影响考生在写作测试中的表现，尤其在写作内容和结构及表达的复杂程度上较为突出。在两种题型中，读短
文写作更利于考生写作水平的正常发挥。
[关键词] 测试题型；英语写作测试；考生成绩
[中图分类号] H319
[文献标识码] A
[文章编号] 1674-3288（2009）06-0113-04
[收稿日期] 2009-10-11
标准差
总分
一
10.00
32.00
21.7700
5.65797
二
8.00
31.00
20.8825
5.88361
一
2.00
9.00
6.1250
1.89185
内容
二
2.00
8.00
5.8750
1.89853
一
3.00
8.00
5.6750
1.45475
结构
二
2.00
8.00
5.3125
1.61304
一 准确性
Weigle 试验的对象是美国的二语学习者，采用的方法是读短文简答、写作和给提示作文。然而，在中国 大型外语测试写作部分最常用的题型为给提示作文或提供主题句作文，而这些题型受到了部分学者的质疑。 张在新等人(1995) 指出，这种做法大大抑制了学生对内容挖掘的主动性，从而导致他们写作内容的贫乏，不利 于开发他们的思想和解放他们的思维方式，更不利于发挥他们运用语言的能力。也有专家认为四、六级考试 中的写作命题形式存在一定的问题，对中国学生的写作产生了一定的负面影响（蔡基刚，2002），一成不变的 考试往往诱使学生押题、背记所谓范文(肖云南，罗晓英，2002)，写作题型单调、模式化，像过去的八股文，实用 性极差 (牛强，2001)。大学英语写作教学也随之变成了应试教学，学生的实际语言运用特别是写作能力得不 到有效提高，于是有学者提出改革写作测试题型(肖云南，罗晓英，2002) 。因此，有必要对测试中国外语学习 者写作能力的题型进行研究，以便有效地测试出考生的外语写作能力。
试卷一 试卷二
内容 0.2625 0.5375
表 3 各评分项目及总分难易度统计
结构
准确性
0.36625
0.48375
0.535
0.50625
复杂性 0.3775 0.58
总分 0.3725 0.539688
· 114 ·
表 4 总分及各评分项目两种测试题型的描述性统计分析
试卷类型