大学英语四级机试的效度验证

罗 娟

（中南林业科技大学，湖南 长沙 410211）

一、研究背景

为顺应我国近几年的大学英语教学改革进程，教育部2007年颁布了大学英语四、六级网考作为“高等学校本科教学质量与教学改革”项目之一，网考总体目标是建立“以试卷为基础的计算机网络系统，尽可能在适当时间、适当地点为考生提供以听力测试为主包含读写译测试在内、重点考查英语学习可持续发展能力的计算机试测试”（张尧学 2008）。与传统纸笔测试的试卷结构相比，网考加大了听力在考试中的比例，与听力相关的考试内容和时间约占整个考试的70%，并选用了视频作为听力材料，改变了过去单一音频听力测试形式。听力测试题型除传统的多项选择题外，还包括听写、句子跟读和基于视频的写作等综合性产出试题，并将口语和写作测试也融入视听测试中。

近年来，语言测试界的国内学者对于四级机试的测试效度进行了多方面的理论论证，但在效度研究上的实证研究尚未多见。鉴于大学英语四级作为超大规模的标准化英语测试在国内的影响，本研究将对四级机试效度进行实证性验证。

二、研究设计

此次研究的参与对象为湖南省某高校二年级本科生，考生抽样数量共为85名。实验参与对象于2008年12月底先后参加了四级笔试及机试考试，考生考前被告知取两次考试成绩较高者为最终成绩，有效减轻了考生的心理压力。两次测试于前后两天实施，保证了测试对象语言能力的同质性。机试完毕后，马上对考生实施了问卷调查。

在考试完毕后，笔者对本省具有四级机试试验点的五大本科院校师生也实施了问卷调查，共回收有效问卷教师71份，学生305份，问卷形式以多项选择题为主，少量为开放式问题。本实验旨在回答以下研究问题：四级机试的测试效度如何？笔试与机试两种测试形式，是否对测试结果产生显著影响？机试对语言教学与学习产生了哪些反拨作用？

三、数据分析及结果

1.机试与教师评价的相关分析

参加机试的本科二年级3个班级的任课教师都连续教授参加本实验的考生至少两个学期，对其英语能力较了解。在四级考前这3名任课教师完成了有关四级机试的问卷调查。问卷结果显示，将考生的测试成绩以425分为设定及格线，在综合评估考生英语综合应用能力基础上，任课教师对学生英语水平是否合格的判断与机试结果的相关达到了0.628，与笔试考试结果的相关达到了0.684，均为高水平的显著相关，说明四级机试能比较准确地评估学生语言水平。

2.测试结果

笔试与机试，不同的测试形式是否对考生能力估计产生显著影响，是许多考生、教师及研究者关注的问题，特别是现在很多高校将大学英语四级考试证书与学生毕业证书相联系，因此本研究以下来验证两种测试对测试结果的影响。

表1 配对样本 t 检验

分析结果显示四级笔试与机试结果有较高相关，两次测试结果具有较高的一致性；t检验结果显示两次测试的总分在统计上没有显著性差异（p>.050），说明考生无论是参加机试还是笔试，两种测试对受试的语言能力的测评结果没有显著性差别。

但不同语言水平的考生是否因测试形式不同，测试结果因此受到不同影响，需要进一步验证。我们将笔试成绩作为效标，以425分为分级点，将考生分为高分组（49人）和低分组（36人），验证高分组与低分组考生的笔试与机试成绩是否存在统计学差异。

表2 配对样本相关

表3 配对样本t检验

首先，低分组、高分组考生的机试与笔试成绩均存在显著的正相关关系（p<.05）；表3说明低分组的机试与笔试成绩存在显著性差异（p<.05），且机试分数显著高于笔试总分；而高分组的机试与笔试成绩无统计上的显著差异（p>.05），说明对于语言水平较高的考生，无论是参加机试还是笔试，两种测试对受试的语言能力的测评结果没有显著性差别。

对于低分组考生机试分数显著高于笔试总分，本研究认为可从以下方面解释：低分组样本过小（n=36），抽样上的误差有可能造成统计结果的误差；机试提高了语言测试任务的真实性及多样性，使其更接近于真实世界的任务，因纸笔测试方式无法测量的语言次能力，从而使得机试对于语言能力的区分更加准确，能对低分群体的语言能力进行更准确的测量。

3.问卷调查

反拨效应是收集效度证据的重要方面（Weir，2005），我们通过问卷调查了解机试测试对语言教学与学习产生了哪些反拨作用，是否促进了语言教学的改进和学生语言能力的提高。问卷调查的结果经统计分析后，将问卷部分调查结果列表如下：

问卷调查还显示，半数以上考生反映对CET-4机试不太适应，有紧张心理（52.8%），导致其紧张的主要因素是听力比例加重（62.3%），跟读题型的增加（45.6%），电脑上读、做题不习惯（37%）。因此，相对于笔试考生普遍认为机试整体难度偏难（67.9%），且机试对他们没有利（42.6%）。尽管如此，教师及考生大多数认为机试内容设计合理，能反映学生的实际英语水平，促进学生语言交际能力的提高，因此对于机试改革持支持态度。

在对机试各测试部分效度的调查中，大多数教师及考生认为机试的整体效度比较好，并且对各分项目效度的评价排序也很一致，相对来说，听力/视频被认可的效度最高，而语法结构题型的效度不太理想。此外，经综合考生在问卷中就四级机试的意见及建议主要概括如下：（1）机试的难度应适当降低；（2）减少语法结构的测试；（3）听力/视频的语速应稍减慢，短文过长；（4）短句跟读的句子过长，录音时间稍短；（5）降低口语考试分数线。

四、讨论及结语

本文通过大学英语四级机试与笔试对比试验，对四级机试效度进行了实证性的验证。基于以上分析，本研究发现，以笔试作为外在效标，机试总分成绩与笔试成绩无统计上的显著差异，且两者间的相关度较高，测试结果一致性较高，说明测试形式的改革不会对考生成绩产生显著影响。问卷调查结果发现，教师对考生英语水平评估与机试测试结果相关较高，说明四级机试能较准确地评估学生语言水平；教师及考生普遍认为CET-4机试设计合理，新的测试对考生听说综合应用能力的考察，将通过反拨促进学生语言交际能力的提高。

测试要保持其生命力，就需不断改革与完善，不仅要跟上语言学和语言教学新思想的发展，而且还要跟上时代的发展。基于网络和多媒体技术的机试是测试发展的必然趋势，四、六级机试顺应了这一发展趋势。

［1］Weir C J.Language Testing and Validation［M］.Palgrave：Macmillan，2005.

［2］张尧学.关于大学英语四、六级考试改革的总体思路［J］.外语界，2008，（5）：2-4.