大学英语学业考试试卷设计的效度

梅冬琪

（黑龙江大学剑桥学院 外语系，黑龙江 哈尔滨 150069）

1 引言

本文通过研究大学英语学考试大纲，旨在探讨大学英语学业考试试卷设计效度问题，并使考试的形式有利于实现测试的目的，使大学英语考试试卷设计尽可能准确地反映学生的实际水平，充分发挥大学英语考试的鉴定和激励功能。

2 效度及效度和语言测试的关系

效度表示一项研究的真实性和准确性程度。又称真确性。它与研究的目标密切相关，一项研究所得结果必须符合其目标才是有效的,因而效度也就是达到目标的程度。效度是相对的，仅针对特定目标而言，因此只有程度上的差别。如用听写来测量学生的听觉能力，其效度也是不理想的，因为书面记录有声语言不仅涉及学生的听觉能力，而且还与他们的书写速度、拼写能力、语法知识、记忆能力和对全文的理解能力等有关。

测试的效度一般可分为以下几类：

表面效度（face validity）。指测试应达到的卷面标准，即一套测试题从表面看来是否是合适的。例如，若一次阅读理解力的测试包括许多受试者没有学过的方言词汇，则可认为这次测试缺乏表面效度。表面效度是测试出受试者正常水平的一种保证因素（Arthur Hughbes，2003，p.26）。

内容效度（content validity）。指一套测试题是否测试了应该测试的内容或者说所测试的内容是否反映了测试的要求，即测试的代表性和覆盖面的程度。例如，在成就测验中，测验题目是根据教学大纲和教材内容适当抽出的，内容效度就是判断测验题目（内容）是否符合它欲测的目标。由于这种衡量效度的方法必须针对课程的目标和内容，以系统的逻辑方法详细分析题目的性能，故又称课程效度或逻辑效度。确定内容效度的方法主要有两种：①专家判断，即由有关专家对测验题目与原定内容范围的符合性作出判断；②统计分析，即以一组被试在取自同样内容范围的两个独立测验上得分的相关作出估计。内容效度很容易与表面效度相混淆，实际上两者意义不同。表面效度指从外表（如测验的材料及用语、试题的印刷等）直观地看，测验题目与测量目标的一致程度，它与内容效度所指测验在实际测量上的有效程度不同。从技术意义上严格地说，表面效度不是效度，但为了取得被试的信任与合作，表面效度也不可忽视（Arthur Hughbes，2003，p.27）。

编制效度（construct validity）。指一套测试题的诸项目对编制该测试所依据的理论的各个基本方面的反映程度。例如，以结构主义语言理论为基础，认为系统的语言习惯是通过句型而获得的，那么，强调词汇和语法环境的测试题目就失去了编制效度（Tim McNamara，2003p.48）。

经验效度（empirical validity）。经验效度是一种衡量测试有效性的量度，通过把一次测试与一个或多个标准尺度相对照而得出。经验效度可分为两种：一是共时效度（concurrent validity），即将一次测试的结果同另一次时间相近的有效测试的结果相比较，或同教师的鉴定相比较而得出的系数；二是预测效度（predictive validity），即将一次测试的结果同后来的语言能力相比较，或是同教师后来对学生的鉴定相比较而得出的系数。

测量的各种效度的区别在于各自强调的方面不同。一个测验可以有多种效度，每种效度视使用者的具体目的而定，因此，一般不存在测验的统一效度。但各种效度又是相互联系和补充的。内容效度和构想效度既是效标关联效度的保证，又须得到它的支持。考察内容效度和效标关联效度又有助于确定构想效度。一般来说，对某次测试的效度进行检验时，除了要根据教学大纲的要求和观念有效性的理论对试卷的内容进行考查以外，还须采用计算相关系数的定量方法，即计算出本次试卷与另一份已被确定能正确反映受试者水平的试卷之间的相关系数。系数高则有效性大。课堂测试的效度应在0.4-0.7之间，规模较大的测试其效度应在0.7以上（Tim Mc－Namara，2003）。

3 大学英语学业测试及大学英语考试大纲

作为大学英语基础阶段的一种学业测试，大学英语学业测试应在贯彻教学大纲的前提下，以教学内容为基本依据，适当安排课外内容。它以检测学生、教师和课程安排能否较好地实现各自的预期目标为主要目的。有效度的测试可以帮助学生了解自己的学习情况，帮助教师了解教学效果以及教材的选择和课程的设置是否得当。

大学英语教学改革的目标是既要保证学生获得扎实的语言知识，又要把学生的语言运用能力突出上去。每个院校都会根据本院校的实际情况来制定适合的考试大纲。大纲基本包括：考试目的、考试对象、考试性质、试方式与内容、试范围。如考试内容为：听力理解、语法结构、阅读理解、翻译（英译汉）、写作（或汉译英）及口语等，并量细致量化考试内容。多数学校大学英语学业考试的成绩还包括平时课堂表现分数。试卷设计达到效度标准是准确地反映学生的实际水平，充分发挥大学英语学业考试的鉴定和激励功能的前提。

4 效度对大学英语学业考试试卷设计的启示

要提高试卷的效度，应从提高以下几个效度着手：

内容效度。是概念的整个内容。实际上，任何一个试题都总是有关教学项目中全部题目中的一个样本，这个试题的代表性的程度，就是这一试题对有关教学项目（连同目标）的内容效度。通常来说，我们开展测验与评价的核心目的是考查学生实现预期学习目标的程度。但是，学生的学习目标涉及知识与技能、学科共通能力、情感态度与价值观等多个领域，每个领域又包含十分广泛的内容，即便是一次学科专项测验，要测量的任务也是一个相当大的范围。所以，我们通常无法对某一范围或领域中的所有内容和任务进行考查，只能从中抽取一个有代表性的样本去评价学生，然后依据学生在样本上的表现推测其发展状况，做出有关解释与决策。在测验中，题目样本对所要评价内容范围的代表程度反映了内容效度的高低。从测量学角度来说，内容效度指的就是测验题目有效测量了特定目标并从整体上反映了所要测量领域的程度。

题目样本的代表性越好，内容效度越高；反之，题目样本的代表性越不充分，内容效度则越低。我们可以结合大学英语测试大纲来做进一步的分析。英语学习包括听力、阅读、写作、口语交际和综合性学习等方面，这几个大的学习领域及其具体的学习要求就是英语评价的内容范围。作为一个完整的英语学业考试评价，只有评价任务或测验题目均匀地取自整个内容范围，具有充分的代表性，才能真实、有效地反映学生学习的实际状况。而如果题目仅选自少数领域，或者有些题目根本没有落在评价范围之内，评价方案的内容效度就不够理想。

准则效度。准则效度是测试的分数与有关的等第、标准之间的相关程度。准则效度又可分为一致性效度与预测效度。例如每个学生英语的、学业考试分数在大一和大二总的得分之间的相关程度就是一致性效度。好的学业考试试卷往往一致性效度高。同时好的学业考试试卷预测效度也高。还有其他的效度，但主要就是这两种效度，这两种效度互相是有联系的，内容效应直接影响准则效度。编制试卷不仅要有科学的组卷过程，而且要讲究试题科学性。这种科学性不仅表现在试题的安排布局上，而且更表现在试题本身的科学性上。考查目标功能时，采用由低到高的“了解”、“理解”、“掌握”和“运用”(或称“应用”)四个层次是适宜的.它既反映了普遍的认知规律，又体现了英语的学科特点

[1]Arthur Hughbes，2003，Language Testing,上海：上海外语教育出版

[2]Arthur Hugbes，2003,Testing for Language Teachers,Cambridge University Press