基于课程标准的大学英语学业测评体系开发研究

戴 瑜，李 廉

（1.中国矿业大学徐海学院，江苏徐州221008；2.中国矿业大学外文学院，江苏徐州220016）

基于标准的评价主要是根据课程标准设定的学习要求，考查学生对要求的学习内容的掌握情况及其能力水平。这种评价依据一系列预先设定的、描述不同阶段的评估标准来评价学生的学习，给出学生的成绩。这种评价可以帮助学校确认什么是重要的学习内容，并协助教师和学生专注于重要的学习内容，最终促进学生的发展。按照这种定义，我国目前高校的大学英语学业测试普遍采用的是基于标准的评价模式。为了给学生提供及时有针对性的有益反馈，从而促进学习，大学英语学业测试按照学生的具体能力水平是否达到课程标准，将学生分为合格/不合格两大类，进而对不同的学生实施对应的教学活动。

我国高校普遍把期末考试作为主要的学业评估方式，目前各高校所使用的大学英语学业测试试题，主要采用教师自编测验方式。从命题内容来看，这类测验大多以教材为中心或者依据主观经验进行命题，考试往往缺乏合理的理论效度规划，在难度和区分度上也通常缺乏明确的设计。从评分和分数解释来看，尤其是主观测试项目上，存在评分标准笼统、测评结果稳定性差、评分员差异大等问题。对于一份试卷来说，需要通过考察哪些特定的知识和技能、考生需要有怎样的具体表现，才能判断出该考生达到这些知识和技能的临界水平，能够获得多少分数。在此过程中，对具体标准的描写和分数的判定的过程即基于标准的测试中的“标准设定”环节。这些标准制定的是否合理、科学和明确，会影响到试卷的编制、分数的解释等，关系到测试效度的问题。

Bachman认为，考试与教学内容的相关性和对教学内容的覆盖面是学业考试的要素，它能赋予分数具体的意义，激励学生更主动地参与日常的学习活动，并对教与学产生有利的反拨效应。多数研究显示，基于标准的评价对学生的学习和成绩有积极作用。

本文在Bachman和Palmer的“测试使用论证”的语言测评开发与使用过程指导下，以中国矿业大学徐海学院为例，结合该院的《大学英语课程教学大纲》（以下简称《大纲》）的要求，探讨开发编制适用于独立学院的学生英语水平的大学英语学业测试需要关注和考虑的相关问题，使其有助于对学生英语水平进行科学的客观评估。

一、测评开发论证

“测试使用论证”的语言测评开发与使用过程涉及一系列活动，包括初划、构建测试使用论证、选择或开发一项测试、收集用于测试修订的反馈信息、获得测试记录、依照测试记录解释考生的语言能力、参照有关语言能力的解释作决策等。这些活动大致可归入五个阶段：初步规划（initial planning）、设计（design）、实施（operationalization）、试测（trialing）和测评使用（assessment use）。测评开发的第一阶段是初始规划，决策者初步考虑其是否需要使用测评为预期决策提供信息。若决策是使用一项测试，那么初划的活动会产生测试可行性的初步评估。若决策是选择某一测试，那么测试开发者需要论述主张及理据，以证明现有测试可以使用，然后测试开发者开始试测和测试使用，为理据提供支撑依据，为测试使用者提供真实的评估、评估记录及解释信息。若决策是开发一项测试，那么测试开发者开始第二阶段，即设计阶段。本阶段实施的活动会产生设计方案（design statement），以及“测试使用论证”的理据。第三阶段的实施活动产生测试蓝图（blueprint），一个以上的“评估”以及为测试使用者提供解释信息，并产生“测试使用论证”的附加理据。第四阶段是试测，会产生反馈信息，为理据提供支撑依据，为测试使用者提供测评任务档案和其他的解释信息。第五阶段的测试使用活动产生测评记录，为测评使用者提供其他的解释信息、语言能力解释，以进行决策。

在整个过程中产生的解释性信息，包括需要评估的构念说明，并伴有测试任务说明，以及测试记录如何产生的说明。这个信息由测试开发者以条款表格的形式向测试参与者和其他利益相关者提供。基于解释的决定会在现实世界中产生后效，该后效也由真实世界条件决定。测试开发者的首要产品是“测试使用论证”本身，因为不同具体的理据要说明论述，在测试开发和使用不同阶段要搜集支撑依据。

当“测试使用论证”指导测评开发和使用时，“测试使用论证”本身也在整个过程中得到详细说明及修订。同样的，当真实世界的条件影响测评开发使用中所形成的某些决策时，这些条件会随着测试开发者对这些活动做的改变和调整而演变。因此，验证和真实世界的条件会引导并通知所有测试开发使用中的决定和流程，也会确保有目的测试使用可以验证，并具有实用性。

二、大学英语学业测评体系开发——以中国矿业大学徐海学院为例

按照我国《民办教育促进法》及相关规定要求，民办高校以培养应用型人才为目标。对于培养应用型人才为目标的中国矿业大学徐海学院，其学生的英语应用能力不容忽视，尤其在我国步入世界性经济、政治和文化的大流后，学生英语的实践能力和综合应用能力是最为关键的。该院根据国家对民办高校的指导性规定，制定了相应的大学英语的教学大纲，确定了大学英语的课程性质、教学目的及任务。即《大学英语》课是一门既发展语言能力，又发展交际能力的实践课，培养学生较强的听、说、读和一定的写作、翻译能力，能够用英语进行日常交流。大学英语教学应帮助学生打下扎实的语言基础，掌握良好的语言学习方法，提高文化素养，以适应社会发展和经济建设的需要。

基于标准的学业测试开发，以该院制定的《大纲》为基础设定测试的评价标准，按大纲要求对所要掌握的知识、技能和理解方面进行有效测量并提供可信的测量结果。在AUA框架下和基于标准的理论下，开发大学英语学业测试需要经过初步规划、设计、实施、试测和测评使用这五个阶段，并且在所有阶段中需要体现《大纲》设定的要求标准。

（一）初步规划

初划是测试开发和使用的初始阶段，在是否需要进行测试开发的决策作出之前完成。决策者和测试开发者要回答一系列的问题，以决定是否需要测试，是否需要开发新的测试，以及考虑测试开发所需的资源。为了回答上述问题，在初步规划学业测试时，与《大纲》要求对应，在以下几个方面设定标准：

作为大学英语教学中重要组成部分的学业测试，其试卷设计要保证质量，能够客观准确地测量大学英语教与学的实际水平，科学解释成绩并及时反馈于教学中，对教学起正面把握作用。参考Bachman所列初划阶段需要关注的若干问题，该院大学英语学业测试开发和使用有如下几点考虑。首先，直接受测试使用影响的相关利益群体包括大学一年级和二年级的非英语专业的本科生以及大学英语各年级的授课教师和学校的教学管理部门。其次，以大学英语学业测试依据，所需要作出的决策是判定参加考试的学生通过或未通过大学英语一、二年级四个阶段的学期学业测试。再者，为了决定学生是否通过阶段性学业测试，教师可以利用的资源有：学生的自我评估、作业、对学生语言能力方面的印象或测试。其中，自我评估有可能会超过真实水平，家庭作业未必由学生自己完成，而教师对学生的印象不一定保持一致并会存在偏差，所以进行测试是必要的。该院现有的大学英语学业测试，缺乏合理的理论效度设计、合理的难度和区分度，测评内容和教学目标不一致，评分标准笼统、测评结果不稳定等问题。判定学生是否可以通过该阶段的大学英语学业测试，需要了解并收集与决策相关的学生语言能力方面的信息，而相应阶段的大学英语课程教学大纲是参考的标准。

（二）设计阶段

在测试开发设计阶段，测试开发者将实施具体的活动，主要的活动就是编制设计方案。设计方案是说明在设计一项测试之前所需的内容，可以引导测试开发和使用过程的最后三个阶段——实施、试测和使用，同时也会为“测试使用论证”的几个理据的支撑材料提供信息，为测试使用者及其他相关利益者提供他们能理解的测试解释信息。设计方案包括的内容较广泛，本文对以下几下重要问题进行阐述讨论：

1.考生错误分类的严重性和政策性决策的标准

（1）错误分类的严重性：错误的积极分类决策比错误的消极分类决策相对要严重。

表1 相关利益者及大学英语学业测试所作决策产生的后效

（2）设立标准的政策性程序：通过大学英语课程的标准由大学英语课程负责人与该课程的授课教师协商共同制定标准并在学校网站公开发布。

（3）通过大学英语考试的标准：标准分线是60分，参照该院《大纲》要求测量学生的语言知识。

2.构念的定义

构念即一项测试要测的内容，既是测试任务编制的基础，也是分数解释的依据。大学英语学业测试用于诊断教学背景下具体的教学目标的完成情况，其构念主要依据课程教学大纲中所包括的语言能力要素。结合该院《大纲》中的教学目标和基本要求，学生的英语综合应用能力是主要的培养目标，以帮助学生实现用英语进行日常交流的需要，对词汇、听力理解能力、口语表达能力、阅读理解能力、书面表达能力和翻译能力在四个学期有不同等级要求。包含的语言能力要素有两方面：（1）策略能力方面的掌握大意、抓住要点、领会观点和态度、一般性交流及描述等；（2）话题知识方面的日常话题、一般性题材、个人经历、事件、观感、情感等。

3.描述目标语言使用域

语言测试任务是构成语言测试的基本要素，是能够诱发考生作答的“程序”，通常要以目标语言使用域的任务为参照进行改造、设计。人们正是通过考生完成测试任务的具体表现，来推测考生完成目标语言使用域任务的表现，据此对其语言能力做出解释。根据Bachman的观点，在大学阶段所施行的这种学业测试，很难去明确其具体的目标语言使用域，因此在这类测试中，可以依据考生的相关属性和受测的构念，定义所需概化的目标语言使用域。根据上述分析，大学英语学业测试的语言构念要以该院制定的《大纲》为指导，按照大纲在四个学期的不同等级要求，开发体现考生听力理解能力、口语表达能力、阅读理解能力、书面表达能力和翻译能力的测试任务。

（三）实施阶段

实施包括开发蓝图、开发实际的测试任务，然后按照蓝图把测试任务组织到整个测试。设计蓝图是整个测试以及测试中的单个任务的一组说明文件，用以指导测试开发者建立测试任务，并为测试使用者和其他利益相关者提供信息。该院大学英语学业测试的蓝图编写，要注意到测验与课程标准之间的一致性，并结合该院学生的培养方案，参考以下两个原则：（1）交际测试原则：根据该院《大纲》的课程性质，测试主要衡量学生的英语交际能力，着重考查听说能力和交际阅读能力，在测试内容和考点设置上以《大纲》为基础，参考雅思和托福考试构念效度，借鉴全国大学英语考试四六级的信度机制。这将使该院大学英语学业测试明显区别于大学英语四六级考试，后者主要用来测试考生的语言综合结构能力和应用能力，是对语言基础的标准化反映，而非交际能力；（2）泛校本原则：该院的大学英语学业测试兼具有本校特色。开发学业测试，要根据该院学生专业特点和学校发展方向定位，测试内容多采用与该院设置的不同专业类型领域相关的素材，而非大学英语四六级考试中的泛人文类素材。根据该院学生出国交流、攻读研究生和毕业后工作等需求，部分测试内容增加实用场景对话和学术场景素材。

该院大学英语学业测试的编制遵循布卢姆认知目标划分法，在测量各级别教学目标的实现情况时，在每份试卷中以知识占15%、理解占25%、应用占30%、分析占15%、综合占10%的分配组成。测试包括听力、阅读、写作和口试四项，总时长120分钟（见附表1）。

（四）试测和使用阶段

测试的试测阶段包括在一组人中试用该测试，搜集信息，以及为了改进测试分析信息。这些活动产品包括反馈、支撑信息，测试任务的记录，其他的测试使用者的解释性信息。测试开发者使用试测中收集的信息提供支撑依据支持AUA中的理所，或是修订AUA中具体的理据。她也可以用这些信息指导其在测试任务或整个测试的修正中，这样她能为AUA的理所提供更强的支撑依据。依据试测所获得反馈所做的修正可能相对本地化，由少量的校订组成。测试结果的分析可能会显示要求有更广泛的修订，可能涉及到回归到或再次思考AUA的设计方案或理所中的一些元素。在主要的测试努力中，测试或测试任务总是需要在使用前试用。涉及到管理测试，去收集关于测试使用者“语言能力”的信息，以用于作出决策。测试使用者解释测试记录作为想要测评的能力指示器，并用于决策。此外，测试使用将用于继续收集作为测评论证过程部分的信息，为测试使用者提供额外信息。

开发基于标准的大学英语学业测评体系，设计要以学校的课程教学大纲为依据，并结合学校的实际情况，制定开发科学的、客观的、系统的评估体系，这对于实现课程目标至关重要。为保证学业测试的质量，有必要成立专门的大学英语试题库建设小组，负责测试的设计、分析和研究，收集和保存每次考试的试卷和数据，将优秀的题目存入电脑，这样才能逐步提高试题的质量，实现测试的标准化，保持同一级考试的稳定性。用同一尺度衡量不同届的学生，才能使考试有纵向的可比性，更准确地评估各届学生的水平和教学质量。加强试题质量控制，在没有条件试测的情况下，可采取试做的方法，以预测试卷的效度。例如，可以由其他级别未参加本级别学业测试命题的老师将整套试题按照考试要求做一遍，这样常常可以发现不少问题，如题目语言上的错误、多种答案、答案给错、时间不够等。

参考文献：

[1]汪贤泽.基于标准的评价研究[J].当代教育科学，2008（10）：11-14.

[2]Cuyneth Hughes.Towards a Personal Best:A Case for Introducing Ipsative Assessment in Higher Education[J].Studies in Higher Eudcation，2011（5）：353-367.

[3]Bachman L F,Palmer A S.Language Assessment in Practice[M].Oxford:Oxford University Press,2010.

[4]戴瑜，李廉.基于测试使用论证理论的大学英语学业测试体系建设[J].煤炭高等教育，2017（4）:68-72.

[5]丁秀峰.心理测量学[M].北京：光明日报出版社，2001.

附表1 各部分测试内容、题型和所占分值比例