TEM－8 阅读理解试题效度研究——以2011 年专八考试阅读理解试题为例

韩 笑

(郑州成功财经学院，河南 巩义 451200)

语言测试是检验学生语言水平的重要手段。要设计好一套测试题，需要遵循一定的标准，如效度、信度、区分度等。其中，效度是一个非常重要的标准。效度指测试是否考查了设计者想要考查的内容，或者说在多大程度上考查了想要考查的内容。效度的高低是衡量语言测试最重要的指标，它是语言测试的基本出发点。高等学校英语专业八级考试(以下简称TEM－8 或专八考试)是根据《高等学校英语专业英语教学大纲》(2000 版)要求，全面检查已完成英语专业高年级阶段课程的学生是否达到了《大纲》所规定的英语语言综合运用能力标准以及英语专业知识的高水平测试。专八考试属于标准参照性教学检查类考试，每年的三月份举办一次，考试对象为高校英语专业大学本科四年级学生，考试由教育部高等学校外语专业教学指导委员会英语组组织有关测试专家命题，外语专业教学指导委员会办公室负责考试的实施。2011 年TEM－8 于2011 年3月举行，本年度考试是否贯彻了考试大纲的宗旨，试题质量如何，考试对教学有哪些启示，这些问题值得我们探讨。

本文以Bachman ＆ Palmer 提出的任务特性(Task Characteristics)为基础，融入Bachman 的最新测试理论“效度整体观”把评估行为和基于评估结果做出的决定联系在一起，形成了“评估使用论证(Assessment Use Argument，AUA)”框架，包括六大要素(elements)和四大类主张(claims)。六大要素即为效度论证的主要内容，主要包括:观点(claim)、数据(data)、根据(warrant)、证据(backing)、反证(rebuttal)及反证证据(rebuttal backing)并结合《高校英语专业八级考试大纲》对2011 年的TEM－8 阅读理解部分的效度进行研究。本研究对阅读考试内容和形式的不断完善，课堂教学的组织优化，以及学生阅读能力的提高有重要启示作用。

一、效度分析

1. 试卷内容效度分析

内容效度是语言测试效度研究的一个核心问题。内容效度决定了测试方法多大程度上测试出语言能力。测试的内容效度是指测试是否考了考试大纲规定要考的内容或者目标。阅读作为语言学习中最重要的基本技能之一，是获取语言知识最直接、最有效的方法，阅读能力则是衡量掌握语言综合能力的一项标志。学习阅读，学会阅读，提高英语阅读能力，是提高整体英语水平、最终熟练掌握英语的必经之路。阅读部分在英语专业八级考试中占有相当大的比重，不论是学生还是教师都应对此非常重视。其内容效度的实现对整个考试内容效度的实现有很重要的影响。依据考试大纲，我们一般从三个方面来检验某次测试的内容效度:(1)测试内容，即试题是否具有代表性;(2)测试内容是否和测试目标有关;(3)测试内容是否符合代表对象。

从2005 年起英语专业八级考试测试题型有所更改，其中阅读部分不再区分快速阅读和一般阅读，但测试目的基本没变，还是考查英语专业学生对高级英语阅读能力和技巧的掌握(其中包括略读、精读)。所以本文把2011 年TEM－8 考试中阅读理解部分的测试内容(总共4 篇阅读材料，20 道题)作为样本，依照考试大纲对其进行内容分析。

表1 2011 年TEM－8 考试阅读理解材料主题和篇章体裁

材料主题范围包括社会与生活、文化习俗、人物介绍、金融贸易、科技通讯和时事热点等各个方面，具有较好的代表性和较广的覆盖面，避免了由于考试选材缺陷而产生的偏颇，为提升考试公平性打下良好基础。其次，这些主题范围和学生的学习生活以及他们关注的社会经济科技及择业等问题息息相关，这有助于增强试题的交互性。交互性指考生与测试任务之间的互动，材料主题和考生越贴近，互动的可能性就越大，从而有利于提高考试的有效性。根据Bachman ＆ Palmer(1996:17 ～37)提出的考试有效性模型，交互性是任何一项有效考试必备的六大品质之一，此次考试中这些考察的主题范围直接和语言知识有关，用于检测考生对语言知识的掌握，题型的整体设计与语言能力的检测密切相关，以此可以证明八级考试具有作为高校英语专业教学检查类考试的本质属性和使命。

2. 结构效度

测试效度必须与测试目的相结合，脱离了具体的测试目标而讨论测试效度是没有意义的，结构效度是试卷质量的关键。Bachman ＆Palmer 认为结构效度关系到我们依据考试成绩所做的，对评价测试结果的解释是否有意义并且恰当。也就是说，我们有把握说一个考生成绩能够表明考生具有所考查的语言能力。我们必须阐明所要测量的是哪些语言能力，并用恰当的方式描述这些能力，然后依据这些能力描述设置考查这些能力的考试任务。这样测试者就能够比较有把握地根据考试成绩来解释考生的语言能力。

本文对2011 年阅读部分的材料进行一个粗略的统计，对材料的篇数、词数及类型作一个总结。

表2 2011 年TEM－8 考试阅读理解材料字数统计

《考试大纲》规定八级阅读材料总词汇量为3000 个单词左右，按照规定，阅读理解部分的答题时间是30 分钟。根据表2 统计，阅读理解材料总字数加上题目字数，阅读理解测试部分的阅读量约在3600 左右，阅读速度为120 字/分，从材料的篇幅和阅读速度方面是符合了考纲的要求。

第二语言阅读能力由两个构成成分组成，一是词汇和字面理解能力，二是总体阅读理解能力或推理能力，而在实际操作中TEM－8 阅读理解题型可分为四类:字面理解题、信息重组和释义题、推理题和评判题，鉴于此，我们在实际分析中对题型作如下分类:字面理解题即从文字表面就能找到答案的题目，且一般都在一句话之中。信息重组和释义题可进一步细分为两类:信息重组题和释义题。信息重组题需要整合多处细节，跨越原文数个句子甚至段落，通常选择时需要对比多重信息。比较典型的题目:Which of the following statements is true?释义题考查考生对文章某个部分意义的理解，如本次八级试题第22 题:... class still indicates something less blunt than mere wealth (para. 3)means that 推理题考查考生对材料进行推理的能力，通常答案无法直接从文中找到，考生需要读懂文字之外的意思。比如，八级考试第20 题:What is the author＇s attitude towards paperlessness?我们采用上述题目分类法分析了本次八级考试阅读理解部分的客观题，结果如表3 所示。

阅读理解部分在题目上的考查力度有明显区别，八级更侧重检测考生对多处细节的信息整合能力，阅读理解着重检测考生信息重组与释义以及推理的能力，也有一定比例检测字面理解和评判能力。由此可见，试题设计不仅保证了对不同层次理解能力的综合检测，也根据考生层次确定了不同层次的题目的比重差异，这样的安排体现了考试大纲的相关要求，并且有利于考生在考试中根据需要自觉调整阅读技巧。

表3 2011 年TEM－8 考试阅读理解题项类型分析

3.整体分析

TEM－8 针对全国高等院校英语专业全日制本科四年级学生，即全面检查已完成英语专业高年级阶段课程的学生是否达到英语语言综合运用能力的标准以及英语专业知识的要求。阅读理解测试部分的内容是否适合测试对象，答案应该是肯定的。根据全国高等学校外语专业考试办公室提供的数据如表4 所示:

表4 2011 年TEM－8 考试(RD 表示阅读理解)

我们不难看出，阅读理解部分的得分率在57.95%，而这个成绩与英语专业八级考试的通过率56.06%基本持平。从学生的成绩上来看，学生的平均得分在12 分左右，成绩居于中等，阅读部分几乎没有得满分或者零分的情况也可以表明测试内容基本符合大纲所要求的测试对象。总的来说，2011 年专业八级考试阅读部分难度适中，基本上符合大部分的测试对象，其效度可以说是不错的。

二、结语

本文以Bachman ＆ Palmer 提出的任务特性(Task Characteristics)为基础，融入Bachman 的最新测试理论AUA 框架为理论依据，结合《大纲》对2011 年的TEM－8 阅读理解部分的内容效度和结构进行分析，我们认为2011 年八级考试阅读理解部分基本符合大纲要求，具有较高的效度较好地贯彻了考试大纲的要求，对英语专业基础阶段和高年级阶段的英语教学以及学生英语水平的检测较为全面客观公正。作为一项高水平的英语能力的测试，阅读理解部分题型的设置还有一定改进空间，比如说阅读理解的测试形式，可以由单一的多项选择题改变为简短问答，判断正误等多种题型;就体裁的选择方面可以融入更多的不同类型的文章，尤其是近几年没有涉及过的语篇类型;话题的设置也可以从社会生活中扩展到更加多样化。