TEM4阅读理解测试内容效度分析

李恩耀

（广州中医药大学人文社科学院，广州 510006）

1 引言

高校英语专业四级考试（TEM4）是国内专为英语专业学生基础阶段实施的大规模标准化语言测试。自1990年中国实施该项考试以来，TEM已经成为衡量英语专业教与学的重要标准。近年来，由于其科学的命题方法、规范的评分标准、有力的政策保证，TEM的影响力逐步增加，现已逐渐向国际标准靠拢，同时在国内的认可度也很高。因此，对于TEM考试的发展给予更多的关注是必要的。

阅读作为一项重要的语言学习技能，对于英语教与学（包括英语专业及非英语专业）极其重要。在英语教学中，提高阅读理解能力是实现教学目的的重要方面。与此同时，阅读理解作为习得语言的重要途径一直都是非常重要的。随着科学技术的发展以及世界通用语（global language）的进步，在中国，第二语言阅读能力亟待提高。

Bachman＆Palmer指出“信度（reliability）和效度（validity）是语言测试的两大重要指标”［1］18。语言测试的信度通常很容易通过统计分析得出，因为它相对稳定;然而效度却比信度复杂得多。Hughes对效度作了如下定义:“效度是指测试者（tester）能测试到预期测试内容的程度。”［2］22李筱菊也同意这一看法［3］。Alderson，Clapham ＆ Wall使用了内部效度（internal validity）和外部效度（external validity）来描述不同类型的效度［4］171。内部效度包括表面效度（face validity）、内容效度（content validity）和回答的有效性（response validity）;而外部效度则由共时效度（concurrent validity）和预测效度（predictive validity）组成［4］171。从上面的分类可以看出内容效度是内部效度的一种。

内容效度是指“测试是否能足够代表或者说在多大程度上代表了所要测试的内容”［5］。Bachman指出内容效度通常包括内容相关度（content relevance）和内容覆盖度（content coverage）两方面［6］。内容效度是语言教学与学习的重要方面，Hughes称“测试的内容效度越高，该测试就越有可能准确地测试所要测试的内容”［2］27。一种用来测试内容效度比较常用的方法就是把测试与有关测试内容的说明进行对比，这些内容说明包括考试大纲、教学大纲或是特定学科领域的具体说明［4］173。

考虑到TEM4的重要性以及阅读理解能力在英语学习中充当的重要角色，有必要对阅读理解部分的发展情况给予更多的关注并进行相应的评估。本文旨在对2009年的TEM4阅读理解部分的内容效度进行研究，同时针对命题中反映出的问题提出了建议，以期对于提高试题质量有所帮助。

2 TEM4阅读理解测试内容效度分析

本文以Bachman＆Palmer提出的任务特性（Task Characteristics）［1］43－60为理论依据，结合《高校英语专业四级考试大纲（2004 年新版）》［7］（以下简称《大纲》）对 2009 年的TEM4阅读理解部分的内容效度进行研究。然而将任务特性理论应用于阅读测试时存在着一定的不足，正如Bachman＆Palmer所说的他们并没有打算规定测试任务的特定类型及任务特性［1］47。因此，考虑到阅读测试的特性，本文主要从任务特性框架中的“输入特性”（Characteristics of the Input）和“预期回答特性”（Characteristics of the Expected Response）两个角度进行分析。

2.1 输入特性

Bachman指出，“输入是指期望应试者回答的特定测试任务中隐含的信息。”［1］52输入特性包括长度、速度、生词、易读度、题材以及体裁。为了便于分析，本文将这六部分分成以下三类:阅读速度（长度和速度）、语言难度（生词和易读度）和语篇类型（题材和体裁）。

2.1.1 阅读速度

几乎所有的测试者都会考虑的问题就是阅读理解的测试长度怎样才是合理的。杨惠中 ＆Weir提出，试卷的设计者要考虑受试者做阅读理解题的实际情况，即既要阅读文章又要回答问题或作出选择，因此对于阅读文章和答题要作出适当比例的区分［8］62－63。《大纲》对 TEM4阅读理解有如下要求:“既要求准确性，也要求一定的速度。阅读材料共长1 800个单词左右，考试时间25分钟。阅读速度为每分钟120个单词。”本文经过计算得出TEM4（2009）阅读理解部分的文章总字数、问题字数及指令字数，同时结合大纲要求，计算出阅读速度（见表1）。

表1 TEM4（2009）阅读长度及阅读速度

从表1可以看出，文章材料总字数是1 843，基本符合《大纲》对于阅读材料的字数要求。此外，阅读速度由阅读部分总长度除以规定的时间得出为106词每分，这一速度与《大纲》对于阅读速度的规定有一定差距，但是这样可以确保受试者有足够的时间回答问题。总的来看，阅读速度（长度和速度）与大纲的规定基本一致，但仍有提高空间。

2.1.2 语言难度

对于语言难度，《大纲》规定“阅读材料的语言难度中等，关键词汇基本上不超出《大纲》规定的范围。”实际上，这里涉及的是生词及易读度的问题。易读度指英语文本易于阅读和理解的程度或性质，是应用语言学的重要概念。易读度通常被认为是篇章结构与词汇难度的结合，主要受语言形式（如句子长度、生词等）的影响。因此，通过对 TEM4（2009）各篇文章易读度的分析即可看出阅读理解部分的语言难易程度。前人在易读度研究方面做出了许多努力，提出了一些计算易读度的方式，如SMOG指数、Fry文章难度测试公式、Flesh易读度测试公式等，这些方法的共同目的都是试图为测试文章难易程度提供简单易操作的方式。在众多方法中，Flesh于1948年提出的易读度公式［9］至今仍在测试领域中广泛应用。鉴于此，本文采用Flesh公式对阅读理解的易读度进行计算分析。该公式如下:RE=206.835－（0.846×NSYLL）－（1.015×W/S），其中 RE表示易读度，NSYLL是每100个单词的音节数，W/S每个句子的平均单词数。经过计算，TEM4（2009）阅读理解部分各篇文章的易读度如下:

表2 TEM4（2009）阅读理解易读度

表3易读度参考量表（Reference table of readability）

表2表明TEM4（2009）阅读理解中各篇文章的易读度都在50到80之间，结合表2.3的易读度参考量表可以看出四篇文章中有一篇偏难一篇偏易，两篇适中，平均值也在标准值之间，易读度在50到80之间的操本族语者的成年人占了40%到80%。对于易读度，杨惠中＆Weir认为易读度公式的设计是用于测试操本族语者的而非外国人的阅读能力，但是可以作为外语测试者命题的统一参考标准［8］68。因此，通过对易读度的分析，可以看出TEM4（2009）阅读理解中大部分文章难度适中，基本符合《大纲》要求。

2.1.3 语篇类型

对于选材原则，《大纲》明确规定:“题材广泛，包括社会、科技、文化、经济、日常知识、人物传记等;体裁多样，包括记叙文、描写文、说明文、议论文、广告、说明书、图表等。”在Alderson看来，“好的阅读测试应该能够通过考察受试者不同的题材来评估他们的理解能力。”［10］Weir也指出，“理想状态下应该从合适的体裁中选择具体的话题，同时对于这些题材的选择不能存在文化偏见。”［11］。以下是对TEM4（2009）阅读理解题材与体裁的分析:

表4 TEM4（2009）阅读理解题材与体裁

从上面可以看出大部分文章的题材属于社会文化范畴，包括社会生活、日常生活等，而体裁也主要集中在说明文和记叙文两类。因此，这样的分布也是符合大纲的要求的，但是题材和体裁的覆盖范围过窄，像经济、人物传记等题材没有涉及，同时体裁方面也没有议论文、描写文等。因此，在以后的测试中题材及体裁应该呈现多样性，这样才更有利于英语的教与学。

2.2 预期回答特性

预期回答是由指示、任务以及所提供的输入共同作用下的而产生的语言使用或作出反应的测试［1］53。预期回答特性主要从回答类型（response types）和阅读技能两方面进行分析。

2.2.1 回答类型

回答类型主要包括选择性回答（selected response）、有限生成回答（limited production response）以及扩展性生成回答（extended production response）。多项选择题（multiple-choice questions，MCQ）形式作为一种选择性回答类型，广泛用于各类考试中的阅读部分，如CET4，CET6，TEM4等。《大纲》也规定了TEM4阅读采用的是多项选择题形式。由于答案的客观性，多项选择题可以通过机器阅卷，从而确保了评分的快速、客观、准确。此外，一系列的统计工具可以用于项目分析（item analysis）、测试分析、分数等值（score equating）、特定项目题库（item banking of selected response items）等;这一类型的测试可以很容易地进行预备测试。然而在测试受试者阅读能力时，多项选择题也具有一定的缺陷。正如Weir所说，“回答多项选择题本身就是一项不切实际的任务，因为在现实生活中不会给出几个选择项去从中作出选择。”［12］44此外，多项选择题的形式可以通过猜测来答题，受试者单纯地凭猜测也有25%的正确率。

对TEM4（2009）阅读理解的研究表明所有的题目都是采用的多项选择题形式。出于对阅读理解效度方面的考虑，本文建议测试者在命制此类测试题目时可采用多种形式。

2.2.2 阅读技能

在阅读理解测试中，阅读技能、能力和策略需要合理地进行调配。《大纲》规定了如下六项阅读技能:

01能够理解字面意思

02能根据所读材料进行判断和推理

03能掌握所读材料的主旨大意

04能够理解作者的意图和态度

05能够通过上下文推断个别生词短语的意思

06理解上下文的逻辑关系，把握文章整体结构

结合上面的六种阅读技能，下表列出了TEM4（2009）阅读理解中这六项技能的分布情况（为了方便，表中使用上面技能的标号代表各技能）:

表5 TEM4（2009）阅读理解阅读技能

对于不同技能的考察在阅读测试中尤为重要，TEM4也不例外。TEM4（2009）阅读理解部分考察了六项技能中的大部分技能，这与《大纲》的要求是一致的，但是不同技能考察的比重是不一样的。对技能01和02的考察占了整个部分的75%，这也成为了考察的重点，也就是说理解字面意思以及对文章的判断推理对整体分数有很大的影响。表5还表明对技能03、04、05的考察所占比重较小，实际上，理解作者的意图及文章大意对于英语专业理解文章同样是必不可少的。因此，在今后的测试中，测试者应该充分考虑各项技能的考察。

3 结语

本文以 Bachman ＆ Palmer提出的任务特性［1］43－60为理论依据，结合《大纲》对2009年的TEM4阅读理解部分的内容效度进行分析。研究表明TEM4（2009）阅读理解部分基本符合大纲要求，具有较高的内容效度。但仍有改进的空间，对此，本文提出以下建议:首先，丰富阅读理解的测试形式。TEM4阅读部分只提供了一种答题类型，即多项选择题形式。虽然这种形式具有客观性，但是它自身的缺点（见2.2.1）会影响到测试效度。因此，测试可以适当增加如简短回答、判断正误等形式来丰富答题类型。第二，适当增加长度从而提高受试者阅读速度。新大纲对于受试者提出了更高的要求，所以测试者也要紧跟大纲要求命制题目，这样才能更加有效地测试出受试者的实际水平。第三，要尽量丰富题材和体裁。上面的分析（见2.1.3）表明TEM4测试中题材和体裁覆盖面过窄，因此更多的题材和体裁可以应用于测试当中，尤其是近几年来一直未涉及过的语篇类型（题材和体裁）。综上所述，本文的分析在一定程度上表明了TEM4阅读理解部分内容效度情况。但鉴于本文的研究材料仅限于TEM4（2009）的四篇文章，样本很小，研究结果不具有概括性，文中结论和建议仅供参考。

［1］Bachman L.F.＆ A.S.Palmer.Language Testing in Practice［M］.Oxford:Oxford University Press/Shanghai:Shanghai Foreign Language Education Press，1996/1999.

［2］Hughes A.Testing for Language Teachers［M］.Cambridge:Cambridge University Press，1989.

［3］李筱菊.语言测试科学与艺术［M］.长沙:湖南教育出版社，1997.

［4］Alderson J.C.，C.Clapham ＆ D.Wall.Language Testing Construction and Evaluation［M］.Cambridge:Cambridge U-niversity Press/Beijing:Foreign Language Teaching and Research Press，1995/2000.

［5］Henning G.A.Guide to Language Testing:Development，E-valuation and Research［M］.Heinle＆ Heinle Publishers/Beijing:Foreign Language Teaching and Research Press，1987/2001:94.

［6］Bachman L.F.Fundamental Considerations in Language Testing［M］.Oxford:Oxford University Press/Shanghai:Shanghai Foreign Language Education Press，1990/1999:244.

［7］高校英语专业四级考试大纲（2004年新版）［M］.上海:上海外语教育出版社，2004.

［8］杨惠中 ＆ C.J.Weir.Validation Study of the National College English Test［M］.Shanghai:Shanghai Foreign Language Education Press，1998.

［9］Flesh R.F.A New Readability Yardstick［J］.Journal of Applied Psychology，1948，（32）:221－233.

［10］Alderson J.C.Assessing Reading［M］.Cambridge:Cambridge University Press，2000.

［11］Weir C.J.Understanding and Developing Language Tests［M］.Hemel Hempstead:Prentice Hall International（UK）Ltd，1993:67.

［12］Weir C.J.Communicative Language Testing［M］.London:Prentice Hall International（UK）Ltd，1990.