基于语料库的考研英语完形填空内容效度研究

吴 琦 刘立香

一、引言

考研英语作为一项人才选拔性考试，是考取硕士研究生的必考科目之一。在我国，硕士研究生可分为学术型硕士（简称学硕）和专业型硕士（简称专硕），相应的，考研英语也分为考研英语（一）和考研英语（二）。考研英语（一）是学硕考试用卷，考研英语（二）为专硕考试用卷。 从试卷内容上来看，英语（一）和英语（二）试题结构相似，第一大题均为由20 道单项选择题组成的完型填空。 本文从篇幅以及考试参加人数方面考虑，仅对考研英语（一）中的完型填空进行探究。完形填空作为一种考查受试者语言综合运用能力的重要题型，自20 世纪50 年代出现以来就备受各种大型英语考试的青睐， 中考、高考、大学英语四六级、专业英语四八级、考研英语、全国大学生英语竞赛等都使用此题型，它也被专家称为障碍性阅读。 从命题角度来说，完形填空是依据格式塔心理学（Gestalt Psychology），即补全心理设计的，主要利用了语言冗余（redundancy）现象[1]，其主要的类型可以分为选择型和填空型，而选择型完形填空作为一种客观题型，在阅卷时可有效避免阅卷人的主观误差且评分效率较高，所以成为目前语言测试命题中最受欢迎的题型之一。从测试角度而言，完形填空作为一种使用较广泛的题型，必须具备良好的内容效度， 达到其预期的目的，从这一点上来看，完形填空试题的效度在考研英语这种大型的选拔性考试中尤为重要。

二、文献综述

通过文献整理发现， 自2005 年以来国内对于内容效度的研究呈现快速发展状态， 每年均有20篇左右论文发表。 但从研究材料上来看，多集中在中考英语、高考英语、大学英语四六级、英语专业四八级上；从研究内容上看，多集中于各大考试的阅读理解题以及听力题。如黄娟从语篇输入和预期回答两方面对2014 年至2018 年高考英语全国卷中的阅读理解试题进行了内容效度探究，指出近五年来高考英语全国卷阅读理解试题具有较高的内容效度，体裁多样、题材广泛，同时也存在部分文章难度偏大、文章排序不够合理等不足[2]。郝伟丽、冯筠等参照Bachman&Palmer 的考试任务特征模式，对2013 年12 月大学英语四级考试中的阅读理解试题进行了内容效度探究， 并指出CET-4 阅读理解的设计基本符合《考试大纲》的要求，但还需进一步改进，如均衡各项考查技能以及适当控制阅读难度等[3]。肖超则对2015 年杭州市和宁波市中考英语试卷听力测试的内容效度进行了分析，研究结果表明两市中考英语听力测试内容紧贴学生实际生活，全面考查了听力技能，但也存在话题和技能重复考查、题型呈现方式单一等问题[4]。不过，从研究方法上来看，多数论文研究方法较为单一，仅用到文本分析法，而邹申、杨任明（2008）经过研究明确表明语料库对于研究试题的内容效度具有优势，可以帮助加深对试题效度的认识[5]。

三、相关概念界定

（一）内容效度

Alderson、Clapham 和Wall 指 出 效 度 可 以 分 为三个类别，分别是内部效度、外部效度以及结构效度，并指出内容效度是内部效度中最重要的一个效度[6]。Bachman（1990）对此也有相同看法，他指出内容效度是测试效度的重要组成部分，包括内容关联度（content relevance）和内容覆盖面（content coverage）[7]。一份试题的内容效度越高，越能准确地测量出试题想要测量的语言能力；相反，内容效度越低，则越偏离测试目的，带来越多负面影响。

（二）考点效度

对于如何衡量完形填空试题的内容效度，李筱菊（1997）在其著作中提出了“考点效度”这一概念，指出考点效度是指在选词填空时，词的取舍需要受什么层次语境的制约；并且认为考点效度与考点层次和焦点因素这两个方面密切相关[8]。 考点层次从高到低可以分为：语篇层次（D）、句子层次（S）、词组层次（P）以及单词层次（W）。 从考点层次方面来讲，高层次蕴含着低层次，如对语篇层次的考查既包含着对句子层次的考查，也包含着对单词层次的考查；而反过来，低层次却不能包含高层次。 因此，从一定程度上来讲，考点层次越高，考点效度就越高，相应的，内容效度也就越高。焦点因素也就是测试所要考查的焦点内容，包括语法因素（G）、固定搭配因素（C）以及意义因素（M）。一般来讲，高层次的考点侧重于考查意义，而低层次的考点往往只涉及单纯的语法。

四、研究设计

（一）研究材料

选取2010 年至2019 年考研英语（一）完形填空试题作为研究材料，共10 篇语料。 由于2010 年考研英语开始改革，分设英语（一）和英语（二）试题，因此选取2010 年作为本研究的起点。

（二）研究问题

从试题材料的选择和题项的设计这两方面出发，主要的研究问题包括：

①完形填空试题中文本材料的相关性和代表性如何？

②完形填空试题中考点设计的典型性如何？

（三）研究方法

2010-2019 年的考研英语（一）完形填空试题共10 篇文章，200 道题目。本文由两名研究者按照相同的标准（内容效度分析项目）对其进行分析，其间参考两本市面上较权威的考研英语真题解析， 待各自完成后再一起核对， 两者的一致性达89%，其中不一致的地方共同协商讨论，直至意见统一。

基于前人的研究成果[9，10]，本研究构建了考研英语完型填空试题的内容效度分析框架，对2010-2019 年考研英语（一）中的完形填空试题进行内容效度评估（参见表1）。

表1 2010-2019 年考研英语（一）完形填空试题内容效度分析项目

（四）研究步骤

首先将2010-2019 十年来考研英语（一）试题中的完形填空试题通过传图识字软件输入电脑建立微形语料库；再结合《全国硕士研究生入学统一考试英语（一）考试大纲》（以下简称《考试大纲》）[11]，对十篇文本进行体裁和题材的统计（见表2）；接着运用语料库检索软件worldsmith 对文本进行类符、形符、TTR 等方面的统计（见表4）；然后根据“Flesch 易读度” 公式计算出文本的易读度 （见表4），之后将所有的考点按照考查项目进行分类（见表5）；最后结合COCA、BNC 语料库对部分考点的干扰项进行典型性分析（见表6、7、8）。

五、研究结果及讨论

（一）文章体裁和题材分析

《考试大纲》要求参加研究生入学考试的考生能够读懂不同体裁和题材的文章，其中体裁包括说明文、议论文、记叙文等，题材包括社会、人文、科学等。将2010-2019 十年来完形填空试题的体裁和题材统计如表2：

表2 2010-2019 年完形填空试题的体裁和题材统计

由表2 可以看出，2010-2019 年这十年来，考研英语（一）完形填空试题体裁较为稳定，以说明文和议论文为主，暂未出现记叙文体裁。 题材涉及面广，但多以社会类为主，这类社会类话题与生活息息相关， 如2011 年探讨笑的作用、2017 年谈论拥抱带来的积极影响等。由以上分析可以看出考研英语（一）完形填空试题的命制没有超出《考试大纲》所规定的范围，相对来说较为稳定，但其覆盖面不够大，多为社会类题材，所以在接下来的试题命制中命题人员可考虑多增加一些人文类题材，特别是关于中国优秀传统文化的传播与发展，这与当今潮流——用英文讲好中国故事相契合。

（二）文本词汇密度及易读度分析

文本词汇是在选择完形填空试题材料时要考虑的另一个重要维度。一般来说，在选择完形填空试题文本时除了要考虑体裁和题材外，更应该注意文本的语言特征，要选择难度适中、语言信息丰富、逻辑性强的文本作为完形填空材料。从这一方面来讲，文本词汇的TTR 值具有重要的参考意义，TTR（type-token ratio）是文章的类符-形符比，这一参数可以用来衡量文本的词汇密度[12]。 一般来说，文章TTR 值越大，词汇变化性越高，词汇密度越大，在一定程度上文章理解难度也就越大。 另外，难易度也是在选择完形填空文本时需要考虑的另一个重要维度，杨惠中曾指出考试所选用的材料难易度应适中，太难或太易都测量不出考生的实际水平[13]。 难易度可通过易读度数值体现，易读度指文本易于阅读和理解的程度或性质[14]。本文采用现如今被广泛认可的Flesch Reading Ease（RE）作为易读度的检测公式，其中RE=206.84－0.85wl－1.02sl，wl 指每一百个单词中的音节数，sl 指每个句子的平均词数[15]。目前，office word 软件自带Flesch Reading Ease公式， 利用该公式算出的数值取值区间为0-100，分数越低，则说明文章越难。其数值对应的易读度参考量表如表3 所示：

表3 易读度参考量表

表4 是利用语料库统计软件worldsmith 对2010-2019 年考研英语（一）完形填空试题所采用文本的类符、形符、类符-形符比（TTR）以及利用Flesch 公式计算所得出的易读度数值统计。

表4 2010-2019 年完形填空试题文本词汇密度及易读度统计

由于完形填空是一种障碍性阅读，出题者会在一篇语意连贯的文本中有目的地去掉某些单词或词组形成空格，所以在解题时必须具有充分的可理解性文本信息，而恰当的类符-形符比以及易读度能够一定程度上反映出文本的可理解程度，因此在决定一篇材料是否可作为完形填空文本时可用来参考。由表4 的统计数据可以看出，近十年来研究生入学考试英语（一）试题中完形填空文本的词汇密度在57.55%（2012 年）到69.12%（2011 年）间浮动，易读度在41.3（2011 年）到65.9（2019 年）间上下，据此可以初步判定这十年来2011 年完形填空试题难度相对较大，其余九年较为稳定。总的来说，这十年来考研英语（一）完形填空试题可理解性适中，难度总体偏难，但由于硕士入学考试是一种高层次的选拔性考试，所以这种难度范围是合适的。另一个值得注意的地方是，自2017 年以来，完形填空阅读材料难度呈现减小趋势，在2019 年试题难度趋向标准。

（三）考点效度分析

利用李筱菊考点效度分析方法对完形填空考点进行考点效度统计，表5 为2010-2019 考研英语（一） 完形填空200 道选择题的考点层次和焦点因素统计表。

表5 2010-2019 年完形填空试题考点效度统计

由以上统计数据可以看出，近十年来完形填空考点层次多以中高层次为主， 低层次考点涉及较少。在每年的20 道题目中，达到语篇层次的题目最少为3 道题，最多有7 道题。 考点达到句子层次最多的是2012 年，有17 题，占总数85%，最少的也达到12 题，占60%。从各考点的焦点因素来看，对意义的考查占据了绝大部分，多数达80%以上。通过以上分析可以发现，考研英语（一）完形填空试题考点效度较高，在语言层面以高层次的考点考查了学生的综合运用能力，但要指出的是，在接下来的试题命制中，还需要提高对语篇层面的考查力度，提高语境层次，只有这样，才能全方位地提高试题的内容效度。

（四）部分考点搭配的频率分析

由表5 可以看出，2010-2019 十年来考研英语（一）完形填空试题中考查搭配的考点每年至少有两个，所以笔者采用随机抽样的方法选择其中几个搭配考点（2016 年第6 题、2017 年第12 题、2018 年第8 题），运用COCA、BNC 语料库进行搭配频率分析，如表6、表7、表8 所示：

表6 2016 年第6 题各选项在COCA、BNC 中出现的频率

表7 2017 年第12 题各选项在COCA、BNC 中出现的频率

由以上三表可知，正确选项与干扰项的搭配在英语国家语料库、美国当代英语语料库中出现的频率不太平衡，有些干扰选项的搭配在两个语料库中甚至一次都未出现，如2016 第6 题的D 选项以及2017 年第12 题的A 选项；另外，这三题考点其他选项的搭配在语料库中出现的频率也较低，因此可以认为这三道题的干扰度可能不太高，因而会对题目的内容效度产生一定的影响。通过对COCA、BNC两个大型语料库的检索发现，与marry 搭配出现的最高频率介词依次为in、for、into、at、outside、within…， 与severe 搭配出现的最高频率名词依次为weather、disabilities、pain、cases、depression、problems…， 与exposure 搭配出现的最高频率介词依次为to、of、in、for、on…， 所以这三题的其他三个干扰项完全可以从语料库检索的最高频词中进行选择，如2016 年第6 题的四个选项可以设计为marry in、marry for、marry into、marry within，2018 年第8 题的四个选项可以设计为exposure for、exposure in、exposure of、exposure to。

表8 2018 年第8 题各选项在COCA、BNC 中出现的频率

五、结语

本文基于两个研究问题主要从试题材料、文本词汇密度、易读度、考点效度以及部分考点搭配频率五方面对考研英语（一）中完形填空试题的内容效度进行了分析探究。 研究结果表明：①文本材料的体裁和题材选择基本符合《考试大纲》的要求；②考点的设计与《考试大纲》的要求基本相符。但也存在一些不足之处，如体裁和题材覆盖面较窄，试题难度总体偏大，部分考点典型性不高，考点层次有待进一步提高等。

基于以上分析，本文尝试为考研英语（一）完形填空试题命制提供以下建议：

第一，适当丰富试题题材。 考试大纲要求参加考研的考生能够读懂包括社会、人文、科学等各类题材的文章，然而在2010-2019 年考研英语（一）中出现的完形填空题材大多为社会类，对文化、科学、经济等题材有所忽视， 这不利于拓展学生的知识面，不利于全面考查学生的综合语言运用能力，所以在未来的试题命制中，可适当增加一些经济、管理、人文类，特别是有关中华优秀传统文化的题材，从多个领域拓展学生的知识面，促进学生综合语言运用能力的发展。

第二，适当提高考点设计的层次。 考点层次影响考点效度，考点设计的层次越高，考点效度也就越高，相应的，内容效度也就越高。 然而，通过对2010-2019 年完形填空试题的分析发现，相当一部分题目只能达到句子层面，语篇层面的考查相对来说还比较少，这也许是因为句子或词组层面的题目相对比较容易命制，而要突破句子达到语篇层面则比较费事费力，但即便如此，考虑到考点效度和试题质量，命题者在试题命制过程中，仍需向这方面努力。

第三，适当运用语料库辅助试题命制。近年来，语料库在语言测试中的应用受到越来越多学者的关注，其作用也愈发凸显，建议命题人员在命制试题时可适当运用语料库资源对考点设计的典型性进行检验，以提高测试的科学性和有效性。

本研究也存在一些局限性，如仅对2010-2019十年间考研英语（一）试题中完形填空试题的内容效度进行了初步探索， 接下来的研究将扩大研究对象和样本，对考研英语（一）试题做更加深入的分析。