基于语料库的英语专业四级完形填空内容效度研究——以2016—2019年试题为例

张珺嘉

(大连外国语大学 英语学院，辽宁 大连 116044)

完形填空因考查受试者语言综合能力一直存在于大型英语考试中，并可划分为选择性、填空性完形填空等类型。TEM4完形填空属于选择性这一类别，具有考查受试者语言基础知识与语篇理解能力、评分客观、效率高等特点。

效度作为语言测试的基本出发点，是衡量语言测试试题质量的一个重要标准。内容效度指测试内容是否真实体现所要测量的内容。Bachman将内容效度划分为内容关联性和内容覆盖面。内容关联性是指测试任务与测试目标是否具有相关性，内容覆盖面则是指测试任务是否具有代表性[1]。内容效度研究对于命题者和考生都具有一定意义。

1 文献综述

目前，研究者们从考点(董曼霞, 2014)[2]、结构(陈晓扣和李绍山, 2016)[3]、内容(梅丽, 2010)[4]效度等方面对完形填空测试效度进行了研究。目前TEM4和TEM8研究主要围绕2016年改革前的测试展开，缺少改革后完形填空新题型的历时研究，而利用语料库的研究更为缺乏。

测试内容普遍来源于真实的语言文本。国内学者利用语料库开展效度研究的案例较少(邹申和杨任明, 2008；穆惠峰, 2011；詹先君, 2015)[6-8]，语料库的作用有待进一步挖掘和发挥。语料库包含了语言使用过程中真实存在的语料，因此语料库资源为语言测试的内容效度研究提供了科学的依据[5]，具有良好的实践意义。

本文的研究问题为：

(1) 2016—2019年TEM4完形填空所选文本是否具有相关性与代表性？具体特点是什么？

(2) 2016—2019年TEM4完形填空考点设计是否具有典型性？具体特点是什么？

2 研究设计

2.1 TEM4完形填空题型简介

TEM4是一项针对我国英语专业大二年级学生的英语水平考试，既可以测试学生的综合能力，又便于评估教学的质量。根据2015年《关于英语专业四级考试题型调整的说明》，完形填空测试这一部分作出了以下调整：

(1)完型填空测试中共10处空白，每个空白为一题，要求学生从所给词库的15个词汇中选择最佳答案，改变了改革前四选一的命题方式。该题型的文本材料包含约250个单词，题材为考生较熟悉的话题内容且难度处于中等水平。

(2)测试时间由改革前的15分钟减少到10分钟。

以上调整要求命题者设计出较为全面检测考生语言综合能力的考点，即文章中10处空白与所给词库中15个词汇。同时，材料的文本词汇数量、题材、难度等方面均与考试说明相符。

2.2 语料选取

由于2015年外语专业教学测试委员会发出调整说明，故选取2016年专四完形填空试题作为研究起点，共4套试题。之所以选择美国当代英语语料库(COCA)和中国学习者英语语料库(CLEC)，是因为二者均包含书面和口语语料，可直接在线检索，提供了相关词汇及其搭配频率，使研究结果更具科学性和说服力。CLEC由中国开发并包含中国学生的英语学习语料。基于这些代表性较强的语料库，将所给词库词汇与国内外英语语料数据库的情况相匹配，通过频率检测试题考查的全面性和典型性。

2.3 数据收集与分析

首先建立微型文本语料库，把2016—2019年专四的完形填空试题手工输入电脑；结合考试说明，统计该文本材料的主要内容、体裁和题材。随后应用AntConc 3.5.8这一语料库检索软件统计文章长度和TTR(类符—形符比)，应用word软件的拼写检查项目选择显示可读性。接着按词类把词库中的全部词汇分类，运用计算机语料库资源比较COCA与CLEC中所显示的数据。最后对词库中所考察的部分词汇搭配进行显著性检验。

3 研究结果与讨论

3.1 文本材料的相关性和代表性

3.1.1 体裁和题材

由表1可知，文章体裁比较固定，说明文和议论文各占比50%。试题题材以科技类为主，占比50%；话题多样性有待丰富，但较为贴合考生的日常生活。比如2018年试题从正面引导考生，提及的回报法则颇具实用性和教育意义，既帮助考生扩展知识面，又有益于树立积极的情感态度以及正确的世界观、人生观和价值观，有机统一语言测试目标与“立德树人”教育理念。

表1 体裁和题材

3.1.2 文本词汇

文本词汇，作为显示文本语言特征的一个组成部分，其重要性在统计中不言而喻。文本的词汇密度一定程度上可以说明文本材料的词汇难度，采用文本的类符数除以其形符数来计算。计算结果的值越大，说明文本密度越大，进而证明文本语言特征越复杂。

由表2可知，近4年词汇密度在59.6%(2019年)到68.7%(2017年)之间；初步推断2017年完形填空试题难度较大，2019年较小，其余2年较稳定，约在65%左右。4篇文章长度在276—297词之间，符合调整说明“约250词”这一规定。

表2 文本词汇

3.1.3 易读度

易读度可以表明文章易于理解的程度，与句子的长度、语法的复杂程度呈现负相关，即句子长度越长，语法复杂程度越高，文章更不易于理解。易读度的值与文章难度也呈现负相关，即数值越大，文章难度越低，更便于读者理解。本研究应用了word文档中的显示可读性功能对2016—2019年完形填空文本材料的易读度进行统计，表3为Flesh易读度参照量表。

表3 Flesh易读度参照量表

统计结果如表4所示，改革后平均易读度为50.35，介于难和略难之间。4篇易读度的数值相差较大，每年难度值分布不均，应给予较平均的难度考察。

表4 易读度

3.2 考点设计的典型性

由表5可知，TEM4这一题型主要侧重于考查动词、名词的掌握程度，同时也兼顾到副词、形容词和表示上下文逻辑关系的连词的考查。从统计结果来看，更值得关注的是，到目前为止，代词one被连续考查过2次。因篇幅有限，故利用语料库对位列考点第一位的动词搭配频率进行分析。

表5 考点分布

以2019年考题为例，通过COCA语料库对考查的4个动词出现频率做了统计。表6统计结果显示，频率高的H选项 making为180 560次，低的J选项resides仅达2 427次；个别低频词如38题J选项，则为所提供题库中的正确选项。因此，该年考题中存在所考查的词汇频率不平衡的现象。此外，正确选项与干扰项出现的频率不平衡。运用CLEC语料库检索发现选项 L和H、G和J的出现频率比较接近，说明这两题的干扰度可能均较高。这些词在两个语料库中检索结果不太一样，COCA语料库中语料多为小说、杂志和学术期刊；CLEC语料库收集的语料以中国学生的作文居多，所以CLEC所包含的词汇远不如COCA丰富。鉴于以上两个方面，可以初步判断考点设计一定程度上缺乏典型性。

表6 正确选项(HJ)和干扰选项(LG)的频率对比

为使研究更加严谨，通过卡方检验对比词汇的出现频数确定是否存在显著性差异。若卡方检验所示数值α大于3.84，说明该考点词汇的出现频数在两个语料库间存在明显差异。参照COCA，统计发现38题考点与自建TEM4完形填空文本语料库的α值大于3.84，由此可见该考点的考查不具有一定的典型性，并对试题的内容效度造成影响。

4 启示与建议

4.1 针对TEM4完形填空命题

4.1.1 丰富文章的体裁和题材

这4年中，TEM4所涉及的完形填空文本体裁为说明文和议论文。今后，其他体裁也可纳入考查范围，尽量避免体裁单一。题材以科技类为主，较少涉及其他题材。今后的命题可以尝试选择其他话题的文本，拓宽考生的知识面，发挥专四测试对教学的反拨作用，加强考生的语言能力以及英语学科素养。

4.1.2 加强文章词类考查的全面性并控制词汇难度

近4年的试题考查动词类最多，名词、形容词类次之。命题者今后可适当平衡各种词类的考查，兼顾实词与虚词的考查力度，尽可能全面考查所有词类，加大干扰选项干扰力度。文章长度和文本词汇均为影响文本理解的重要因素。文本越短，意味着文本提供的信息越少，若在同时过度增加生词量的话，无疑会增加文章的阅读难度。因此应控制文章长度和文本词汇的难度以保证历年试题难度的稳定性。

文本词汇会影响考生对文本的理解。文本词汇越少，说明材料提供的有效信息和解题线索越少。如果此时再增加生词量，考生对文本词汇的认知难度也会提升，进而不易于其阅读理解。因此,命题者需要把握好文章长度、题库所考察的15个词汇以及文本材料的生词量,以保证每年试题易于理解程度和答题难度的稳定性。

4.1.3 运用语料库提高考点设计的典型性

今后在设计考点时，命题者可以借助语料库辅助设计出更具典型性的正确选项和更有效的干扰选项。比如，在动词选项设置时可在国内外大型语料库中搜索，观察该词或者该动词短语搭配的出现频率，避免选取出现频率极高或极低的词汇或短语搭配，以便一定程度上提高试题的内容效度，使考查更具有效性。

4.2 针对大学英语专业教学

4.2.1 提升学生语言能力

为了更好地发挥考试评价对大学英语专业教学重要的反拨和导向作用，大学英语专业教师应该在课上拓展一定量的课外内容，加强学生不同题材和体裁文章的阅读，以促进学生各领域知识的学习。在课外，教师可以推荐如BBC、VOA等英语材料，扩大可理解性语言输入，提升学生的综合语言运用能力。

4.2.2 学习测试理论，利用语料库提升测试的科学性

目前越来越多的专家和学者关注到语料库在语言测试中的应用。对于教学者来说，平时应主动学习英语测试相关的理论知识，掌握试题编制的理论依据，可以阅读《英语测试》《英语测试的理论与实践》等专业书籍中有关正确项和干扰项的设置技巧、完形填空试题的设计等章节提高自己的理论素养，增强命题的科学性和有效性。

同时，语料库也为测试研究提供了新视角。教师通过研读语料库文献、了解基础知识、熟悉基本操作、掌握语料库检索等方法，进一步应用计算机资源辅助测试的命题，以保证试题的真实性，提高测试质量。

5 结语

本文从所选文本的相关性与代表性、考点设计的典型性两方面对TEM4完形填空测试进行了内容效度研究。从文本材料的体裁和题材、文本词汇以及易读度考察了前者；通过统计及对比部分考点在COCA、CLEC语料库中的频率对后者作出了验证。

实施测试效度研究对测试的可持续发展具有十分重要的意义[9]。内容效度研究，作为效度研究的重要组成部分之一，可以推动未来测试命题质量的提高。从2016年开始对TEM4的题型进行调整，由于该测试对于英专学生的重要性和影响力，因此对改革后的试题进行内容效度研究非常必要。由于本研究仅考虑到从试题内容角度而未从考生的答题角度进行效度研究，所以不能全面地证明该测试的效度。此外，仅分析了部分考点，所涉及语料较少。因此，本研究具有一定的局限性，有待今后深入研究。