考点效度理论下TEM-8语言知识试题动态研究

于金刚，李海燕

(1.东北林业大学 外国语学院，哈尔滨 150040；2.枣庄学院，山东 枣庄 277100)

引言

20世纪六七十年代，英国学者奥勒(Oller)等人提出了单一能力假说[1],认为人运用语言的能力是单一的、不可分割的整体,语言测试不应把语言割裂为一个一个离散的考点，而应该把它们结合起来，采用综合考点的形式进行测试。基于此理论，完形填空、成段改错(亦称短文改错、语言知识)等题型应运而生[2—4]。由于此类题型在命题、实施、评卷、结果分析等方面具有一定的优势和便利性，因此，其在托福考试、中国的高考英语试卷以及英语专业八级考试(TEM-8)中被广泛采用，对此类题型的相关研究也应运而生。

中国学者李筱菊在《语言测试科学与艺术》(1997)一书中深入探讨了语言知识这一题型，并提出了从考点层次、考点因素、考点覆盖等方面进行考点效度研究的理论框架[5]。近年来，国内一些学者依照此理论框架对英语专业八级考试语言知识部分的信度和效度问题进行了相关研究(如娄喜祥，2007；刘会镯，2013；林萍，2018等)[6—8]，一些学者从教学的角度探讨了如何提高学生综合运用语言知识的能力(如刘丽梅，2005，2007；吴月红，2015等)[9—11],也有一些学者从应试的角度探讨了学生突破改错瓶颈的策略(如黄福奎，2017；李远辉，2018等)[12—13]。综上所述的英语专业八级考试语言知识试题研究工作对英语教学以及学生应对语言知识试题、切实提高语言运用能力具有积极的借鉴意义。但是，结合高校外语专业教学测试办公室发布的英语专业高年级阶段统测成绩来看，2007—2019年英语专业八级考试全国平均通过率仅为34.96%—47%，其中语言知识部分得分在1.79—5.13分之间，而2019年语言知识部分全国平均得分创历史新低，仅为1.79分，这一现实情况说明对英语专业八级考试试题以及英语专业教学策略方面仍需进行深入研究且意义重大。

一、研究设计

本文基于李筱菊提出的考点效度理论，结合“英语阅读分级指难针”数据化工具以及英语专业八级测试成绩，采用文本分析和定量分析相结合的研究方法，以2016—2019年英语专业八级考试语言知识试题为研究对象，从宏观上探讨其篇章特点(主题、文体、篇幅长度、平均句长、词汇覆盖)及其难度指标，从微观上探讨其考点层次(单词、词组、句子、语篇)分布特点、考点因素(语法、惯用搭配、意义)分布特点、考点覆盖特点以及改正方法。依据数据统计，探讨英语专业八级考试语言知识试题与考试大纲要求的吻合度，预测新大纲指导下试题的动态趋势，并提出相应的教学策略，重点关注书面表达、同侪互评对提高学生语言综合运用能力的促进作用。

二、研究发现

(一)篇章特点分析

表1为2016—2019年英语专业八级考试语言知识试题篇章特点及全国平均得分统计，其中篇章特点包括主题、文体、篇章总词数、篇章总句数、篇章平均句长等。

表1 2016—2019年英语专业八级考试语言知识试题篇章特点及全国平均得分统计

1.试题话题选择与试题难度分析

如表1所示，2016—2019年英语专业八级考试语言知识部分所选篇章体裁均为说明文，其中2016年试题重点讲述交流对文化形成的促进作用，2017年试题讲述沟通技巧与交际能力的问题，2018年试题是关于大众传媒的话题，2019年试题是关于认知语法的话题。从话题选择来看，2016—2018年语言知识试题都属于非专业性、常识性话题。而2019年的话题则专业性很强，此篇章改编自某部认知语法专著的序言和导读部分。根据高等学校英语专业教学大纲，语言学导论课程是英语专业学生的必修课程，各高校英语专业基本都会开设此课程，同时为数不多的高校也会根据自身情况再开设其他相关课程。由于受到学分、学时的限制，语言学导论课程基本上只讲授有关语言最核心的概念、分类等知识，课堂上几乎不会涉及更专业、更细化的有关认知语法内容，因此英语专业学生在本科阶段深入接触认知语法这一话题的可能性微乎其微，在英语专业八级考试中出现有关此类话题的题目对学生来说无疑难度就很大。基于此，从话题选择来说，2019年语言知识试题较以往考题难度有所增加。这一发现通过考试成绩对比也可以得到印证。如表1所示，2019年语言知识部分全国平均得分1.79分，为近四年最低得分，较以往降低1.21—2.37分。2019年本部分试题得分如此之低、得分降低幅度如此之大，说明考试题目话题选择对学生答题以及最终成绩具有较大影响。

2.试题篇章长度与试题难度分析

根据高校外语专业教学测试办公室发布的英语专业八级考试大纲，语言知识试题由一篇约250个单词的短文构成。如表1所示，2016—2019年语言知识试题篇幅分别为223个词、317个词、221个词和197个词。这与大纲所描述的约250个单词有27—67个词的波动，其中2016年和2018年试题有27个词和29个词的差别，相比波动幅度不大。而2017年比大纲多出了67个词、2019年比大纲少了53个词，说明这两年试题篇幅波动幅度有些大。而这四年的平均篇幅为239.5个词，基本符合大纲约250个词的描述。所以从总体看，语言知识部分篇幅与大纲要求一致。同时，从篇章总体长度来看学生最终得分，呈现出的特点为：篇章长度波动最小的2016年与2018年两个年份中，全国平均得分分别为3.00分和3.06分，与近四年学生的平均得分3分完全一致；篇章长度多出67个词的2017年与篇章长度少了53个词的2019年这两个年份中，全国平均得分分别为4.16分和1.79分，与近四年学生的平均得分3分有“+1.16分”和“-1.21分”的波动。这说明篇章长度与试题难度或者学生得分基本成负相关。换句话说，试题篇章越长，试题难度越低，学生得分越高；试题篇章越短，试题难度越高，学生得分越低。一般来说，在考试时间和答题数目不变的情况下，篇章越长，所含信息量越大，题目难度越高。而出现试题篇章长度与试题难度成负相关的情况可能是因为篇章越长，文字越多，提供的信息量越大，便于学生在深入理解篇章的基础上对分布更分散的试题进行解答。当然，篇章长度只是从一个客观的角度反映篇章的难易，实际上篇章的难易还受其他因素的影响。而试题篇章长度与试题难度成负相关这一点也需要从更长的时间跨度、更多的数据统计来加以验证。

3.试题篇章总句数、平均句长与试题难度分析

如表1所示，从篇章总句数来看，2016—2019年语言知识试题分别由12句、16句、10句和8句组成，其中2016年与2018年的试题总句数与近四年11.5句的这一平均总句数基本一致，而2017年与2019年的16句、8句，则较11.5句这一平均总句数波动较大。近四年试题篇章总句数与全国平均得分呈现出的特点是：在试题篇章长度大体相当的情况下，试题篇章总句数越多，篇章难度越低，学生得分越高；反之，试题篇章总句数越少，篇章难度越高，学生得分越低。

一般来说，在不产生歧义或表意完整的情况下，句子越短，结构越简单，越容易理解，便于答题；句子越长，结构越复杂，越难以理解，不利于答题。语言知识部分亦体现出此特点。如表1所示，从篇章平均句长看，2016—2019年语言知识试题平均句长分别为:18.6个词、19.8个词、22.1个词、24.7个词，这四年语言知识试题平均句长为21.3个词。很明显，2019年语言知识试题的平均句长为最高，超出了这四年平均句长3.4个词，这无疑使句子的结构变得更复杂，更难以理解，给学生的答题带来不便。反映到成绩上就是2019年平均得分为近四年最低水平，比近四年平均得分3分低了1.21分。

4.试题词汇覆盖与试题难度分析

运用“英语阅读分级指难针”[14]这一数据化工具并参照《中国英语能力等级量表》(2018)[15]，2016—2019年英语专业八级考试语言知识试题词汇覆盖情况及试题难度指标如表2所示。

表2 2016—2019年英语专业八级考试语言知识试题词汇覆盖情况统计表

一般来说，词汇是影响文本理解的最重要因素之一[16]，也是限制学生英语水平的重要因素之一。但是从表2和表3统计来看，英语专业八级考试语言知识试题中93%以上词汇是中小学级别词汇，大学级别词汇只占2%—7%，整体词汇难度、文本难度与大学英语六级难度相当；同时如果仔细研读一下其中的大学较高或者更高要求词汇，就会发现诸如“residue”“clout”“sneer”“opiate”“facet”等词汇对英语高年级学生来说根本不能称为“拦路虎”，更何况在语言知识试题中这些词汇所在行基本没有设置修改项。因此，抛开语境因素而单从词汇角度来说，近四年英语专业八级考试语言知识试题几乎没有超纲词汇，而且单个词汇不会影响学生对篇章整体的理解，也不是阻碍学生在此试题上取得高分的因素。

综上所述，英语专业八级考试语言知识考试题目话题选择在一定程度上影响着学生的答题。换句话说，学生是否了解考试篇章相关背景知识，在很大程度上影响其对篇章的理解，影响其对问题的判断与解决。同时，从以上数据统计可以看出，在英语专业八级考试语言知识部分中，在篇幅大体相当、题目数量固定的情况下，试题篇章长度与试题难度成负相关，试题篇章总句数与试题难度成负相关，而试题篇章平均句长与试题难度成正相关；整体词汇难度、文本难度与大学英语六级难度相当。同样，以上结论需要从更长的时间跨度、更多的数据统计来加以验证。

(二)考点效度分析

考点效度是指一套测试是否测量了它所要测量内容的程度。考点效度是语言测试中最重要的指标，是语言测试的基本出发点。依据李筱菊《语言测试科学与艺术》一书提出的框架，2016—2019年英语专业八级考试语言知识部分在考点层次、考点因素和考点覆盖等方面有如下特点：

1.考点层次分析

依据李筱菊《语言测试科学与艺术》一书，考点层次分为四级，从小到大或者从低到高分别为：单词层次、词组层次、句子层次、语篇层次。

考点层次高低决定题目效度。一般来说，考点层次越高，考点效度越高。从表4统计可以看出，2016—2019年试题单词层次考试次数为0次；词组层次分别为1次、1次、0次、2次，共4次，占10%；句子层次分别为6次、7次、9次、7次，共29次，占72.5%；语篇层次分别为3次、2次、1次、1次，共7次，占17.5%。考点层次主要集中在句子层次，之后依次为语篇层次、词组层次。总体而言，2016—2019年语言知识试题考点层次较高，试题通过学生的辨错、改错，倾向于测试学生的综合知识能力。同时结合最终成绩看，在每年考点层次大体相当的情况下，全国平均分为3分，这说明英语专业八级考试语言知识部分对学生的能力要求很高，也体现出学生在辨错改错、对语言把握的准确性以及对语言知识的整体把握能力方面还是弱项。

表4 2016—2019年英语专业八级考试语言知识试题考点层次统计

2.考点因素分析

根据李筱菊《语言测试科学与艺术》一书，考点因素分为语法因素、惯用搭配因素和意义因素三个范畴。语言知识试题的综合性质决定了往往一个考点同时兼考两个或三个因素。但层次不同，对考点因素的侧重也有很大的不同。一般来说，低层次的题目，往往侧重考查语法；高层次的题目，则往往侧重考查意义。语言知识试题基本上是以语码(形式)为核心的试题，偏重于语言的准确表达。因此，考查语法的项目必然会占大多数。但是，这并不意味着考点的层次得不到保障。

由表5考点因素统计可知，2016—2019年语言知识试题中语法因素题目分别为5个、4个、4个、4个，共计17个，占42.5%；惯用搭配因素题目分别为0个、1个、0个、2个，共计3个，占7.5%；意义因素题目分别为5个、5个、6个、4个，共计20个，占50%。显然，语法因素试题与意义因素试题占绝大多数，惯用搭配因素试题仅占一小部分，而且不是每年都涉及到。由此可以看出，近四年英语专业八级考试语言知识部分非常注重语法因素和意义因素的考查，注重对学生词汇、句子、语篇理解能力的考查，对于地道表达和连贯思维能力的要求也很高。虽然语法因素试题属于低层次的题目，但是由于将其放到整个篇章这一大语境下，也在一定程度上使得其难度提高，从而实现其对学生综合知识能力的考查。正所谓，不同类型的试题各有分工，语言知识试题是有语境的试题，而考点因素分布比例也体现了该试题很好地做到了在大语境下考查学生的综合知识能力，试题效度较高。

表5 2016—2019年英语专业八级考试语言知识试题考点因素统计

3.考点覆盖分析

参照李筱菊提出的考点覆盖分析表，并根据实际情况进行微调，2016—2019年英语专业八级考试语言知识试题考点覆盖情况如表6所示。

表6 2016—2019年英语专业八级考试语言知识试题考点覆盖统计

从考点考试总次数看，词法出现共计17次，其中物主代词、动名词、介词/小品词各1次，现在/一般进行时、冠词/限定修饰词各3次，副词/肯定词/否定词共8次。应该说这些考点在篇章中一般不影响语义表达，但却是学生平时较难掌握且容易忽视的地方，需要在大局观下特别关注细节、对语言特别敏感才可以辨别并改正。副词/肯定词/否定词这一考点很多都以短语或者搭配的形式出现，这体现了英语专业八级考试充分考虑了语境的因素，体现了试题的高效度。此考点每一年都有涉及，频率较高。如若进一步提高考试效度，可以适当考查其他词法考点。

句法共计13次，其中It句型2次、定语从句3次、状语从句1次，连词连接词7次。It句型主要是出现在强调句式中，与后面要修改的部分有多个单词的间隔，辨别出此考点需要瞻前顾后、左顾右盼，这就提高了考试题目的难度和层次，属于较难的考点；定语从句、状语从句主要考查先行词、引导词等，主要是对语法形式的关注，相对来说难度不大，但是如若缺乏句法概念，则很难识别并改正；连词连接词主要考查句子的逻辑关系，在2016—2019年语言知识试题中每一年都有涉及，一方面凸显试题篇章本身结构严谨、句法复杂、内容丰富、信息量大的特点，另一方面突出试题注重考查学生对语篇的理解能力，因此这类题型题目难度较大，试题效度较高。由于此考点出现过于频繁，如若进一步提升试题效度，可以适当考查诸如比较句型、平行结构等考点。

词汇是语言学习的基础。如表2和表3统计所示，2016—2019年英语专业八级考试语言知识试题中几乎所有词汇都是常用词汇，这四年语言知识试题中词汇及其他方面共出现10次，分别为3次、2次、2次、3次，这说明语言知识试题非常注重基础词汇方面的使用与测试，对于学生掌握基础词汇的要求也较高：既要全面、准确掌握其字典意义，还要能辨别并掌握其语用意义及实际应用，同时要注重形似词或同义词之间的细微差别，具有良好的语言敏感性以及较高的语言表达准确性。语言知识试题很好地实现了通过语篇构建的语境来检验学生在词汇方面是否达到了大纲所规定的要求。

结合2016—2019年学生考试成绩不难发现，语言知识部分只有3分的全国平均分很难说明学生在词法、句法细节掌握方面或者语言综合运用能力是否已经达到优秀或者合格，同时从另一方面也说明近四年语言知识试题考查到了学生的弱项，试题效度很高。

(三)改正方法分析

2015版英语专业八级考试大纲语言知识部分要求运用语法、词汇、修辞等语言知识辨别出所给短文内的语病并提出改正方法，也就是使用“增添”“删除”或者“改变其中的某一单词或短语”三种方法中的一种改正语误。

表7数据统计显示，2016—2019年英语专业八级考试语言知识试题中“增添”方法共8次，分别为2次、1次、3次、2次；“删除”方法共7次，分别为2次、2次、1次、2次；“改词”方法共25次，分别为6次、7次、6次、6次。“增添”与“删除”的改正方法次数持平，而“改词”的方法是考查重点，这充分体现了该试题考查大语境下语言表达准确性这一特点。

表7 2016—2019年英语专业八级考试语言知识部分试题改正方法统计

结合考点层次、考点因素、考点覆盖，不管是三种修改方法中的哪一种方法，都要结合具体的语境，在把握好所要表达的意义基础上，再从形式上进行修改，从而实现语言形式与意义的统一。这种阅读—理解—辨别—改正—核查的过程，是对学生英语水平以及应试能力的考查，更是对英语教学以及学生知识积累、学习习惯、学习方法、学习意识等的综合考查。

三、英语专业教与学的启示

基于以上分析不难看出，英语专业八级考试语言知识部分实实在在是一道基础性题目，考查的是学生的基础语言能力，特别是考查学生的语法是否扎实，词汇掌握是否准确、丰富，对篇章结构(句子间逻辑关系)是否敏感等。因此，本文提出如下教学策略：依托英语写作课程，采用同侪互评的过程教学法切实提高学生的语言综合运用能力。

过程教学法是指把写作看成是一个表达自己、发现想法、解决问题和构建自我身份的过程，是一个写作能力不断完善和发展的过程。作为其中的一个重要环节，同侪互评是在写作过程中依据一定的标准，同伴间相互阅读写作文本并提供反馈建议的一种写作教学活动。研究发现，同伴互评对提高学生语言技能、主观学习能力、合作兴趣和动机等都具有积极意义。

根据Jacobs et al.(1981)并参照现有大型考试作文部分评判标准不难发现，作文评判主要从宏观和微观层面入手，从内容、组织结构、词汇、语言使用和技术性细节方面进行具体考量[17]。根据本文对英语专业八级考试语言知识部分的研究，从考试层次看，英语专业八级考试语言知识部分主要从词组层次、句子层次、语篇层次对语言形式进行测试，不涉及单词层次题目(主要是纯粹的单词拼写问题)；从考点因素看，英语专业八级考试语言知识部分从语法因素、意义因素、惯用搭配因素等方面进行测试；从考点覆盖看，英语专业八级考试语言知识部分通过具体的词法、句法等方面进行测试。因此可以看出，任何一份英语专业八级考试语言知识试题都完全涵盖在一篇英语作文中；换句话说，平时的任何一篇英语作文在某种程度上都可以算作是一份升级版的英语专业八级考试语言知识试题。如果通过日常学习，特别是通过在二语环境下的同侪互评的操作，日积月累、潜移默化，学生必定会在提高自身写作能力的同时，以正确的语言知识和思维应对英语专业八级考试语言知识试题，并在认知、社交等各个方面都有所收获。

根据现有的研究发现，大多数学生愿意为同学的习作提供反馈。同时，为了确保同侪互评的有效进行，教师要做好相应的准备工作[18—21]。首先，从思想上提高学生对同侪互评的认识。教师要让学生转变“教师占有权威地位”这一固有观念，让学生认识到同伴互评是教师反馈的有益补充，是同伴之间相互交流、相互协商、相互补充从而达到共识、共享、共进的一种学习活动。其次，合理组建互评对象。互评对象的合理组建是保证互评顺利进行的关键。教师在综合了解学生的基础上，可以按照学生的意愿、语言学习能力、英语知识水平和语言技能等主客观因素将学生排列组合。再次，教师要对学生进行同伴互评指导、培训，由浅入深、循序渐进，使学生有意愿、有目的、有计划、有方法地完成这项活动。此外，教师要提供易于操作的作文互评标准及具体细则。

总之，依托英语写作课程，采用同侪互评的过程教学法对提高学生英语写作能力、语言综合运用能力有很大帮助，对学生在认知、社交等方面的发展有益，可谓一箭多雕。

结束语

本文依据李筱菊提出的考点效度理论框架，结合“英语阅读分级指难针”的数据统计，从宏观和微观上探讨了2016—2019年英语专业八级考试语言知识试题特点以及教与学的策略。研究发现，英语专业八级考试语言知识试题在考查学生对意义理解的同时，更注重意义的准确表达，从而把错误辨认出来并加以改正。如果没有从句子层次或篇章层次上准确理解其意义，就谈不上改正错误。此非一日之功，需要平时点点滴滴的积累与考前的积极准备，需要师生共同努力，经过实践、反思、提升、再实践、再反思、再提升渐进的积累过程。

鉴于所研究对象时间跨度短，数据统计说服力还不够强。如果把近20年的英语专业八级考试语言知识试题都纳入研究范围的话，说服力会大大增强。同时，对于英语专业八级考试语言知识试题错误类型的归类个别地方还有待商榷，有的错误类型可以归为不同的类别，因而数据统计会略有差别。此外，本文所提出的依托英语写作课程、采用同侪互评的过程教学法切实提高学生语言综合运用能力的策略也需要考虑个人因素，需要更多实践以及数据采集来确保效果最大化。