大学英语四级完形测试的个案研究

2014-05-14马炳军杨晓丽

韶关学院学报 2014年1期

马炳军，杨晓丽

（1.阜阳师范学院外国语学院，安徽阜阳 236041；2.太和县第九中学，安徽太和 236600）

完形填空作为一种测试手段广泛地应用于中学入学考试（SSEE），全国高考（NMET），大学英语四（CET-4）、六级考试（CET-6），英语专业四（TEM-4）、八级考试（TEM-8）等。另外，完形填空也常用于其它各种测试，如课堂测试、校级测试或是县/市级统考等。在中国最有影响力的测试是全国高考,其次是大学英语四级考试。完形填空作为英语四级考试的一部分，被安排在试卷的第五项，共20道题，要求考生用15分钟完成，该题型被考生视为难度最大的题目。因此，对完形填空测试进行分析研究是非常重要的。本文介绍有关完形填空的定义、特点及其研究背景，重点对“2011年（12月）大学英语四级考试完形填空”的命题效度进行定性研究。

一、研究背景

国外对完形填空的研究已有60多年的历史，国内对完形填空的研究也有20多年了。那么，什么是完形填空？完形填空英语为‘cloze’,而‘cloze’一词源于格式塔心理学里的‘closure’。格式塔心理学反对将人的经历分解成零碎的、微小的元素，其主要原理是：只对部分进行分析是不能理解整体的；格式塔理论主张整体与部分在一个特定的结构模式中相互作用。一个恰到好处的格式塔便是一个‘cloze form’（完整形式），于是产生了 ‘cloze’（完形）。亨宁将‘cloze’定义为［1］：“完形填空测试要求考生完成一段语篇，其中有一定比例的单词或短语已被删除。词语删除率一般介于5-10词之间。”

事实上，根据格式塔心理学的基本原理，应该采用自上而下(top-down method)的方法来理解整个语篇，也就是先整体，后细节的分析。在一个特定语言的完形测试中，一篇文章就是整个话语，都有自己的内容、组织方式和语言特点。尽管完形中有一定比例的单词或短语被删除，但利用某些相关的上下文线索仍然可以恢复完整。当然，有些方法如推理、推论和分析也颇有帮助。随着语言测试的发展,完形填空的发展经历了三个阶段：“前科学时期，心理结构主义时期和综合社会语言学时期”［2］。第一阶段，即前科学时期，语法翻译法占主导地位，因此翻译在语言测试中被广泛使用。当时，语言学还是规约的。第二阶段，从20世纪50年代到60年代，有人提出了一些理论如结构主义语言学，心理测试学和听说法。1953年，泰勒发明了一种新的测试项目即完形填空，泰勒第一次在《新闻大学》上发表文章,介绍了这种新的测试方式：完形填空测试法。但直到20世纪60年代初，随着语言理论和语言测试飞速发展，他的理论才成为众人关注的焦点。从此，一个新的课题与一种新的测试方法（完形填空）一起出现了。20 世纪 70 年代，奥勒（1972）［3］在《现代语言》杂志上发表了英语作为第二语言熟练程度的完形填空的评分方法和难度级别，又在次年的《语言科学》上发表了语用语言测试方法［4］。奥勒等人在那段时间大力倡导和推动这样一种语言测试，并将其推进到了一个新的阶段。因此，大量的测试专家表现出了极大的兴趣，并采用完形填空作为测试的一部分用来测量语言学习者的综合能力和阅读理解能力。第三阶段，即综合社会语言学时期，斯波斯基也将其称为心理社会语言学时代。语言学理论以社会语言学和功能语言学著称，在语言学领域广受欢迎。20世纪80年代至今，有很多新的理论，如安德鲁·D·科恩（1980）［5］发表了他的学术专著《课堂语言能力测试》，他认为考生可以依靠他们的语言知识，话语知识和社会知识完成填空。与此同时，1978年以来，奥尔德森·J·C［6］也一直在研究完形填空程序，完形测试和阅读评估，他的完形填空测试研究非常富有成效。

20世纪80年代至20世纪90年代，布朗·J·D在十年间进行了一系列固定比例删字和合理的固定比例删字的完形填空测试研究，以及什么使完形填空变难和自然完形填空的特点。然而，希诺福蒂斯（1980）［7］研究出了替代方法和替代完形填空程序。他将这些研究发表在J·W奥勒和K·帕金斯书中的关于语言测试的研究中。马伦［8］的比率可靠性和口语能力评估以及毛拉宁［9］语义完形填空也对完形填空测试和语言测试做出了巨大贡献。1980至1990期间，世界著名语言测试学者巴赫曼·L·F也对完形填空测试产生了巨大的影响。他的研究广泛地涉及到了很多领域，如“完形填空测试成绩的形状结构”［10］，“固定比例和意向删字的完形填空的性能”［11］，“语言测试的基本注意事项”［12］，等等。许多研究表明，部分专家已经涉及到了完形填空测试的信度和效度，越来越多的人从事研究完形填空过程、完形填空测试和阅读评估、固定比例和合理的固定比例删字、替代方法和评分方法、完形填空测试的反馈效应以及分级和阅读评估等课题。但却很少有人对具体的完形项目进行评估。

中国学者自20世纪90年代开始这项研究，显然比西方学者晚很多，但也有20多年的历史了。早期的研究主要集中在实用研究上。喻爱菊是中国第一个研究完形填空测试的人，喻（1990）［13］做了一个调查：观察多项选择的答案是否对完形填空产生影响，喻对中国考生进行测试，发现了多项选择和完形填空之间的优点和缺点。后来徐昂（1998）［14］对完形填空信度与效度进行了研究，周长银（1999）［15］对高考英语完形项目考点效度进行了研究。陈晓扣（2011）［16］进行了“关于这两个因素（测试点层次和推理）在难度，区分度和效度上的作用的详细研究，以建立一个明智、科学的方法来设计英语完形填空”。聂建中和赵秀红（2005）［17］对高考英语完形填空项目测试点的有效性进行了定性研究并为进一步改进提出了一些建议。陈晓扣和李绍山（2006）［18］指出完形研究方法有待加强，这在当时并不是很有效。他们还试图研究英语专业四级完形项目的结构效度，在研究该项目研究过程中，产生了计算结构效度的系数公式（CVI=CTTP/TTTP2）。

完形项目可广泛的应用于英语教学，如万方（2001）［19］等人建议，应在课堂教学中使用完形填空测试。有些人如杨桂英（1999）［20］从话语方面，完形填空项目，阅读理解，以及在教学过程中将完形填空应用于大学阅读理解的可能性进行了讨论。吕长竑（2004）［21］和汤闻励（2005）［22］探索了在教学中在话语层次上完形填空测试和词汇习得/学习之间的关系。

越来越多的中国学者，如夏郁芹，赵冰（2002）［23］等做完形填空测试时十分关心学习者的策略和技巧，并将其研究转移到了英语四级完形填空命题及其功能，以及回答的策略和技巧上。谢期繁（2005）［24］根据广东省试卷研究了高考英语完形填空测试的评估和启示。另一个研究高考英语完形填空策略和技巧的流派一直在试图破解这一难题来克服完形填空测试的困难，如王华，王静（2003）［25］等。他们都没有十分成功地解决受到严重困扰的中国学习者。由此可见，发现建构效度的特征和解决完形填空的有效性上还有很长的路要走，因为它受到许多因素制约，如认知策略、记忆策略、情感策略和社会策略。除刘润清外，在中国的语言测试研究中，广东外语外贸大学有一支研究团队包括李筱菊，曾用强，齐露霞和蔡宏文等人。李筱菊，曾用强等对中国的语言测试尤其是完形填空做出了很多的贡献。曾永强还做了很多关于广东高考语言测试的改革的研究工作，同时创造了他自己处理完形填空测试的有效途径［26］。

大多数中国的完形填空测试研究工作采取从三个不同方面如研究背景，研究方法和结果的定量研究。大多数完形填空测试的文章涉及定量研究、定性研究或两者的结合。目前的研究揭示了中国的完形填空研究水平需要进一步提高，研究方法必须进一步完善。在中国完形填空测试研究存在的第三个问题是，他们大多缺乏系统性，局限于领域的可靠性，有效性，困难和偏见。第四个问题是目前研究的狭隘性，即缺乏广度和深度。实证研究任重而道远。目前的研究大部分属于文献研究和回答问题的技能学习，测试方法也存在着一定的问题。

二、大学英语四级完形的效度个案分析

基于对国内外的研究，本文将分析大学英语四级（见2011年12月大学英语四级真题试卷）中的完形填空。下面是该试卷中的完形填空（答案选项略）：

Employers fear they will be unable to recruit students with the skills they need as the economic recovery kicks in,a new survey.

Nearly half of the organizations told researchers they were already struggling to findwith skills in science,technology,engineering and maths（STEM）even more companies expect to experienceof employees with STEM skills in the next three years.

The Confederation of British Industry694 businesses and organizations across the public andsectors,which together employ 2.4 million people.

The survey found that young people would improve their job prospectsthey studied business,maths,English and physics or chemistry at A-level.The A-levels that employersleast are psychology and sociology.And while many employers don't insist on adegree subject.A third prefers to hire those with a STEM-related subject.

根据大学英语四级考试大纲要求，完形填空项目是CET-4的一部分。英语四级完形填空是从段落长度在200至500字或是段落长度275至500字中设定20个空，要求考生15分钟内完成。选择的材料通常是考生熟悉的主题。每个空包含4个不同的选项，这将需要考生在全面理解整个语篇的基础上，选择最佳答案，以恢复空白处在形式和意义上的完整，空缺处包括实词和虚词。“完形填空测试的目的是测试语言学习者运用语言的综合能力，”包括“语法概念，词汇的用法和话语理解”［26］。

就完形填空研究现状而言，李筱菊（1997）［27］指出：“中国的完形填空研究与国外研究相比，很奇怪的是中国最常用，但最少研究，而外国人很少使用但研究最多”。除了那些解决问题的策略以及答题技巧和分析，很少见到对完形填空测试真正的评估。因此，让我们以“2011年12月大学英语四级真题”中的完形填空测试项目来讨论和分析命题情况。

该完形填空的内容是关于“雇主需要技巧熟练的大学生”。全文共286个单词，单词量差不多是一个平均数。为了使考生对语篇有一定的解，并引导考生准确地了解主旨，前2-3行通常是不允许设空的，但这篇完形违背这样的规则，即前3行设了空。按格式塔理论，最后一句，也不允许设空，但却设了空，也是违背设空原则的。综观全文发现，本完形测试点中20个空，有五个“名词”，七个“动词”，三个“形容词”，三个“连词”，一个“代词”和一个“介词”。该完形的典型特征是考察词力，因为许多测试点属于同义词辨析，以考察考生词汇量。

陈晓扣（2001）将测试点分为四个不同的层次即“词汇层面，短语层面，句子层面和语篇层面”。在词汇层面，测试者可不参照上下文确定最佳选择。文中有17个空属于词汇层面，3个属于短语层面，即第73题、76题和、79题。在这个层面上，必须注意该空之前或之后的搭配，其主要目的是测试考生的知识。事实上，这样的固定短语测试对考生的技能没有很好的测试效果，因为他们在填空时不需要猜测、思考或作出任何推论。第三个层次是句子层面，表明测试者可以在一个特定的句子解决这个问题。相对而言，句子层面的填空更难。第四层是话语层面，指的是根据语篇或上下文线索恢复删除，而不是在一个句子层面上解决问题。很明显，这篇完形填空只达到句子层面的难度，即题目偏易。在测试类型方面，有成绩测试、能力测试、诊断测试和能力倾向测试。在中国成绩测试最常见，如高中入学考试，高考或研究生考试等都属于成绩测试，成绩测试又称水平测试，因为它也测试学生解决问题和分析问题的能力。水平测试是基于一个特定的课程或教学，如美国托福，英国雅思和中国的EFT，CET-4和CET-6以及TEM-4和TEM-8。

通常情况下，测试水平确定的完形填空测试的效度。换句话说，检测水平越高，有效性就越好。该完形检测处在较低的水平，所以效度不可避免地降低了。一个完形填空通常由三部分组成：语法水平、短语的水平和语义水平。基础测试点测试的初级知识，检查语法的概念和结构，中级水平测试短语搭配，高水平测试语义。最高层次可覆盖的其余各层次，而较低的层次不能覆盖较高的层次。每个空前所空的字数差异很大，请参阅下表。

表1 大学英语四级完形设空情况一览表（2011年12月）

根据格式塔理论，每5至11个单词删除一词或短语，但该完形是6至23个单词之间，考查项有一半超过11词，其中3项超过20词，分别间隔23个，23个和21个词，显然，这三个空过于简单了。其中7个设空间隔在13和18个单词之间，也偏易。其余设空间隔都在6到11词之间，根据格式塔心理学，这是正常设空。研究发现，50%的设空不规范，难度系数过小。设空如此地不合规则，其命题原则与测试目的自然会遭到质疑。众所周知，完形填空应遵循的原则是每4个，6个或8个单词删除一个的方式。显然，这种英语四级完形填空命题是违背这项原则的，这样效度就低了。设空必须控制在5到11个单词之间才是正常的设计。5个字距难度系数过大，但11个字距似乎又太易。这个完形填空项目平均词距为13个单词，这也是违背删减原则的。按规定集合名词，技术单词，数字，日期等不能设空，命题这方面没有问题。材料的选择也是挺好的，因为它是原创，符合规定。在词类方面，10个词类出现的频次差异很大（如表2所示），这是不合乎要求的：

表2 大学英语四级完形填空10大词类出现的频次（2011年12月）

正如表2所示，该完形填空出现的词类只有二分之一，这说明命题人员命题的任意性，也有可能是材料选择的不当。对于全国性的正式考试来说，这种命题不够严谨、也不够科学。

命题有些是显性的，有些是隐性的。我们看到的是13个空属于单词层面，3个短语层面和4个句子层面。这就是说，超过2/3的题目目的是测试大学生的单词和知识。只有1/6的测试点是试图测试考生的能力或技巧。我们看不到命题人的命题理念、命题原则以及命题计划等，但是我们可以通过分析，判断命题人没有严格按照命题原则去做。总之，内容效度好时，表面效度似乎更容易，该完形填空主要测试的是考生的词汇量。我们没有办法讨论关联效度，因为我们无法拿另一个测试做比较。研究分析表明，虽然这篇完形填空是建立在一些语言理论和语言学习理论基础上的，但建构效度是相当薄弱的。该完形填空的优点是比起语法规则或概念，它更加强调词汇。

信度是一个理想测试非常重要的特征，这主要是指测量的一致性。在此，我们不能进一步讨论该完形填空测试的信度，因为我们没有办法组织两次在相同的背景下同样的测试。至于构卷效度，该语篇显然没有拼写错误，这不会影响到考生的感受。四级考试的指令相当细致，监考人员也不需要多做解释，尤其是完形填空部分。

三、教学启示

大学英语四级完形填空测试有助于任课教师找出相关教学中存在的问题，如既要教词汇又要教句法结构和语篇。通过对CET-4、CET-6真题中完形填空的研究，可以在平时课堂诊断性测试时，避免命题的盲目性，增强命题的针对性，有利于发现学生学习过程中薄弱点，以便找到有效解决策略。英语四、六级考试是大学英语教学的指挥棒，从某种程度上说，考什么决定教什么，该试卷上完形命题只能把英语教师引向重词汇教学，轻句法和语篇教学。但是频繁的考前模拟训练将耗费大量的教学时间和学习时间，这将导致英语教师无法在规定的时间内完成大纲规定的教学内容。这样会削弱学生的思维发展，导致高分低能。最后，教师花费大量的时间准备模拟测试，而不是去设法完成教学任务。渐渐地，教师将迷失自己，找不到课堂教学目标，在语言输入和输出方面都达不到提高学生的语言能力和交际能力的目标。另外，这还会导致英语教师一味地强调做题的准确性，而不是表达流畅性。这是严重违背最终教学目标的，即使学生能够自由和全面地使用语言。

总之，文中重点论述了大学英语四级完形与高考英语完形填空项目的重要性。回顾了完形填空的起源和完形填空测试发展的三个阶段，同时回顾了60多年来完形填空测试在国外的发展与20多年来完形填空测试在我国国内的发展状况；比较了我国和西方国家在完形填空测试上的研究的异同；分析了2011年大学英语四级完形填空测试的有效性，可靠性，实用性等；从积极和消极两个方面分析了大学英语四级考试中完形填空的反馈作用。建议大学英语教师的教学应遵循大学英语教学大纲，而不是仅仅依靠大学英语的历年真题；建议大学英语四级考试最好进行大幅度的改革：建议要么完善完形填空的命题效度，要么废除完形填空，用翻译等其它题型代之，以解决完形填空对教学与学习的长期困扰。

［1］Henning G.A guide to language testing:Development,evaluation and research［M］.Foreign Language Teaching and Research Press&Heinle/Thomson Learning Asia,2001.

［2］Spolsky,B.Measured words:the development of objective language testing［M］.Oxford:Oxford University Press,1995:

［3］Oller J W Scoring methods and difficulty levels for cloze tests of proficiency in English as a second language ［J］.Modern Language Journal,1972(56):151-58.

［4］Oller J W.Pragmatic language testing［J］.Language Sciences,1973(28):7-12.

［5］Alderson J C.Native and non-native speaker performance on cloze tests［J］.Language Learning,1980(30):59-76.

［6］Alderson J C.The cloze procedure and proficiency in English as a foreign language［J］.In J.W.Oller Jr.(ed.).Issues in Language Testing Research.Rowley,MA:Newbury House,1983,13(2),:219.

［7］Hinofotis F B.Cloze as an alternative method of ESL placement and proficiency testing.In J.W.Oller&K.Perkins,(Eds.),Research in language testing.Rowley,MA:Newbury House,1980:121-128.

［8］Mullen K A.Evaluating writing proficiency in ESL［J］.In Oller Jr.,J.W.,Perkins,K.(Eds.).Research in Language Testing［C］.Newbury House Publishers Incorporated,MA,1980:160-170.

［9］Mauranen A.The semantic cloze:an approach to testing EFL reading［R］35,423-430.Paper presented at TESOL convention,Chicago,March,1988.

［10］Bachman L.The trait structure of cloze test scores.TESOL Quarterly,1982(16):61-70.

［11］Bachman L F.Performance on cloze tests with fixed-ratio and rational deletions.TESOL Quarterly,1985,19(3):112-133.

［12］Bachman L F.Fundamental considerations in language testing.Oxford:Oxford University Press;Shanghai:Shanghai Foreign Language Education Press,1990.

［13］喻爱菊.多项选择答案对Cloze Test的影响［J］.外语教学与研究,1990(1)19-26.

［14］徐昂.多项选择填空与传统完形填空信度和效度之研究［J］.外语与外语教学,1998(2):25-27.

［15］周长银.高考英语完形填空题的考点效度分析［J］.外语与外语教学,1998/1999(4):32-34.

［16］陈晓扣.论英语测试完形填空试题［J］.解放军外国语学院学报,2001(3):72-75.

［17］聂建中,赵秀红.高考英语完形填空的考点效度分析［J］.教育理论与实践,2005(3):54-56.

［18］陈晓扣,李绍山.TEM-4完形填空测试结构效度研究［J］.现代外语,2006(1)71-77.

［19］万方.利用完形填空提高综合语言能力的尝试与探索［J］.泸州医学院学报,2001(4):358-359.

［20］杨桂英.完形填空与语篇概念［J］.青岛大学师范学院学报,1999(2):65-66.

［21］吕长竑.词汇量与语言综合能力、词汇深度知识之关系［J］.外语教学与研究,2004(2):116-122.

［22］汤闻励.英语词语搭配能力与英语输出的质量［J］.外语教学与研究,2005(4):45-48.

［23］夏郁芹,赵冰.大学英语四级考试完形填空题解题策略［J］.兰州石化职业技术学院学报,2002(4):20-22.

［24］谢期繁.2005年高考英语广东卷完形填空评析与启示［J］.高中,2005(7/8):29-30.