CET6与TEM4写作测试对比研究
2015-04-03王之豪
王之豪
摘要:大学英语六级考试(CET6)与英语专业四级考试(TEM4)中的写作测试题型一直被认为是最能体现受试者英语应用能力的一个重要项目。因此,本文将从信度、效度以及反拨效应三个层面对比分析CET6和TEM4中的写作测试,以便更好地为国内的英语教学及考试服务。
关键词: ;CET6;TEM4;写作测试;反拨效应
一、引言大学英语六级考试及专业英语四级考试均为著名的标准化国家英语考试,考试的目的都是为了全面检测考生各个方面的语言能力,包括听力、阅读、翻译以及写作。与面向全国大学生的大学英语六级考试(以下简称“CET6”)有所不同,专业英语四级考试(以下简称“TEM4”)只面向英语专业及辅修专业的学生群体,考试的侧重点也有所差异。不过,在这两种考试中,写作题都是考核的重点所在,占据了很大比重的分值。因此我们认为,对两类考试中的写作试题进行对比分析会是一项十分有益的尝试。为了保证对比的客观性及合理性,本文拟从语言测试的信度(reliability)、效度(validity)及反拨效应(backwash ;effect)三个层面展开分析。
一般而言,“作文对考生书面综合运用语言的能力测量最准确、效度最高”。因此CET6及TEM4从一开始就都把写作测试作为最主要的测试项目,分值占到了总分的15%到20%。然而,尽管写作测试的效度较高、测量准确,但效度过高也会在一定程度上减弱测试的信度和评分的可操作性。由于英语六级考试的参与者数量极其巨大,为保证测试的整体可信度,显然应该对考试加一些限制。例如,目前的六级写作试题普遍限制字数,并且在题目下首先给出中文大纲甚至指定文章的起始句,要求考生按照框架构思作文,不得随意发挥。这些举措事实上也在一定程度上牺牲了测试的有效性。与此同时,写作试题的反拨效应也是对教学具有指导意义的重要参数,但在目前却往往会遭到忽视。要合理地解决上述困境,途径之一便是通过比照分析从另一考试的相同题型中汲取经验及优点,使写作测试的信度、效度及反拨效应等指标更加平衡,充分完成考试的目的。本文将从上述几方面分别简析CET6及TEM4的写作试题并得出两者的初步特点,以便为未来的写作教学提供一些改进的建议。
二、两种写作测试的初步分析回顾过去几年的CET6写作试题,我们可以发现题目要求的体裁主要是议论文,而题目的内容涵盖范围较大,涉及社会及校园生活的方方面面。我们先将其列表如下(见表1)。
上面所列举的这些标题均与当时的社会热点有着一定的联系,同时在一定程度上也颇富启发性。不过,无论哪年的试题都对字数都有着严格的要求(120~150字),而且题目下还附有三段式的写作大纲要求。
以下也相应地列出最近十年内TEM4的写作测试题目(见表2)。
我们也需注意到,在TEM4的写作试题下也有类似的指导要求:考生需要按规定写一篇三段式的文章。首先陈述观点,然后予以佐证,最后进行总结。整篇文章的字数需控制在200字左右。表1
时间题目2005年6月Say ;no ;to ;pirated ;product2005年12月A ;letter ;declining ;job ;offer2006年6月Travelling ;abroad ;(with ;a ;table)2006年12月Celebrating ;western ;festival2007年6月The ;importance ;of ;reading ;classics2007年12月Should ;one ;expect ;a ;reward ;when ;doing ;a ;good ;deed?2008年6月Digital ;age2008年12月Will ;E-books ;replace ;traditional ;books?2009年6月How ;to ;improve ;students ;mental ;health?2009年12月On ;the ;importance ;of ;a ;name不过总体看来,TEM4的写作测试主观性更大,更能反映考生的实际语言水平。为了更好地开展对比,我们下面就先来审视一下语言测试的这几个主要指标及其理念。
1评判测试的主要标准
作为对比分析的参照标准,我们选取了信度、效度以及反拨效应三个较为宏观,同时也是语言测试评判中较为常用的指标。首先,语言测试的信度是指测试的结果能够在多大的程度上得到采信,也包括测试所得分数本身的质量、测量手段的准确性以及分数的整体稳定表2
时间题目 ;(议论文 ;&; ;便条)2001Travel ;broadens ;the ;mindApology ;and ;suggestion ;(便条)2002The ;best ;way ;to ;stay ;healthOffer ;(便条)2003The ;importance ;of ;keeping ;a ;good ;moodExplanation ;(便条)2004Will ;phones ;kill ;letter ;writingSympath ;(便条)2005My ;idea ;of ;a ;university ;arts ;festival ;Invitation ;(便条)2006Saving ;money ;is ;a ;good ;habitIntention ;(便条)2007Is ;it ;wise ;to ;make ;friends ;online?Declining ;(便条)2008The ;benefits ;of ;volunteeringRecommendation ;(便条)2009Will ;tourism ;bring ;harm ;to ;the ;environment?Job ;recommendation ;(便条)2010Should ;college ;students ;hire ;cleaners?Suggestion/recommendation ;(便条)性。测试的信度往往会受到诸多因素的影响,例如,样卷的内容及容量、监考状况、测试的总体指导原则、不同评阅人间的个体差异,以及评阅试卷的环境等。而评估特定测试信度的途径则主要包括以相同试卷对受试者进行再测试,采用平行组或替换组进行测试。显而易见,要合理地评估写作测试的信度,用以上方法是十分困难的。不过我们也可以采用一些特殊的工具,如整体评分(global ;marking),二次阅读(double ;reading)以及另一种最为常见的方法——“测距仪”(range ;finder)来确保写作测试结果的可信度。
测试的效度通常是指在检验该测试的设计检验对象或目标时,该项测试能在何种的程度上达成测试设计的初衷。或者说,效度代表着试题的内容是否与该测试本身的既定目标保持一致。效度又可以细分为内容效度、卷面效度、数据效度以及构建效度等多个子类。从理论上来说,测试的效度可以被认为是语言测试最为重要的尺标,试题的效度几乎直接决定着考试的整体质量。CET6及TEM4中的写作测试相对于其他各类试题而言,一直以来都被认为享有着最高的有效性。然而,Hawkey则认为测试的信度始终对效度有所影响,若要保证测试的信度,就不得不对效度有所减损。尽管如此,由于在考量语言交流能力的测试中,构建效度(construct ;validity)始终是必须得到保证的首要标准,因此信度问题在此可被认为是一种从属标准。
反拨效应是衡量测试对社会及教学产生影响的重要参照,因此是设计试题时必须纳入考量的关键因素。实际上,所有的测试都会对受试者、测试结果的使用者、研究机构乃至整个社会带来或正面或负面的反拨效应。由于负面的反拨效应会极大地影响学生对语言学习的态度,因此为提高测试的信度和效度而弱化反拨效应价值的做法是不可取的。
2对CET6写作测试的分析
在信度层面上,我们将主要通过分析写作测试的题目及其引言部分讨论其内容效度。Heaton认为,写作的主要技能可以分为五类:①机械技能(如拼写);②语言应用(如语法);③组织技能(如文章的架构);④文体技能(如修辞);⑤评判技能(如判断所写文章的目的、读者群等)。因此,如果一项写作题能够有效地检验学生在上述五个方面的写作技能,我们就能认为此测试具有相对较高的效度。一方面,通过分析近几年CET6的写作试题及其评分标准,我们发现CET6仍然将更多的重点放在学生的基础写作技能上,如上述的①、②和③。测试的评分标准也十分重视文章的拼写和语法错误,而引言部分更是对文章的整体结构提出了严格的要求。另一方面,无论是引言部分还是评阅意见方面,都不甚提及修辞手法的综合运用及措辞的优化,对于学生文体意识的培养和实际社会情景下的交互也非常薄弱。我们认为CET6的写作试题在基本语言运用层面享有较高的内容效度,而在文体层面及应用层面上的效度则不够令人满意。
CET6写作部分的内容效度之所以总体不高,主要可以归咎于其充分提升测试信度的意图。由于参加大学英语六级的考生群体数量很大,CET6测试的效率必须得以保证。此外,由于CET6是国家级的重大考试,同时也是检验大多数学生语言技能的最高级考试,早已获得了广泛的社会认可。如果将这些因素全部考虑在内,则容易理解为何CET6测试要牺牲部分效度来确保整体信度,以便巩固其大学生英语水平最权威考试的地位。我们也能够很清楚地明白其对写作部分的调整:限定作文字数并附上规定严格的引言都是为了降低测试中的受试者主体性,简化评阅过程,从而充分提高整个测试的信度。再加上较为完备全面的评分标准以及题目上的种种限制,CET6的写作测试可以称得上是一种高信度、广泛认可的测试。
在评估一项测试的社会及教学价值时,有必要重视反拨效应,而对CET6这样的全国性大规模考试而言尤为如此。不幸的是,目前CET6测试的整体反拨效应呈现出消极的倾向。具体到写作测试中,目前较多的抄袭及作弊行为已经严重损害了该项目的社会及教学反拨效应。不仅如此,写作测试本身也未能如预期中一般为英语教学带来更多的积极成果。由于CET6的写作测试限制过多,规定过严,大学英语教师在教授写作部分时常常会遇到很多的困惑与阻碍,受到过多的拘束以致无法给予学生充分的空间实践语言能力,或按照他们的意愿开展自由写作。当然,我们仍然发现CET6的作文试题在最近几年里也开始触及当下的社会热点,并开始对学生在社会环境下运用语言的能力提出了一定要求。这一现象也为大学英语课堂带来了一些积极的反拨效应,让学生能够更重视培养实际生活中的外语运用能力以及在特定社会环境下与他人交流互动的能力。
3对TEM4写作测试的分析
如前所述,TEM4的写作测试与CET6有所不同,除议论文写作外还附加了一项便条写作(note-writing)的考核,而这两项测试的要求相较CET6更为灵活自由。不仅如此,写作测试的分数更是占到了考试的25%,比CET6(15%)明显增多,并且规定的写作时间也比大学英语考试更为宽裕,说明在TEM4中写作测试更受重视。另一方面,由于TEM4的受试者相对较少,评阅周期更长,试题对字数、文章结构也作出了一定的限制,因此我们认为TEM4的写作测试信度较高。
鉴于TEM4旨在全面检测英语专业学生的语言熟练度,测试的效度应予以特别强调。以Heaton提出的五维标准作为参照,我们发现TEM4的写作测试在各个方面都有良好的表现。整个写作试题是与培养学生语体技能的教学要求相适应的。TEM4写作试题的一个不足之处可能是其题目缺乏新颖性,不常见到十分与时俱进的试题出现。除了对表达有效性的要求,TEM4的写作试题还附加了一道独具特色的便条写作题,旨在测试学生将语言应用于日常生活的能力。通过观察上表,我们可以清楚地发现便条写作的主题涵盖甚广,从建议书到推荐信,还包括了意向书和解释申明等。这一写作形式因此增强了检验学生评判技能的测试效度。总的来说,尽管TEM4的写作测试创新性不够,但考试整体的效度确实是相当高的。
最后我们再来探讨一下它的反拨效应,重点观察该项测试是否对英语专业的教学乃至全社会的英语学习产生了积极的影响。事实上,由于TEM4考试的参与者基本上都是英语专业的二年级学生,写作部分的试题必须设计完善,能够检验学生对语言技能的基本掌握,并重点考核学生写作的连贯性以及结构完整性。事实上,最近十年TEM4的作文命题基本上都能够鼓励学生积极思考,其写作要求也较为宽松,容易让考生,充分展现自己的语言和写作技能。另外,由于辅修英语专业的高分学生也能够参加专业英语考试,因此TEM4整体而言产生了鼓励更多大学生学习英语、掌握英语的良好环境,可以说更多地带来了积极的反拨效应。
三、两种写作测试的对比(1)CET6与TEM4的写作测试都享有较为令人满意的成绩可信度,这一点从其严格标准化的打分规则、评分表以及系统的评阅流程即可了解。写作形式的设计也以方便审阅为原则,评分的时间也较为充裕,能够开展高效率的评分工作。不过我们也必须指出,CET6相较TEM4确实在国内外享有更广泛的认可程度。目前也仍然有较多的用人单位并不知晓TEM4而唯独认准CET6的证书,这也导致很多英语专业学生不得不在通过TEM4测试后再度参加CET6测试以求得更有效的资格认证。同时,虽然TEM4的受试者明显少于CET6,但其阅卷周期以及公布成绩的时间较CET6有很大的延迟。
(2)我们容易推知TEM4写作部分的内容效度较CET6略高一些,这主要是因为TEM4的作文题能够覆盖更多不同的写作技能以及文体。而CET6的写作试题则出于效率考虑,有意规定提纲,简化写作形式,因而削弱了其内容效度,以此提升测试的整体信度,充分应对CET6受试者数量众多的特点。TEM4由于没有这方面的困扰,可以加大写作部分的分值,将其作为检验学生语言能力的重点和主体,通过要求考生使用各类写作技巧,充分检验了学生的英语水平,文体能力以及不同情境下写作目的的辨别能力。TEM4的作文命题更为综合和全面,相较CET6的写作题更贴近教学大纲的要求,因此其命题设计在内容效度层面颇具优势,可供CET6参考。
(3)CET6的写作测试较为僵化,因此往往导致课堂上出现单纯应试的作文教法,甚至考场上的种种作弊行为,使其社会反拨效应呈现较强的负面性。而TEM4的写作测试则对外语教学产生了更佳的反拨效应,而且积极推动了大学英语学习,在此方面值得CET6借鉴。当然,由于CET6的参加者人数庞大,很难将其写作测试本身的特点与所有的教学及社会预期两相调和,我们仍希望写作试题的改进能够为大学英语课堂带来更多的积极反拨效应,并在当前的教学大纲中扮演更为重要的角色。而尽管TEM4的作文试题在课堂教学方面带来了相对积极的反拨效应,但如果不对增强创新性加以持续的关注,很快也将陷入一个尴尬的境地:由于命题与社会热点脱节,很难对社会英语学习造成应有的影响,其原有的正面反拨效应也将很快枯竭。
四、结论及建议由于写作测试的高度主观性,要取得测试中信度、效度及反拨效应之间的平衡是十分不易的。CET6及TEM4在这些指标下表现各有千秋:CET6的写作测试的可信度受到了广泛的认可,而TEM4则效度较高,还取得了较为积极的教学反拨效应。对这两大外语考试而言,仍然有较大的空间改善其写作测试项。现将我们的一些建议总结如下:
(1)在目前CET6写作测试的基础上,可以在命题时适当增设更多真实的交流语境,将写作目的、目标读者群以及写作背景等因素融入题目,借此来提升学生对语体风格以及写作目的的敏感性,引导学生将写作技能运用于实际。
(2)此外,在提升测试本身质量的同时,CET6的写作部分也应注重向社会传播更多的积极反拨效应,合理利用其广泛社会效应及重大的教学指导作用。尽力营造一个创新性强、真实性高、社会互动真实的英语教学环境。
(3)而TEM4的写作测试则可以更多地效仿CET6较为与时俱进的命题方式,在题目中融入时下热点元素,体现时代性,与社会的发展保持同步。
(4)TEM4的写作测试不仅应继续提高测试效度以适应教学要求的发展,也需进一步降低对于写作本身的各类限制条件,也必须提高测试的效率及成绩的信度,扩大公众影响力。
简而言之,两种测试的写作项目在提高信度、效度及反拨效应等方面都有可供对方学习借鉴的优势。如果两者可以取长补短,汲取双方的实践经验,就能进一步促进我国的大学英语教学水平,并帮助广大学生提高英语写作能力。
参考文献:
〖=1〗吴云娣英语专业四级——助考点津〖=M〗上海:上海交通大学出版社,2005.
〖=2〗杨惠中大学英语四、六级考试十五年回顾〖=J〗外国语(上海外国语大学学报),2003(03):21—29.
〖=3〗辜向东,杨志强CET二十年写作试题分析与研究〖=J〗外语与外语教学,2009(06):21—26.
〖=4〗唐雄英语言测试的后效研究〖=J〗. ;外语与外语教学,2005(07):55—59