大规模高利害英语测试中的梗概写作题型指导语分析
2014-11-28张春青
张春青
大规模高利害英语测试中的梗概写作题型指导语分析
张春青
本文分析了托福等五个考试的梗概写作题型的指导语,发现写作目的、词数限制、简要评分标准和答题过程说明是该任务指导语的必备要素。语言限制、发表个人看法与否和时间限制出现较多。最后,作者指出了这些发现对于设计梗概写作的任务指导语的启示。
梗概写作;指导语;环境
1 引言
梗概写作(summary writing)越来越多地被大规模高利害英语测试所采用。梗概写作指的是人们运用自己的语言简要地、精确地和客观地报告或解释来源于一本书或一篇文章的要点,不加评价和判断;如若使用作者的短语和句子,需加引号(Rob⁃itaille&Connelly 2002)。梗概写作是较为实际的读写任务,相当数量的大学作业需要学生对所学内容进行总结(Yang&Shi 2004)。另外,阅读材料为写作提供了具体内容,考生写作有了共同的出发点,有利于评判学生的写作水平。再者,梗概写作任务可以有效避免传统题型的测试方法效应和练习效应,通过构建-综合或多元读写模式来评价语言能力,除了在高利害测试中使用外,还可为教学和自评提供诊断信息(Cumming 2013)。
随着梗概写作任务在多种大规模高利害测试中使用,对于该题型的研究也呈增长趋势。但是,大多数研究都集中在测试的信度、可行性、效度和任务真实性等方面(Weigle 2004;Yu 2007),对试题本身的研究十分鲜见。而近些年来,心理测量、数据驱动的测试方法的显赫地位有所下降,人们转而对环境(context)、语言运用表现条件和具体操作的重要性开始产生兴趣,而任务指导语属于任务环境和语言运用表现条件的一部分(Weir 2005)。在此基础上,本文拟分析和讨论目前国内外五个大规模高利害英语测试中所使用的梗概题型的指导语,为梗概题型研究提供新的视角,也为梗概题型的命题提供理论基础和实践方面的指导。
2 测试任务指导语设置的相关理论
测试指导语是试卷构成的重要成分,其主要功能是向考生解释任务要求,指导学生答题。指导语主要由任务指导语、考生应答程序、测试结构信息(包含题型和测试各部分的相对重要性)和时间分配组成。指导语可能包含测试每一部分的测试内容,例如,“本测试旨在测试考生连贯准确地写出段落的能力”,或者仅仅说出测试的技能,例如,“写作”。考试过程中的指导语和考试前考生手册中提供的指导语的详细程度会影响考生的表现。测试指导语可以用考生的第一语言,也可以用考试的目的语(例如,英语)表达。细节信息一般通过测试手册传递给考生,例如,评价标准的细节,相对的测试单元的权重或标准,或评卷方法信息等。
表1是三位语言测试学者对于任务指导语的维度的功能及维度的界定。在Weir(2005)的效度验证体系中,测试指导语属于环境效度(context validi⁃ty)的一部分,在他看来,测试指导语应该是考生对应答题目有具体、全面的了解,由此体现测试目的并保障测试的信度。Bachman(1990)认为,测试指导语属于测试方法维度,由于考生的表现在很大程度上依赖于他们对于答题限制、答题程序和任务本质的理解,指导语在考生表现中发挥着关键作用,因此,在设置指导语时,是使用考生母语还是考试目的语,是通过书面材料还是通过声音渠道传达,是否详细列出完成任务的过程,是否在考卷上提供任务评判标准,都需要命题者谨慎权衡。Alder⁃son等人(1995)在引用Bachman任务指导语理论的同时则强调指导语中是否提供示例和评价标准,他们认为,提供示例可以帮助考生确切了解考试要求。指导语的每个维度都可能对考生的目标设定、监控等元认知策略和具体表现产生巨大影响(Weir 2005;Bachman 1990),因此,设计指导语要极其谨慎。
表1 任务指导语的功能及维度
梗概写作属于较为复杂的写作任务,因而,指导语设计也有其特殊性。其复杂性在于,完成梗概写作需要不止一种技能,首先,考生需要读至少一篇关于某一话题的短文,然后按照规定字数用自己的话呈现短文要点。除了阅读技能和写作技能,考生还需要有综合信息的技能,这种技能又包含考生的组织、选择和连接策略。因此,梗概写作是一种包含多种技能和策略的读写综合任务。这种任务往往让初次接触的考生感到迷惑,在完成任务时,容易受先前其他文体写作经验影响。然而,命题者无法控制考生的先前经验,只能通过精心设计的指导语将可能出现的错误理解降低到最低程度。他认为,读写结合任务中需要高度注意的是源文本的使用。在指导语中,源文本的使用应该至少在三个方面得到强调,首先,源文本的功能应该得到明确,考生需要知道他们在应答时必须使用源文本的内容;其次,指导语中应该对照抄源文本中的短语(phrases)和引证(citation)方法做出规定。尽管该指导语的措词有难度,但是该指导语使由于抄袭原文所产生的评分和分数解释的问题得到最小化,因此,明确规定如何使用源文本有重大意义。最后,指导语中应包含简要的评分标准,让学生了解写作重点,源文本的作用也应在此提及(Plakans 2012)。
3 梗概写作题型指导语分析
下面是五个大规模高利害英语考试梗概写作题型的指导语及其简要分析。托福、培生学术英语考试、国际中学教育普通证书考试是英美国家的考试,考试对象是打算出国留学的非英语国家的考生。全民英语能力分级检定测验是台湾评价个人英语能力和学校教学成果的考试,为公司招募人才、为机构甄选出国人员和为教育机构检验教学成果服务。广东省高考英语试题是广东省高等学校招生考试。其考试结果都关系到考生的出国、升学和就业等重大问题。下面我们就运用测试指导语理论来分析以上考试中梗概题型的指导语。
3.1 托福考试中的梗概写作任务(TOEFL iBT®:The Test of English as a Foreign Language)
For this task,you will read a passage about an ac⁃ademic topic.A clock at the top of the screen will show how much time you have to read.You may take notes on the passage while you read.The passage will then be removed and you will listen to a lecture about the same topic.While you listen you may also take notes.You will be able to see the reading passage again when it is time for you to write.You may use your notes to help you answer the question.
You will then have to write a response to a ques⁃tion that asks you about the relationship between the lecture you heard and the reading passage.Try to an⁃swer the question as completely as possible using infor⁃mation from the reading passage and the lecture.The question does not ask you to express your personal opinion.Your response will be judged on the quality of your writing and on the completeness and accuracy of the content.
Immediately after the reading time ends the lec⁃ture will begin,so keep you headset on until the lec⁃ture is over.
Directions:Read the question below.You have 20 minutes to plan and write your response.Your re⁃sponse will be judged on the basis of the quality of your writing and on how well your response presents the points in the lecture and their relationship to the reading passage.Typically an effective response will be 150 to 225 words.
Question:summarize the points made in the lec⁃ture,being sure to explain how they oppose specific points made in the reading passage.
分析:托福考试不只是读写结合,而是读、听和写结合,用写作的方式阐述阅读材料和听力材料观点的关系。每一部分都有时间限制,明确提出不许发表个人观点,提出了三个简单的评分标准:写作质量、内容的完整性和准确性。后面又进一步说明了评分标准:应答呈现观点的质量和呈现讲座与阅读关系的质量。字数限制为150~225字。
3.2 培生学术英语考试中的梗概写作任务(PTE:Pearson Test of English Academic)
Read the passage below and summarize it using one sentence.Type your response in the box at the bot⁃tom of the screen.You have 10 minutes to finish this task.Your response will be judged on the quality of your writing and on the how well your response repre⁃sents the key points in the passage.
Write your answer in the box below(5~75 words)
分析:首先,指导语明确了测试目的和语言要求。然后指出了答题位置、时间限制、评价标准。然后,在答题空间的上方给出了词数限制。给出的样题为305词,给出的学生样文平均30词,为总字数的十分之一,最大数量75词为总词数的四分之一。
3.3 国际中学教育普通证书考试中的梗概写作任务(IGCSE:International General Certificate of Secondary Education)
Read the following article about going to study abroad.Write a summary of advice given to students about their behaviour before they go to another country and when they get there.
Your summary should be about 100 words long(and no more than 120 words long).
You should use your own words as far as possible.
You will receive up to 6 marks for the content of your summary,and up to 5 marks for the style and ac⁃curacy of your language.
分析:IGCESE考试拓展版(Extended)所考查的梗概写作首先通过创设语境确定了写作目的和预期读者,然后指明了字数要求;接着对于借用做出一般性要求——尽量使用自己的话,没有规定界限;最后告知了考生简单的评分指标和赋分。
3.4 全民英语能力分级检定测验中的梗概写作任务(GEPT:General English Proficiency Test下文简称全民英检)
You are going to take part in the GEPT Essay Contest and the winning prize is an NT$5,000 book voucher.The title of the essay is The Advantages and Disadvantages of Advertising.Information about this topic is provided in the two articles on the following pages.
* First,read each text to establish the main points the writer is making.
You can use the space provided on your test pa⁃per to make notes.
* Then,in your own words as far as possible,write an essay that summarizes the main ideas of both texts concerning the pros and cons of advertising.
* In the final part of the essay,you should make clear your own viewpoint on these main ideas and come to a conclusion.
* Note:If you use more than three consecutive words from the articles,use quotation marks(“ ”).Plagiarism will result in failure.
Your essay must be about 250 words in length.You have 60 minutes to complete Task 1.
分析:指导语中的黑体是为试题中所有,未做改动。指导语设置了写作情景——参加英语考试机构的作文竞赛,为语言运用提供了理由。然后告知了标题和内容来源。然后是详细的指导语:1)阅读并总结作者要表达的要点,可利用试卷的空间做笔记;2)尽量用自己的话从广告的赞成和反对两方面的意见来总结两篇文章的要点;3)在文章末尾,表明自己对于这些要点的看法,然后得出结论。
注意:如果连续使用文章中的词多于三个,用引号标出(“ ”)。
3.5 广东省高考英语测试中的梗概写作任务(GMET:Guangdong Matriculation Test of English)
第二节 读写任务(共1小题;满分25分)
阅读下面短文,然后按照要求写一篇150词左右的英语短文。
[写作内容]1.以约30个词概括上文的主要内容。2.……
[写作要求] 1.作文中可以使用亲身经历或虚构的故事,也可以参照阅读材料的内容,但不得直接引用原文中的句子。2.……
[评分标准]概括准确,语言规范,内容合适,语篇连贯。
分析:广东省英语高考试题的梗概写作是读写任务的第一段。提到了不得直接引用原文中的句子。规定了字数,提供了简略的评分标准。
4 结果与讨论
表2是对第三部分的分析所做的总结。总体来看,全部指导语都具备的因素包括四个因素:写作目的、词数限制、简要评分标准和答题过程说明。语言限制,特别是“用自己的话”,、发表个人看法与否和时间限制是出现较多的三个要求。而确定预期读者、赋分则是出现最少的因素。这里需要说明的是,全民英检和广东省英语高考读写任务的第一部分是梗概写作任务,个人看法单独发表,我们这里讨论只是梗概写作部分。下面我们分别来就结果进行讨论。
4.1 写作目的和读者
指导语应清晰明确地告知考生写作目的,这样,考生就能够选择最恰当的策略,确定他们在文本理解中的目标和写作任务中要激活的信息。从五个考试梗概写作的指导语来看,任务要求都非常清晰,但是在直接性和简洁性方面存在差异。从最直接最简洁到不直接不简洁可以这样排序:PTE>IGCSE>GMET>GEPT>TOFEL。最为直接简洁者往往在指导语第一句就告知考生写作目的,例如PTE考试第一句就是如此,“Read the passage below and summarize it using one sentence.”在提出写作目的之前叙述最长的托福考试,前面叙述了答题步骤、评判标准、词数限制等,最后,在问题部分,才出现了summarize这个关键词。当然,每个考试的指导语与具体的考试语境相关,没有孰优孰劣之分,例如,托福考试之所以会出现这种情况,可能主要是因为概要的源文本是两个模态,而且是网考。
与写作目的紧密相关的是指导语中是否要创设语境从而引出预期读者的问题。IGCSE和GEPT都在指导语的开头设置了具体的写作语境,明确了预期读者,也使得写作目的更为明确。例如,IGCSE梗概写作指导语开始就明确提醒考生,这篇梗概是给出国之前和到达目的地后的学生的行为提示。Weir(2005)指出,写作目的和文体影响写作,但是预期读者的设定会影响内容和文本的实质。在Hy⁃land(2002)看来,任何写作行为,无论是个人的、学术的还是工作场所的,都处于更为广阔的社会和权力传统当中,这种传统隐含了参与者关系和关系构建及交流的模式。例如,在感谢信中,孩子写给朋友与写给陌生的年长者会在交流个人隐私、正式性、敬意、互动参与度和话题展开的详细度方面有区别。如果写作任务与考生群体关系不大或阅读任务中不明确预期读者,其后果显而易见。因此,命题者需要清楚地告知考生他们为什么要完成梗概任务。尽管针对一般英语(general English)考试难以实现这样的真实性,命题者还是应该尽最大努力给予写作任务现实的基于需求的目的。
4.2 词数限制和时间限制
词数限制和时间限制相伴而生,同时也受考试目的和考生语言水平限制。给予学生完成任务的时间必须合理,符合大多数学生的英语水平,如果给予的时间太少,压力水平就会上升,测试就难以得到学生的最佳表现。
表2 梗概题型指导语分项分析表
测试任务的词数限制和时间限制与源文本的长度、数量及考试目的相关。托福考试要学生20分钟内完成150~225词的梗概写作任务,不包括阅读和听讲座时间,如果阅读和听讲座做好铺垫,20分钟可以完成任务。但是,输入的文本是阅读和听力两个模态,所以,在20分钟内完成任务又具有一定的难度。培生学术英语考试要求考生10分钟内完成5~75词的梗概写作任务,包含阅读时间,这是因为源文本只有一个300词左右的语篇,概要的底线词数要求也非常低。PTE是针对计划出国留学考生的考试,如果拿这个标准来要求一般考生,则显得不切实际。全民英检要求学生60分钟内完成250词的梗概写作任务,包含阅读时间,之所以给这样长的时间是因为源文本是两个文本,另外词数必须达到大约250词,词数要求较为严格,不像前两个考试那样有较大的字数跨度。
以上三个考试有时间限制有三个原因,第一,时间限制成为了构念的一部分,在PTE的考生手册中,就明确提出,该任务要考查考生在一定时间限制下完成梗概写作的能力。第二,托福考试和PTE考试都是网考,较为容易实现时间控制。第三,台湾的全民英检的两个写作任务必须都完成才能给分,只完成一个不予评分,这样在指导语部分提出时间限制更有利于考生完成任务,从而较全面地评量考生的写作能力,另外,命题者可能考虑了考查出考生的写作水平的最低样本量。
IGCSE和广东省高考试题给出了梗概写作的词数限制,没有给出梗概写作的时间限制,可能是因为在考试大纲中给出了参考时间。但实际上,在纸笔测试中,很难真正控制学生答题时间。
4.3 借用限制、个人看法和评分标准
借用(borrowing)限制、个人看法都属于详细评分标准的重要部分。正如Plakans指出的,综合任务题要给考生提供简洁的评分标准,因为清晰明确的评分标准可以正面地影响考生的表现,有利于考后评分和分数解释。对于借用限制,不同的考试在各自的指导语中也有不同提法。在IGCSE和全民英检中,都提到use your own words as far as possible.但是全民英检的规定更为明确,也更为严厉,该考试明确提出,If you use more than three consecutive words from the articles,use quotation marks(“”).Pla⁃giarism will result in failure.使用连续的三个文章中的词汇就得使用引号,不然就是剽窃,后果就是考试失败,换言之,就是零分。这个规定与Gabriel和Plakans(2009)所做的综合读写任务要求一致。广东省高考英语试题读写任务部分要求学生“不得直接引用原文中的句子”(详细评分标准中是“照抄”)。虽然托福考试和培生学术英语考试没有在指导语中要求考生“用自己的话”,不许照抄原文,但是他们都在考生手册或相关研究中提到不许照抄原文;同时,他们可能认为梗概写作本身就是以使用自己的语言为前提的,这一点是不言自明的。例如,在培生学术英语考试的考生手册中的培训部分,就要求教师培养学生对于文章要点的同义转换(paraphrasing)能力。
作为一种文体,梗概写作不允许加入个人见解,要客观呈现原文观点。国际中学教育普通证书考试的指导语评分标准中就提到了,有5分是给予语言风格和准确性的,在该测试看来,梗概的语言风格包括忠实于(adhere to)原文的要点,不能加入自己的观点或评论。对此,托福考试说得最为明确,评分的标准在于内容的完整性(completeness)和精确性(accuracy),不要求考生表达自己的看法。培生学术英语考试要求考生应答应该呈现文中的要点。全民英检和广东省高考的读写任务分成两部分,第一部分是梗概部分,要求按照梗概写作的要求来评价;第二部分是发表自己的观点。对于梗概部分的评分,广东省高考英语梗概写作评分标准明确指出,考生要按照要求概括原文的全部主要信息,不增加与原文无关的信息。
4.4 答题过程、赋分、渠道和所用语言
托福考试和全民英检的指导语都列出了较为详细的答题步骤,其他三个考试则较为简略。Bach⁃man认为,指导语通常要明确应试要遵循的程序,程序包括考生的应答方式。例如,培生学术英语考试一开始就说“阅读下面的短文,用一句话概括,将你的应答键入屏幕下方的框内”,十分简洁,国际中学教育普通证书考试和广东省高考试题梗概写作部分的指令语也属于此类。但是,托福考试则详细说明了步骤,指导考生一步一步地答题,包括阅读、注意时间、边读边做笔记、听讲座、边听边做笔记、回答问题、写作,给人一种测试与教学融为一体的感觉。全民英检指导考生读短文以求要点、使用空白处做笔记、写梗概、表明观点、得出结论。这两个考试这样做的原因在于,考试任务比较复杂,源文本都是两篇,而托福考试又是视觉和听觉两种模态的输入,同时,考生对考试任务熟悉的程度不同,这自然加重了指导语的负担。对于考查初次接触梗概写作的考生来说,详细说明考试步骤具有重大的意义。不然,由于错误理解任务要求和不熟悉任务所导致的构念无关因素导致分数难以解释,影响测试的构念效度。
在赋分方面,给予最为清晰的解释的是国际中学教育普通证书考试,在指导语中明确指出,6分是内容分,5分是语言风格和精确性的分数。而广东省高考读写任务试题只给出了总分,没有单独给出梗概写作的分数,只是在详细的评分标准中,规定了梗概写作是5分。给出分值的意义在于,不同部分给予不同的分数,所用的时间也会不同,这一点必须传达给考生,这样他们在完成任务的确定目标阶段就能够合理地分配时间。在指导语的渠道方面,除托福考试采取视觉和听觉两方面外,其他均为视觉的指导语。在所用语言方面,除广东省高考英语试题使用母语外,其他4个考试的指导语均使用考试目标语言。
5 结论与启示
通过对五个大规模高利害英语测试梗概写作指导语的分析,我们可以得出以下几点结论。第一,写作目的要十分明确。虽然不设语境可能对背景不同的学生来说显得更加公平,但是命题者应尽量创设语境,为写作提供动机,为梗概提供预期中的读者,这样可以使任务更为真实,有利于实现测试的理论效度。第二,梗概词数限制和时间限制受考试方法(纸笔还是基于计算机)、考试目的、考生英语水平、源文本词数、源文本数量和模态限制,应具体情况具体分析。第三,应在指导语部分提供简洁的评分标准,帮助考生明确写作重点,作为一种文体,梗概写作在指导语中应该严格界定借用的边界(boundary),明确告知考生不能加入自己的观点。最后,对于不熟悉梗概写作的考生来说,应该提供详细的答题步骤,避免由于错误理解而导致的构念无关因素影响成绩,导致成绩难以解释的后果。
本研究对于我国的英语梗概写作命题也有一定的启示。第一,尽管我国的大规模高利害英语测试多为一般英语水平测试,难以创设语境,但考虑源文本的内容、梗概写作的文体与学生关系,明确预期读者应该成为命题者在设计指导语时的选项之一。第二,要根据学生水平、考试目的等因素命制梗概写作试题。例如,对于高中生毕业生来说,升入大学后要总结以英语为媒介所传达的信息,有必要考查他们的梗概写作能力,但是,由于是对未来目标语言使用域的预期,而且他们的语言水平参差不齐,命题者不宜使用难度较高的包含两个语篇的梗概写作试题。第三,要对借用做出严格规定。由于文化不同和教学影响,例如,我们重视精确背诵,古诗词中的用典也不用指出作者,所以我们对于借用没有概念,然而,要想通过英语使学生融入学术领域,必须帮助他们了解引用的规则。最后,应尽可能详细地通过指导语告知考生完成任务所需的步骤。
[1]Robitaille,J.and Connelly,R.Writer’s Resources:From Para⁃graph to Essay[M].Boston:Heinle.2002.
[2]Yang,L.,&Shi,L.Exploring six MBA students’summary writing by introspection[J].Journal of English for Academic Purposes,2003(2):165-192.
[3]Cumming,A.Assessing Integrated Writing Tasks for Academic Purposes:Promises and Perils[J].Language Assessment Quarterly,2013(10):1-8.
[4]Weigle,S.C.Integrating reading and writing in a competency test for non-native speakers of English[J].Assessing Writing,2004(9):27-55.
[5]Yu,G.Students’voices in the evaluation of their written summa⁃ries:Empowerment and democracy for test takers?[J].Language Testing,2007(24):539-572.
[6]Weir,C.J.Language Testing and Validation:An Evidence-based Approach[M].Palgrave Macmilan.2005.
[7]Bachman,L.F.Fundamental Considerations in Language Testing[M].Oxford:Oxford University Press.1990.
[8]Alderson,J.C.,Clapham,C.,&Wall,D.Language Testing Con⁃struction and Evaluation[M].Cambridge:Cambridge University Press.1995.
[9]Plakans,L.Writing integrated items.In Fulcher&Davidson(eds.)[M].The Routledge Handbook of Language Testing.London:Rout⁃ledge.2012.
[10]Hyland,K.Teaching and Researching Writing[M].London:Long⁃man.2002.
[11]Gebril,A.,&Plakans,A.Investigating source use,discourse fea⁃tures,and process in integrated writing tests[J].Spaan Fellow Working Papers in Second or Foreign Language Assessment.2009(7):47-84.
Analysis of the Instructions for Summary Writing in Large-scale High-stakes Tests of English
ZHANG Chunqing
This study investigated the instructions in the summary writing task in five high-stakes tests of English.Writing purpose,word number constraints,brief rating criteria and procedures are four common elements in the instruction for the summary writing task.Using one’s own words,expressing test-takers’opinions and time constraints appear in more than half of the tests.Finally,implications are presented to help design instructions for the summary writing task.
Summary Writing;Instructions;Context
G405
A
1005-8427(2014)03-0030-8
张春青,男,北京师范大学外文学院,中学高级教师(北京 1000875)