英语写作同伴评价准确性和自我修改差异研究

辛　声

(电子科技大学中山学院　外国语学院， 广东　中山　528402)



英语写作同伴评价准确性和自我修改差异研究

辛声

(电子科技大学中山学院外国语学院， 广东中山528402)

通过一项同伴评阅和修改实验，量化对比高水平和低水平学生评价准确性和自我修改差异。研究发现：相比教师评价，学生评价不甚准确且区分度不高，高低水平组差异不显著，高水平组对语言形式的判断更为准确。自我修改数据表明：高水平学生更注重语言形式的表层修改，而低水平学生的意义修改量更大。研究结果为有效开展英语写作同伴互评和差别化指导提供了实证支持和教学建议。

英语写作； 同伴评价； 准确性； 自我修改

一、引　言

长期以来，中国英语写作教学以产品为教学目标，注重结果产出，由于存在教师批改费力、学生进步缓慢的弊端，饱受诟病，过程写作教学法的兴起和应用使这种局面得到一定程度的改观。过程写作法重视从计划到成品的成文过程，学生在同伴或师生互动中，经历若干轮给出评阅、接受反馈、再次修改的过程，形成对文本的新认识，最终促进写作能力的提升。作为互评的两个过程，“评价他人”和“评后修改”密不可分。“评价他人”以及由此引发的“自我评价”反映出学生对作文“注意”的方向和程度，而修改则反映学生“注意”之后语言表达重构的结果。然而，目前对学生评价的研究居多，大都是从测试的角度比较自我评价、同伴评价和教师评价的准确性差异，对评后修改的研究少见，尚不能全面反映同伴互评全过程的特点。将学生评价和修改特点结合考量，能更全面地了解同伴互评模式下学生对语言的感知和运用特点，为有效组织互评活动提供参考。

二、文献综述

20世纪60年代过程写作法在美国兴起，近20年来国内外对其理论基础和实践运用的研究方兴未艾。“过程写作法将写作视为一个有交际目的的、复杂的、非线性的交互过程”(张省林，2006)，将语言学习置于计划、起草、互评、修改等多个环节中。学生在与外界的互动中反复推敲、修改作品，实质上也是对自己观点逐步完善、重新思考，并与潜在的目标读者反复“协商”的结果。这一过程体现了社会交互活动在语言建构意义时的重要作用，符合社会文化论(Vygotsky，1978)语言、思维、社会交互密不可分的观点。另外，作为典型的输出活动，过程写作法也充分体现了注意、假设检验、元语言反思的功能(Swain，1995)。

同伴互评是过程写作法的重要环节，在同伴介入的语言调控过程中，学生可以共享最近发展区(Zone of Proximal Development，ZPD)，获取临近资源(proximal resource)，引发协同效应(alignment effect)，有利于减少焦虑(郭燕、秦晓晴，2010)，提升自我效能感(吴育红，2013)、读者意识和学习自主性(蔡基刚，2011)。学生评价时对语言的注意、协商和修改有利于获得新的语言感知和认识，构建对自我文本的重新认识和思考，促进自我语言能力的提升并进而提高自己的写作能力(Tsui、 Ng，2000；Lundstrom、 Baker，2009)。

但是，针对同伴评价准确性的研究发现同伴评价准确性不足，如Carson、Nelson(1996)发现中国学生倾向于保持组内和谐而不愿对同伴习作提出批评意见。刘建达(2002)发现中国低水平学生基本不能正确评价同伴作文，而高水平学生在结构和内容方面的评估与老师接近，在语言方面不甚准确。Matsuno(2009)对日本91名英语学习者的实证研究发现，不论高水平还是低水平学习者对同伴作文的评价都非常“宽容”，他们对好作文评分偏低，对差作文评分偏高。Min(2006)总结道：“学生对同伴作文倾向于做出橡皮图章式的评价”。

评价同伴文本之后，写作者能否根据其自身语言知识和能力，基于对所评习作的注意，以及参与互评的多种互动关系的影响，对自己的习作做出修改呢？Min(2005)发现，学生可从评阅他人作文的过程中获得自我调控的能力，即反思自己的问题并自行找出解决办法。Rollinson(2005)表示，培训学生成为更好的评阅者能够使其获得评价并改进自身作文的能力。因此，即使不收到任何反馈，学生也可以从评阅过程中获取有益信息，对自己的作文做出修改。这种修改在很大程度上反映了评阅者注意、假设检验和元语言反思的特征。Kali、Ronen(2008)进而指出，学生的水平差异影响他们对作文的评估，并对互评之后的反馈接受程度或修改有非常重要的影响。但是，目前将不同水平学生评价和评后修改特点结合的研究几近空白。

具有参考价值的是，对英语母语者的自发修改研究发现，高水平写作者意义和篇章修改较多，低水平写作者则主要关注语言表层问题(Faigley、Witte，1981；Fitzgerald，1992)。国内高彩凤等(2008)对英语专业学生修改过程的研究发现，高水平者倾向于改善文本可读性，而低水平者意义修改更多，高水平者修改成功率更高。但以上发现均只聚焦于修改的单一过程，在同伴评阅模式下，评阅和修改是先后关联、不可分割的两个过程。因此，将不同水平学生评阅准确性和修改差异结合考察，将有助于了解不同水平学生二语写作隐性过程(张省林，2006)的差异，有利于教师对同伴互评进行差别指导和监控，提升小组互评互改的效果。

三、实验设计

(一)研究问题

本研究采用量化研究方法，分析在一次同伴评阅任务中，不同水平二语学习者作文评价和修改的特点，具体研究问题为：

1.与教师评价相比，学生评阅者是否能够准确评价同伴的作文？不同水平的学生在评价准确性上有何差异？

2. 评阅后修改自己作文时，不同水平的学生有何差异？

(二)实验对象

选取广东某高校英语专业二年级两个平行班学生共75人为实验对象，实验前两个班学生参加CET4考试的“总分”和“翻译写作分”经独立样本t检验无显著差异。按CET总分高低取前后各27%为高水平组和低水平组，各20人。独立样本t检验表明，高水平组CET4总分(t=9.89，p=0.000)和翻译写作分(t=4.76，p=0.000)显著高于低水平组。两个班《综合英语》课由同一教师任教，实验在此课程内实施。

(三)实验工具

1.作文评价表。在参考蔡基刚(2011)、白丽茹(2012)编制的作文评价量表的基础上，根据《英语专业四级考试要求》和评价标准，拟定“专业四级议论文评价量表”。评价表由结构、内容、语言3部分构成，每部分5项，共15项，每项均有对应的详细要求，采用李克特5级计分法对每个单项计分，从1至5分别代表“较差”、“需改进”、“一般”、“较好”、“很好”。另外设置总评分以比较学生是否能够从总体上准确评价作文。

2.评价材料。3名往届学生的练习作文(记为X、Y、Z，题为“Should College Students Hire Cleaners?”)，不做任何修改，被选为实验的评价材料。邀请7位经验丰富的英语专业一线教师按照评价表为3篇习作打分。去掉总评分最高和最低者，剩余5位教师评分的Cronbach ɑ系数为0.932，一致性很高。5位教师的总分和分项平均值如表1所示。可以看出，教师认为X、Y水平相当，Z三个方面均存不足，评分最低。

表1　韩中日FTA竞争现状

(四)实验过程

实验前任课教师向学生讲解专四议论文的特点、写作要求和评价标准，并以练习作文为例，两班互换进行同伴评阅，教师同时讲解评价表的使用方法并解答学生疑问，这一阶段不统计任何数据。一周后正式实验时，学生撰写与评价材料题目一致的作文，课下完成并收集初稿。之后组织学生对3篇评价材料进行评分，为了模拟真实的评价情境，教师告知学生所评材料是另一班级3位同学撰写的初稿。学生评分时须独立完成，用时约30分钟。评价完成后，学生在3天内修改自己的初稿并上交。采用Microsoft Word的文本精细对比功能比对初稿与修改稿，按表层和意义修改分别统计修改点数、词数，并对修改功能和修改有效性编码以得到修改数据。评分和修改数据录入SPSS 20.0进行分析。

四、实验结果

(一)高、低水平组评价差异

在总分和分项分共12项评分比较中，未发现高低水平组评分有显著差异。分别将两组每项评分与教师评分进行单样本t检验，发现共有3项总评分、高水平组有2项语言部分评分与教师评分无显著差异，除此之外，其余项目均有显著差异(见表2)。观察两组评分和教师评分折线图(图1)，两组的评分折线图比教师评分平缓，反映出学生对作文的评价区分度不如教师，值得注意的是高水平组的评价折线大部分位于低水平组下方。

表2　高/低水平组与教师评分对比

注：高水平组，n=20；低水平组，n=20；*表示p<.05，**表示p<.01；与教师评价无显著差异的数据加下划线显示。

图1高/低水平组作文评分与教师评分对比折线图

(二)高、低水平组修改差异

使用修改量、修改效果、修改功能来对比学生修改差异。修改量采用Cho(2010)的方法记录修改点词数的变化，如“增加”以增加的词数计，“删除”以删除的词数计，“替换”以原文和修改稿之间的多者计。修改效果根据学生每一处修改相对于原文的改善效果来判断(Conrad、Goldstein，1999)，修改后优于原文为有效修改，修改后劣于或与原文效果无差别为无效修改。在进行修改量和修改效果比较时，进一步区分为表层修改(Surface Changes)和意义修改(Text-Base Changes)两类(Min，2006；Cho，2010)。表层修改指不改变句意的修改，如拼写、时态、单复数、标点或保持句意不变情况下的增加、删除、替换等；意义修改改变句意或句群的意义，或导致文章摘要变化。修改功能按照Falvey(1993)(Min，2006)的方法分为语法纠错(grammatical)、形式提升(cosmetic)、文本连贯(texture)、冗余删除(unnecessary expression)和信息增加(explicature)5类，相比从修改形式上分为添加、删除、替换等的分类法，这种分类法更能反映作者的修改目的。将修改稿中做出的独立于其它部分的改动记为1个修改点，记录其修改量，并邀请两位教师对修改效果和功能分别编码，一致率达94.0%，不一致的协商后确定。

1.修改量差异

表3列出了高水平组和低水平组的初稿和修改稿词数、总修改量和按表层和意义分类的修改量。独立样本t检验发现两组学生的初稿词数(t=-0.744，p=0.46)和修改稿词数(t=-1.291，p=0.20)无显著差异，配对样本t检验发现每组的初稿和修改稿之间也无词数上的显著差异。由于修改点数和修改词数属于计数数据且呈非正态分布，故采用泊松对数线性回归比较组间差异。对总修改点数的泊松回归显示，两组之间差异显著(Wald2=8.66，p=0.003)，低水平组期望回归系数取值为1时，高水平组为1.347，表明高水平组修改点更多；使用相同方法比较总修改词数，高水平组修改词数(回归系数0.789，p=0.000)显著低于低水平组；进一步按表层和意义修改分类计算修改点和修改词数，发现两组在意义修改点数上无显著差异(p=0.076)，但是高水平组在表层修改点数(回归系数1.615，p=0.000)、词数(回归系数1.444，p=0.000)上均显著高于低水平组，在意义修改词数上(回归系数0.538，p=0.000)显著低于低水平组。以上数据说明，从修改点数来看，高水平组学生比低水平组学生做出了更多的修改，主要体现在表层修改上；而低水平组学生做出的意义改动词数几乎是高水平组的2倍，直接导致低水平组在总修改词数上超过了高水平组。

表3　高/低水平组作文修改量统计数据

2.修改效果差异

表4列出了有效修改点数与总修改点数的比例，总体来看，高水平组的总有效修改率高于低水平组；高水平组的表层有效修改率略高，而低水平组意义有效修率略高。

表4　高/低水平组修改效果比较

3.修改功能差异

比较两组修改功能的差异，发现高水平组更多使用“形式提升”来改善初稿，在所有修改点中比例达到28.7%，较低水平组高9.3个百分点。而低水平组在体现意义修改的“冗余删除”和“信息增加”的比例上均高于高水平组，总计高出近6个百分点，数据见表5。

表5　高/低水平组修改功能比较

五、讨　论

(一)学生评分准确性及其差异

学生评分结果表明：高、低水平组对3篇同伴作文的总分评价与教师评价在趋势上保持基本一致，但评价区分度不高；高低水平组评分无显著差异，高水平学生在语言形式上的评价更为准确。学生与教师总分评价趋势一致但区分度不如教师，说明学生具有初步的从整体上分辨作文优劣的能力，印证了Min(2006)“橡皮图章”的结论。学生评分区分度不如教师评分的可能原因有：一是作为初学者，学生尚不具备与老师相同的基于量表的判断水平，需要进一步指导和训练；二是受中国传统文化的影响，出于保持“和谐”的心理，学生不愿对来自“同伴”的作文给出过低的评价(Carson、Nelson，1996；Nelson、Carson，1998)。

高水平组的评分略低于低水平组，但两组评分没有显著差异，表明高低水平组评价能力相似，即享有相似ZPD。这一结果与刘建达(2002)的研究结果有差异，他的研究对象中，高水平者是英语专业二年级学生，低水平者是以英语为第二外语的日语专业学生，两组在学习水平、学习目标和教学模式上的差别较大，学生ZPD差异巨大。而本研究中高水平组比低水平组评分只是略微偏低，推测是由于高水平学生注意到了更多的语言错误和中式英语现象而降低评分。高水平组有两项语言方面的评分与教师无差异，而且在访谈的10个高水平学生中，有6人提到评价时主要关注语法准确性、词汇、结构、中式英语等。这说明高水平学生对语言形式的评价更准确，他们更重视语言使用方面的问题，一旦发现作文中存在过多的语言形式失误，就倾向于降低对其的总体评价，而低水平学生受自身语言水平限制，往往看不出形式失误。

(二)学生评后修改差异

修改数据的对比结果说明：高水平学生的修改点比低水平学生多，高水平学生更倾向于进行表层修改，而低水平学生意义修改量更大；高水平学生修改成功率略高。此结果与英语母语者写作修改研究有差异，但与高彩凤等(2008)的研究结果类似。根据社会文化论(Vygotsky，1978)，社会交际本身就是学习过程，在交际激活的ZPD内，学习者将语言活动的外部构建转化为内部认知手段，得以更好地认识自己的现在水平并拓展自己的能力。评阅时，评价者的读者身份、被评作品、评价标准之间的互动促使评阅者注意差距、获取有益资源、检验并反思自己的作品并最终付诸修改。但是，由于学生自身语言水平的差异，不同水平学生的注意和反思是有区别的，高水平学生在评阅阶段更多注意语言形式方面的问题，如语法错误、中式英语、低频词和特殊结构等，进而在“假设检验”阶段更多地进行语言形式修改，甚至在本来没有错误的地方使用“形式提升”来美化作文；低水平学生在评阅阶段则发现了更多自己写作内容上的不足，进行意义修改较多，即替换论点、论据，加入新内容。这表明在评价同伴作文后，高水平学生注意到的是自己语言形式上的不足，而低水平学生则认为自己的内容选择不佳。另外，两组进行表层修改点数的比例(高水平组85.2%，低水平组71.8%)仍然远超意义修改，与Hanjani、Li(2014)的研究结果比例接近，这可归因于长期以来以结果为导向的写作教学，学生对语言准确性较为重视，并且修改表层错误对学生来说更加容易。低水平学生的修改成功率低于高水平组也印证了低水平学生在语言方面评价不够准确的特点。

六、教学启示

在同伴互评这一互动过程中，学习者、输入、输出之间的互动协同不断发生，产生语言学习的“拉平效应”，“水平低的学习者将得益于协同的拉平效应，语言水平提高快”(王初明，2012)。利用不同水平学生的差异可将学生搭配成小组进行互评反馈，目前已有研究(Cho，2010；盖淑华、周小春，2013；Hanjani、Li，2014)证明高低搭配小组的促学效果相对于其它分组模式效果更好。值得注意的是，本研究中高水平学生的修改存在对语言形式“矫枉过正”的现象，即不顾语境地使用更复杂的词汇和结构，应培养其在特定语境下选择适当表达方式的能力；另外，低水平学生往往由于水平不足或信心缺失，写作时容易局限在自己的“舒适区”(Comfort Zone)，即便有很好的想法在写作初稿时也不敢表达，但是修改时却会学习他人较好的论点论据，因此应通过写前计划、论据筛选等手段指导低水平学生优选内容。

但是，参与同伴互评的学生都只是二语学习者，即便是高水平学习者也与本族语者这一理想互动对象相距甚远，“拉平效应”未免会打折扣，甚至有可能产生向低水平学习者负向拉平的效果。本实验还发现，囿于学生实际水平和互评材料来自同伴的特点，学生实际上无法注意到写作深层次的问题，不论高水平还是低水平学生，他们多倾向于表层修改，在内容合理性和逻辑关系上的改善不足，这就导致学生自我修改不一定提高作文质量。因此，就目前国内英语写作教学现状来看，同伴互评可以扮演写作初期的“过滤”功能，即减少语言形式失误，促进文稿初步完善，完全使用同伴互评而忽视教师评价的做法是不可取的。同时，教师作为互评的组织者，应加强对学生的评价培训(Min，2006)，并通过讲评范文或示范评改引导学生注意除语言运用之外的结构和内容问题，提高互评的促学效果。

白丽茹．2012．大学英语写作中同伴互评反馈模式测量评价表的编制[J]．现代外语(2)：184-192．

蔡基刚．2011．中国大学生英语写作在线同伴反馈和教师反馈对比研究[J]．外语界(2)：65-72．

盖淑华，周小春．2013．基于动态系统理论的同伴反馈实证研究——社会文化观视角[J]．外语与外语教学(2)：36-40．

高彩凤，徐浩，白瑞芳．2008．不同水平的中国英语专业学生写作过程的对比研究[J]．中国外语教育(3)：48-56．

郭燕，秦晓晴．2010．中国非英语专业大学生的外语写作焦虑测试报告及其对写作教学的启示[J]．外语界(2)：54-62，82．

刘建达．2002．学生英文写作能力的自我评估[J]．现代外语(3)：241-249．

王初明．2012．读后续写——提高外语学习效率的一种有效方法[J]．外语界(5)：2-7．

吴育红．2013．同伴互评对自我效能感的影响——一项基于大学英语写作的实证研究[J]．山东外语教学(6)：68-72．

张省林．2006．论过程写作法中的隐性过程[J]．外语与外语教学(4)：28-30．

CARSON J，NELSON G．1996．Chinese Students’ Perceptions of ESL Peer Response Group Interaction[J]．Journal of Second Language Writing，5(1)：1-19．

CHO K，MACARTHUR C．2010．Student Revision with Peer and Expert Reviewing[J]．Learning and Instruction，20(4)：328-338．

CONRAD S M，GOLDSTEIN L M．1999．ESL Student Revision after Teacher-Written Comments：Text，Contexts，and Individuals[J]．Journal of Second Language Writing，8(2)：147-179．

FAIGLEY L，WITTE S．1981．Analyzing Revision[J]．College Composition and Communication，32(4)：400-414．

FITZGERALD J．1992．Towards Knowledge in Writing：Illustrationsfrom Revision Studies[M]．New York：Springer-Verlag．

HANJANI A M，LI L．2014．Exploring L2 Writers’ Collaborative Revision Interactions and Their Writing Performance[J]．System(44)：101-114．

KALI Y，RONEN M．2008．Assessing the Assessors：Added Value in Web-Based Multi-Cycle Peer Assessment in Higher Education[J]．Research and Practice in Technology Enhanced Learning，3(1)：3-32．

LUNDSTROM K，BAKER W．2009．To Give Is Better than to Receive：The Benefits of Peer Review to the Reviewer’s Own Writing[J]．Journal of Second Language Writing，18(1)：30-43．

MATSUNOS．2009．Self-，Peer-，and Teacher-Assessments in Japanese University EFL Writing Classrooms[J]．Language Testing，26(1):75-100．

MIN H T．2005．Training Students to Become Successful Peer Reviewers[J]．System，33(2)：293-308．

MIN H T．2006．The Effects of Trained Peer Review on EFL Students’ Revision Types and Writing Quality[J]．Journal of Second Language Writing，15(2)：118-141．

NELSON G L，CARSON J G．1998．ESL Students’Perceptions of Effectiveness in Peer Response Groups[J]．Journal of Second Language Writing，7(2)，113-131．

ROLLINSON P．2005．Using Peer Feedback in the ESL Writing Class[J]．ELT Journal，59(1)：23-30．

SWAIN M．1995．Three Functions of Output in Second Language Learning[C]∥COOK G，SEIDLHOFER B(eds.)．Principles & Practice in Applied Linguistics．Oxford：Oxford University Press：125-144．

TSUI A B M，NG M．2000．Do Secondary L2 Writers Benefit from Peer Comments?[J]．Journal of Second Language Writing，9(2)：147-170．

VYGOTSKY L S．1978．Mind in Society:The Development of Higher Psychological Processes[M]．Cambridge，MA：Harvard University Press．

[责任编辑:许莲华]

Peer Assessment Accuracy and Self-revision Differences of English Writing

XIN Sheng

(FacultyofForeignLanguages,UniversityofElectronicScienceandTechnologyofChinaZhongshanInstitute,Zhongshan,Guangdong528402,China)

Aquantitative approach had been adopted in peer review and revision experiment to compare the accuracy of assessment between high- and low-proficiency students and their revision differences. It was found that compared with teachers’ assessment, students’ assessment was of relatively lower accuracy and discrimination. Although high-proficiency students had more accurate judgments on linguistic forms, there were no significant differences between high- and low-proficiency students’ assessment. The data of self-revision revealed that high-proficiency students made more revisions than low-proficiency students, and high-proficiency students made more surface changes concerning linguistic forms, while low-proficiency students made more text-based changes. The results provided empirical evidence and pedagogical suggestions for the effective practice of peer review and differential instruction in English writing.

peer assessment; accuracy; revision; English writing

2016-02-16

辛声(1981-)，男，山西太原人，硕士，电子科技大学中山学院外国语学院讲师，研究方向为二语习得和写作教学。

H08

A

1672-0962(2016)04-0064-07