基于同伴互评的专业英语写作评价研究*

王　靖　马志强　许晓群　龙琴琴

（江南大学 教育信息化研究中心，江苏无锡 214122）



基于同伴互评的专业英语写作评价研究*

王靖马志强许晓群龙琴琴

（江南大学 教育信息化研究中心，江苏无锡 214122）

摘要：文章将同伴互评用于教育技术“专业英语”课程写作评价，分析评语类型、评语采纳、认可程度之间的关系。文章对通过两轮同伴互评活动所得的749条评语进行了编码分类，并利用AMOS软件分析了同伴互评观察变量间的因果模型，得出：分析和修改两种评语类型显著影响认可程度；认可程度与评语采纳之间有显著的因果关系；当评语呈现修改导向时，该评语更易被学生采纳。探究不同类型的评语对学生“专业英语”论文写作素养能力的影响、对评语类型进行适当引导的干预研究等，均为后续研究提供了可能。

关键词：专业英语；同伴互评；写作评价

引言

近年来，高等教育评价逐渐由强调学生对知识的记忆转向强调学生完成复杂任务、进行高阶思维的能力［1］，随之而来的是评价方式的多样化［2］。同伴互评作为一种新兴的形成性评价方式，要求学习者对共处同一学习环境的同伴的作品质量或学业表现进行评价［3］。已有研究表明，同伴互评能够促进学生高阶思维的形成以及认知的重构［4］，并能解决高等教育中学生作业、作品多样化而教师反馈不足的现实问题。基于此，近年来同伴互评成为了高等教育研究中的热点话题［5］。

在英语写作教学中，评价处于核心地位［6］。对于大学“专业英语”这样一种同时具备专业属性及英语属性的课程，其任务之一便是培养学生结合专业知识、对专业话题进行英文写作的能力。而对这种能力的评价，是大学“专业英语”教学及研究所关注的重要话题。

纵观以往相关同伴互评的研究，从评价内容的角度，写作是同伴互评关注的热点，并以大学英语写作实证居多［7］。从涉及学段的角度，Marjo等［8］曾在2010年对SSCI检索期刊过去17年来发表的26篇典型的高水平同伴互评实证论文进行了研究，指出这26篇文章中有25篇是在高等教育环境中开展的。尽管迄今为止没有同伴互评开展的学段比例数据，但从近几年相关文献的阐述中可以看出，高等教育仍然是同伴互评研究涉及的主要学段。从研究本体的角度，以往对同伴互评的研究多聚焦于两个方面：①功能方面，研究重点放在作为一种教学方式和评价方式的同伴互评对学生在特定领域内技能提升的影响。如Hwang等［9］研究了基于同伴互评的游戏开发活动对提升小学六年级学生科学课程学业成绩、学习动机、问题解决能力的影响，得出了同伴互评对上述因素起正向作用的结论。②机制方面，研究重点放在同伴互评应如何开展才能更大程度地促进学生学习，关注互评的流程、互评中的干预策略、互评借助的技术工具等。

在运用、研究同伴互评的过程中，研究者逐渐发现，不同评语类型对学生的学业成绩具有不同影响。如Cheng等［10］通过研究在线同伴互评对提升本科生写作能力的作用，提出认知、情感、元认知三种类型的评语对学生写作水平具有不同的影响。而作为一种形成性评价方式，学业成绩仅仅是评价需要考量的结果因素之一；而与其同等重要的过程因素，是同伴给出的评语。本研究针对教育技术“专业英语”课程开展同伴互评研究，并对评语类型、评语采纳、认可程度之间的关系进行了具体探索。

一　研究设计

1 研究问题

本研究围绕三个基本问题展开，在“专业英语”课程同伴互评中：

①评语类型是否对认可程度有影响？

②认可程度是否对评语采纳有影响？

③评语类型是否对评语采纳有影响？

2 研究样本

本研究涉及的样本为江苏省J大学教育技术系的55名大三学生，这些学生选修了“专业英语”课程。该课程借助学院网络教学平台，采用课堂教学与平台答疑评价反馈相结合的方式开展。任课教师在学期中期向学生布置论文作业，要求学生结合教育技术专业知识，就“媒体对学习的作用”这一教育技术经典话题展开论述。

3 研究工具

（1）论文评价框架

本研究开展了两轮同伴互评活动：

①学生在第一次完成论文之后，将其上传到网络教学平台。随后，教师对论文进行随机分组，分组原则为：每位学生将收到3～4份其他同学的论文，根据论文评价框架（如表1所示），对这些论文进行在线评价，给出评语。第一轮同伴互评完成之后，每位学生结合同伴的评语，对自己的论文进行线下修改。

②学生在第二次完成论文之后，进行第二轮同伴互评及论文修改，分组原则及论文评价框架同上，但本次评价于线下完成。

两轮同伴互评活动共进行了6周时间，使用的论文评价框架是在第一次作业完成之后，在课堂上经师生共同讨论得出。

表1　论文评价框架

（2）评语编码框架

两轮同伴互评活动结束后，研究者对收集到的749条评语进行编码，从这些评语的特征出发，选用了Van等［11］开发的同伴互评评语编码框架。该框架涉及7类评语——从评语反馈功能的视角，包括分析、评价、解释、修改；从评语反馈着眼点的视角，包括内容、结构、风格。这7类评语的具体内涵，将在后文“模型变量内涵”中进行阐述。

（3）模型构建软件

本研究涉及的模型构建软件为SPSS 17.0和AMOS 17.0。其中，SPSS 17.0主要用于数据的基本描述性统计，AMOS 17.0则用于模型的描绘与评估。

二　模型理论架构

1 模型变量内涵

本研究采用结构方程模型分析法，构建了变量间的因果模型，其包含的变量均为观察变量，分别为：评语类型、评语采纳、认可程度。在对模型进行构建之初，研究者对这些变量的内涵进行了界定。如前所述，本研究选用了Van等开发的同伴互评评语编码框架，该框架涉及7种评语类型。结合“专业英语”课程，本研究将这些评语类型界定为：

①分析：评语对“这段话说的是什么，各句是如何组合在一起的”进行阐述；

②评价：评语对“这段话是否符合英语写作规范”进行直接点评；

③解释：评语对“这段话为什么错了，为什么要这样修改”进行阐述；

④修改：评语直接提出完善论文的具体建议；

⑤内容：评语针对论文的观点进行评价；

⑥结构：评语针对论文的段落结构、行文逻辑进行评价；

⑦风格：评语对论文的语法、拼写、排版进行评价。

除上述评语类型外，进入因果模型的变量还有评语采纳和认可程度。本研究将评语采纳分为完全采纳、部分采纳、不采纳等3个档次，分别对应同伴互评完成后每位学生修改自己的论文时，完全、部分、没有按照相应评语进行修改。认可程度是指在被评者心目中，每一条评语对于自己提升论文写作水平的重要程度，分为完全不重要、不太重要、一般、比较重要、非常重要等5个档次。

2 模型变量间关系

已有研究指出，何种类型的评语能够使学习者获益是同伴互评中值得探讨的话题［12］。有些类型的评语因其某些特性，较其它类型的评语更易被学生采纳［13］，而学生对评语的认可程度往往决定了其对评语的采纳程度［14］。本研究将7种评语类型作为外源潜变量的观察变量，将评语采纳、认可程度作为内生潜变量的观察变量，同时将认可程度作为评语类型和评语采纳的中介变量，构建了同伴互评观察变量间的因果模型（以下简称因果模型），如图1所示。

图1　同伴互评观察变量间的因果模型

图2　同伴互评观察变量因果关系呈现的模型

三　模型分析结果

1 评语类型与认可程度的关系

因果模型结果显示了各评语类型对认可程度的模型估计值、标准化模型估计值、显著性水平P值，如表2所示。可以看出，从评语反馈功能的角度，分析和修改两种评语类型均与认可程度在0.05水平上有显著的因果关系（P值分别为0.046、0011），而对于其它评语类型及认可程度，未得出显著的因果关系。

表2　评语类型与认可程度的关系

2 认可程度与评语采纳的关系

在因果模型分析结果中，认可程度对评语采纳的影响在0.001水平上有显著的因果关系，即认可程度显著影响评语采纳（回归系数为0.184）。

3 评语类型与评语采纳的关系

因果模型同时给出了各评语类型与评语采纳的关系，在预设的因果关系路径中，只有“修改→评语采纳”的因果路径在0.01和0.05水平上呈现出了显著性（P值为0.005），如表3所示。

表3　评语类型与评语采纳的关系

4 同伴互评因果模型

综上所述，在同伴互评中，观察变量因果关系呈现的模型如图2所示。其中，箭头表示存在显著的因果关系，并由因指向果；各数字为标准化模型估计值，即标准化的回归系数。在该模型中，内生潜变量的观察变量为认可程度和评语采纳，外源潜变量的观察变量为分析和修改两种评语类型。误差变异量及外源变量间的共变关系因其意义不大，故均未在模型中展示。

四　结论与讨论

如前所述，本研究旨在分析三个基本问题：①评语类型是否对认可程度有影响？②认可程度是否对评语采纳有影响？③评语类型是否对评语采纳有影响？

对于第一个研究问题，本研究得出结论：同伴给出的评语越具有分析和修改的属性，就越容易得到被评学生的认可。结合以往的研究，这一研究结论与Gielen等［15］的观点一致，即认为伴有详细分析、解读的评论更易提升学生的写作水平。结合本研究所依托的课程来看，若评语能够体现出清晰的功能导向尤其是分析和修改的导向，就通常能够得到学生的认可。究其原因，可能在于大三学生更想直接获得如何提升自己“专业英文”论文写作水平的启示，而这种启示多来源于分析和修改两种评语类型。

对于第二个研究问题，本研究得出结论：越容易被学生认可的评语，越容易在修改时被学生采纳。从以往研究来看，这一研究结论和Van等［16］得出的结论相同。

对于第三个研究问题，本研究得出结论：当评语呈现修改导向时，该评语更易被采纳；而同样被学生认可的分析类型，却不易被学生采纳。这一研究结论同样出现在了Hewitt等［17］的研究中，他认为那些针对文章中存在的问题所提出具体建议的评语更易被采纳。结合本研究所依托的课程来看，分析类评语大多针对段落与主旨、观点与论证展开，这些地方通常在成文之后不易修改，且大多分析类评语本身并未指出明确的修改方向。而通过这些分析类评语，被评学生对自身的论文虽能获得更为深入的认知，但却不知具体从何着手来完善既有作品。正因为如此，分析类型没有对评语采纳产生显著因果关系便成当然之事。

此外，统观整个模型，内容、结构、风格三种评语类型对认可程度及评语采纳均未产生显著影响，Van等［18］的研究同样得出了此结论：诸如针对文章结构提出的评语不易引起注意，因为这些评语对于学生修改文章不太具有操作性。结合本研究所依托的课程来看，“专业英语”本身属于专业课程，其作业成绩直接决定了学生的绩点高低，使得学生更关注那些能够提升自己专业英文写作水平的评语，尤其是那些能够直接着手修改、对下一轮英语作业成绩提升有直接启示的评语。

在对评语类型、评语采纳、认可程度进行整体分析之后，后续的研究将主要从以下两个方面着手：①不同类型的评语对学生“专业英语”论文写作素养能力的影响。本研究从采纳及认可的视角，考量了评语类型的作用，但互评反馈对被评者的意义不只是如此；学生“专业英语”写作素养和评语类型之间是否存在一定的联系，有待进一步考察。②对评语类型进行适当引导的干预研究。当得出某些类型的评语较易受到学生的认可与采纳后，在开展同伴互评时需要对评语类型加以适当引导，以验证这些评语类型在不同学习情境下对学生的影响。

参考文献

［1］Gikandi J W， Morrow D， Davis N E. Online formative assessment in higher education： A review of the literature［J］. Computers & Education， 2011，（6）：2333-2351.

［2］David J N， Debra M D. Formative assessment and self-regulated learning： A model and seven principles of good feedback practice［J］. Studies in Higher Education， 2006，（2）：199-218.

［3］Topping K J. Peer assessment［J］. Theory into Practice， 2009，（1）：20-27.

［4］Fu Y Y， Chun P W. Different identity revelation models in an online peer-assessment learning environment： Effects on perceptions towards assessors， classroom climate and learning activities［J］. Computers & Education， 2011，（5）：2167-2177.

［5］［8］Marjo V Z， Dominique S， Jeroen V M. Effective peer assessment process： Research findings and future directions［J］. Learning and Instruction， 2010，（20）：270-279.

［6］牟金江.SMART原则下的高中英语写作教学与评价［J］.课程·教材·教法，2011，（5）：60-64.

［7］高婷婷.教师指导下的同伴互评机制在高中写作教学中的实证研究［D］.锦州：渤海大学，2014：5.

［9］Hwang G J， Hung C M， Chen N S. Improving learning achievements， motivations and problem-solving skills through a peer assessment-based game development approach［J］. Educational Technology Research & Development， 2014，（4）：129-145.

［10］Cheng K H， Liang J C， Tsai， C C. Examining the role of feedback messages in undergraduate students’ writing performance during an online peer assessment activity［J］. The Internet and Higher Education， 2015，（25）：78-84.

［11］［14］［16］Van D P， Van D B， Admiraal W F， et al. The nature， reception， and use of online peer feedback in higher education［J］. Computers & Education， 2008，（6）：1804-1817.

［12］Nelson M M， Schunn C D. The nature of feedback： How different types of peer feedback affect writing performance［J］. Instructional Science， 2009，（4）：375-401.

［13］Cheng K H， Hou H T， Wu S Y. Exploring students’ emotional responses and participation in an online peer assessment activity： A case study［J］. Interactive Learning Environments， 2014，（3）：271-287.

［15］Gielen S， Peeters E， Dochy F， et al. Improving the effectiveness of peer feedback for learning［J］. Learning and Instruction， 2010，（4）：304-315.

［17］Hewitt B L. Characteristics of interactive oral and computer-mediated peer group talk and its influence on revision［J］. Computers and Composition， 2000，（3）：265-288.

［18］Van D B， Admiraal W F， Pilot A. Design principles and outcomes of peer assessment in higher education［J］. Studies in Higher Education， 2006，（3）：341-356.

编辑：小米

Study of Assessing Professional English Writing based on Peer Assessment

WANG JingMA Zhi-qiangXU Xiao-qunLONG Qin-qin

（Research Center of Educational Informatization， Jiangnan University， Wuxi， Jiangsu， China 214122）

Abstract：Peer assessment was applied to educational technology “professional English” course， during which the link between the assessment type， assessment acceptance， recognition degree was analyzed. 749 feedbacks from two rounds of peer assessment were coded and a variable causal model was built by AMOS software. The key findings were that the revision and analysis types feedbacks significantly influenced recognition degree， which had a significant relationship with assessment acceptance. The feedbacks were more easily accepted which presented modification-oriented characterisitc. The appropriately guided intervention on assessment type will be researched in order to explore the influence of different types of feedbacks on students’ writing literacy， providing possibility for further study.

Keywords：professional English； peer assessment； writing assessment

【中图分类号】G40-057

【文献标识码】A 【论文编号】1009—8097（2016）05—0077—06 【DOI】10.3969/j.issn.1009-8097.2016.05.012

*基金项目：本文为国家社会科学基金“十二五”规划2014年度教育学青年课题“基于同伴互评的在线学习评价机制设计与应用研究”（项目编号：CCA140151）的阶段性研究成果。

作者简介：王靖，副教授，博士，研究方向为学习科学与技术、数字化学习与认知，邮箱为jing850902@sina.com 。

收稿日期：2015年11月7日