大学英语写作自动评分与同伴评分的对比研究

邓元

摘   要： 本文通过大学英语写作课堂自动评分和同伴评分的对比研究，得出以下发现：写作自动评分和同伴评分的评分结果存在显著差异，自动评分分数整体偏高;教师和学生均对自动评分和同伴评分持有积极的态度，两种评分模式具有可行性。自动评分和同伴评分各有优劣，结合教师有效的课堂干预和评分组织，是大学英语写作教学中较为理想的评分模式。

关键词： 大学英语写作   自动评分   同伴评分   对比研究

1. 引言

英语写作教学是大学英语教学的重要组成部分，一直是我国大学英语教学中的薄弱环节（甘小亚，孟艳琴，2013）。对于大学英语教师而言，由于教学对象众多，教学计划安排紧张，大学英语写作教学的实施和反馈难度较大，其中最突出的是写作评分的操作问题。常规的教师评分耗时耗力，教师作文批改负担过重，易导致学生写作训练不足，学生写作水平提升缓慢，教学效果欠佳（葛诗利、陈潇潇，2009）。基于已有文献，本研究旨在对比写作自动评分和同伴评分，探讨大学英语写作课堂采用自动评分和同伴评分的可行性问题。

2.研究现状

众多学者对自动评分系统进行了研究评述（白丽芳，2017;葛诗利，陈潇潇，2007;梁茂成，文秋芳，2007;唐锦兰，吴一安，2011），概述了国内外英语写作自动评分系统的相关应用成果。

随着信息技术的发展，作文自动评分系统（Automated Essay Scoring，AES）相继问世，发展迅猛。最早的AES系统是美国Ellis Page教授等在二十世纪六十年代开发的Project Essay Grade（PEG）系统，基于文章表面语言特征的分析评估作文的水平。之后，Landauer等基于统计技术中的潜在语义分析技术开发了Intelligent Essay Assessor （IEA）系统。美国教育考试中心 ETS开发了Electronic Essay Rater （E-rater），用于评估GMAT考试的作文质量。与PEG重语言形式、IEA重内容不同，E-rater是一个包含话语（篇章）、句法、内容三个模块结构的混合评分系统。到二十一世纪初，在已有系统的开发基础上，更多的写作自动评分系统如My Access！、 Criterion等投入使用。在国外AES技术的影响下，国内AES系统逐步发展。2015年，梁茂成教授及研究团队和外语教学与研究出版社合作，开发了iWrite英语写作教学与评阅系统2.0。商业性AES系统，如句酷批改网、冰果英语智能作文评阅系统等在各大高校推广应用。

何旭良（2013）对句酷批改网英语作文评分进行了研究，指出批改网评分的一致性比教师人工评分高，但前者的评分显著高于后者，尚不能反映学生英语作文的真实水平。李艳玲和田夏春（2018）进行了作文自动评分的信度研究，通过对645篇作文的机评、人评总分的一致性计算，认为iWrite2.0的写作评分效度非常理想。邹申、陈炜（2010）指出，评分效度是考试效度之一，在需要人工评分的考试项目，如写作中，评分效度是考试效度的根本保证，计算机辅助评分可以有效提高人工评分的准确性和公正性。

另外，同伴互评能够提高大学生写作自主性（莫俊华，2007），在大学英语写作教学课堂得到了广泛应用。本研究中的同伴评分，是指评阅者依据一定标准，给同伴的作业、学习成果、课堂活动表现等打分（Topping 1998; Falchikov & Goldfinch 2000）。

刘兴华和纪小凌（2018）进行了大学英语写作同伴评分的可行性和有效性研究，指出学生普遍认可并接受同伴评分活动，同伴评分具有可行性;学生整体式评分兼具良好的信度和效度，分项式评分总体信度和效度不高。

学者们对大学英语写作反馈方式进行了大量的对比研究（蔡基刚，2011;吴雪峰，周静，2017;周一书，2013等）。其中，蔡基刚跟踪调查网络环境下61名大学生英语写作的同伴反馈和教师反馈，指出在线同伴反馈写作可以明显激发学生的写作热情、丰富作文内容和提高语言质量。相关研究提出，教师评分质量明显高于学生评分质量，整体来说两类评分结果具有较好的一致性，同伴互评可以作为重要的辅助性手段参与写作教学与评估（吴雪峰，周静，2017）。

综上可见，已有研究中自动评分和同伴评分的对比研究较少，较多研究从教师评分和自动评分的角度入手。考虑教师评分的实施难度，在大学英语课堂写作教学实践中，笔者同时引入基于句酷批改网的自动评分和同伴评分两种评分方式，通过对写作自动评分和同伴评分的实施效果的对比研究，探索大学英语写作教学中评分模式的应用。

3.研究设计

3.1研究问题

本研究通过在大学英语写作课堂中实施同伴评分，结合句酷批改网的自动评分，具体回答如下问题：

（1）自动评分和同伴评分的写作评分结果是否具有显著差异？

（2）写作课堂上自动评分、同伴评分等非常规评分模式的可行性如何？

3.2研究对象

本研究选取了华中地区某高校两个平行班的大二非英语专业学生，全程完成同伴评分并填写问卷接受访谈的学生共计117人，平均年龄20岁，其中男生23人（19.7%），女生94人（80.3%）。

受试学生的英语写作课由同一英语教师授课，该教师大一、大二均任教该批学生，了解全体学生的学习情况，具有较丰富的教学经验。

3.3研究过程

写作课前一周，老师布置了写作话题“Where would you like to work after graduation， in a big city or in a small town？”，要求学生线上提交作文。自动评分系统采用句酷批改网（简称批改网），是基于语料库和云计算的英語作文自动批改在线服务，通过计算学生作文和标准语料库之间的距离，即时生成作文的得分和评语及内容分析结果。学生上课前已提交作文并获得了批改网的评分（满分100）。

写作课上，老师进一步讲解作文的写作思路，分发学生作文纸质稿，并对学生进行评分培训、讲解示例，要求学生采取分项式评分，从内容主题、篇章结构、语言表达、语意连贯四个方面综合评判同伴的作文，打出总分（满分100），并从四个角度给出作文批阅的整体建议。

课后，请任课老师收集批改网的评阅分数和同伴评分的分数，这是本研究的定量分析数据。同时，笔者对任课老师和部分学生代表进行访谈，询问师生对于自动评分、同伴评分可行性的看法和态度，获取定性分析数据。

本研究使用SPSS21.0进行数据分析，并结合定性分析回答两个研究问题。

4.结果与讨论

4.1自动评分和同伴评分的对比

自动评分和同伴评分的独立样本T检验的结果显示p=.000，表明本次实验中写作自动评分和同伴评分的评分结果存在显著差异。描述性统计数据显示：117名学生的批改网自动评分平均值79.24分，同伴评分平均值75.47分。

AES系统自动评分分数整体偏高，是部分教师使用者在批改网使用过程中发现的一个问题，同时是学生提交作文后多次修改刷分的结果。

笔者选取某受试学生的作文仔细审阅，按照分项式评分的标准，任课教师和笔者独立打分，分别只给出80分和82分的成绩。该作文在批改网上得到了88分的成绩，排名自动评分第一，同伴评分得分79分。以下是批改网对该篇作文的评语：“语句间的衔接成分用得不错，同时文章中的过程性词汇很丰富;作者词汇基础扎实，拼写也很棒;作者在句法层面做得很棒。”

这些评语都是模板性的评语，系统根据文章高、中、低三个档次，随机匹配每档次的三条评语之一，无法完全体现学生的真实写作水平。前文也提到，批改网计算的是学生作文和标准语料库之间的距离，其实细看本篇作文，学生多处地方对于句子主语的把握出错，语法概念不清楚，列举简单，思维深度有待加强，都是批改网已有的标准语料库难以识别和判断的。

葛诗利、陈潇潇（2009）的研究指出，将作文自动评分系统引入大学英语写作教学时面临的难题包括如何确定形式化的评分标准、如何研发适应通用的有关语言使用的自动作文评分模型，体现了目前我们使用的自动评分系统存在的漏洞和缺陷，需要在今后开发中进一步加以改进，才能逐渐改变自动评分“虚高”的现象。

同伴评分的结果偏低也是意料之中的。一方面，任课教师在一年多的任教过程中并没有经常培训学生进行同伴评分，本次实验前的培训也只是进行了细致讲解和示范，没有给学生留足操练时间，要求学生评分达到专家教师评分的精度和准确度是不太可能的。另一方面，结合学生访谈结果，我们发现，少数学生对于同伴评分的信心不足，害怕自己评分过高产生不良影响，故打分相对保守;出于保全同伴的面子的心理，对于写作水平偏低的文章未完全打低分数。这些因素导致同伴评分的作文高低水平区分不明显，同伴评分结果比自动评分结果偏低，两者出现了显著差异。充分说明了反馈培训和合理组织评分是开展有效同伴评价的先决条件和重要保障（Stanley 1992; Zhu 1995; Min 2005）。

4.2自动评分和同伴评分的可行性

关于大学英语写作课堂采用自动评分和同伴评分的可行性问题，对任课教师和部分学生代表进行的访谈结果如下：

从受访教师的角度来说，教师对于自动评分和同伴评分抱有积极的态度，认为目前自动评分系统“很大程度上减轻教师评阅、反馈作文的压力”，同伴评分能够“融入更多学生参与写作的思考过程，提高学生上课的积极性和主动性”。

受访教师认为，自动评分系统的反馈过于呆板，比如对作文内容和连贯性的判断差强人意，主要还是对单词拼写和句子结构方面的判断，少数判断也是比较模糊的，并没有提供改正方法，诸如“疑似句子不完整”这种反馈。对于学生使用者来说是存在挑战的，水平较低的学生无法获得真正的作文反馈辅导，兼顾学生水平差异的话，需要教师的人工干预。同伴评分的实施挑战在于教师无法监管同伴评分的所有过程，若评分培训不到位，则学生的同伴评分容易走过场，打保守分，造成评分效度问题。笔者认为，写作课堂中采用自动评分或同伴评分或两者结合使用时，以教师评分为标杆，教师实施有效的课堂干预，能够有效确保评分的效度和信度。

关于自动评分系统的问题，如以往研究（葛诗利，陈潇潇，2009）提出的，我们应考虑开发具有针对性的、面向大学英语写作教学的自动评分，研究中国大学生英语作文的写作特点，然后广泛参考自动作文评分研究中的各种技术手段，最后根据自然语言处理发展的状况确定最适合的自动评分方法。

从学生访谈结果来看，绝大多数学生对于自动评分和同伴评分表示认可，倾向于两者结合使用。学生认为自动评分“给予更多的写作自主性”“即时反馈非常不错”“使用方便，不受时空限制”“反馈的建议有助于提高写作水平”“能够修改刷分數，提高写作自信”。对于同伴评分，学生提出“给同学作文打分感觉很有意思”“能够学习同学的写作思路，好词好句”“发现我们有类似的语言错误”“能从老师的角度理解写作的要求和评分标准”。这和前人发现是一致的，刘兴华等（2018）提出学生普遍认可并接受同伴评分活动，同伴评分具有可行性。莫俊华（2007）的研究提出同伴互评能够代替部分教师批改，绝大多数学生喜欢获得同伴反馈，能够激发自我修改。

就存在的问题而言，学生认为自动评分的“反馈比较单一，评语不够真实”“部分修改意见无从下手”“分数感觉比自己实际水平偏高”“文章有点跑题分数也还行”“缺乏教师监管，容易应付”;同伴评分“缺乏老师监管，感觉不可信”“碍于情面不好打低分”“挺费时间学习评分标准的”。结合前人发现（莫俊华，2007），学生在同伴互评中易于关注文章表面错误，少数学生在没有教师监控教学的情况下，并未认真对待同伴互评。教师监管在自动评分实施过程中是一个问题，学生用不相关的文本也可以获得较好的评分，学生容易滋生懒惰学习（唐芳等，2017）。呼应了之前的研究发现，即批改网在某些情况下不能考查文章内部的逻辑性和关联性（何旭良，2013）。

5.结语

大学英语课堂的写作评分模式探索是一个重要的教学问题。从统计学意义来说，本研究发现写作自动评分的结果显著高于同伴评分的结果，教师和学生均肯定了两种方式对于课堂写作的积极意义，也提出了相应的问题亟待解决。自动评分和同伴评分各有优劣，结合教师有效的课堂干预和评分组织，在大学英语写作教学中运用两者具有可行性，有助于大学英语写作课堂的良性发展。

参考文献：

[1]Falchikov N & Goldfinch J. tudent Peer Assessment in Higher Education： A Meta-Analysis Comparing Peer and Teacher Marks[J]. Review of Educational Research， 2000，70（3）： 287-322.

[2]Landauer T K， Laham D， Foltz P W. Automated Essay Scoring and Annotation of Essays with the Intelligent Essay Assessor[A]. In M D Shermis and J Burstein （ed.）， Automated Essay Scoring： A Cross Disciplinary Perspective[C]. Mahwah， NJ： Lawrence Erlbaum Associates， 2003： 87-112.

[3]Min H T. Training Students to Become Successful Peer Reviewer [J]. System， 2005，33（2）： 293-308.

[4]Page E B. Grading Essays by Computer： Progress Report [A]. In Educational Testing Service （Ed.）， Proceedings of the Invitational Conference on Testing Problems[C]. New York City： Princeton， N J： Educational Testing Service， 1967： 87-100.

[5]Stanley J. Coaching Student Writers to be Effective Peer Evaluators[J]. Journal of Second Language Writing， 1992，1（3）： 217-233.

[6]Topping K. Peer Assessment Between Students in Colleges and Universities[J]. Review of Educational Research， 1998（68）：249-276.

[7]Zhu W. Effects of Training for Peer Response on Students Comments and Interaction[J]. Written Communication，1995，12（4）：492-528.

[8]白麗芳. 国内外作文自动批改系统效度研究概述[J]. 教育现代化， 2017，4（40）：191-193.

[9]蔡基刚. 中国大学生英语写作在线同伴反馈和教师反馈对比研究[J]. 外语界，2011（2）：65-72.

[10]甘小亚， 孟艳琴. 国内大学英语写作教学中的同伴互评研究现状分析[J]. 齐齐哈尔大学学报， 2013（5）：168-171.

[11]葛诗利， 陈潇潇. 国外自动作文评分技术研究[J]. 外语电化教学， 2007（5）：25-29.

[12]葛诗利， 陈潇潇. 大学英语作文自动评分研究中的问题及对策[J].山东外语教学， 2009（3）： 21-26.

[13]何旭良. 句酷批改网英语作文评分的信度和效度研究[J]. 现代教育技术， 2013（5）：64-67.

[14]梁茂成， 文秋芳.国外作文自动评分系统评述及启示[ J] .外语电化教学， 2007 （5）： 18-24.

[15]刘兴华， 纪小凌. 大学英语写作通版评分的可行性和有效性研究[J]. 外语界，2018 （5） ： 63-70.

[16]莫俊华. 同伴互评：提高大学生写作自主性[J]. 解放军外国语学院学报， 2007 （3） ： 35-39.

[17]唐芳， 庄翠娟， 巩艺超. 作文自动评分系统在大学英语写作教学中的应用——以句酷批改网为例[J]. 海外英语， 2017 （20） ： 48-49， 51.

[18]唐锦兰， 吴一安. 在线英语写作自动评价系统应用研究述评[J]. 外语教学与研究， 2011 （2）： 273-282.

[19]吴雪峰， 周静. 基于多层面Rasch模型的英语写作教师评分与同伴互评对比研究[J]. 重庆第二师范学院学报， 2017 （6） ： 85-90.

[20]周一书. 大学英语写作反馈方式的对比研究[J]. 外语界， 2013 （3）： 87-96.

[21]邹申， 陈炜. TEM4 评分效度与计算机辅助评卷[J].外语电化教学， 2010 （131）： 56-60.

本研究系湖南省教育厅课题“虚拟仿真实验教学环境下英语专业学生跨文化交际能力测评研究”的初期研究成果（课题编号19C1173）。