国内外作文自动评分系统研究综述

陈淑芬

摘 要：由于计算机和互联网技术已广泛应用于语言教学，大学英语写作教学开始探索网络环境下的教学的新途径，作文自动评分系统（Automated Essay Scoring System，AES）是教学改革的必然产物。本文介绍了AES，并回顾了国内外对AES的先行研究。

关键词：作文自动评分系统（AES）;英语写作;研究综述

随着科学技术的飞速发展，计算机技术已广泛应用于EFL / ESL教学。同时，基于云计算和语言数据库的AES应运而生，并已应用于中国高校英语写作教学之中。

1 自动作文评分系统概述

作文自动评分系统（AES）是基于设定好的计算机程序对英语作文进行评分和评估的系统 （Shermis and Burstein， 2003），并已广泛用于大规模考试，例如TOEFL，GMAT和GRE。

AES于二十世纪六十年代在国外兴起，研究人员已经研究和开发了该系统50多年。最初的AES由Ellis Page于1966年开发，名为Project Essay Grade （PEG）。到了二十世纪八十年代，出现了Writers Workbench和Writers helper两款AES。这两款系统不仅可以为文章打分，而且还向作者提供反馈。二十世纪九十年代，又有三款AES相继出世，分别是Intelligent Essay Assessor，E-rater和IntelliMetric，它们可以提供更多不同的评估维度，并且进行更系统的评估。

21世纪， Writing Roadmap， Write to Learn 和My Access！，这些更加先进的AES借助人工智能和深度学习技术，在教育领域中流行起来。这些系统能够执行与以前的AES类似的功能，同时又增加了一些新功能。

上述AES都是又由外国专家学者所开发的，而在中国，AES的发展起步较晚，因此市场上的AES产品较少。在中国比较受欢迎的AES包括句酷批改网，冰果英语，新视野大学英语和体验英语。

2 国内外作文自动评分系统相关研究

由于AES技术的快速发展和其强大的功能，在过去的50年中，国内外对该系统的理论和实证研究都在显著增加。

2.1 国外作文自动评分系统相关研究

早在上个世纪，国外就开发了AES。目前在美国和一些欧洲国家和地区，AES已经被用作大型考试和外语教学中作文评分的可靠评估工具。在国外，关于AES的研究主要集中于系统的信度和效度以及是否能提高学生的写作能力。

关于AES的信度和效度，基于大语料库的机器反馈具有及时性和有效性，因此该系统有较高的评分效度和信度。Attali和Burstein（2004）指出，AES作为机器是没有主观因素的，所以它的作文评分比手动作文评分更加稳定。 Mcnamara和Crossley（2015）使用作文自动评分系统Intellimetric评估大量英语作文，并对作文类型进行分类，以探索机器评估与教师评估的一致性，实验结果表明机器评分与手动评分具有较高的一致性。

关于AES对提高学生写作水平是否具有可靠性和有效性，一些学者对此持积极态度。他们认为该系统可以有效评估学生的论文并提高学生的写作能力。学生可以通过使用作文自动评分系统Write to Learn来修改自己的作文，在修改的过程中提高自己的作文成绩（Foltz&Laham&Landauer，1999）。此外，另一款作文自动评分系统Criterion在大学英语写作班上进行的一项实验中被证实该系统对学生作文的质量产生积极影响（Choi&Lee，2010）。但是，另有一些学者和专家质疑AES。Shermis（2004）使用My Access！ 作为实验工具，从同一个班级中随机选择实验组和对照组，并比较了两组的写作水平，结果显示两组之间的写作分数并没有显著差异。换句话说，该系统无法提高学生的写作技能。

2.2 国内作文自动评分系统相关研究

与国外相比，国内对AES的研究起步较晚。相关研究主要集中在系统的开发，系统在评估作文功能上的有效性以及机器反馈对提高学生写作成绩的有效性。

在早期的国内研究中，一些学者只是介绍和比较了近几十年来国内外的AES。梁茂成和文秋芳（2007）评估并比较了国外具有代表性的三款作文自动评分系统PEG，IEA和E-rater，指出了它们的优缺点。葛诗利和陈潇潇（2007）回顾了国外AES的发展，此外，他们还研究了一些为中国英语学习者设计的AES。这些研究为中国开发自己的AES提供了理论基础。

随着国内AES的开发和应用，学者们开始使用中国学生的英语作文作为研究语料来探索机器评分和人工评分之间的相关性。唐进（2011）指出，作文自动评分系统BETSY的评分与人工评分有着显著的相关性。王建（2015）研究了句酷批改网评分的有效性，他发现句酷批改网评分无法可靠地评估大学英语等级考试中的英语作文，尽管机器评分和人工评分一致性处于中等水平。

一些学者进行了实证研究，探索不同类型的AES对英语学习者写作能力和写作动机的影响。例如，石晓玲（2012）得出以下结论：句酷批改网的实时反馈有效地激发了学生的写作兴趣，增加了学生写作练习的频率，并达到了以評促学的理念。高越（2012）根据实证研究发现AES的反馈意见提供了有效的语言输入，因此使用体验英语写作教学资源平台对学生写作能力的提高很有帮助。

回顾以往的研究，尽管许多学者对AES进行了大量的实证研究，但大多数研究集中在AES的发展和AES在实际应用中的有效性方面。作者希望以后的研究能更多地关注AES和英语写作的教与学之间的关系。

参考文献

[1]葛诗利，陈潇潇.国外自动作文评分技术研究[J].外语电化教学，2007（5）：25-29.

[2]梁茂成，文秋芳.国外作文自动评分系统评述及启示[J].外语电化教学，2007（05）：19-25.

[3]王建.作文自动评分系统效度研究[D].海南大学，2015.