冰果英语作文智能评阅的应用与利弊

郭春珍

[摘要]随着冰果作文智能评阅系统的广泛应用，自动评分系统的利弊逐渐显露出来了。笔者从冰果英语作文智能评阅的评价入手，判断其评分的主要依据，同时结合人工评阅，对该智能评阅系统的可信度进行分析。冰果英语作文智能评阅利弊并存，教师以及学生应该客观地看待其评价结果。

[关键词]大学英语作文；冰果英语作文智能评阅；利弊

[中图分类号] G642[文献标识码] A

[文章编号] 1671-5918（2017）07-0148-02

doi：10.3969/j.issn.1671-5918.2017.07.069

[本刊网址] http：//www.hbxb.net

一、大学英语作文智能评阅的發展和应用

随着现代教育技术的发展，自动作文评分系统在大学英语写作教学中的应用越来越广。自动作文评分（Automated Essay Scoring，简称为AES）是利用计算机技术对作文进行评估与记分。国外智能评阅的研究至今已有四十多年。1999年自动评分进入实际应用阶段。作文自动评分利用统计技术、自然语言处理技术、信息检索技术等，从作文文本中找出能够直接反映文章质量的一系列文本特征项作为变量，以有效地预测作文质量。1997年出现的E-rater利用自然语言处理与统计技术，基于作文思想组织、句子结构和文章内容给出整体评分。它于1999年开始用于GMAT考试作文评分，2005年开始用于托福考试作文评分。试卷的最终得分由E-rater和一名阅卷员决定，如果E-rater跟阅卷员的评分结果相差超过1分，就要由第二名评卷员来处理。国内自动作文评分研究较晚。中国大学生的英语写作在语法与措辞上与母语为英语的学生有着很大的差异。所以国外的AES系统并不完全适用于中国大学生。2005年，梁茂成以提取浅层文本特征为主，结合针对内容的潜在语义分析，得到了与人工评分较高的相关度。他于2009年初步完成了大规模考试英语作文自动评分系统的研制。到2014年，以梁茂成为总设计师，外语教学与研究出版社开发了i-Write写作平台。这是一套大学英语写作教学系统，从语言、内容、篇章结构和技术规范对学生作文进行自动评阅。2011年，浙江大学外国语言文化与国际交流学院自主研发的冰果英语针对高等院校及高中生英语写作教学推出了冰果英语智能作文评阅系统，从词汇、语法、文风和内容等方面对学生作文给出意见反馈，同时给出评价，得出一个参考分数。经过推广，冰果英语作文智能评阅系统已在全国几百所院校中使用。本文中，作者所在的福建中医药大学正是从2011年9月开始试用冰果英语智能作文阅卷系统，至今已有5年的实践积累。

二、冰果作文智能评阅的特点

笔者每年基本都担任三个大班（120人）的大学英语教学。每学期，所有的学生都按要求完成冰果英语作文智能评阅系统里的五篇不同体裁的作文。作文题目借鉴了大学英语四级考试的内容，适合修大学英语课程的非英语专业的一年级学生。积累了学生五年多的在线写作实践，笔者总结出冰果英语作文智能评阅的评价包含了如下两大特点：

（一）注重对特征模型的评价

冰果英语作文智能评阅系统中，学生提交完作文，经系统批改后，学生可以在系统界面的右侧看到自己文章被分成一句一句的形式，每一句下面都有系统对该句的评价，包括拼写错误、词语解析、词汇辨析、搭配提示、语法提示、句型提示和可能错误等。拼写错误直接指出正确拼写。这是计算机最直接的一个功能应用。词语解释是对文中所使用的词汇的用法进行分析。词汇辨析则列举了几个与文中使用过的某一词汇相近的词进行分析辨别。这两种评价更多的是为学生提供学习资料，它体现的是该系统中存储的语言信息，是跟学生的写作内容及其是否存在错误并无太大关联。搭配提示则是把文中学生应用过的搭配选出来，给计算机系统一个关于学生如何措辞的指示。同理，句型提示也是比对学生所使用的句型跟计算机存储的句型是否有重复。语法提示则只罗列文中某一完整句子，指出其可能存在语法错误，并无确切指正。可能错误大多数情况则是指示学生输入格式有错，比如标点符号后面没有留空格。计算机依据上述这一系列的特征模型形成一系列的特征成绩，系统最后依据这些特征成绩，得出最后的评分。

（二）评语模式固定

冰果英语作文智能评阅给出的综合评语由四个方面组成：第一，总体评价，比如A good/solid piece of work或者Good job/Well done之类的概括。第二部分是对文章的语言进行评价，经常陈述为“文章中有一些小错误”。第三部分对文章中是否有使用英语句型或者词汇丰富与否进行表达。最后一点围绕文章主题是否深入来总结。最后，系统呈现一个分数给学生。基本上来说，综合评语的评价内容的好坏跟系统给出的成绩有一定的联系。百分制的作文，全班平均分设定为65分，学生得分如果高于75分，系统的评语会包含good/excellent这样的评价词汇。但是总体而言，评语的内容没有体现出学生之间的显著差异，60分或者70分的作文有的时候得到的总体评价并没有区别，给读者一个过于笼统的感觉。尤其在指出文章中有错误的时候，计算机并没有针对性地从错误的类型进行阐述。此外，冰果作文智能评阅评分的一个显著特点是，教师可以给全班设定一个平均分期望值，最后全班的平均分就是该期望值。

三、冰果英语作文智能评阅的利与弊

在大学英语大班教学的大背景下，智能阅卷给大学英语教师提供了一个平台，可以让学生适量地甚至大量地进行写作练习。该系统也能运用于大规模考试，如英语写作比赛，为教师提供一个参考依据。这是人工批阅无法比拟的，计算机所特有的显著优势。一位大学英语教师要带至少两个或者多个学生数超过60人的班级，如果每学期布置五篇左右的作文，并且都手改的话，那教师的工作量就超负荷了。冰果英语作文智能评阅系统解决了作业数量大，教师人工无法及时批改这个问题。同时，提交截止日期之前，学生的作文可以随时在线修改，系统也会实时给出一个参考成绩。教师也可以实时查阅学生作业提交情况。此外，计算机还能反馈出作业当中的雷同卷。网络所提供的及时反馈让师生双方都能最快地掌握反馈信息。从机器阅卷的可信度来看，笔者做了如下比较。笔者抽取了一个60人的班级三次不同体裁的作文进行人工阅卷。比对完三次人工阅卷与计算机阅卷的结果，笔者得到的相关系数分别为90%，92%和89%。因此，从整体上来看，计算机自动评阅的结果还是可靠的。

然而，机改与人工批改还是有一定的差距的，尤其通过计算机给出的评价可以看出机改与人工批改的主要区别。冰果英语作文评阅给出的评分和评语都是基于一系列的特征模型的数量而得出的，而人工批阅采取的是全局性的评价。人工批阅时，教师一般在短时间内通读完学生的作文，再结合学生所使用的句型，语法和措辞等给出一个分数。更重要的是，教师常常会指出学生写作中的具体错误，并帮助其修改，给出正确示范。教师会划出学生作文中的好的句子或词汇，也会在错误的原句上进行修正。同时，教师在评分后还会给出具体的评语，指出学生可提高的空间，比如段落结构该如何划分，什么句型适合表达什么内容，什么词汇适合什么语体。也就是说，人工批阅给学生的反馈是人性化的，也是有针对性的。从学生的主观感受来说，他们会更认同教师人工批阅所带来的亲切感。笔者对同一届三个班的学生进行过问卷调查，研究学生对智能阅卷和人工阅卷所持的态度。76%的学生认为机器阅卷不能代替人工阅卷，人工阅卷给他们更多动力去主动修改或者重写作文。至于智能评阅评分的平均值由教师主观设置这一点，由于学生每一次写作的表现并不是稳定的，所以人为设置平均分也缺乏客观性。

四、总结

在大学英语无法实现小班（30人）教学之前，冰果英语作文智能评阅系统是大学英语教师不可或缺的一个网络教学助手。教师在利用该系统在线辅助教学的过程中还应兼顾课堂指导的作用。由于学生的写作策略贫乏，教师如果没有在学生在线写作之前对其进行先导策略的教学，他们往往写出来的作文篇章结构不清，思路混乱。写作策略包括语言输入策略、宏观结构策略、模仿策略、纠错策略和写作实践策略。教师应该在布置在线写作之前先进行写作策略的指导。写作结束之后，教师可从在线提交的作文中抽取系统评阅出来的各个分数段的范文，发放给全班同学，供大家讨论和学习。然后教师在课堂上再对这些范文的系统评价进行再评价，指出系统评阅没有涉及的诸如文章的篇章结构、内容逻辑性和连贯性等方面存在的问题，从而更加全面地进行写作教学。同时，教师也应该指导学生客观地看待智能作文评阅系统，帮助学生认识到，在线写作更重要的目的是增加学生写作的量，并给予学生通过系统句子点评和提示不断修改自身存在的语言错误的机会，从而提高学生写作水平。所以学生不必纠结于系统有时不够公正的评价结果，而应该积极地去利用在线系统所提供的资源进行写作的学习

当然，笔者对冰果在线写作的实证研究对象为自然班级，并没有区分试验组和对照组。本文的结论是基于笔者一学期的教学实践而得出的。冰果英语作文智能评阅对学生写作的提高较之传统课堂写作教学的作用有何不同，不在此研究之列。如果有合适的班级，教师们不妨尝试对比研究，用更显著的结论来客观论证在线写作的利弊。

参考文献：

[1]TK Landauer，D Laham，PW Foltz. Automated Essay Scoring and Annotation of Essays with the Intelligent Essay Assessor[A].M.d.shermis & J burstein，2003：87-112.

[2]顧成华，王丽.基于句酷批改网的大学英语写作教学实证研究[J].扬州大学学学报，2012（4）：92-96.

[3]石晓玲.在线写作自动评改系统在大学英语写作教学中的应用研究[J].现代教育技术，2012，22（10）：67-71.

[4]梁茂成，文秋芳.国外作文自动评分系统评述及启示[J].外语电化学，2007（5）：18-24.

[5]梁茂成.中国学生英语作文自动评分模型的构建[M].北京：外语教学与研究出社，2011.

[6]梁茂成.大规模考试英语作文自动评分系统的研制[M].北京：高等教育出版社，2012.

[7]王初明，牛瑞英，郑小湘.以写促学——一项英语写作教学改革的试验[J].外语教学与研究（外国语文双月刊），2000（3）：208.

[8]葛诗利.大学英语作文自动评分方法比较研究[J].广东外语外贸大学学报，2010（5）：87.

[9]陈芸.基于自动作文评分系统的英语写作调查分析[J].语文学刊，2011（11）：72.

[10]彭黎.大学英语写作自主学习策略的实证研究[J].咸宁学院学报，2010（3）：57.

The Application of Bingo English Writing System and the Analysis of its Advantages and Disadvantages

GUO Chun-zhen

（Fujian University of Traditional Chinese Medicine， Fuzhou Fujian 350122， China）

Abstract： With the increasing application of Bingo English writing system， the advantages and disadvantages of the automated essay scoring system have become obvious. The author analyzed the credibility of Bingo English writing system by judging the bases of its scoring and contrasting the differences between online scoring and human scoring. It is recommended by the author that both teachers and students should regard the automated scoring system as a tool to help students improve their writing rather than depend too much on it.

Key words： college English writing； Bingo English writing system； advantages and disadvantages

（责任编辑：章樊）