网络自动评分系统在大学英语写作中的应用研究——以顺德职业技术学院为例

甘丽华，赵帮华

(顺德职业技术学院外语学院，广东 佛山 528333；重庆广播电视大学文法学院，重庆 400052)



网络自动评分系统在大学英语写作中的应用研究
——以顺德职业技术学院为例

甘丽华，赵帮华

(顺德职业技术学院外语学院，广东 佛山 528333；重庆广播电视大学文法学院，重庆 400052)

写作反馈是英语写作教学的重要环节，对提高学生的英语写作能力起着不可低估的作用。调查研究发现，过半的学生倾向于使用句酷批改网，并会根据修改意见和分数多次修改自己的文章，直至得到满意的分数，学生的写作能力也会在这个过程中逐步得到提高。但句酷批改平台应及时更新语料库，逐步提高智能化水平，并提供高水平的人工服务，以提高评阅的信度。

网络自动评分系统；英语写作教学；反馈

一 引言

写作是一种重要的语言输出形式，能客观全面地显示学习者的语言综合应用能力和认知水平。然而，在外语学习的听、说、读、写、译五项基本能力中，写是较难培养的能力之一。一直以来我国大学英语写作教学现状不容乐观，有研究者统计，历年四、六级考试中，写作成绩普遍偏低[1]。重要原因之一是缺乏对学生所写内容的即时有效的反馈。目前在我国英语写作教学中，学生作文的反馈形式主要是来自教师的终结性书面反馈。缓慢且笼统的评价难以给学生提供可用于改进的诊断性信息，不利于学生写作水平的提高。

随着文字语言处理技术的兴起和发展，写作自动评分系统得到研制和采用。应用写作自动评价系统研究起源于美国，到目前为止，美国已有AutoScore，Bookette，CRASETM，E-rater，Intelligent Essay Assessor，IntelliMetric， Light-SIDE，Lexile，Project Essay Grade( PEG) 9种英语写作自动评分系统。国外调查研究表明，学习者希望他们的作文能得到即时反馈，然后由他们自己尝试运用各种策略加以改正[2-7]。国内对写作自动评价系统的研究与国外相比起步较晚。近年来的研究发现，即时全面的写作反馈有助于提高学生的语言正确率和写作水平[8][9-11]。国内一些学者对适合中国学生的英语写作自动评分系统做了有益探索[11-13]。他们研制的英语考试作文自动评分系统是基于人工评判的大量中国大学生作文语料库建立的评分模型，从语言、内容和组织结构三方面对作文进行评价。本文在前人的研究基础上，就大数据背景下采用句酷批改平台对大学非英语专业学生的写作动机和能力的影响进行实践与理论方面探讨和研究。

二 研究设计

(一)研究问题

本研究旨在探讨网络自动评分系统对大学非英语专业学生英语写作动机和能力发展的影响。鉴于此，研究问题包括：(1)在线写作反馈对学生英语写作能力的发展有何影响？(2)在线写作反馈是否影响学生英语写作学习动机？(3)人工批改与在线工具批改具有什么明显差异？

(二)研究对象

本研究选取了顺德职业技术学院非英语专业一年级的学生118人为实验对象，其中男生58人，女生60人。实验组学生每周在线提交一篇作文，由批改网提供反馈意见与评分，第二周根据句酷批改网提供的反馈意见修改上一周提交的作文，并再次上传句酷网进行机器评分。

(三)研究工具

针对研究问题，本研究采用了样本分析、问卷调查和访谈等研究工具。

1.样本分析

在实验对象的作文中随机抽取50篇，分别进行机器批改和人工批改，对比分析两者在批改能力方面的差异。

2.问卷调查

学生在进行为期36周的句酷网写作训练之后接受此问卷调查。该问卷共有8个大题，主要涵盖两个方面的内容：①实验组学生英语写作学习动机和理念的变化；②在线写作反馈对学生英语写作能力发展的影响。

3.访谈

项目组分别对教师和学生进行半结构性访谈，进一步摸清教师和学生对句酷网的使用感受以及在使用过程中出现的各种问题。接受访谈的教师是实验班的任课教师；学生为每个班的在句酷网评阅系统中成绩记载为高分、中等、低分的各2名，共计18名。

(四)研究结果

1. 问卷调查的结果

(1)在线写作对学生英语写作动机的影响

表1 在线写作反馈对学生英语写作学习动机的影响

在参加网络写作活动之前，22.9%的学生喜欢英语写作，一半以上的学生觉得兴趣一般，17%的学生对英语写作表示反感。实验结束后，我们再次进行了调查，发现有56.8%的学生认为英语写作的兴趣有不同程度的提高，兴趣一般和反感的同学比例则有所下降(见表1)。

(2)学生心目中的最佳批改方式

在回答喜欢老师批改还是网络批改时，118份有效问卷中，绝大多数学生喜欢句酷平台的网络批改，主要原因是相对于教师批改来说，周期较短。在选择教师批改的18位同学中，72.2% 的学生喜欢教师详评语法错误，16.7%的学生希望教师指出其布局谋篇问题，而剩下11.1%的学生则喜欢教师写出分数或等级(见表2)。

表2 学生心目中的最佳批改方式

(3)在线写作平台的优点与缺陷

从表3可以看出，被试学生认为，批改网最大的优势首先是批阅周期较短，让学生能够在短时间内得到反馈。其次是每句话都提供修改意见，再次就是提供相关词汇(同义词和易混淆词汇等)，增强学生对词汇使用的敏感度。参与调查的学生们认为，批改网最大的问题是人机交互感受不到与教师近距离交流的亲近感。其次便是句酷批改网提供的语法方面的修改意见较多，但关于文章的谋篇布局和逻辑性等方面提供的修改意见较少。

超过一半的学生(52.5%)喜欢句酷批改网；超过三分之一的学生(35.6%)会根据句酷平台提出的修改意见反复修改自己的作文，直至得到满意的分数；大多数学生(79.7%)认为句酷批改网对作文中的词汇和语法水平提高帮助最大，对文章的内在逻辑性、连贯性等方面帮助较小(见表4)。

2.随机抽样分析结果

(4)学生对在线写作平台的评价及使用的效果

表4 学生对在线写作平台的评价

表5 教师批改反馈与在线自动评改系统

通过对人工批阅与机器批阅进行定量和定性分析，我们将更彻底地了解句酷批改网的优势与缺陷。首先，我们按错误类型对50篇文章进行了统计分析，具体包括以下几个考查项：1)基本错误(大小写、标点、拼写等)；2)用词(用词是否正确、是否符合语境)；3)语法(各种搭配是否正确)；4)衔接与连贯(连词运用是否得当)；5)文章结构(结构是否完整)；6)文章立意(是否偏题跑题)。根据的错误性质不同，这些考查项予以不同的加权，有的是1个错算1个百分点：1=1%，有的是2个错算1个百分点：2= 1%。统计结果见表5。

另外，通过对学生的文章样本做细致的定性分析，发现：1)句酷批改网经常指出标点符号后缺空格，但由于书写原因，教师一般只会指出标点运用是否得当；2)机器批阅对错误拼写的单词识别率高于教师批改；3)句酷网在“学习提示”中经常给出易混淆的词语，教师一般不会这样做；4)句酷网通过语料库比对判定学生的语法搭配是否规范，用词是否地道，这种方式容易产生误判，而教师批阅中很少出现这样的问题。例如，针对学生作文中的错误句子“The first,AI can automatically adjust the room tempereture,automatic switch lamp”，两者的反馈信息各有侧重(见表 6)。

表6 句酷批改网与教师提供的反馈信息对比

(五)分析与讨论

从统计结果可以看出，大部分学生(85.0%)选择句酷批改网评阅自己的作文，一方面它能够详细指出语法错误，另一方面，批改用时较短。相比之下，教师认真批改每一份作文则耗时较长。过半的学生会根据修改意见和分数多次修改自己的文章，直至得到满意的分数。学生的写作能力也会在这个过程中逐步得到提高。

但是，目前以句酷网为代表的机器评阅系统对学生作文的修改意见主要集中在词汇层面和基本的语法分析，对于词汇搭配和选取的修改意见则来源于语料库的比对。因而，机器评阅系统不能非常准确地评估作文的内在质量，如写作的衔接与连贯性、内在的逻辑性和关联性等。

受限于科技的发展水平，目前无法彻底解决这一问题，但可以从以下几个方面来弥补。第一，句酷批改网应该不断丰富、及时更新语料库，认真审视教师和学生提出的误判案例，优化批阅平台。第二，计算机技术人员与语言研究者通力合作，继续提升批改网的智能化水平，让智能平台既可以评阅词汇语法，也可以评阅篇章结构。此举不仅能提高智能批改的水平，也能提高机器翻译的水平。第三，提供有效的人工服务，方便学生及时解决疑难问题。

三 结语

本研究采取定性加定量的研究方法，以顺德职业技术学院2015级非英语专业一年级的118名学生为研究对象，探讨了网络自动评分系统对学生英语写作的影响。研究发现：(1) 通过在线写作的训练，学生对英语写作的兴趣有显著提高，对英语科目的学习兴趣也有所提高；(2) 以句酷网为代表的在线批阅平台对语法和词汇的批阅能力较强，但对篇章结构的批阅能力与人工相比则相差甚远。因此，在线批阅平台应及时更新语料库，逐步提高智能化水平，并提供高水平的人工服务，以提高评阅的信度。

本研究以大学非英语专业学生为实验对象，通过一年多的调查研究，剖析在线写作反馈对英语写作动机和能力的影响，研究结果可为大学英语写作教学改革提供指导和借鉴。

[1][8]陈凤.一项关于句酷批改网在大学英语写作教学中的应用研究[J].东华理工大学学报(社会科学版)，2014，(2).

[2]Ferris D R. The case for grammar correction in L2 writing classes: A response to Truscott[J].Journal of Second Language Writing，1999，(1).

[3]Kubota M. Error correction strategies used by learners of Japanese when revising a writing task[J].System, 2001，( 4)．

[4]Lee I. L2 writing teachers’ perspectives，practices and problems regarding error feedback[J].Assessing Writing，2003，( 3)．

[5]Grimes D.Assessing automated assessment: Essay evaluation software in the classroom[EB/OL].ftp://ftp.ics.uci.edu/pub/grimesd/AutoAssessment.pdf.

[6]Shermis M D，Hamner B.Contrasting state of the art automated scoring of essays[A].M D Shermis，J Burstein.Handbook of automated essay evalution[C].New York: Routledge，2013．

[7]Weigle S C.English as a second language writingand automated essay evaluation[A].M D Shermis，J Burstein.Handbook of automated essay evalution[C].New York: Routledge，2013．

[9]郭翠红,秦晓晴. 国外二语学习者作文书面反馈研究——研究的视角及对大学英语作文评改的启示[J]. 解放军外国语学院学报，2006，(5).

[10]葛诗利,陈潇潇.中国EFL学习者自动作文评分探索[J].外语界，2007，(5).

[11]李金辉.使用潜伏语义分析理论研究计算机改中国学生英语作文[D].广州：广东外语外贸大学博士学位论文，2009.

[12]梁茂成.中国学生英语作文自动评分模型的构建[M].北京：外语教学与研究出版社，2010.

[13]梁茂成.大规模考试英语作文自动评分系统的研制[M].北京：高等教育出版社，2011.

(责任编校：简小烜)

Application of Online Automatic Scoring System in College English Writing

GAN Lihua, ZHAO Banghua

(Department of Foreign Languages, Shunde Polytechnic, Foshan Guangdong 528333, China; School of Arts and Law, Chongqing Radio and TV University, Chongqing 400052, China)

Writing feedback is an important part of English writing teaching, which plays an important role in improving students’ English writing ability. It is found in the investigation that more than half of the students tend to use Pigaiwang (http://www.pigai.org) and repeatedly modify their articles based on the revision comments and scores until they get satisfactory results. Students’ writing ability is gradually developed in this process. However, the corpus should be updated in time on Pigaiwang, the level of intelligence should be gradually enhanced and high level of human services should be provided in order to improve the reliability of evaluation.

online automatic scoring system; English writing teaching; feedback

2016-08-22

教育部职业院校外语类专业教学指导委员会项目“基于大数据的高职英语写作反馈研究”，编号：GZGZ5414-49。

甘丽华(1975— ) ，女，广东翁源人，顺德职业技术学院外语学院教授，硕士。研究方向：应用语言学及英语教学法。赵帮华(1984— )，男，安徽阜阳人，重庆广播电视大学文法学院讲师，硕士。研究方向：心理语言学、认知语言学。

G642.0

A

1008-4681(2016)06-0157-04