英语写作自动评分系统反馈功能评析——以句酷网自动评分系统为例

杨淑玲

（吉林师范大学 外国语学院，吉林 四平 136000）

英语写作自动评分系统反馈功能评析
——以句酷网自动评分系统为例

杨淑玲

（吉林师范大学 外国语学院，吉林 四平 136000）

句酷网自动评分系统为学习者和教学者提供全面准确的拟人工批改模式，为现代英语写作学习和教学提供了新的思路和方法，能高效实现英语写作的反馈需求，促进学习者自主学习。

英语写作；句酷网自动评分系统；反馈

一、英语写作自动评分系统产生的背景

随着计算机软件的发展，基于语料库的自动评分系统的可信度和有效性以及对非母语学习者的应用也越来越引起人们的兴趣。该项技术的研究起始于20世纪60年代，几十年来，自动评分系统采用了数学统计、自然语言处理（NLP）及人工智能等方面的最新成果，于1999年进入实际应用阶段。至今已经有多个国家开发出针对英语作文的自动评分系统，如 E-rater（Electronic Essay Rater），PEG（Project Essay Grader），IEA（Intelligent Essay Assessor），Intellimetric，Writing Roadmap和我国目前比较流行的句酷批改网自动评分系统。本文研究的英语自动评分系统将以句酷批改网为例。

二、句酷网自动评分系统的特点

1.自动评分高效准确

句酷网自动评分系统是一种基于语料库与云计算技术的英语作文自动评分系统。通过计算学习者作文与标准语料库的差距，即时生成学习者的作文得分以及语言内容的分析结果，帮助学生自主提高写作能力和水平。句酷网自动评分系统的核心是打分引擎，它能够自动提取作文中反映英语写作水平的数据指标，并且基于事先选择训练集设置数据指标和分数，以及数据指标和打分维度的对应关系，即打分公式。经过多次测试集的对比分析表明，系统打分和人工打分的基本一致率达到了92.03%。目前系统支持192个打分数据指标，基于此可以创建多个打分公式。以四级打分公式为例，使用者将数据指标设计为词汇、句子、篇章结构和内容相关四大维度。

2.基于语料库按句点评，促进学习

目前句酷网自动评分系统有两个应用目标：一是用于大规模考试的自动评分，二是用于写作学习，作为一个提供反馈的工具。目前国外的大多数系统都是以第一个目标为主，但实际上对于学生学习的需求来看，第二个目标反而更重要。第二语言写作的熟练程度需要很多年才能培养出来，包括词汇、语法、语篇等多个方面。句酷批改网自动评分系统可以帮助学生解决很多现实问题。第一是词汇。词汇是语言使用中的最基本的单位，很多第二语言学习者的最大问题是词汇量不够多，无法顺利地表达自己的想法，限于有限的词汇量，很多学习者生搬硬套，找一些表面意义相关的词来代替，结果导致词汇使用上的错误。有些学习者对词汇用法的掌握不够透彻，只知其一不知其二，和其他近义词的用法混淆，进而导致选词错误，表达意思不够准确清晰，更不用说符合英语国家的语言文化了。针对这一问题，句酷网上有词汇辨析功能，有大量的例词例句供学习者使用。第二是语法。语法是语言使用的规范和规则，它有明确的标准，不能在写作中任意发挥。有些学习者在时态、各种从句、分词短语、不定式短语的使用上出现混乱，导致写作错误，如主谓不一致、逗号拼接句子、虚悬修饰语、错误的平行结构。如在Driving to the office in a hurry，his car crashed into a truck这句话中，Driving的真正主语应该是he，但是在此句中，主语却是his car，这个错误就是虚悬修饰。还有一个很重要的原因就是母语的负迁移影响。有些学习者喜欢把要表达的意思用母语表达一遍，然后将其翻译成英语，这样，就出现了中式表达，连很多英语为母语的人都很难读懂。针对这些语法规则性错误和中式表达语，句酷批改网能够给出准确的修改意见，一目了然。第三是语篇问题。一篇好的作文，应该是用词准确、语法无误，语句通顺、表达流畅，并尽可能做到过渡与衔接自然、中心明确、层次分明、逻辑清楚。有些学习者因词汇量缺乏，反复使用同一个词汇或句式，使文章显得单调乏味。而不善于使用连接词，会使语句前后衔接不畅，语义不连贯。这一问题也可以通过句酷网词频和从句的统计数据中得到启示。学习者结合句酷批改网的意见，注意语句之间的各种逻辑关系，如时空、因果、转折、条件、对比、平行、递进等，合理使用恰当的连接词，如that、and、then、when、because、so、if、but等来衔接和过渡单句，包括使之构成复合句，自然会增强语句之间的逻辑性，使语义清晰连贯，自然流畅。

句酷网自动评分系统区别于其它系统的最大特点就是基于海量语料库的按句点评，能够满足英语作文写作反馈中四个方面的需求，主要包括：（1）鼓励地道值得推荐的用法：对于学生作文中高分词组、搭配或者句型，系统会给出鼓励性意见，让学生更加有兴趣使用，并且相关参考让学生把已有的发挥得更好。（2）建议改正错误用法：对于学生作文中的语法和拼写错误，系统会告诉错误类型和改进建议。（3）提示中式英语（Chinglish）表达：中式英语属于语法正确但会让英语本族语感觉不地道的用法，比如“learn knowledge”，通过语料库对比，系统会把它标记为中式英语，以警告为主。（4）举例阐释易混用法：系统会找到学生经常容易用错的词或者搭配，给出同义词或者近义词供学生参考。换言之，学生可以随时随地求助自动评分系统，针对他们的问题，系统会逐字逐句检查批改。除有批改提示之外，还有词汇查提示，学生可以根据学习提示了解更多词汇的地道用法，一边学习，一边写作。虽然学生不能100%的依赖于句酷网的批改，但是，通过学生自己辨识一般可以判断句酷网每一句批改的正误。例如，对于一些具有中国特色的词汇，翻译成英文就很有可能被提示为中式英语，但是，学生只要稍加分析或者查找相关资料，就很快能够判断出正误。另外，作文反馈与作文改写紧密相关，如果没有改写续写，反馈就失去了意义。教师反馈或者同学反馈都需要比较长的周期，笔者再次修改又要在某种程度上重新理顺思路，比较费时费力。句酷网能够给出即时的反馈意见，作者不仅可以修改字词句子，还可以替换新词，使词汇多样句子地道，甚至还会因某个词语产生新的构思。学生通过提供大量的练习机会和即时的反馈报告来培养自己的写作能力，这在几秒钟内即可实现，极大地激发了学生修改文章的热情。

3.增加反馈，方便教学

在课堂教学中，教师所能提供的反馈数量和细致程度都有限，加之学习者对于批改反馈的要求不一，重视程度不一，写作反馈很难满足学习者的要求。在笔者组织的一项问卷调查中，对于79名学生进行调查，发现学生对于词汇搭配、句子语法、表达是否地道比较重视，占到82.15%。而对于思想创新、篇章结构、词汇多样性等重视程度稍差，只有39.24%，有一半以上的学生对于篇章结构、中心思想、题材是否新颖并不重视。对于学生所重视的反馈项目，教师反馈能否满足学生的要求？经过调查，83.54%的学生表示因为学生太多，老师批改不可能很仔细，自己所关注的词汇搭配、表达是否地道，老师不能给与充分的指导，即教师反馈不能满足他们的要求。句酷网自动评分系统无论何时何地都可以在线使用，这将有助于学生得到及时有效的反馈，进而提高自己的写作水平。

此外，句酷网提供的薄弱点分析功能可以帮助老师针对学生共性薄弱点和薄弱点趋势制定教学改进计划，学生也可以进行针对性的学习和训练。英语写作中，抄袭现象是教学中最难解决的问题，教师很难察觉哪些作文是直接抄袭了别人的作文，哪些是借鉴了别人的资料。而句酷批改网解决了这一问题，系统具有查找重复率的功能，数据精确，给教师提供了非常可信的反馈信息。另外系统出具的地区、学校和班级报告便于教育管理者了解英语写作教学效果，也便于教师利用这种分析报告进行教学科研分析。

三、使用句酷网自动评分系统的实验

1.研究设计和方法

实验对象为吉林师范大学英语专业大一学生一个班，共计28人。实验时间为大一下学期。为了让学生认真配合此次实验，已经告知学生此次写作成绩占期末考试成绩的20%，但同时因为是平时测验，学生没有过多的压力，此次写作可以体现学生的真实水平。本次实验在计算机室进行，历时30分钟。教师使用句酷网自动评分系统为学生布置作文并告知学生作文号，学生按照网址登陆句酷网，根据作文号查找到题目和作文要求，按照要求完成写作之后提交作文。学生在同一时间同一地点进行测试，可以保证数据的真实性和可靠性。

2.数据采集和分析

在本次实验中，教师可以通过系统获得以下信息：（1）数据概述：28篇作文，共4，343词，290句，最长句44个单词，最短句1个单词；学生作文最高分为86.3分（陈同学），最低分72.1分（张同学），平均分为：79.2分；系统共从学生作文中发现18处错误，其中，句子不规范、搭配错误、动词错误为学生们最常犯的错误。（2）学生表现：这一数据可以让老师直观了解当篇题目下学生写作表现的数据图表。可以看到学生得分前十名的排行榜，修改次数最多的前十名排行榜，可以查看每个学生得分、提交情况、作文写数、句子、词汇、相似度、修改次数这七个维度的具体表现。每个维度按优秀、良好、一般、差四个等级划分，分别用绿色、蓝色、黄色、红色四种颜色表示。（3）错误分布：所有错误有18处，系统将学生错误按照不同类别统一列表，例如：一是句子不规范：It encourage people to grasp every chance to help them succeed.点评：请检查encourage，确认主谓一致。标题：Factors about being successful.学生：张同学；二是搭配错误：Constant grinding can turn an iron rod into a needle.点评：搭配turn rod在语料库中无此用法，疑似中式英语。标题：The factors of success学生：解同学；三是动词错误：No great work can be performed and no high position can be obtained without toil effort.点评：请确认without toil中的动词形态正确。标题：The factors of success学生：解同学；四是用词错误：First，diligent everyone knows the proverb：Successisacquired through ninety-nine percent perspiration and one percent inspiration.点评：diligent everyone疑似词序有误。标题：On Factors that make a student successful学生：宁同学。五是浏览作文：此项中，教师可以看到学生的作文分数和前三行的文字，点击之后可以看到全文。六是相似统计：这一功能有助于教师检查学生作文抄袭情况。系统可以显示学生作文与其他学生作文之间的重复率，不仅可以与本班学生的相似度进行比较，还可以与系统中所有学生的作文进行比较。相似统计分为40%以上、20%-40%、10%-20%、10%以上。系统的大数据给教师检查相似度提供了便利性和准确性。例如：14级2班程同学作文相似度为7%，陈同学作文相似度为4%。点击进入学生的文章可以看到具体那句话与哪个学生的作文相似，相似句子已经用红色标注，非常清晰。例如陈同学的 Success is acquired through ninety-nine percent perspiration and one percent inspiration.和张同学的Success is acquired through ninety-nine percent perspiration and one percent inspiration.一模一样，教师可以判断出这是经典名句，不算在抄袭之列。但是张同学的Some students lose heart easily for not having achieved what they had aimed for.和成都市一中某同学的句子一模一样，就可以看出这两名学生参考了相同的资料。（6）词频：在这一数据中，教师可以看到词性分布、动词、名词、形容词、副词、介词、连词、代词在全体学生作文中的使用情况。例如在“词性分布”这一项中可以看到：使用动词808次，占24.44%；名词718次，占21.72%；形容词647次，占19.57%；代词325次，占9.83%；介词 311次，占9.41%；副词296次，占8.95%；连词182次，占5.51%。在“动词”这一项中可以看到be 180次；can 66次；make 42次；do 35次；have 34次；shall 33次；will 32次；succeed 24次等143个动词的使用频次。（7）搭配：在这一项中，教师可以看到以下数据：搭配分布、动词+名词、形容词+名词、副词+动词、副词+形容词、动词+介词、形容词+介词、名词+动词。点击“搭配分布”，就会看到不同的词语搭配的使用频次和所占比例，点击具体搭配例如“动词+名词”，可以看到具体词汇例如achieve success等所有搭配的列举和使用频次。（8）分级词汇：在这一项目中可以看到超高频词汇、次高频词汇、学术词汇、非常规词汇、生词对照。点击每一个项目就可以看到学生使用的单词、频次以及例句。例如点击“次高频词汇”会看到列举出来的所有单词，例如pain出现频次为四次，例句Face on your？ pain？and turn it into power.点击频次4可以看到学生用这个pain写出的句子。这些数据为老师对学生进行整体反馈指导提供了支持。（9）数据对比：在这一项中可以得到某一同学与全体同学的对比情况，包括单词统计比对、词性分布比对、搭配统计比对、句长分布比对、动词频次比对。系统会以柱状图和列表的方式向用户呈现，对比非常准确清晰。（10）维度分析：维度概述、类符形符比、拼写正确率、平均词长、句长分布、平均句长、从句总数。系统从评判学生作文的多个测评维度中挑选出几大维度（可定制），并列出学生在各个维度上的测量值，为分析作文提供数据参考。通过作文数据在各个维度的不同表现，可以明确作文的薄弱点所在，并且对学习的整体情况进行把控。

［1］Hyland，K..Providing productive feedback［J］.ELT Journal 1990（4）：279-285.

［2］蔡基刚.中国大学生英语写作在线同伴和教师反馈反馈对比研究［J］.外语界，2011（2）：65-72.

［3］何旭良.句酷批改网英语作文评分的信度和效度研究［J］.现代教育技术，2013（5）：64-67.

［4］李竞.英语写作教学中教师书面反馈效果的案例研究［J］.外语界，2013（2）:87-89.

［5］王淑雯.利用自动评分系统进行在线英语写作反馈［J］.成人教育，2011（8）：115-117.

［6］杨苗.中国英语写作课教师反馈和同伴反馈对比研究［J］.现代外语，2006（3）：73-76.

［7］杨丽娟，杨曼君，张阳.我国英语写作教学三种反馈方式的对比研究［J］.外语教学，2013（3）：63-66.

Feedback Function Evaluation on Automatic Scoring System of English Writing ——Take Jukuu Automatic scoring system for Example

YANG Shu-ling
（College of Foreign Languages and Literature Jilin Normal University，Sipin Jilin 136000，China）

Automatic Scoring System of Juku provides a comprehensively accurate artificial correcting mode for learners and teachers.It offers a new perspective and method for the modern teaching and learning of English writing，which can efficiently meet English writing feedback requirements and promote learners'autonomous learning.

English writing；Automatic scoring system of Juku；Feedback

G642

A

2095-8528（2016）05-025-04

编辑 朱荣华

2015-11-01

杨淑玲（1979），女，吉林四平人，讲师，硕士，研究方向为英语语言与文化、应用语言学。

此文为吉林省四平市社会科学基金项目“英语写作在线批改反馈研究”（批准号为201566）的阶段性成果。