句酷批改网对不同水平高职英语学习者写作能力的影响研究

陈 艳

句酷批改网对不同水平高职英语学习者写作能力的影响研究

陈 艳

（南通航运职业技术学院，江苏 南通 226010）

句酷批改网目前正被国内众多高校推广和使用。以定量定性相结合的研究方法对江苏某一高职院校不同写作水平的英语学习者为研究对象，试探句酷写作对其英语写作综合能力是否产生作用及具体方面的影响。研究结果显示，写作低水平组的高职学生在句酷写作后综合成绩呈显著状态，其中在准确和流利度上有明显提高而复杂度上变化不大；写作高水平高职生的综合成绩无显著变化，但在准确度上有显著改变。

句酷批改网；高职；英语写作；不同水平；写作反馈

作为一项综合性产出技能，写作反映个人的思维能力，也反映个人在认知语言和运用语言能力基础上的语言交际能力。传统的英语写作教学由于课时少，大部分课堂时间都用于写作讲解，真正写作操练的时间严重不足；另一方面，作文批改耗时耗力，教师批改作文几乎都是采用一次性评价，而且时效还不能得到保证。如此下来，缺少充分的写作训练和及时有效的写作反馈，学习者的写作积极性在一定程度上会受到挫伤。随着现代化科技的蓬勃发展，计算机和网络技术开始广泛应用于外语教学，作文自动评价系统应运而生。句酷批改网就是国内一个典型的网络写作与评改平台，其以反馈、调控、改进为目的，通过改善写作教学活动、监控写作过程等来辅助英语写作教学，弥补传统写作耗时、低效等缺陷,将教师从繁重的教学任务中解放出来，无需再将精力耗费在单词拼写、标点符号和语法等基础知识的纠错上，而是可以更有效地进行语篇构建、句际衔接和内容构思等方面的指导；同时由于不受时空限制的特点，有利于学习者及时有效的得到反馈信息并能促使其从“要我写”到“我要写”的转变[1]，一定程度上有效提高自主学习能力和英语写作能力。

一、自动作文评分系统的研究现状

自动作文评分（Automated Essay Scoring，简称AES）系统在国外始于1966年，但真正实际应用却在1999年。AES基于计算机技术的评分系统，用于对作文文本进行客观评估与判分。国外成熟的AES系统按照其先后出现顺序分别是PEG、IEA和E-rater。其中PEG偏重表层结构而忽视语义[2]，缺乏对学习者指导意义的反馈[3]。IEA 是基于潜在语义分析技术上开发而成，评分系统既可以评价文本内容的质量，也可评价和反馈文本所涉及语法、文体及写作机制，甚至能发现是否有抄袭现象，但IEA更关注文本内容相关特征。如果说前两个系统分别侧重语言形式和作文内容的话，E-rater则兼顾文本内容和形式。E-rater 于2005年起应用于托福考试评分，与专家评分的一致率约为97%[4]。上述三种自动作文评价系统适用于英语为本族语的写作评价与反馈，对中国英语学习者的写作适用性并不强[5]。

句酷批改网由北京词网科技有限公司开发以来很快得到国内众多高校的广泛支持与应用。作为一款基于语料库和云计算的本土化的在线自动作文批改系统，通过计算学生作文和标准语料库之间的距离及时生成作文分数、评语及内容分析[6]。句酷网从多维度点评作文，学生通过“原文点评”和“按句点评”可以自由切换。在“原文点评”界面，学生能看到作文总分、班级排名以及词汇、句子、篇章结构和内容相关分；在“按句点评”界面，看到文章每句话的详细批改，此外平台还提供学习提示、拓展辨析、推荐表达、闪光词语、大小写错误等评价功能。学生根据批改提示，按照要求一一修改，可多次修改至自己满意为止，“成长轨迹”详细记录学生每次提交后的分数及写作分数变化趋势图，以便其及时了解自己的写作水平及发展情况。

国外自动作文评分系统的研究一般是由系统开发公司提供[7]，研究结果认为系统对提高学生成绩具有积极意义，但研究较少应用于课堂教学，且研究对象多限于英语是本族语的中小学生。国内这方面的研究主要体现在两处：一是关于在线英语写作自动评价系统应用研究的述评，如工作原理、实例分析[5],自动评分模型[8]等；二是关于系统应用于教学活动的过程和结果研究。后一种基本都采用对照班、实验班前后写作分数相比较的方式，证明运用自动评分系统的班级写作水平比未使用的有显著性提高[7]。以写作者水平为分组条件来研究系统对其影响的研究并不多见。杨玲[9]以Writing Roadmap 2.0为在线作文评分系统，测试其对高水平英语写作者能力训练的结果时发现，该系统对高水平学习者的帮助并不明显，以此来推测该系统对低水平学习者有效。黄绍莹，张荔[10]探索自动作文评分系统对本科院校高低两个水平的学生是否产生影响，结果发现句酷写作对两组被试的英语能力都产生了影响。国内关于系统对占全国大学生近一半的高职生在自动作文评分系统应用的反馈尤其是不同水平的高职生在写作成效反馈方面的研究却不多见。自动评价系统对高职英语写作者的影响如何？不同水平的高职英语学习者在使用该系统后的反馈是否有所区别？如果有，表现在哪些方面？本文旨在以句酷批改网为写作平台，对自动评价系统在高职英语学习者写作上的这些问题试作初步探讨。

二、研究方法

（一）研究问题与受试对象

以“句酷写作能否促进高职生英语写作能力的发展？”“句酷写作对不同英语写作水平的高职生是否产生差异？”“不同英语写作水平的高职生对句酷写作的评价是否一致？”这三个问题为主要研究内容，在某高职院交通工程系三个平行班的132名学生中遴选出两组不同英语写作水平的学生作为被试对象，以前测写作成绩为分组标准，将成绩较高的前32名定为高水平写作组，较低的后32名定为低水平写作组。对两组前测写作成绩进行独立样本t检验时发现，两组写作能力存在显著性差异（t=25.6 , p＜ 0.05），符合实验开展的前提条件。

（二）研究方案

本次实验历时15周，期间笔者组织高低写作水平的两组成员先后完成5次写作任务，写作内容源于学生的日常生活和学习方面，字数不少于150字。实验开始前，对句酷写作平台的信息作必要的简介，要求学生注册、登陆了解具体的操作步骤及提示说明。

实验开始时，两组学生按要求在30分钟内完成一篇命题作文（用于实验的作文均来自于四级真题库），旨在了解学生句酷写作前的成绩并拟将其与期末的后测成绩相比较。实验期间，两组成员先后完成了另外三篇写作任务。每次任务都在规定的时间内（如15天）在批改网上直接完成并提交，根据句酷的及时反馈不少于3-4次的修改。学期结束时，两组成员完成一次后测。前后测均在课堂规定的时间内完成，在登陆句酷网后按要求写作后直接提交。

实验期间，笔者将从这四个方面探索高低组写作水平是否发生变化：1）准确度，用错误数量/篇章长度*100来表示文章的准确度[11]；2）流利度，限时写作的篇章长度反映流利度[12]，即可参照句酷网页面上自动显示的每篇文章写作字数来体现；3）复杂度，篇章中句法的复杂度一般用T-unit 长度表示；4）综合度，采用句酷平台上自动显示的写作成绩。

（三）研究工具

本实验的研究工具涉及定量研究的前后测、问卷调查和定性研究的期末访谈。其中用于定量研究所收集的所有数据均使用数据分析软件SPSS 21.0来分析并生成相应结果。

前测与后测为准确测出句酷网写作平台能否促进高职生英语写作水平的提高和句酷写作是否对不同水平的高职生写作能力产生差异作用，高低水平两组受试者在实验开始与结束时均参加一次测试，教师在句酷平台上设置四级评分准则，满分15分。

问卷调查为进一步了解高低水平两组在实验前后对句酷写作及其反馈是否有效的不同评价和态度，在完成所有写作任务后笔者对84名受试者进行问卷调查，收回84份问卷且全部有效。问卷调查的内容涵盖总体评价、具体表现和看法及建议三方面，共十题，每题在述评之后有五个评价等级可供选择，数值1-5分别表示“完全不同意、不同意、不确定、同意、完全同意”。问卷内容具体如下：结束本学期的句酷平台英语写作后，我对该课程的总体感觉满意；我认为句酷写作的新模式有助于我的英语写作学习；我认为句酷写作的任务量大；我认为句酷写作的任务难度高；我认为句酷写作有助于我语法知识的完善；句酷写作学习活动有助于我英语词汇量的扩充；句酷写作使我在写作时更关心文章的内容；句酷写作学习活动让我开始关注文章的段落衔接和整体组织；新模式的学习活动能帮助我自主学习能力的培养；我期待句酷写作活动在以后的英语学习中能继续开展下去。

教学实验完成时从高低水平的两组中分别随机选取4名受试学生进行访谈，以此来补充了解受试学生对句酷写作的看法和态度。访谈内容涉及三点：传统的教师批改作文模式与句酷英语写作和及时评改模式，你更倾向于哪种？请说明原因；在句酷英语写作专项学习期间，你认为新方法使你受益还是受挫？为什么？你认为如何才能让这种句酷英语写作模式的效用发挥到更大程度？请参照本人参与新模式的切身感受谈谈个人体验，并提出建议。

三、研究结果与分析

（一）实验结果与分析

（1）实验前后配对样本t检验结果及分析。配对样本t检验的目的在于通过对高低水平两组前后两次成绩的自我对比，检验这种写作方法对各小组配对总体的均值是否产生作用，配对分析结果如表1（为方便列表，以下图表中统计采用数字1、2分别代表高、低水平组）：

表2是两个水平小组前后测写作成绩的配对样本t检验的结果。结合表1的描述性统计分析结果，高水平组前、后测的均分分别是10.85、11.54；低水平组前后测的均分分别是6.91、9.38。表2显示，高水平组前后测的均分差距是-0.69，双尾检测结果是0.311，未呈显著水平；低水平组前后测的均分差距是-2.46，双尾检测结果是0.000，呈显著水平。也就是说，经过一学期的以句酷批改网平台为依托的英语写作训练，低水平组进步明显，均分上升2.46分，高水平小组虽有较小幅度进步，但变化不显著。显而易见，低水平组在这次句酷英语写作中的运用效果显著。

表4从涵盖英语写作过程具体衡量指标的准确、流利、复杂等三个评价维度对高水平组前后测写作中各项数据的变化进行补充说明。综合表3，高分组在前后测中各项数据发生了变化，依次是：准确度从1.67变到1.53，流利度从189变为192，复杂度由12.13变为12.18。如表4所示，高分组学生在准确度（t=3.98, p＜0.05) 的前后测差异呈显著性状态，而在流利度（t=-2.36, p＜0.05)和复杂度（t=-.67, p＞0.05）上无显著性变化。从准确度在前后测的分数序列平均值中也能看出，准确数值最大，是0.10，表明受试学生在准确度上取得的进步最大。

表5是低水平组在前后测各项数据的配对样本t检验结果。如图所示，低分组学生在准确度（t=-6.6, p＜0.05) 和流利度（t=-20.17, p＜0.05)的前后测差异都呈显著性状态，而在复杂度（t=-5.2,p＞.05）上未呈显著差异。由表3可见，低分组在前后测各项指标也发生了变化，准确度由3.64变成3.36，流利度由133.33变成166.83，复杂度由10.59变成10.76，其中变化最大的分别是流利度和准确度，变化最小的是复杂度。

从表3、4、5中可知，高低水平组的学生在前后测的统计结果中表现各有其特点。高水平组的学生在使用句酷写作一学期后效果并不显著，唯一变化的是准确度。高水平组学生在写作方面起点高，句酷评价又较偏重语言表层结构如语法、单词拼写、标点符号等的指导，对结构和内容方面的反馈不够具体，这组学生在流利度和复杂度上无法得到提升也是显而易见的结果。至于高水平组在准确度上有显著变化，那是由于这部分学生平时写作中更关注文章的内容和结构而对细微之处如单词的正确拼写略有忽视，句酷网对单词拼写的及时纠错功能一定程度上能引起高水平学生对这些细节之处的注意，故一学期后正确率有显著性的变化。

表1 高水平、低水平小组前后测成绩描述性统计

表2 高低水平组前后测写作综合成绩配对样本t检验

表3 高低水平小组前后测各项指标的描述性统计（均值数据）

表4 高水平组前后测英语写作各项成绩配对样本t检验

表5 低水平组前后测英语写作各项成绩配对样本t检验

与高水平组相比，低水平组的变化显著，主要表现在准确度和流利度上。句酷平台倾向于语言浅层结构评价的特点能帮助他们注意到这些平时容易忽略的一个个小问题，也就是语言学习基础方面的问题，这部分学生在不断被提醒、多次修改后写作的准确性进步明显。其次，低水平组学生的流利度在实验后也得到了显著的提高。与高水平组起点高的特点有别，这组学生在语言的流利度上有欠缺，所以有足够的上升空间。在需要用目的语表达思想时，他们扩展成自己的中介语来满足需要[1]。而在复杂度方面的进步要比在准确度和流利度上花费更多的时间，低分组学生无法在一学期内就能在复杂度上取得显著性变化。

（二）问卷调查结果与分析

实验后问卷调查的结果统计如表6所示。卷中题1-4和题10是关于受试者对句酷写作的总体满意度和有效性的评价。从这五道题选择的均值来看，低水平组选择的分值普遍都是高于高水平组，尤其以AN1、AN2和AN10明显，差距约为0.8，低水平组大多数成员在这三项上都是选择了选择“同意”或“完全同意”，表明低分组对句酷写作的过程和成效性上表示肯定，也表达出继续学习句酷写作的期待。与题1、2 和10相比，题3和4的均值略低些，这部分受试者在肯定其效果外也认可了任务的难度和任务量。问卷AN5-AN9这五道题是关于句酷写作是否在语法、词汇、内容和段落等方面产生效用。从低水平组的均值看，这次实验对他们语法知识的补充、词汇量的扩大和内容的丰富都有帮助，但是在段落衔接和整体组织上没能达到预计目标（均值仅2.93）。与低水平组选择的结果相比而言，高水平组每项都偏低的均值表现出对句酷写作提高写作能力这一点并不完全认同，选项中只有AN6的均值稍微偏高些，这与配对样本t检验中的结果相符，即高水平组成员在句酷写作中词汇方面有一定程度的进步。

（三）访谈结果与分析

实验后期的访谈旨在用于完善定性研究的结果。就第一个问题，传统教学模式与句酷写作模式中更倾向于哪个，低水平组的被访学生都选择句酷写作，他们认为英语写作水平无法提高的一个关键之处就是基础知识不够牢固，句酷平台及时反馈能刺激他们及时改正错误，不断的修改，重新激起英语学习的信心。高水平组认为句酷写作无法帮助他们细化段落关系、整体布局等方面的问题，仅在词汇纠错上有一定作用。

关于第二个问题，低水平组访谈者一致认为受益不少。无论是词汇、语法知识点，还是标点符号，这些细小的错误能及时得到反馈，经常性的练习也能促使自己开始意识这些语言表层结构的问题，课后会做一些知识点的补充学习。高水平组认为句酷写作中有时评价不够灵活，也不够具体，无法满足他们深层次学习的要求。

表6 问卷调查结果的统计性分析

第三个问题，关于如何能让句酷英语写作这种新模式发挥到最佳处，低水平组表示句酷平台除了对基本语言点的必要提醒和剖析之外，能否提供一些句法复杂性的基本处理知识。高水平组则建议，句酷平台多增加一些篇章内容、构造方面的内容，如篇章框架的搭建、句际关系的处理、思想内容优化方面的指导等。综上所述，高低水平组对句酷写作的反馈因其自身水平的原因而各不相同，但都肯定其反馈及时、提供基础语言讲解等优点，建议多增补些与语篇宏观方面的内容。

四、结束语

对本次实验的所有研究结果进行综述时发现：句酷网可提高高职学生的写作能力，但对不同水平的高职学生作用各不相同。低水平学生在词汇、语法等语言表层结构的学习上得到显著性提高，但在句法复杂度上未见明显效果；高水平学生在词汇的完善方面有显著效果，但在流利、复杂度上未见成效。不同水平的学生因其水平差异，对句酷的反馈效果和需求也不一样。本次实验因时间有限、取样数量和范围都偏小而存在局限性，唯愿对句酷写作在不同水平高职学生写作能力的影响研究方面起到抛砖引玉之效。

[1] 杨晓琼, 戴运财. 基于批改网的大学英语自主写作教学模式实践研究[J]. 外语电化教学外语界，2015，(3):17-22.

[2] Kukich K. Beyond Automated Essay Scoring (J).IEEE Intelligent Systems, 2000(5):27-31.

[3] 陈潇潇，葛诗利. 自动作文评分研究综述[J]. 解放军外国语学院学报， 2008(9): 78-83.

[4] 唐锦兰，吴一安. 在线英语写作自动评价系统应用研究述评[J]. 外语教学与研究，2011，(3)：273-282.

[5] 蒋艳，马武林. 中国英语写作教学智能导师系统成就与挑战——以句酷批改网为例[J]. 电化教育研究，2013，(7): 76-81.

[6] 蒋学清, 蒋静, 唐锦兰. 探析自动作文评价系统对大学生英语写作能力发展的影响[J]. 山东外语教学，2011，(6):36-42.

[7] 陈凤，一项关于句酷批改网在大学英语写作教学中的应用研究[J].东华理工大学学报（社会科学版），2014，(6)：173-177.

[8] 梁茂成. 中国学生英语作文自动评分模型的构建[D]. 南京：南京大学，2005.

[9] 杨玲. 作文自动评价系统在高水平学生英语写作学习中的应用[J].现代教育技术，2013,（5）：73-77.

[10] 黄绍莹, 张荔枝. 自动作文评阅系统对不同水平学习者英语写作能力的影响[J].外语与翻译，2015，(4):70-76.

[11] Chandler, J. The efficacy of various kinds of error feedback for improvement in the accuracy and fluency of L2 student writing [J].Journal of Second Language Writing,2003,(12):301-329.

[12] Gregg, N., Coleman, C, Davis, M, et at. 2007. Timed essay writing: implications for high-stakes tests [J].Journal of Learning Disabilities,2007,40(4):306-318.

An Empirical Study of “Pigai.org” Software’s Effect on Different-level Students in English Writing at Vocational Colleges

CHEN Yan
(Nantong Vocational & Technical Shipping College, Nantong Jiangsu226010)

The pigai.org software is being widely applied in many universities and higher vocational colleges in China. By employing both qualitative and quantitative methods and with the subjects of differentlevel students in English writing at a vocational college, the study attempts to investigate whether the new approach is feasible and effective for both groups. It is found that there is great improvement in low-level writing abilities especially on accuracy and fluency when students of this group are conducted. When highlevel students are concerned, there is no improvement in their comprehensive writing except the only significant difference in accuracy.

www.pigai.org; higher vocational colleges; English writing; different -level; writing feedback

H319

A

1671-9654(2017)04-0034-06

10.13829/j.cnki.issn.1671-9654.2017.04.009

2017-09-12

陈艳(1977- )，女，江苏如东人，副教授，文学硕士，研究方向为英语语言学、英语语言应用学。

本文为2015年教育部职业院校外语类专业教学指导委员会“基于大数据的高职英语写作教学创新研究课题‘基于大数据的高职英语写作教学中体裁教学法的运用研究’”（编号：GZGZ5414-15）阶段性研究成果。

［编校：杨 琴］