批改网在大学英语写作教学中的实证研究

王 健 徐 芳

(安徽理工大学外国语学院，安徽 淮南 232001)

作文批改与反馈是大学英语写作教学中的重要一环，目的是为了向学习者提供作文评改的信息，明白自己的习作中或“内容不够充实”“文章缺乏逻辑性”，或“用词和语法有误”[1]等。这些信息有的是有关作文表层错误的纠错性反馈，有的是针对文章内容逻辑性或篇章结构的反馈，另外，评语和得分也是写作反馈的重要组成部分。已有研究表明，写作过程呈现非直线性，学生根据提供的反馈信息对作文进行再思考和修改是第二写作过程，对提高学生的写作能力至关重要[2]，反馈是激励和巩固学习的关键因素[3]。

传统的写作反馈通常以教师书面反馈的形式呈现。当前大学英语普遍采取大班授课模式，每个教师所教授的学生多达一两百人，由于有限的时间和精力，写作反馈的内容大多只限于总体评语和分数，即使部分教师能够提供比较详尽的反馈内容，他们的反馈在时间上也往往严重滞后，导致学生的写作训练机会远远不足，同时学生不能及时获得有关写作问题的有效反馈信息。这在很大程度上影响了学生英语写作的热情和积极性，成为学生写作能力长期停滞不前的重要原因之一。

随着现代教育技术的迅速发展，学界对利用网络平台提升英语写作教学效果及学生英语写作能力等方面进行了有益的探索，如何艳萍通过实证研究探讨了基于QQ网络平台的英语写作教学新模式的有效性[4]，马莹尝试将博客的理念和技术应用到外贸函电写作教学中，构建了基于网络博客的外贸函电写作教学新模式[5]，吴松江、郑新民通过英语专业研究生使用“易得”写作软件的案例分析，研究了该软件对提升写作课程教学质量及学生自我写作效能的影响[6]。纵观以往研究，关于利用在线评改系统句酷批改网进行写作评改反馈的系统性研究目前仍不多见。

一、自动写作评分系统及批改网的特点

自动写作评改系统(Automated Essay Scoring, 简称AES)指的是利用计算机技术对写作进行评估与打分，是机辅语言测试走向智能化发展的具体体现。该领域的研发工作已历时40多年，综合了自然语言处理、统计学及人工智能等领域的最新成果，1999年开始进入实际应用阶段。近年来，自动写作评改系统的研究与应用已日益成为国内外计算机辅助外语写作教学的热点。

国外最具代表性的自动写作评改系统包括IEA (Intelligent Essay Assessor)、PEG (Project Essay Grader)和E-rater (Electronic Essay Rater)。IEA基于一种潜在语义分析的技术软件对文本意义自动进行评估，能够对作文的写作风格、写作机制、语法、思想内容、篇章结构及用词等进行反馈，更多关注文本的内容相关特性而非形式；PEG主要依据文章质量尤其是其接近性和内在性进行反馈评分，为的是使大规模的写作评改过程更实际、更有效，更注重文本的表层特征；E-rater则采用一种混合性方法，结合自然语言处理技术，对作文的用词、语法、思想内容、语体特征、写作风格、组织结构等进行总体性评分和实时评阅反馈。

以上这些AES系统各具特色，IEA关注作文内容，PEG重视语言形式，而E-rater内容和形式并重，但它们主要针对英语本族语者而设计，对于以英语为外语或二语的学习者的写作反馈适用性不强。鉴于一语和二语/外语学习者的写作过程和作文文本特征存在着显著差异，有必要开发一种针对英语非本族语学习者作文评改的AES系统。近年来，梁茂成教授研制了“大规模考试英语写作自动评改系统”，得到了国内专家学者的一致好评，此外还有冰果英语智能作文评阅系统和句酷批改网。冰果注重对作文的整体评价，只给出总体评语和评分，不提供关于文章细节的反馈信息。相比较而言，针对中国英语学习者的写作特点和学生平常写作训练中的反馈需求，句酷批改网(以下简称批改网)目前在高校英语写作教学中使用更广泛。

批改网是基于语料库和云计算技术，通过比对学生作文和标准语料库之间的距离对其进行实时评阅反馈的自动作文批改系统。作为一种本土化的在线写作评改系统，批改网具有流程简单、易于操作、反馈及时、按句点评、重复度检测、避免抄袭等一些优势。另外，批改网提供进度报告，便于教师掌握学生整体或个体写作中的强项和弱项，及时了解他们知识点掌握程度的变化趋势，也为教师灵活合理地进行教学安排和科研创作提供了数据支持。

目前众多高校在大学英语写作教学中推广使用批改网，然而许多教师和学生在一致认可其反馈优势的同时也发现，批改网在使用过程中仍存在着一些不足和亟需解决的问题。因此，有必要对这一在线自动评改系统作一番系统性研究，探究它在大学英语写作教学中的有效性，以便教师和学生在今后英语学习中更加科学合理地使用该工具。

二、研究设计

(一)研究对象

参与本实证研究的为安徽省某重点高校两个大学英语教学班的学生，随机抽取一班为实验班(73人)，教师使用批改网系统辅助写作教学，另一班(75人)为对照班，仍采用传统的教师书面反馈来评阅作文，整个教学实验持续一个学期。两个班学生均由同一教师授课，使用同一教材，授课内容和授课进度完全一样，唯一不同的是作文的评改反馈模式。为了避免影响本实验的效度，两个班学生事先未被告知他们在参与教学实验。

(二)研究问题

本研究基于教学实验和以批改网为辅助的大学英语写作教学模式，具体探讨以下三个方面的问题：

1.与传统的教师书面反馈相比，批改网的反馈评阅是否能更有效促进学生写作水平的提高？

2.批改网的使用是否更有利于增强学生的写作兴趣和自主写作意识？

3.学生对批改网在英语写作教学中的使用有怎样的评价和认可度？

(三)研究方法及工具

针对本研究的问题，笔者采用了定量研究和定性研究相结合的方法。研究工具包括使用SPSS17.0统计软件对实验班和对照班学生实验前后英语写作成绩进行检测，采用Worthsmith4.0软件对两班学生后测作文语料进行统计分析；实验后对实验班学生进行问卷调查，问卷采取半开放式，包括选择题和问答题，内容涉及学生的写作兴趣和自主写作意识在实验后是否有提高，批改网在哪些方面对学生的写作学习帮助较大，他们对批改网这一在线评改系统的评价和认可如何。为了进一步检验实验结果，了解批改网在写作教学中的使用情况以及存在的问题，根据实验班批改网系统多次评改反馈结果，从好、中、差三个等级中各选出2名学生，对他们共6人进行访谈。

(四)研究过程

本研究整个实验时长一学期，共19周。确定了实验班和对照班后，教师在实验前对实验班学生进行了关于批改网使用的培训，使他们能够熟悉批改网的使用流程，避免因对该系统的使用不当而影响写作质量。由于大学英语没有设置专门的写作课，写作课的教学内容穿插在大学英语课程的学习中。教师每完成一个单元的大学英语授课，会布置学生写一篇与该单元主题相关的作文。实验班学生在批改网上在线写作并提交，根据批改网的反馈信息对作文自行进行修改，修改次数不限；对照班的作文则由教师提供传统的书面反馈，并鼓励学生参照反馈内容自行修改、完善作文。实验后，统计对比实验班和对照班学生后测英语写作成绩，并将它们和实验前的写作成绩进行比较分析，统计实验班和对照班学生后测作文语料的相关信息，同时对实验班学生进行问卷调查和访谈。

三、结果与讨论

(一)实验前后测作文成绩分析

为了确保两个班实验对象的同质性，实验前收集了实验班和对照班学生作文成绩，满分计为15分。利用SPSS17.0对数据进行独立样本t检验，结果如表1所示：

检验结果显示，实验前虽然实验班学生作文平均成绩稍低于对照班，但两者之间无显著性差异(P=0.581>0.05)，表明两班学生作文大体处于同一水平。

表1 实验班和对照班作文前测成绩独立样本t检验

实验后对收集的实验班和对照班学生作文成绩再一次利用SPSS17.0进行独立样本t检验，结果如表2所示：

表2 实验班和对照班作文后测成绩独立样本t检验

表2中后测写作成绩结果表明，两班实验后作文成绩比实验前都有了提高，但实验班成绩提高的幅度更大(2.1438>1.4134)，且实验班和对照班后测作文成绩存在着显著性差异(P=0.001<0.05)，这说明写作教学中使用批改网反馈比传统的教师反馈模式更有利于学生作文水平的提高，批改网在大学英语写作教学中的使用是值得推广的。

(二)实验后测作文语料分析

作文的质量不能仅从写作成绩角度考察，还应综合考虑其它多种相关因素，例如作文字数、词汇的使用情况、词汇丰富度、句长等。表3中使用软件Wordsmith4.0统计出了实验班和对照班后测作文语料的相关信息。

表3 实验班和对照班后测作文语料统计表

表3显示，除了平均句长，实验班学生的作文语料在库容量、形符、类符、标准化类符形符比、平均词长等指标方面均大于对照班。实验班语料的库容量为17068，对照班为13650。虽然我们不能说作文总是越长质量越高，但王初明等[7]认为作文的长度可以作为写作质量的一个指标。另外大学英语四六级考试在作文字数上的不同要求也从侧面上反映了作文长度是评价作文质量的一个重要指标。标准化类符形符比能反映词汇使用的丰富程度，其比例越高，说明学习者词汇选择的多样性越大。实验班标准化类符形符比为35.28，大于对照班(33.67)，因此实验班学生词汇更丰富，用词变化更大。平均词长不是作文质量的重要指标，但它能部分反映词汇的复杂程度。实验班平均词长(4.685)大于对照班(4.14)，实验班学生的用词复杂度较强。同平均词长一样，平均句长也不是反映学生作文质量的重要指标，实验班学生在平均句长这一指标上稍微低于对照班。

由此可见，实验班在使用批改网反馈后，在作文分数、作文长度、用词丰富程度、平均词长等方面均优于对照班，而在平均句长这一作文质量非重要指标上对照班略高一些。

(三)问卷调查和访谈结果与分析

为了进一步验证实验数据的有效性，了解批改网的使用是否增强了学生的英语写作兴趣和自主写作意识，以及学生对批改网在写作反馈使用中的评价如何，实验结束后对实验班73名学生进行了问卷调查，收回有效问卷73份，并访谈了6名学生，结果如下：

大多数学生对批改网在英语写作教学中的使用持肯定支持的态度，83.5%的学生认为批改网激发了写作兴趣和写作欲望，调动了自主写作意识和积极性，仅有6.4%的学生不赞同使用批改网系统。另外，78.9%的学生认为批改网的使用对写作中语法和用词的改善帮助非常大，72%的学生认为批改网有效提高了写作中内容和词汇的丰富性。86.9&的学生认为使用批改网后整体英语写作水平有了一定的提高，这也与本研究数据的定量分析结果相一致。

参与问卷调查和访谈的大部分学生认为，批改网具有如下优点：1.反馈及时、按句点评。学生在线提交作文后，批改网能实时针对拼写、搭配、用词、语法等按句点评，提供“学习提示”“拓展辨析”“推荐表达”等参考信息，并即刻给出总体反馈评语和评分，这有益于增强学生正确的语言使用意识，他们能积极主动地根据批改网的反馈信息对作文进行反复修改提交，直到得到满意的结果。2.批改网在实时反馈的同时，提供了大量实用的写作语料信息供学生参考。学生可以对照反馈意见，参照“句子错误”“学习提示”“语法检查”“推荐表达”等修改提示进行修改。此外他们还可以随时打开“学习提示”“拓展辨析”等链接的批改网在线写作知识库、语料库等，搜索查阅各种相关写作信息。学生在自我修改过程中不断自我思考、自我发现，发现语言使用规律，这对于其自我纠错能力和自主学习能力的提升非常有帮助。3.批改网为学生提供了个性化的写作成长轨迹和成绩轨迹电子档案。批改网在成长轨迹中保存了学生每次修改作文的记录和时间，以方便学生和教师可以随时查看。学生多次在线提交作文后，系统会详细记录下每次学生修改作文的痕迹，学生对作文的详细处理情况一目了然，并且系统会自动生成一个“成绩轨迹”表，直观地记录了学生的写作成长过程和进步情况，有利于学生进行写作学习的自我反思。4.优秀作文、文档共享功能及论坛功能。访问批改网提供的教师个人网站，学生可以查阅教师推荐的每次布置的写作任务中最优秀的作品，同伴间的相互学习变得异常便捷。学生还可以通过“共享文档”功能，分享教师上传的学习资源。批改网还有自己的写作论坛(http://bbs.pigai.org/)，学生可以在论坛上自由交流写作习得和体会，教师能够参与其中对学生进行写作方面的指导。这种师生、生生间的交流沟通，很多学生表示非常喜欢。

学生同时也指出，批改网在使用中仍存在着一些问题：1.批改网注重拼写、语法和用词方面的反馈，但对文章内容、逻辑性、篇章结构等关注得较少，学生在这些方面获取的帮助甚微。例如，访谈中学生谈到，有同学对作文“The Effects of Mobile Phone Addiction”题目理解错了，从正反两方面写了手机的影响，但批改网仍给出了12.5分的高分(满分15分)。另外批改网对于The sun is cooking happily in the kitchen for her children”之类的句子目前只能从语法上判断是正确的，却无法从语义上进行识别。部分学生作文写成一段、两段内容，而不是通常的三段、四段，作文的得分好像也没有什么影响。2.批改网做出的反馈有时比较笼统，对写作的指导性不强。比如访谈中学生指出，批改网能指出作文中的“疑似中式英语”，但是却没有提供具体的修改建议，一些基础较弱的学生往往不知如何改正，他们希望教师能基于此添加具体的反馈意见。3.部分严重的语法或用词错误批改网识别不了，反馈的准确性亟待提高。例如，“Nowadays, since entering university school, many students exposed with poor self-care ability.”，这句话中，university school应改为universities，exposed改成exhibit/demonstrate，批改网对上述明显的两处错误都没能识别出，这对学生写作质量的提升显然具有负面作用，也使批改网反馈的可信度大打折扣，这也是一些英语教师迟迟不敢使用批改网的原因之一。此时需要教师及时添加在线点评，与批改网反馈形成互补。

四、结语

本研究实验结果表明，相对于传统的教师书面反馈，批改网的反馈评阅在大学英语写作教学中更能有效促进学生写作水平的提高，实验班在作文分数、作文长度、用词丰富程度、平均词长等方面均优于对照班；对学生的问卷调查和访谈显示，多数学生对批改网的使用持积极的认可态度，认为批改网有助于发挥其写作学习的主观能动性，激发了写作热情，语法、用词、内容等方面也有了很大改善，提高了整体写作水平。在充分肯定批改网具有的反馈及时、按句点评、提供个性化写作成长轨迹等优点的同时，大多数学生一致认为批改网仍具有一些不足，如重语法用词、轻内容结构、反馈准确性不强等。针对这一问题，未来需要批改网研发人员和一线英语教师一起努力，逐步改进和完善这一自动批改系统，增强它的作文评改信度和效度；另外，英语教师可以综合不同写作反馈方式的优势，尝试构建一个融批改网反馈、教师反馈及同伴互评为一体的多元写作反馈模式，以切实提高大学英语写作反馈质量，最终提高学生的英语写作能力。未来研究可以就如何构建这样一个合理有效的多元写作反馈模式作更进一步的探索。