冰果英语智能作文评阅系统在大学英语写作教学中的应用探讨

曾剑

(成都理工大学外语学院，四川成都 610000）

冰果英语智能作文评阅系统在大学英语写作教学中的应用探讨

曾剑

(成都理工大学外语学院，四川成都 610000）

英语写作是英语输出的重要途径，也是英语教学的重点和难点。在强调以输出为驱动的教学理念下，为有效提升学生的输出能力，有必要改进英语作文的教学手段。该文通过实证研究，对冰果英语智能评阅系统在大学英语写作教学中的应用及面临的问题进行了探讨。提出充分利用现代教学手段，使智能评阅有效地辅助人工评阅，提高学生的写作积极性，提高英语写作水平，提升英语综合运用能力。

智能作文评阅系统；大学英语写作教学；应用探讨

一、研究背景

（一）大学英语写作教学的现状

英语写作是用英语进行文字表达和信息传输的重要方式。英语写作是学生学习的难点。不少学生一提到写作，就陷入了写作焦虑——害怕写作文、害怕自己的作文得到差评、进而想方设法逃避写作。英语写作也是教师教学的难点。面对堆积如山的作文本，教师不得不对作文进行低效率拼写和简单语法错误的修改。一次写作练习周期可能要达到一周以上。教师评阅负担重，评阅周期长，导致学生写作练习频率低。据2013年1月和7月大学英语四六级考试西南交通大学阅卷点的两次阅卷统计数据，以15分为满分对接近50万份四级作文进行评阅，结果平均分始终在5.8分左右，得分率仅仅为38.67%。不可回避的事实摆在面前：大学生英语写作能力亟待提高。英语写作教学的改革迫在眉睫。

（二）引入人工智能评阅系统的可行性

多媒体技术早就大量应用于英语的视听教学中，对提高学生的听说能力发挥了重要作用。但英语的写作教学还一直停留在传统的教学模式。近年来计算机硬件和软件技术快速发展，语言处理技术也日新月异。在英语写作教学中，我们完全可以借助多媒体技术来激发学生的写作兴趣，优化教师的评阅效率。冰果英语智能作文评阅系统在技术上已经相当成熟可靠，该系统已经在全国32个省和直辖市的450多所高校广泛使用。教师可以通过该系统布置作文，并设置作文提交时间，可以对提交的作文进行存档，方便教学管理。老师可以在机器评阅的基础上，进行人工评阅，设置范文，或者全班讲评。学生在提交作业时，可以根据系统的一些错误提示，比如单词的拼写错误、简单的语法错误、词语的搭配提示等，进行作文的自主修改。系统的初查纠错功能是最显著的一个特点。在作文提交时间结束后，该系统可以对所有作文自动评阅。同时，学生可以查看系统给出的作文评分和评语。这些鼓励性的评语有助于调动学生的写作积极性。借助该系统，学生能多练多写，教师能省时省力。

二、实证研究

为验证智能评阅与人工评阅是否具有一致性，评阅能否真正反映学生的语言能力，我们用一个学期的时间，对该系统在英语写作教学中的运用进行了教学实证研究。

成都理工大学2011级空间技术、公共事业管理、应用化学、电气工程等4个不同专业共计255名非英语专业大学二年级本科生参与了本次研究。进行人工评阅的老师多次获得大学英语四六级优秀阅卷员称号，能公正地对学生作文进行准确评估。

三、研究设计

本研究的工具是学生的作文样本。实验对象本学期共进行了6次冰果作文写作，每次写作任务的提交时间从1—7天不等，每次作文的难度基本相同。教师首先通过系统的人工评阅方式对学生作文从语言、内容、篇章结构三方面进行整体评分，并给出评语，分数等级是0—15分。然后根据人工评分的平均分给冰果智能评阅系统设置好相应期望平均分值，系统经处理得到学生作文的分数和评语。实验中对每次作文的人工和冰果评出的分数进行差异分析和相关分析。6次分析所得到的结论基本一致。现随机抽取其中的一次作文数据分析展示如下。

（一）分析介绍

目的：验证人工评分和机器评分之间是否存在差异，以及他们之间的相关程度。

数据：学生的英语作文成绩，分别由人工和机器评分，共255对。

方法：针对两者之间是否存在差异，采用等方差检验方法；对相关程度采用Pearson相关系数作评定分析。

（二）统计分析

1.基本统计描述

图1是学生在该次作文中的成绩分数段分布情况：蓝色表示在人工评阅状态下的各个分数段的人数，红色表示在冰果系统评阅状态下的各个分数段的人数。

从表1可以看出，在设定期望平均值都是9.34分的情况下，在各个分数段的人数分布上，人工评分和机器评分还是存在一定的差异。最明显的是机器评分不能完全甄别出差生的作文，分数过于集中表1是学生在该次作文中的平均分，以及分数区间。在8-10分。趋中比较明显。通过与该班学生上学期期末英语考试的基础部分得分进行一一对比分析，发现人工评分更能体现学生的个体差异。下面我们通过发现差异性分析的实验方法来进行验证。

图1

表1

2.差异性分析

我们采用等方差检验法。其目的是为了检验两组数据的总体方差是否相同[1]。方法如下:

(i)检验假设H0:(显著水平α设为:0.05)

(ii)求构造统计量F0和自由度φ1，φ2的值

(iii)判定:显著水平在0.05时，如果F0≥F临界值，则H0不成立，H1成立;如果F0＜F临界值，则H0成立。

这里σ21和σ22分别是人工评分方差和机器评分方差。因此，统计结果如下:

从结果可以得出以下结论:因为在显著水平α为0.05的情况下，F0≥F临界值，因此H0不成立。换句话说，从统计学角度看，人工评分和机器评分的总体方差不相同，即它们的离散度不相同。人工评分更能准确地反应学生的个体差异。

由于我们在进行两种评分对比时，根据人工评分的平均值给冰果系统人为设置了同样的平均数值，所以人工评分和机器评分之间的均值不存在差异。这也是为了取得一个一致的数据对比环境。

3.利用Pearson相关系数进行相关性分析

接下来我们对两者间究竟存在多大的相关进行分析。语言写作测试研究中较多采用的数据标准是相关系数分析法。所以我们采用的方法是Pearson相关系数。相关系数的计算公式如下:

这里，P(X，Y):Pearson相关系数

Cov(X，Y):X和Y的协方差

V ar(X)，V ar(Y):分别是X的方差和Y的方差

Pearson相关系数的取值范围是1和-1之间。具体的取值意义如下页表2。

表2

通过计算得出样本的Pearson相关系数是0.79。而相关系数0.8被一致认定为写作测试中理想的标准。根据上表，我们可以看出人工评分和机器评分之间存在很强的正相关性。

通过以上的对比研究论证，我们可以得出这样的结论：在设定同样得分均值的情况下，冰果系统的评分与人工评分有很强的正相关，但二者的总体方差不相同，即它们的离散度不相同。冰果系统的评分稍显趋中，而人工评分更能准确地反应学生的个体差异。需要说明的是这4个专业的实验对象在本学期共进行了六次类似的对比分析，所得到的结论基本一致。

四、运用智能评阅系统需要注意的问题及建议

以上研究表明，单就作文评分总体而言，智能评阅系统与人工评阅系统吻合度较高。但在实际应用过程中，我们也发现该系统存在一些不尽如人意之处。

（一）系统的培训功能被学生忽视

学生未能充分利用系统提供的范文，写作技巧等模块来增加写作知识的有效输入。部分学生主动写作意识依然淡漠，每次在提交的作文里都会发现5%左右的雷同卷。建议：在使用该系统前，教师要有意识地引导学生熟悉了解该系统的各模块功能，尤其是范文和写作技巧部分。不能仅仅把冰果系统当成一个输入界面。

（二）系统的纠错功能有待优化升级

系统对学生提交的作文会对单词拼写和一般的语法错误进行提示。但这类提示存在不准确的地方。部分错误系统无法识别。尤其冰果系统不能指出学生作文在篇章结构方面存在的问题。这恰恰是学生作文的短板。词语的搭配提示不够精练，也没有给出足够的例句。部分学生写作习惯与纸质写作时的写作习惯没有改善。即缺乏宏观写作策略，事先不拟提纲，构思不充分，思路混乱，想到哪里就写到哪里，缺乏对作文进行自主修改的意识。建议：系统完善词语搭配的模块，使之更精练和实用[2]。突出一些高频词语和重要短语的搭配使用。删除那些使用频率低，过于简单的词语解释。教师应该强调系统的纠错功能，引导学生在初稿完成后再进行自主修改，养成良好写作习惯。系统可以监控并记录学生是否利用了纠错功能来自我修改。

（三）系统的任务周期不宜过长

通过对学生的回访，大部分学生认为在领受任务后3天内，会保持一种紧迫感。超过3天，就会产生松懈情绪，部分同学甚至忘记了写作任务；或者提交后不会主动去查看系统的反馈信息。建议：在使用该系统时，有必要保持一种快节奏的写作频率，提交任务的时间在3天以内，促使学生在较短时间内完成一个写作周期：领受任务—提交作文—系统反馈—课堂点评。

（四）系统的评语千篇一律

系统对学生作文给出的评语不能充分指出作文的不足，针对性不强。给出的分数也普遍偏高，且趋中。总的来说，该系统目前的评阅还处于粗放形式。如果一味依赖该系统，容易造成师生感情隔膜。建议：老师在人工评阅时要对作文的篇章结构、语法错误、用词的准确性进行把关，并提出修改意见。教师要认真给出评语，通过人工评阅进行师生的情感交流，和谐互动，对作文中出现的典型问题应该针对性地进行课堂点评。

英语写作是英语输出的重要手段，也是英语教学的重点和难点。冰果英语智能作文评阅系统可以把老师从繁琐的作文批阅中解放出来。能缩短学生写作练习周期，提高写作练习频率。借助这一先进的多媒体平台，可以培养学生主动写作的意识，学生可做到多写，敢写。老师通过这一辅助手段，可以对作业进行有效管理，并对作文的语言质量、内容质量、篇章质量提出有针对性的反馈意见。但该系统只是英语写作教学的辅助手段，完全依赖它来给作文进行准确的评判还不具备可行性。只有“机器评阅+人工评阅+课堂互动点评”有机结合起来，才能提高学生的写作积极性，从而提高英语的写作水平和英语的综合运用能力。

[1]陈芸.大学英语写作教学中应用自动作文评分系统的实证研究[J].鸡西大学学报,2012(10).

[2]吴丹,张青妹.大学英语作文智能评估与人工评估的对比分析[J].中国电力教育,2011(1).

G642.4

A

1673-8535(2014)01-0104-05

曾剑（1970-），男，成都理工大学外语学院讲师，研究方向：英语教学、跨文化交际。

（责任编辑：高坚）

2013-11-26