基于自动评阅系统的英语写作句法复杂度的发展研究

刘盛华

(黄冈师范学院 外国语学院, 湖北 黄冈 438000)

《大学英语教学指南》(2017年)要求“外语教学应大力推进最新信息技术与课程教学的融合”。与教材配套的学习平台革新了提升听说技能的传统学习方法。而自动评阅系统(Automated Essay Evaluation)的出现,则使学习者二语写作学习实现了自主化。该系统有两个功能:自动评分(Automated scoring)和自动反馈(Automated feedback)[1],前者在写作界里是一个复杂而富有争议的话题,极力支持者较少[2];反之,后者聚焦将计算机作为辅助写作的工具,引发写作界的兴趣[3]。基于此,软件开发者积极改进系统,提供形成性反馈(formative feedback),而不只是终结性评分(summative scoring)[4]。形成性反馈传递给学习者信息,旨在修正学习者思考或行为以促进其学习[5]。然而,研究者在学习者对平台反馈做出的反应方面知之甚少[6]。

句法复杂度(syntactic complexity) 主要用于评估语言水平、描述语言能力以及衡量语言发展,是衡量二语写作水平的一个重要指标[7-8]。国内课堂英语写作教学忽略二语句法复杂性和多样性[9]。从句法复杂度的角度分析自动评阅系统反馈对学生的英语写作的影响有重要的实践意义:一方面,本实证研究数据为不断提升自动评阅系统的反馈效果提供依据;另一方面,为完善在当前的英语写作教学中有效反馈模式提供新的思路。

一、研究背景

(一)自动评阅系统应用于写作的研究 目前国内大多数高校都在使用不同的自动评阅系统:iwrite英语写作教学与评阅系统、冰果英语作文智能系统、句酷批改网等。经过多年的发展和完善,这些系统都比较成熟。国内有关自动评阅系统的研究主要有以下几类:(1)不同在线写作系统之间的比较研究[10-11];(2)对系统自身的研究,如评分的信度和效度、评价模型构建[12-13];(3)系统对写作效果的影响研究[9,14-17];(4)自动评阅系统的反馈研究[18-23]。此外,还涉及到学习者写作动机、写作任务的研究[14,24]等。以上的研究对计算机辅助学习者二语写作的教学起着重要的指导作用,也为后期深入探讨提供了研究基础。

这些研究大多都肯定了自动评阅系统对二语写作的积极效用,也为其进一步完善提供了建议。鉴于自动评阅系统自动评分在学术界争议较大[2],我们从系统的自动反馈视角,探讨其对学习者二语写作的辅助作用。综合以上研究,以句酷批改网(下文简称“批改网”)为对象的研究较多[11,15-16,20,24]。其一,这可能是因为该系统推广应用面广的原因;其二,这也说明该系统比较成熟。因此,本研究的自动评阅系统以批改网为例。

(二)句法复杂度研究 句法复杂度(syntactic complexity),即句式的多样性和复杂度[25],指的是语言产出形式的范围和形式复杂化的程度,其中,多样性即句型的变化幅度,是对各类句式灵活、恰当的使用;复杂度指句子结构的复杂性[26]。它是衡量二语学习者语言发展的重要指标[7-8],因为它能反映二语学习者的句法储备及输出能力,关乎写作过程中概念资源和知识资源的整合[27-28]。长期以来,国内英语教学侧重语法教学,对句法复杂度和多样性的关注度不够[9]。此外,对句法复杂度的语言学习的描述相对不足[8],有关句法复杂度的研究比较混乱[29]。且现有的研究并未深入探讨句法复杂度的所有维度,导致相关研究的系统性和全面性缺乏[30]。显然,测量指标数量有限是影响前人研究结论的可靠性的因素之一[7,26]。在对前人有关句法复杂度研究的成果综合分析基础上,陆小飞博士开发“二语句法复杂度分析器(L2SCA)”,使用14种常用句法复杂度测量指标,实现对英语写作文本的自动分析,其主导的句法复杂度分析模型得到广泛的关注和应用,如Polio[31]等。

将自动评阅系统和句法复杂度结合起来研究较少。周丽的实证研究证明了自动评阅系统对学生的句法能力的培养有促进作用。她采用定量研究方法和Polio的句法能力参数及指标来考察句法能力的维度[9]。显然,类似研究仍有可以深入的地方,即使用更多的句法复杂度测量指标,而这正是本研究的着眼点,即以句法复杂度作为切入点,利用“二语句法复杂度分析器(L2SCA)”收集数据,探讨如何利用批改网帮助学生提高其写作能力,以促进自动评阅系统对课堂写作教学的辅助作用,更好地利用信息技术提高写作教学效率。

(三)研究问题 具体研究问题如下:

1.自动评阅系统模式下二语写作句法复杂度的变化总体特征如何?

2.自动评阅系统模式下二语写作句法复杂度各个类别指标具体变化情况如何?

二、研究方法

(一)研究对象 本课题以某二本地方高校2019级非艺术类大学英语本科生为研究对象。选择同一教师任教的同一专业的两个班分别为实验组和对照组,每班30人。

(二)研究工具和分析框架 本研究使用陆小飞博士的“二语句法复杂度分析器(L2SCA)”①为语料分析工具。该工具的测量指标见表1:

表1 句法复杂度分析器(L2SCA)测量指标

之所以选择“二语句法复杂度分析器(L2SCA)”,其原因有:第一,该工具免费易得;第二,该分析器被证明适合以英语为外语的学生写作研究[30];第三,该工具支持大规模数据分析,且得到国际和国内学者的认可,并被广泛使用[7,31-34]。

(三)研究步骤 实验前,利用批改网对学生进行前测,其数据作为与后期测试的对比依据。为了确保实验的准确性,利用批改网自身携带查重功能,凡是重复率超过10%的文章判为不合格,需要重写。此外,特别强调学生注意标点后空格的问题,避免系统错误判断句子数量,影响实验结果。在实验期间,两个班级做到课程规划、上课时间、任课教师一致,利用相同的写作题目进行写作练习。不同的是实验班学生利用批改网进行英语写作,并根据其反馈不断修改文章,修改参考标准即评分达到80分以上(系统自动评分只作为一种参考)。为了控制语类变量,前后测试使用难度相当的议论文体的写作题目。

三、结果与讨论

(一)自动评阅系统模式下二语写作句法复杂度的变化总体特征 为了了解自动评阅系统反馈对学生英语写作句法复杂度影响的总体特征的影响,本研究将实验组和对照组受试前测和后测中基于批改网反馈的修改终稿进行配对样本T检验,通过对前后两次测试有关句法复杂度五个类别共14种测量指标数据的比较,结果发现:

(1)根据表2,和对照组相比,实验组受试英文写作前测和后测在大多数指标上存在显著性差异,这说明自动评阅系统的自动反馈能促进学生写作的句法复杂度的发展。对照组的结果在一定程度上印证了李勇和邓红霞的发现,即学生接受或不接受教师修正性反馈都对学生英文写作的复杂度不产生影响[35]。但是,本研究却从自动评阅系统的反馈方式上,弥补了李勇和邓红霞研究设计的不足,也证明了尽管常规模式不会导致学生句法复杂度发展,但是自动反馈却可以。这或许是因为:批改网自动反馈即时快捷,提供了明确的修改意见,还兼有知识点的扩充,如同义、搭配、推荐表达等功能。此外,表2也反映实验组英文写作句法复杂度指标差异尤其清楚地体现在“从属子句使用量”“句子复杂度”和“特定短语结构”上。这表明常规教学书面修正模式在效率上不如批改网即时反馈对学生英文写作产生的影响。

表2 对照组和实验组前、后测终稿配对样本t检验结果

(2)对照组和实验组受试在从属子句使用量上都存在显著差异。这可能与学生写作能力发展阶段有关。本研究的受试为非英语专业大二学生,处于中级英语水平阶段。而国外学者研究发现,随着学习者水平从初级、中级到高级提升的过程中,其阶段性的偏好分别为并列结构、从属子句和复杂短语[8,36-37]。显然,本研究结果与前人的发现相吻合。

(3)和对照组不同,实验组受试还在句子复杂度和特定短语结构等三个类别都呈显著变化。根据以上提及的高级水平学生更善于使用复杂短语的特点,这一发现说明了自动反馈促使学生写作水平从中级向高级转化。

(4)相比较而言,单位长度和并列结构使用量变化不明显。本研究结果与鲍贵的“学习者写作长度指标增长速度快于密度指标”[38]的结论不一致。这可能是由于两项研究的时长、受试和受试考核目标上的差异导致的。鲍贵的研究对象是英语专业学生,是跨度为1-4年级的学生写作的复杂度发展的历时研究[38]。此外,专业四、八级考试的作文字数要求分别是300个单词和400个单词,而大学英语四、六级考试作文的字数要求只有120个单词和150个单词。更高水平的受试和写作字数的更高要求或许能解读两项研究在写作长度上的不一致的发现。同时,受试写作水平的发展阶段对特定结构的倾向,如初级水平偏好并列结构[8],这应该可以解释本研究中并列结构的使用无变化的原因。

(二)自动评阅系统模式下二语写作句法复杂度各个类别指标具体变化情况 为了更深入地了解自动评阅系统的反馈在不同时段对学生英语作文复杂度的发展影响情况,我们将实验组受试前测和后测中写作初稿和基于批改网自动反馈的修改终稿进行了配对样本T检验,并从陆小飞[30]的句法复杂度构成的五个类别分别进行具体分析和探讨。具体情况如下:

1.单位长度。根据表3,前测长度单位三个指标(MLS,MLT和MLC)的p值均大于0.05,这说明受试接受批改网批阅意见后所做的修改稿与初稿之间在单位长度方面无显著差异。后测配对样本T检验数据表明,批改网自动批阅系统能对受试的写作长度单位中的MLS和MLT指标产生明显的影响(p=0.017,0.005)。而在整个过程中,它对MLC的影响不呈现显著变化(p=0.365)。此外,表3中,前测平均值三项指标数据都为正数,这表明前测时初稿的句子、T单位和从句的平均长度都要长于终稿。这或许是实验初期,学生在断句方面存在不足[39],导致标点的误用,使得句子过长。批改网给予修改意见后,合理调整句子结构,导致句长缩短的情况,这说明自动评阅系统能指导学生处理基本的句法问题,如正确使用标点符号等。而后测呈现相反趋势,除后测中MLC外,其它指标都显示,终稿相关指标要长于初稿,这或许是经过自动反馈,学生学会写更长的句子。

表3 前、后测试初、终稿单位长度指标配对T检验

2.句子复杂度。表4数据表明,前测时受试根据自动评阅系统的反馈进行修改之后的终稿和初稿之间C/S不存在显著差异(p=0.071),而后测却有显著差异(P=0.014)。从均值来看,后测时,终稿在子句和句子比率的数值上远远大于前测,这说明自动评阅系统的反馈对学生写作中每个句子中子句的数量产生影响,即逐步增多。综上,即经过一个学期的写作练习,自动反馈能逐步影响受试的句子中子句的数量。

表4 前、后测试初、终稿句子复杂度指标配对T检验

3.从属子句使用量。根据表5,受试从前测初稿和终稿在从属子句使用量上几乎都没有显著差异。只是到了后测,四个指标的p值均小于0.05,说明后测中,初稿和终稿在从属从句使用量的四个测量指标上都呈现显著差异。其中,尤其是DC/C(p=0.000)和DC/T(p=0.000)差异更加显著。显然,从属子句使用量的变化直到6个月之后才有发生,这印证了鲍贵“学习者作文的句法从属度发展较慢”的发现,因为他的研究数据表明“各组在C/T和DC/C两个指标没有显著差异”[38]。此外,后测的各项指标反映出显著性差异,这和Norris &Ortega 发现是一致的,即中级水平的学习者阶段性偏好应该是从属子句[8]。

表5 前、后测试初、终稿从属子句使用量指标配对T检验

4.并列结构使用量。表6中,前、后测初稿和终稿配对T检验并列结构使用量的三个测量指标p值都大于0.05,这说明在整个实验过程中,受试的作文经过自动反馈修改后的终稿,并列结构使用量并未发生变化,这印证了“在线写作平台提升学生并列复句的能力不足”[9]的观点。在Norris &Ortega看来,“衡量初级水平的二语习作的复杂度时,并列结构比从属子句更敏感”[8]。而本研究受试英语水平处于中级水平,这或许能解释为什么本实验的样本没有体现出并列结构变化的原因。

表6 前、后测试初、终稿并列结构使用量指标配对T检验

5.特定短语结构。表7表明,后测初稿和终稿之间的VP/T、CN/T指标存在显著差异,尤其是后者差异更为明显,而CN/C却没有变化,这一发现也吻合了国外学者[8,36-37]认为的学习者处于高级水平阶段偏好复杂短语的使用。也就是说,本实验受试不但偏好从属子句的使用(见表5),同时也在动词短语和复杂名词短语方面有所提升,表明受试的写作水平逐步向高级发展。

表7 前、后测试初、终稿特定短语结构指标配对T检验

四、结语

本课题对60名学生利用自动评阅系统辅助EFL写作进行实验研究,通过句法复杂度分析器(L2SCA)分析EFL写作有关句法复杂度五个类别共14种句法复杂度测量指标数据,对其进行配对样本T检验。结果发现:在大多数指标上,受试在前测和后测之间存在显著性差异,这说明自动评阅系统的自动反馈能促进学生写作句法复杂度的发展。相比而言,传统的习作模式则反映出学生实验前后句法复杂度变化不大[2],甚至没有变化[19]。之所以自动评阅系统的自动反馈能促进学生句法复杂度发展,很大原因在于其反馈即时便捷、基于数据库的构建、修正性和推荐式结合的反馈方式等特点。虽然,从句法复杂性与作文质量关系的大小来判断句法复杂性的效用并不可取, 因为句法复杂性只是写作质量必不可少的一个方面, 但不是充分条件[40],“更复杂未必更好”[26]。但是,Wolfe-Quintero et al.认为,句法复杂度能够表明外语学习者精通熟练运用基础和复杂结构的能力[25],这说明写作句法复杂度能在一定程度上反映学生的写作水平。

本实验结果给大学英语教学带来启示,即在没有教师的指导下,学生是可以借助自动评阅系统实现写作能力提升的,这也有助于大学英语课程结束后的后续英语学习。同时,也提出了一些问题:没有老师的干预,句子复杂度发展很慢,几乎需要半年的时间。那么教师的干预是不是能加快学生写作句法复杂度的发展呢?自动评阅系统如何升级更新才能更好地辅助学生写作的复杂度发展?这些都是值得深入研讨的问题。