自动写作评分系统对作文句法复杂度的影响

陈小芳

(浙江师范大学 外语学院，浙江 金华 321004)

自动写作评分系统对作文句法复杂度的影响

陈小芳

(浙江师范大学 外语学院，浙江 金华 321004)

句法复杂度可以反映出学生的英语水平。借助句法复杂度分析器(L2SCA)对学生提交的初稿与终稿文本的分析，从句法复杂度的角度探讨了自动写作评分系统对学生作文输出的影响。T检验进一步证实自动写作评分系统会促使学生产出更为复杂的句子，尤其在字数和从属从句的运用上更为明显。

自动写作评分系统；句法复杂度；L2SCA；从属从句

引言

写作是语言输出的一个重要部分，然而，对多数外语教师来说，写作评价是一项艰巨而又费时的工作。为提高对学生写作评价的效率，自动写作评分系统应运而生。20世纪90年代研发了许多自动评分系统，如PEG ( Project Essay Grade), E-rater, Intellimetric, 以及IEA (Intelligent Essay Assessor) 。[1]与人工评价相比，自动写作评分系统能从多方面对学生的作文做出较为客观的评价。它不仅可以提高评分效率，而且可以从根本上消除由人工评价造成的差异，能较好地控制评分误差。[2]因此，自动写作评分系统被越来越多地使用到语言考试和外语教学中。如从1999年开始，美国教育服务中心已经开始把E-rater运用到GMAT和TOEFL。许多大规模考试的数据也已经证明E-rater具有极高的信度。[1]

近几年来，越来越多的大学英语教师开始使用自动写作评分系统以协助英语写作教学。国内很常用的一个在线自动写作评分系统就是批改网。这是一个基于语料库的在线作文自动评分系统，它不仅可以给学生的作文进行实时评分，还会给学生提供评语以及如何改进每一句中的词汇和搭配等的建议。

随着自动写作评分系统的广泛运用，国内已经有很多教师开始关注它们对大学生英语写作的影响。例如，石晓玲以句酷批改网为例研究了自动写作评分系统对英语写作的影响，发现评分系统“有效地激发了学生的写作兴趣”。[3]张双祥研究了冰果智能作文评阅系统在大学英语写作中的应用效果，提出尽管系统效果较好，但还是应该和教师评阅以及同伴互评相结合。[4]杨晓琼和戴运财则从自我效能和学习动机方面研究了批改网对大学英语写作的影响，发现批改网的使用有助于“提高学生的自主英语写作能力”。[5]可以说，国内对自动写作评分系统的研究已经取得一定的成果，但现有的研究中很少有从学生作文的句法复杂度角度进行分析。

一、句法复杂度

句法复杂度，也称为句法熟悉度或语言复杂度，指语言产出中句子结构的形式以及形式的复杂度。句法复杂度在二语研究中非常重要，因为语言的发展势必会引起二语学习者的句法知识库的增长以及改进该学习者在不同的场合正确运用这些知识的能力。[6]因此，研究学生作文的句法复杂度就可以大致了解他们的句法构建能力。

目前常用的句法复杂度的测量工具有Flesch-Kincaid Grade Level、Coh-Metrix和L2SCA。Flesch-Kincaid主要通过测量单词和句子的长度来判断句子的难易度，从而确定文章的可读性。尽管它操作简单，但它不能测量语篇意义、衔接和文体的差异。[7]Coh-Metrix 是由美国多名语言学家共同开发的在线文本分析工具，可以多方面分析语篇层面的词性、词频、语义内容、情景模式、词汇多样性、潜在语义分析、共指等多种语言特征。[7]

本研究采用的是宾夕法尼亚州立大学陆小飞博士研发的在线句法复杂度分析器(L2 Syntactic Complexity Analyzer, L2SCA)。句法复杂度具有四个主要的多维度特征：整体复杂度；并列子句；从属子句和短语复杂度。这四个多维度特征主要是通过字数(W)、句子(S)、动词词组(VP)、从句(C)、T单位(T)、从属从句(DC)、复杂T单位(CT)、并列词组(CP)、复杂名词性短语(CN)等来体现。句法复杂度分析器中共有5类14个测量指标：第一类是单位长度，即平均子句长度(MLC)、平均句子长度(MLS)以及平均T单位长度(MLTU)。第二类是句子复杂度，即每个句子中的子句数量 (C/S)。第三类是从属子句使用量：每个T单位中的子句数量(C/T)，每个T单位中的复杂T单位数量(CT/T), 每个子句中的从属子句数量 (DC/C)，每个T单位中的从属子句数量(DC/T)。第三类是并列结构使用量：每个子句中的并列短语数量(CP/C)，每个T单位中的并列短语数量(CP/T)，每个句子中的T单位数量 (T/S)。最后一类是特定短语结构：并列子句中的复杂名词性短语数量 (CN/C)，每个T单位中复杂名词性短语数量(CN/T)以及每个T单位中的动词短语数量(VP/T)。[8]

二、研究设计

1.研究问题

本实验意在探讨自动写作评分系统对非英语专业学生的作文输出是否有影响。如果有，又会体现在哪些方面。具体来说，就是要回答以下两个问题：

(1)非英语专业学生是否会有效利用自动写作评分系统的反馈对自己的作文进行修改？

(2)自动写作评分系统对非英语专业学生的作文输出在句法复杂度上会产生哪些变化？

2. 研究对象

共103名材料中文和机械设计专业的大一学生参加了本次实验。这些学生中94%的同学已通过了大学英语四级。在参加实验之前，所有的受试者均没有使用自动写作评分系统的经历。

3.研究工具

研究者主要通过L2SCA统计分析学生作文的句法复杂度，并运用SPSS中的t检验探讨自动写作评分系统对非英语专业学生作文输出的主要影响。

4.研究过程

学生按照六级要求写一篇150个单词左右的“Modern Technology and Human Intimacy”的命题作文。作文写完后，学生上传到批改网，由系统自动对学生的作文做出评分。为了解自动写作评分系统对学生作文输出的影响，在本次实验中，教师不对学生的作文进行人工评阅和在线反馈。为了鼓励受试者更好地利用自动写作评分系统所给的反馈，从而对自己的作文做出相应的修改，实验开始前，受试者就被告知这篇作文的终稿将以适当的比例纳入平时成绩。学生在提交作文后，在截止期内可以根据自动写作评分系统所给的反馈意见进行无限次的修改。

5.数据收集和分析

截止期后，研究者收集了批改网上提供的一系列数据：学生的第一次作文、分数、最后一次作文和分数以及修改次数。通过分析这些数据，初步了解自动写作评分系统对学生作文输出是否有促进作用。在确定自动写作评分系统会影响作文输出后，研究者选择了批改网上作文初稿和终稿分数差距在5分以上的学生的两次作文，运用句法复杂度分析器和SPSS进行更为深入的分析研究。

三、研究发现

研究者首先对自动写作评分系统的使用率进行了统计，结果发现：大部分学生都会利用自动评分系统提出的反馈对自己的作文作出进一步的修改。

1.非英语专业学生利用自动写作评分系统的反馈进行作文修改的情况

在这103名学生中，有11名同学没对自己的作文做任何的修改，只提交了一次。利用评分系统进行修改的学生共92名，占89.32%。

剔除了只提交过一次的11篇作文后，共得到了92名184篇作文。统计发现: 终稿的文章篇幅比初稿有所增加，从初稿的平均每篇187个单词增加到了每篇约198个单词。初稿的平均分是87.42分，终稿的平均分是92.84，人均修改次数为11.95次。除了2名受试者的终稿分数比初稿更低外，其他90名受试者的作文分数都有不同程度的提高。从分数以及修改次数上来看，绝大多数学生还是较好地利用了自动评分系统并对自己的作文进行了改进。换言之，自动写作评分系统对学生的作文输出具有一定的促进作用。

2.作文自动评分系统对句法复杂度的影响

在研究过程中，研究者发现学生的每一处改动，尤其是标点以及拼写的改动都会影响到自动评分系统给出的分数。因此，为了更为客观地了解自动评分系统对学生作文的句法复杂度的具体影响，尽可能降低单纯因为改变标点而变化的分数的影响，研究者只选取了前后两次分数相差在5分以上的84篇作文，借助二语句法复杂度分析器，统计了前后两次作文的多维度特征(表1)和14个测量指标(表2)。

表1 初稿与终稿在多维度特征上的差异

从表1可以看出，除了动词词组(VP)数量在终稿中有所降低外,其他所有指标都比初稿要高，特别是字数(W)、从句(C)、从属从句(DC)和复杂名词性短语(CN)。数量增加最多的是复杂名词性短语，从原先的949上升到1104。复杂名词性短语指的是含有以下一个或多个成分的名词短语：前置形容词，后置介词短语和后置定语。[9]复杂名词性短语的数量增加说明学生在修改作文过程中更加注重对高级语言的运用。从句和从属从句的数量增加也证实了这一点。相对而言，句子(S)、T单位(T)、复杂T单位(CT)、并列词组(CP)的数量增加并不明显。这说明在线自动写作评分系统对非英语专业学生的作文输出有一定的促进作用，虽然句子和T单位数量变化不大，但句子较之初稿更加复杂，在复杂名词性短语和从句尤其是从属从句的运用上更为明显。

表2 两次作文的句法复杂度测量指标

表2显示：在终稿的14个句法复杂度的测量指标中，只有平均子句长度(MLC)高于初稿，这同样说明学生的终稿在语篇长度上比初稿有改进。每个T单位中的动词词组数量(VP/T)几乎没什么改变。其余12个指标终稿都比初稿低，这主要是因为学生的终稿在句子和从句的数量上都比初稿有所增加。

为了进一步确定初稿与终稿的这些差异是否具有显著性，所有84篇作文的多维度特征与14个测量指标均被输入SPSS 19进行t检验。结果表明：尽管复杂名词性短语数量增加最明显，但t检验显示它的t值为-0.079, p = 0.432,大于0.05，因此，复杂名词性短语的数量改变并不具有显著性差异。

在多维度特征上，共有4项指数具有显著性差异，其中字数t(82)=-3.108，p=.003；句子t(82)=-5.563，p=0；T单位t(82)=-5.351，p=0。从属从句t(82)=3.294，p=.001。而在14个测量指标中，除了MLC、CP/C和CN/C外的11项指标均具有显著性差异，其中CP/T的p=.008，其他10项的p值均小于0.001。这说明自动评分系统对学生的作文输出在句法复杂度上具有显著的影响。

四、结果与讨论

经过L2SCA统计分析，约90%的同学会利用自动写作评分系统所给出的分数及其反馈对作文进行进一步的改进。而对没有利用自动写作评分系统进行作文修改的11名同学中，有10位同学的分数已经在90分以上。这说明自动写作评分系统的反馈是否能被充分利用，在某种程度上还取决于它给出的实时分数。一旦学生觉得提升空间不大，他们运用自动写作评分的反馈进行作文修改的概率就会降低。

对于利用评分系统进行多次修改的学生来说，一方面可能因为有分数的刺激，另一方面也因为评分系统给出了比较详细的改进方式。学生可以自行修改或者选择系统提供的修改意见对文章进行润色。某种意义上，这大大降低了学生修改作文的难度，让学生更愿意去改进作文。因而，大学英语教师可以充分利用这种自动评分系统，督促学生加强写作训练。

通过比较分析分数差异较大的作文，可以进一步发现：从句法复杂度的角度看，自动写作评分系统主要有助于帮助学生提高文章的篇幅，尤其是复杂名词性短语和从属从句的运用，但在并列词组的运用上并无多大改变。t检验表明复杂名词性短语数量的差异并不具有显著性，而句子、T单位和从属从句的增加则有显著性的差异。这说明单纯地按照系统提供的词汇进行作文的修改，并不能明显改变句子的复杂度。相对而言，一篇作文如果要取得更好的分数，学生应该更加关注句式结构上的复杂性。而这恐怕是很多同学在运用自动评分系统时容易忽略的一点。因此，在写作教学中，教师最好同时进行人工反馈，引导学生加强对句子结构的关注，多运用不同的句式。只有这样，才能最终提高写作质量。

五、结论

本次研究发现，如果给予适当的激励，绝大多数学生会充分利用自动写作评分系统对习作进行多次修改，直至达到自己满意的分数为止。从句法复杂度的角度看，自动写作评分系统对学生作文的促进作用主要体现在文章的字数的增加以及复杂名词性短语的运用。此外，学生在修改作文过程中，也会改进句子尤其是从属从句的使用。

当然，本次实验还有待完善，例如，如果结合人工反馈，学生的作文在句法复杂度上是否会有更明显的改进？不同体裁的文章在句法复杂度上是否也会有所不同？此外，实验过程也较短。但不管如何，有一点是不容置疑的，那就是，如果好好加以利用，自动写作评分系统必将提高大学英语写作教学的效果。

[1]Attali, Y. amp; Burstein, J. Automated Essay Scoring With e-rater V.2 [J].Journal of Technology, Learning, and Assessment, 2006, 4(3): 1-31.

[2]杨晨，曹亦薇.作文自动评分的现状与展望[J].中学语文教学，2012(3):78.

[3]石晓玲. 在线写作自动评改系统在大学英语写作教学中的应用研究——以句酷批改网为例[J].现代教育技术，2012(10)：67-71.

[4]张双祥. 大学英语写作教学中在线写作自动评价系统应用研究[J].当代教育理论与实践，2014(11)：100-102.

[5]杨晓琼，戴运财. 基于批改网的大学英语自主写作教学模式实践研究[J].外语电化教学，2015(2)：17-23.

[6]Ortega. Syntactic complexity measures and their relationship to L2 proficiency: a research synthesis of college-level L2 writing [J]. Applied Linguistics, 2003(4): 492-518.

[7]Arthur, C. Graesser. et al. Coh-Metrix: Providing Multilevel Analyses of Text Characteristics [J]. Education Researcher, 2011(5): 223-234.

[8]陆小飞，许琪. 二语句法复杂度分析器及其在二语写作中的应用[J].外语教学与研究，2016(3)：409-420.

[9]Yang, W. et al. Different topics, different discourse: Relationships among writing topic, measures of syntactic complexity, and judgments of writing quality [J]. Journal of Second Language Writing，2015(28)：53-67.

ClassNo.:H315DocumentMark：A

(责任编辑：蔡雪岚)

EffectofanAutomatedWritingScoringSystemonSyntacticSyntacticComplexity

Chen Xiaofang

(College of Foreign Languages of Zhejiang Normal University, Jinhua, Zhejiang 321004, China)

Syntactic complexity can reflect a student’s English proficiency. Using L2 Syntactic Complexity Analyzer (L2SCA) to make a contrastive analysis between the first draft and the final version of students’ writings, this paper analyzes the effect of an automated writing scoring system on students’ writing output from the perspective of syntactic complexity. The t test further proves that the automated writing scoring system could enable students to produce more complicated sentences, particularly in the use of more words and dependent clauses (DC).

automated writing scoring system； syntactic complexity; L2SCA; DC

陈小芳，硕士，讲师，浙江师范大学外语学院。

2096-3874(2017)11-0122-04

H315

A