在线写作自动评价系统应用研究

王莉

（洛阳师范学院公共外语教研部，河南洛阳471022）

在线写作自动评价系统应用研究

王莉

（洛阳师范学院公共外语教研部，河南洛阳471022）

大学英语写作能力的培养一直是较难解决的问题。然而，以现代信息技术为标志的语言教学现代化为解决这个问题提供了契机。本研究以形成性评价理论为依据，提出自主写作模型以指导实验过程，同时应用在线写作自动评价系统WRM2为写作和反馈工具，以问卷、教师日志、学生日志和访谈记录为数据收集工具，在两组学生中开展写作教学实证研究，试图探索融入WRM2系统的写作教学模式与大学生英语自主写作能力之间的关系。

在线写作自动评价系统；自主写作；形成性评价

一、研究背景

写作是语言学习的一个重要部分。然而,大学生英语写作能力的培养一直是较难解决的问题，这与大学英语学习和教学的现实状况密不可分。首先，教师给予学生写作的反馈多是一个分数、等级或是简单评语，因此不少学生得不到清晰、有效的指导；其次，面对日益增多的学生人数，教师批改作文的压力随之增加，导致反馈不能及时，学生的写作机会也在减少；最后，写作只是综合英语课的一部分，无专门课时,这就使学生不重视写作,因而不利于养成良好的自主写作习惯。以上现实迫切要求我们寻求科学高效的方式，来改变现有的大学英语写作教学、学习以及评价方式。

与此同时，以现代信息技术为标志和趋势的语言教学现代化为解决以上问题提供了契机。教育部2007年颁布的《大学英语课程教学要求》也指出应充分利用多媒体和网络技术，培养语言运用能力和自主学习能力的教学模式的转变。写作是语言学习和教学的重要技能之一，其评价和测试在朝着更加智能化的方向迅速发展。

鉴于以上写作教学发展趋势，笔者设计和尝试了融入WRM2在线写作自动评价工具的写作教学模式，目的是在形成性评价理论的指导下，探索新的写作教学方法和评价方法，促进学生积极主动地参与写作活动，培养学生的自主写作能力。

二、理论依据

形成性评价（formative assessment）的概念是由美国教育学家布卢姆（B.S.Bloom）引进教学领域的。它是在一个教学过程中针对学生的学习行为和能力发展而进行的过程性评价，并在同时通过多种形式对学生的学习行为、能力、态度以及合作精神等进行的持续性评价，其目的是帮助教师不断调整教学内容和策略，同时帮助学生掌控自己的学习过程，从而改进学习方法，提高学习效率。

由于形成性评价与教学过程的各环节密切相关，它为过程写作教学提供了依据。“写作是一个循环式的心理认知过程、思维创作过程、交互过程，写作者必须通过写作过程的一系列认知、交互活动来提高自己的认知能力、交互能力和书面表达能力。”（Zamel 1976;Raimes 1979;Flow⁃er&Hayes 1981;Krashen 1984)这就要求在课堂写作中，每个学生都能亲自参与到写作活动中去,也要求教师对学生的作文进行及时有效的反馈，这有助于学生不断地发现自己的不足，并从反馈信息中得到启发，对写作主题有新的认知和理解。因此，及时、准确的反馈对基于过程写作法的写作学习和教学极为重要。

本研究使用的在线写作自动评价系统是使形成性评价理论和过程写作法得以实现的有效工具。它为学生参与写作过程提供一个平台，使学生即时地调整写作任务，通过不断地且不受时间限制地修改作文，为学生提供反馈，帮助学生发现写作中的问题，及时修改，不断强化写作学习，从而提高学习的积极性，最终提高自主写作能力。

三、自动写作评价与Writing Roadmap 2.0

自动写作评价就是利用计算机技术对作文进行评估与记分(Shermis&Burstein，2003)。在欧美一些国家，在线写作系统已被广泛应用于大规模测试的评估及外语教学中（唐锦兰&吴一安，2011）。

相比之下，国内对于作文自动评价系统这种形成性评价工具的研究尚属初级阶段。近年来有学者研究了在线形成性评价工具对中国大学生英语写作能力发展的影响（唐锦兰&吴一安，2012；鲁艳辉等，2010；蒋学清等，2011），但是没有对该类系统在写作课堂的应用对学生自主写作能力的影响的相关研究。因此，本研究主要在前人研究基础上探索在线自动评价系统在大学英语写作课堂中的应用是否能够对大学生英语自主写作能力以及写作态度、写作成绩产生影响。

本研究使用的在线写作自动评价系统Writing Roadmap 2.0（以下简称WRM2）由美国麦格劳-希尔教育测评中心研发。它以母语为英语的学生语料库为基准，既能自动评分，同时又在结构、内容、遣词、语体、语法、写作规范及句式多样性等六个维度上对作文进行全面分析。系统还设置了电子白板供教师写评语，这样能帮助学生更全面地了解自己的作文水平和质量（王淑雯，2011）。另外，系统还提供如同义词典、段落提示、语法、拼写和风格检查等工具，融评分、反馈报告和写作辅助功能为一体，是学生练习英语写作、教师管理英语写作教学的有力工具。该测评中心还为中国学生研发了WRM2的中文版，功能和英文版完全一致，学生可以通过中文界面的帮助更清楚地认识自己作文的优缺点。

WRM2系统及时全面的反馈以及人性化的写作指导系统有利于激发学生的写作兴趣，帮助学生对写作过程进行自我管理和自我反思，从而有助于增强他们的写作自主性，逐步成为自主写作者。本研究就是对WRM2写作评价系统在自主写作过程中的应用情况进行的探索。

四、自主写作过程的理论框架——自主写作模型

（一）自主写作与自主写作能力

根据Holec对自主性的定义，笔者认为一个自主的写作者应具备以下能力：能建立写作的决心和信念，具有一定的写作认知能力；有明确的写作目标，能选择恰当的内容、材料和策略，制定具体的写作计划；同时能管理和反思整个写作过程。在本研究中，具备以上能力的学习者就具有自主写作能力。

（二）自主写作模型

根据自主学习的特征，借鉴Flower和Hayes（1981）提出的写作认知模型，笔者提出了自主写作模型（如图1）并把它作为自主写作过程的理论框架来指导在线写作的过程。我们假设学生在以下方面的自主性有助于提高写作能力。

（三）自主写作模型在本研究中的作用

基于以上自主写作模型，笔者设计了问卷I（信度系数0.92），用来测量学生的自主写作能力。问卷中的十部分中，除第一部分日常写作策略之外，其余九部分（读者意识、动机、外部资源、内部资源、动机、目标确定、组织、写稿、修改、自我认知）均源于此模型，问卷得分较高的学生被认为具有较高的自主写作能力。笔者依照此模型，引导学生进行在线写作，目的是为了让学生写作时充分发挥主动性，努力成为自主写作者。

五、研究过程

（一）研究问题

笔者设计的融入WRM2自动评价系统的写作教学模式，目的是在形成性评价理论的指导下，探索在线写作自动评价系统在大学生英语自主写作中的应用情况。据此，笔者提出以下几个研究问题：（1）学生对在线写作自动评价系统如何评价？（2）在线写作自动评价系统的应用与学生自主写作能力之间的关系如何？（3）在线写作自动评价系统的应用与学生英语写作成绩之间关系如何？

（二）受试

笔者从所教的七个班级中随机抽选两个班学生作为研究对象，其中实验组65人，物理专业；控制组70人，化学化工专业。对他们的期末考试总成绩进行的统计分析没有发现显著差异（t=-1.573,P=.112>0.05）,两组问卷I（t.=-.043，p=.932> 0.05）的统计和写作的前测（t=-.276，P=.778>0.05）之间也无显著差异。因此，两组总体语言水平相似，自主写作能力也相似，可以参加该实验。

（三）实验过程

为比较融入WRM2自动评价系统的写作教学模式和传统写作教学模式的差异，笔者开展了为期20周的教学实验。该实验分三步进行：前调查、写作教学过程和后调查。前调查包括两组都参加的限时写作前测和自主写作能力测试问卷I。写作教学过程中，笔者在实验班采用融入WRM2自动评价系统的写作教学模式，在对照班采用传统写作评改模式（即教师选题—学生写作—教师点评）。实验期间，教师在两个班采用完全相同的教学干预手段：写作策略培训、同学互相评改、教师课堂评讲、教师上传学生范文等。后调查中，两组同学都要参加限时写作后测并再次填写问卷I以检验实验效果，同时，实验组同学要填写问卷II（信度系数为0.826）来评价他们对WRM2系统的态度和看法。笔者还通过教师日志、学生反思日志和师生访谈来更全面地了解学生对该系统的评价。最后，用SPSS17.0对所有数据进行分析。

六、研究结果

（一）学生对在线写作自动评价系统的评价

数据分析结果表明：学生充分肯定了WRM2在线写作自动评价系统对学生写作能力多个方面的帮助，78%的学生认为自己在写作规范方面得到提高，66%的学生认为在语法和文章组织结构方面得到提高。

结合教师和学生日志，笔者认为这首先要归功于WRM2的写作思路指导功能。这些功能能帮助学生在写作前准确地审题和构思，指导学生在写作时规范自己的语言。另外，研究表明，反馈是形成性评价中最重要的环节，及时反馈对于学习的促进作用最大(Black&William，1998)。而在本实验中，系统的即时反馈与教师稍后更有针对性的反馈互为补充，这就促使学生不断修改作文，从而提高写作能力。

其次，WRM2系统可以帮助学生改进写作态度，这一点得到了多数学生的肯定。68%的同学认为，该系统可以帮助自己提高写作兴趣，从而增强写作信心。教师日志中对于第三次写作修改次数的统计数据也有同样的发现：修改次数大于6次的有5位同学，修改次数在4～5次的有9位同学，修改次数在3～4次的有28位同学，修改次数在2次左右的有19位同学，修改次数为1次的只有5位同学。可以说，在线写作系统激发了学生写作、修改的热情。因此，72%的同学“愿意继续使用该系统来提高英语写作”。

问卷II中的最后四题是有关该系统的缺陷。统计数据显示，45%同学承认“写作网站有时登录不上,系统不稳定”。笔者认为这和校园网有很大关系。因此，要在教学中充分利用计算机技术提高教学质量，需要稳定的环境和设备支持，这一点在周颖（2011）的研究中也得到证实。

此外，56%的同学认为“系统的帮助功能还需再完善”“可以把中英文放在同一个界面，我们对评语就好理解多了”。在学生日志中，还有不少学生提出“应该建立范文库，给学生提供更多的参考。”可见，该系统有待更加智能化，特别是应该考虑如何满足不同水平的学生要求。

（二）在线写作自动评价系统的应用与学生自主写作能力之间的关系

实验后两组学生自主写作能力独立样本T检验结果显示：控制组的均值为103.82，实验组的均值为118.50，超过控制组。独立样本检验值（t=-6.068,p=0.000<0.01）也表明，两组后测中的自主写作能力存在显著差异。因此，运用WRM2的写作教学比传统写作教学更能提高学生的自主写作能力。

以上数据分析充分说明，在线写作自动评价系统WRM2是提高学生自主写作能力的有效工具。原因有如下几点：在写前阶段，老师利用WRM2系统中的“写作思路指引”功能详细解析题目要求，帮助学生对写作任务有清晰的理解，学生也能较快地确定写作计划，写出初稿。初稿完成后，学生可用《语法拼写检查》《近义词辞典》和《句法分析》等辅助工具反复修改，并且可以反复打分，及时得到每次修改的建议。这样学生可以随时掌握自己在写作中的进展，反思自己的不足，不再像以前在传统写作模式下，只等老师去评价和督促自己，而是在WRM2系统所提供的环境中扮演主体角色（王淑雯，2011）。

（三）在线写作自动评价系统的应用与学生英语写作成绩之间关系

实验后，两组写作成绩对比结果显示：控制组得分均值为9.8906，实验组的均值高于控制组，为10.9902。另外，t值表现显著（t=-3.736，p=0.000< 0.05），表明后测中两组得分有显著差异。因此，与传统写作教学法相比，融入在线写作自动评价系统的写作教学更能提高学生写作成绩。

前人的研究（Rich etal 2008；唐锦兰&吴一安，2012；鲁艳辉等，2010；蒋学清等，2011；张晓青，2012）也得出了同样的结论。笔者认为：原因有如下几点：第一，WRM2提供的“写作思路指引”“语法拼写检查”“近义词辞典”和“句法分析”等功能能帮学生进行反复修改和重写。当学生发现作文某些地方被标出错误时候，会努力去修改，查找参考资料，请教老师和同学，在此过程中，语言能力得到提升是必然的。第二，系统的即时反馈与教师稍后个性化点拨互为补充，能激发学生不断修改作文，提高写作能力。第三，WRM2创建了学生自我监督、评估、修改的良好环境，促使学生增强写作自主意识和能力，逐渐成为自主学习者。

以上研究结果都证明了把在线自动写作评价系统WRM2引入大学英语写作教学的有效性与可行性。

七、结语

形成性评价方式和具有自动反馈功能的在线写作工具在促进非英语专业大学生的写作能力方面可以发挥积极的作用，有助于学习者对学习进行自我评价、自我反思、自我管理，增强了学习者的自主写作能力。但是WRM2在功能智能化、资源库建设方面仍有局限，它的适用性还有待进一步探索。

同时，本研究虽然证明了把在线自动写作评价系统WRM2引入大学英语写作教学是必要、可行而且有效的，但是受试者类型不够丰富，也没有足够大的样本，试验周期不够长，今后的研究应尽力弥补以上不足，以增加研究的信度和效度。

[1]Attli,Y.Exploring the feedback and revision feature of cri⁃terion[R].Paper presented at the annual meeting of national council on measurement in education,San Diego,CA.Ameri⁃ca,April 2004.

[2]Black,P.&D.William.Assessment and classroom learn⁃ing[J].Assessment in Education,1998,5(1).

[3]Burstein J.&Chodorow M.Automated essay scoring for nonnative English speakers[EB/OL].http://www.ets.org/Media/ Research/pdf/erater_acl99rev.pdf,1999-06/2006-03-20.

[4]Burstein J.The e-rater scoring engine:Automated essay scoring with natural language processing[A].In Shermis M D &Burstein J(eds.)Automated Essay Scoring:A Cross-disci⁃plinary[C].Mahwah,NJ:Lawrence Erlbaum Associates.2003.

[5]Dikli S.Automated essay scoring[J].Turkish Online Jour⁃nal of Distance Education,2006,7(1).

[6]Dornyei,Z.Research Methods in Applied Linguistics: Quantitative,Qualitative and Mixed Methodologies[M].Ox⁃ford:OUP.2007.

[7]Elliot,S.&C.Mikulas.The impact of My access!used on stu⁃dent writing performance:A technology overview and four stud⁃ies[R].Paper presented at the Annual meeting of national coun⁃cil on measurement in education,San Diego,CA.,America, April 2004 and New York:Pergamon.

[8]Waeschauer M.&D Grimes.Automated Writing Assessment in the Classroom[J].Pedagogies:An International,2008(3).

[9]Flower,L.&Hayes,J.R.A Cognitive Process Theory of Writing[J].College Composition and Communication.1981.32 (4).

[10]Krashen,S.D.1984.Writing:Research Theory and Appli⁃cationsM.Oxford.

[11]Kukich K.Beyond Automated Essay Scoring[A].In Hearst M A(ed.).The debate on automated essay grading[J]. IEEE Intelligent Systems,2000(5).

[12]Lonsdale D&Strong-Krause D.Automated Rating of ESL Essays[EB/OL].http://acl.ldc.upenn.edu/W/W03/W03-0209. pdf,2003/2006-03-20.

[13]Page E.B.Project essay grade:PEG[A].In Shermis M D &Burstein J(eds.).Automated Essay Scoring:A Cross-disci⁃plinary Perspective[C].Mahwah,NJ:Lawrence Erlbaum Asso⁃ciates,2003.

[14]Raimes.A.Problems and Teaching Strategies in ESLcc⁃mpositions[MJ.Arlongton,VA:Center for Applied Linguistics. 1979.

[15]Rich,Changhua Sun,Harrington,H.,Kim.,J.&West,B. Automated essay scoring in state formative and summative writ⁃ing assessment[R].Paper presented at AERA New York City, March 24,2008.

[16]Shermis,M.D.&Burstein,J.(2003).Automated Essay Scoring:A cross disciplinary perspective.Mahwah,NJ:Law⁃rence Erlbaum Associates.

[17]Zarnel.V.Teaching composition in the ESL classroom: What we can learn from research in the teaching of English[J]. TESOL Quarterly.1979(10).

[18]蒋学清，蔡静，唐锦兰.探析自动作文评价系统对大学生英语写作能力发展的影响[J].山东外语教学，2011(6).

[19]鲁艳辉，谭福民，彭舜.智能写作评分系统在大学英语写作中的实证研究[J].现代教育技术，2010(6).

[20]唐锦兰，吴一安.在线英语写作自动评价系统应用研究述评[J].外语教学与研究，2011(02).

[21]王淑雯.如何利用Writing Roadmap 2.0进行在线英语写作反馈[J].现代教育技术，2011(3).

[22]吴一安，唐锦兰.融入自动评价系统的英语写作实验教学对高校英语教师的影响研究.外语电化教学，2012(4).

[23]谢春贤.语作文自动评分及其效度、信度与可操作性探讨[J].江西师范大学学报，2010(2).

[24]张晓青.浅谈Writing Roadmap TM2.0在高职高专英语写作教学中的应用[J].教学方法，2012(2).

[25]周颖.在线形成性评价工具在英语写作中的应用：困难及对策探究[J].现代教育技术，2011，21(9).

[26]张英.写作教学中的反馈对教学双方认知行为的影响[J].外语界，2000(1).

(责任编辑：陈丽娟）

The Application of Automated Online Writing Assessment System

WANG Li
（Public English Teaching and Researching Department,Luoyang Normal University,Luoyang 471022,China）

The cultivation of writing competence in college English has long been a tough question.Meanwhile，modern information technology，a sign of the modernization of language teaching,offers an opportunity to solve the above problem.This empirical study is based on formative assessment theory,and is carried out under the aid of WRM2 and an autonomous writing model raised by the author.At the same time,all the statistics are collected through various instruments,including two questionnaires,teacher and students'journals and interviews.In this study,the author tries to explore the relationship between WRM2 and autonomous English writing competence of college students.

automated online writing assessment system;autonomous writing;formative assessment

H315

A

1673-2998(2015)01-0100-05

2014-01-30

全国教育科学十一五规划教育部重点课题“基于现代信息技术的形成性评价工具的应用研究”子课题“形成性评估工具在大学英语写作教学中应用”（项目编号：GFA097005-H04）的部分成果；河南省社科联调研课题“在线写作自动评价系统对大学生英语自主写作能力的影响研究”（项目编号:SKL-2012-1529）的部分成果。

王莉（1980-），女，河南洛阳人，洛阳师范学院公共外语教研部讲师，硕士，主要研究方向：应用语言学与英语教学。