论大学英语作文在线自动批改的维度缺失和人工干预

杨昌周　彭思祥

摘 要：英语作文在线自动批改成为学生提高写作水平和高校进行“百万同题”作文竞赛的海选帮手，但经分析可知，此评价系统对作文进行质量反馈时和提出修改建议时侧重于语言图式，较少关注形式图式，缺失对内容图式的关注，因此，应该进行人工干預，在海选评价中随竞赛级别的提高而增加人工干预的权重，在提高学生写作训练中适当地增加人工批改的批注和现场点评。

关键词：大学英语写作；作文在线自动批改；作文评价；图式

随着社会科技的发展，现代教育技术和教育教学深度融合的理念渐入人心，英语作文批改网无疑是践行此理念的行动之一。英语作文批改网是一款基于云计算智能批改英语作文的在线服务系统，它通过计算学生作文和标准语料库之间的距离，即时生成学生作文的得分和语言及内容分析结果，除了给作文自动打分外，还提供作文的整体评语，并在词汇、语法、用词、表达不规范的地方给予反馈提示，给学生修改的建议，以提高学生的英语写作水平。它不但及时反馈学生的作文质量和提供改进建议，而且还减轻了英语教师的工作量。同时，此评价系统成为了高校进行“百万同题”作文竞赛的海选帮手。那么，英语教师在培养学生的写作能力上是否可以籍此利器而高枕无忧呢？作文竞赛中海选的评比结果的信度如何呢？这需要对在线批改的评价维度是否涵盖了作文的质量指标进行考察和审视。

一、作文质量的核心评价维度

作文是传递信息和阐述意义的符号性载体，此载体内部要素指向同一旨意并且相互联系，涉及到三个方面：语言图式，信息图式和形式图式，语言图式指语言项目，包括词汇、短语、句子、语法等方面；信息图式指符号所表达的信息结构和世界图式；形式图式表示语言符号传递信息所采用的语言组织形式。因此，判断作文的质量，涉及三个维度：语言知识、信息内容和结构形式。语言知识涉及词汇、短语、句式、句法、语法等。信息内容包括内涵、结构和容量。内涵要切题，具价值性、教育性、创造性。结构指信息项目之间具有条理性和逻辑性，容量指信息含量丰富，不能过于简略，支持材料要丰富生动。结构形式指语言组织形式要符合规范，遵循已有的信息传递模式，体现出连贯性和衔接性。

二、在线作文自动批改的评价维度

为了了解在线作文自动批改的评价维度，研究通过分析在线批改界面中呈现的评价话语和修改建议，提炼出评价维度。通过分析可知，提交在英语作文批改网上的每一篇得到反馈，反馈方式包括评价和提出修改建议，评价有总体评价和按句点评。在总体评价中，评价维度主要有格式、词汇、衔接词、短语、句子和结构。在按句点评中，既包括错误分析，又包括改进建议，建议方式包括推荐表达、拓展辨析、近义词表达学习、学习提示，详情见下表1所示。

三、在线作文自动批改的维度缺失表现

根据作文质量评价维度可知，在线作文自动批改主要集中于语言图式评价，较少涉及形式图式评价，缺失内容图式评价。

在语言图式评价上，评价项目主要涉及书写格式、词汇的难易度、短语搭配、句式复杂度、句子规范度。在语言图式方面的修改建议中，主要集中于词汇层面，通过推荐表达、拓展辨析、近义词学习和易混词提示等方式完成。在语言图式的评价上，在线自动批改做得很精细，单词的拼写是否正确等细节可以得到精确检测。

在形式图式评价上，评价项目主要涉及格式规范、过渡词和衔接词的使用以及整体结构质量。对格式规范问题检测很精准。对形式图式的评价方式体现为通过对“过渡词”和“衔接词”的使用是否丰富、合理进行描述，或者用“结构严谨”或“行文流畅…”之类的词进行描述。从中看出，在形式图式评价上存在以下不足。

其一，对语篇结构的评价较少。在总体评价的话语里，“过渡词”和“衔接词”出现频次较高，对整体结构进行评价较少。其二，对语篇结构的评价用语较为模糊。在结构层次的评价中，例如“结构严谨”“行文流畅”“结构不错”等描述用词，涵意大而笼统，难以精确定位文章在结构上的优点和缺点所在。即使高频使用的“过渡词”和“衔接词”，在信息传递上也较模糊，“丰富的”“恰当好处”“简单的”等限定词难以指明努力方向。其三、缺乏结构层次的修改建议。修改建议集中于单词和短语的推荐表达，虽然在总体评语里面有关于衔接词、过渡词和结构的概述，但是在修改意见里缺乏关于这些方面的具体修改意见，缺乏对语义连贯和语篇衔接关注，对语篇的语义断裂和逻辑凌乱等现象不予提及。

在内容图式上，缺乏对作文内容、意义、价值等方面的评价，对作文的信息丰富程度、思想深度和教育启迪性等方面没有提及。可以说，在线自动批改作文侧重于形式，而忽视了内涵。

总之，在线作文自动批改评价系统为学生写作提供了即时反馈，并提出了修改建议，成为学生自学英语写作的好帮手，特别是在写作基础阶段，对作文中的词汇、句式、句法、语法等语言项目进行了详细评价和提出修改策略。这一点甚至比人工修改更加详细，尤其是在同义推荐表达上，其源于语料库的资源比人工修改能提供更多的备选项目，这无疑为丰富学生的语言表达提供了坚实的支撑。然而，如果英语写作进入了中阶或高阶阶段，以语言图式为聚焦点的评价信度就受到了影响，如果说，两篇作文在语言项目上差异性不显著，那么就应该从形式图式去评价内容的整体性、逻辑性、连贯性等，以及从内容维度却评判信息的丰富性、内涵的深刻性和价值的启迪性等。因此，对在线作文自动批改进行人工干预是必要的。

四、对在线作文自动批改的人工干预措施

在线作文自动批改评价系统为学生写作提供了即时反馈，为基础阶段写作提供了语言表达方面的修改建议，这种及时反馈缩短了自我强化时间，加深了学习效果。但是，这种基于语料库而进行的语言图式的单维度评价不足以评价优质作文，也不利于产生优质作文，如果将作文在线自动批改作为作文竞赛的助手，那么，其可信度是否得以保证？如果要加人工批改，各自的权重应该为多少？因此，如果需要人工修改对在线自动批改进行干预，那么就需要进行科学的研究，干预性研究方案包括以下内容。

首先，组建人工批改队伍，对每个批改老师在同一批改对象上的评价分数是否具有一致性，同时，在间隔若干时间后，同一批改样本进行再次批改，以检验批改分数的稳定性，从横向和纵向上确定批改分数的效度和信度。

其次，在保证人工批改的信度和效度的基础上，进行作文在线批改和人工批改的对比研究，比较两者之间的差异性是否达到显著水平。这种比较要按照作文水平来进行，检验两者的批改分数在不同层次的作文上是否存在差异的显著性。非英语专业的一、二学生为第一层次，英语专业的一、二学生为第二层，英语专业的三、四学生为第三层。通过对比研究，看在线自动批改的分数与人工批改的分数的差异显著性是否明显。

如果两者的分数差异不显著，就认可在线自动批改的评价结果。如果两者的分数差异显著，需要分析存在差异的评价维度有哪些，思考如何通过各个维度的权重分配来尽量降低这种差异导致的不公平。例如，如果在线自动批改侧重于语言图式，即词汇、语法、句子等是否规范，而人工批改侧重于内容图式和形式图式，即内容信息量、深度、价值、教育性以及语篇的连贯性和衔接性，那么就对语言图式、内容图式和形式图式进行权重分配，因为权重分配会随着作文等级的上升而调整，作文等级越高，其在语言图式上得分越趋相同，此维度的区分度就越低，因此，对等级高的作文，内容图式和形式图式所占的分数权重就越大。根据此权重分配方案，综合在线自动批改的分数和人工批改的分数，得出较为合理的分数。

当然，如果即使两者差异明显，但是同一批改行为的内部差异性相似，也就是虽然人工批改分数和在线自动批改分数虽然不同，但是他们对某样本群体所作的等级鉴定是一样的，那么，就可以在竞赛活动的海选层次上承认在线自动批改的评价结果。

总之，在线作文自动批改为提高学生英语写作提供了良好资源，成为进行“百万同题”的作文竞赛的有益帮手，其评价维度的缺失也不容小觑，应该加以合理的人工干预。

基金项目：2016年贵州省本科教学工程项目（专业综合改革试点）“英语专业综合改革试点”（20161114021）。

作者简介：杨昌周，凯里学院外国语学院讲师，博士，研究方向：英语课程与教学论；彭思祥，凯里学院外国语学院教授，博士，研究方向：应用语言学。