主观题自动评阅在信息化教学中的应用研究

穆炜炜

【摘 要】主观题自动评阅是信息化教学考试中的瓶颈问题，也是亟待解决的问题，通过自动评阅可以缩短阅卷时间，降低误判率，进一步确保阅卷公平性，提高阅卷效率，完善考试流程，改进信息化教学方式。

【关键词】主观题；自动评阅；应用研究

中图分类号： TP391.6 文献标识码： A 文章编号： 2095-2457（2018）30-0144-002

DOI：10.19694/j.cnki.issn2095-2457.2018.30.062

Application of Automatic Marking of Subjective Questions in Information Teaching

MU Wei-wei

（Hunan Chemical Vocational Technology College，zhuzhou hunan 412000，China）

【Abstract】The automatic marking of subjective questions is the most difficult problem and the most urgent problem in the information examination.Computer marking can shorten the marking time and reduce the rate of misjudgement.To ensure fair marking，improve the efficiency of marking，improve the examination process，and improve the information-based teaching method.

【Key words】Subjective questions；Automatic marking；Application research

信息化教學是目前各级各类学校普遍应用的教学方式，因为通过信息化的手段可以使师生轻松获得更多优质教学资源，改善教学方法、提高教学效率、拓展知识视野，真正实现人人处处时时皆可学习。在信息化教学中，考试也逐渐从单一的笔试慢慢过渡到笔试+机试等多样化的考试方式，通过计算机考试、评阅可以最大限度保证阅卷的公平性，降低误判、错判的几率，节省人力、物力，克服了人为差错的可能性。目前，很多考试、测验系统中客观题均实现了自动评阅，但主观题的自动评阅一直是瓶颈问题，本文重点研究了主观题自动评阅在信息化教学中的重要意义及可实施性。

1 主观题自动评阅的重要意义

在信息化教学中，我们可以通过网络获取资源，通过移动终端进行教学、交互、考试和数据统计，从而拓展教学空间，提高教学效率。考试对于教师和学生来说都是不可缺少的教学环节，通过考试，学生可以了解自己的学习状况，增强自己的学习效果，巩固知识的积累；通过考试，教师可以检验学生的学习成绩，了解学生对知识的掌握程度及教学效果。虽然，学校在很大程度上实现了教学的信息化，但是由于各个专业、各门课程具有各自不同的特点和要求，并且各科考试的特殊性和重要性，现在学校各类考试基本上都还采用传统的纸质方式进行，传统的考试方式有其优势，但也有其缺点。传统的考试都是笔试，人工阅卷容易造成误判、漏判或倾向性判卷等主观问题，而且效率不高，难以适应高效率的信息化教学时代。在线考试系统中的最大优点就是可以快速、准确、客观地给出考试成绩，有效地缩短考试周期，这一优点主要得益于考试系统的自动评阅计分。

目前，在国内很多考试如驾照考试、学法考试、专业科目学习及考试大多都采用了网络考试方式，用户只需在联网的情况下，通过手机端或PC端学习、考试即可，不过这种考试都是以单选题、多选题和判断题等客观题为主要题型，计算机可以根据事先设定好的答案轻松判断结果的对与错；而以主观题形式出现的在线考试系统很少应用，究其原因是主观题的自动评阅一直是在线考试中的瓶颈。因为汉语言的内涵丰富，表达方式多样，往往主观题的答案不唯一，同一种语句意义可以用多种语句方式表达，计算机难以正确理解和判定，这给计算机自动评阅带来了很大的困难，导致主观题的评阅仍然以传统方式为主，很大程度上影响了教学考核的效率和公平。研究应用主观题自动评阅方式将彻底改变传统考核模式，积极促进信息化教学的发展。

2 主观题自动评阅的关键技术

对于主观题而言，由于汉语言表达方式多样化和复杂性的特点，主观题的判断和批改涉及到自然语言的翻译、理解及语义的匹配等，这就要求计算机程序设计的复杂度非常高。现在国内基于主观题评阅的研究主要有：字符串匹配的方式，如文字录入考试中，计算机根据录入文字的准确性进行自动比较判断，确定其正确性，这是相对较为简单的一种；基于文本语义相似度计算的方式，如同一语义由不同的句子表达，计算机程序通过词语相似度、文本相似度等多种方式判断、比较，最终给出正确的评价，这是较为复杂的一种方式，也是用的较多的一种方式，涉及到多种特征相似度的比较计算等。目前，国内外有一些主观题自动评阅系统的应用取得了良好的成效，如，IEA[1]系统基于Latent Semantic Analysis（潜在语义分析）理论，通过对大量的文本集进行统计分析，自动地实现知识提取和表示，从中提取出词语的上下文使用含义，进一步提高了文本处理的准确度；ATM[2]（Automated Text Marker）是针对开放式问题的任意文本答案的自动匹配，主要利用NLP技术，先对语法进行预处理、然后解析句子的主要成分及相互关系，再将结果与标准答案进行匹配，最后给出分数；李辉阳[3]等提出了基于关系的带权匹配方法，实现了CAI中对简单论述自动评阅判断。王刚[4]等提出了一种基于语义元的相似度计算方法，综合考虑语义元的相关性、相似性及支持度等元素，实现相似度的计算。通过分析研究发现，由于汉语言的复杂性，完全基于自然语言的主观题评阅还存在准确性不高、差异性较大等很多问题，有待进一步的改进和提高。

主观题自动评阅主要涉及到文本的预处理、文本分类及相似度比较计算等多个方面技术。其中文本的预处理是把自然语言通过相应的规则和方式处理成计算机能理解、能运算的表达形式，是计算机实现自动评阅的第一步。目前，常用的文本预处理方法有哈工大研究的LTP语言技术平台（Language Technology Platform），是一种源代码开放共享的语言处理技术。LTP提供了包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、 高效、精准的自然语言处理技术，已经被 500 多家国内外研究机构和企业使用。从2014年开始，哈工大联合科大讯飞共同推出了语言云服务，能够更好地为用户提供需求。文本分类技术[6]是数据检索和挖掘分类的重要支撑，主要作用是在预先设置的类别标识集合下，根据文本内容和数据信息进行分类识别。文本分类技术主要应用在自然语言处理、理解及识别、信息的组织、鉴别及管理、数据的过滤等领域。目前，文本分类的主要应用技术是基于机器学习的分类技术，主要是通过学习数据样本或是数据训练集来分析挖掘出数据分类的规则信息，然后总结归纳出数据规则集合或建立文本分类器，再根据这些分类集合对需要分类的文本进行分类。常用的文本分类算法有：决策树（Decision Tree）分类算法、K紧邻（K-Nearest Neighbor）算法、朴素贝叶斯（Naive Bayes）算法、粗糙集（Rough Sets）算法等。其中决策树分类算法是一种较适用于文本分类的算法，决策树是一个预测模型，包括一个根节点、若干枝节点和叶节点，树中每个枝节点表示某个对象，不同的路径代表不同的属性值，每个叶节点对应该对象的值，即类别，如图1所示。

图中A=X和A=Y且B=Y的样本属于类1，A=Y且B=X和B=Z的样本属于类2。

相似度比较计算是信息分类及判别的关键技术。由于自然语句是由字、词语及关键字等组成，相似度的比较计算可以分为词语相似度、语义相似度、句子相似度、句长相似度等多个特征方面。其中，词语相似度是指两个或几个词语所表达的内涵相同或相近，可以互相替换使用而不改变整个语句的文义的程度，常用的词语相似度算法有基于统计和基于规则的两种方法；句子相似度主要由基于语法的分析和基于词汇相似度矩阵的分析方法。通过多个特征相似度的分析计算，对语句及其含义进行综合对比研究，从而达到自动评阅的目的。

3 主观题自动评阅的发展方向

主观题自动评阅技术一直是完全实施考试信息化、教學信息化的瓶颈问题，研究的很多，但进展较为缓慢，特别是应用于实际的成果比较少，其主要原因是一些关键技术、核心技术还处在研究、发展阶段，如：自然语言的深入理解、模式的识别、人工智能技术的发展等。主观题自动评阅主要是采用基于大数据分析的自然语言处理技术，按照评阅流程，可以分为分句、分词、语言的预处理、分类计算、相似度比较计算等几个环节。但对于汉语言来说，自然语言处理的技术实现难度非常大，由于汉语的复杂性，表达形式多样性，计算机很难准确把握和判断，如果算法不精确，没有将关键语义包括在内的话，将会直接导致自动评阅的误判。在前沿技术上，通过大数据分析技术的不断发展和推动，进一步完善主观题自动评阅在教学信息化中的实际应用将具有广阔的前景和市场需求。

【参考文献】

[1]Hearst M，etal.The Debate on Automated Essay Grading[J].IEEE Intelligent Systems，Treads&Controversies; feature，2000，15（5）：22-37

[2]Lawrence Rudner，etal.An Overview of Three Approaches to Scoring Written Essays by Computer.www.circ.cd.gov

[3]李辉阳，韩忠愿 有限领域简述文字的自动判读及其在CAI中的应用[J]，计算机工程应用，2002，38（8）：76-78

[4]王刚，邱玉辉，蒲国林 一个基于语义元的相似度计算方法研究[J]，计算机应用研究，2008，25（11）：3253-3255

[6]苏金树，张博锋，徐昕 基于机器学习的文本分类技术研究进展[J]，软件学报，2006，17（9）：1848-1859