自然语言处理在大学生评教中的适用性研究

冯宇 肖源源

摘   要：自然语言处理是（Natural Language Processing，NLP）一种人工智能技术，可对大学生评教内容、情感以及相关影响因素进行量化分析。随着人工智能技术与教育教学逐步走向深度融合，研究其在评教领域的适用性有助于教育工作者更好地利用此项技术服务于教育教学。文章基于技术原理与第四代教育评价理论就适用性问题开展讨论。研究表明，自然语言处理技术在大学生评教的理论与实际应用层面均体现出良好的适用性。

关键词：自然语言处理;评教;适用性;大学生;第四代评估理论

中图分类号：G640 文献标志码：A 文章编号：1673-8454（2019）23-0063-04

自然语言处理是利用电子计算机对人类特有的书面形式和口头形式自然语言信息进行各种类型处理和加工的技术。这种技术现在已经形成一门专门的边缘性交叉学科，它涉及语言学、数学和计算机科学，横跨文科、理科和工科三大知识领域[1]。

近年来，国家对人工智能（Artificial Intelligence，AI）相关技术在教育领域内的相关研究高度重视。强调应不断地推进AI在教育各个领域的应用，促进现代教育技术与教育教学深度融合。[2]在国家的倡导与推动下，自然语言处理在评教领域的应用研究开始得到了越来越多学者的关注。

本文查询了CNKI数据库中公开发布的学术论文，其结果表明自然语言处理相关技术在评教领域的研究成果不多。成果主要为情感词典与神经网络的设计与分析，均为技术层面的探讨。检索非结构化文本数据在评教中可能涉及到的关键字，关于评语的有5篇、情感分析的有31篇。情感词典法主要有袁阳基于半监督集成学习的学生评教情感进行了分类模型有关研究[3];张捷则探讨了学生情感分析在课程教学评价中的作用与实施路径[4];机器学习方法方面的研究则有孔凡华的基于模糊综合评价法的中学学生评教模型[5]和张俊飞的基于改进朴素贝叶斯算法实现评教评语情感分析[6]。以上研究尚未讨论技术方法层面在评教理论与应用中的适用性问题。

自然语言处理作为一种文本量化分析技术，理论上是可以用于学生评教文本数据的量化分析的。考虑到评教构成要素与学生心理行为的复杂性，自然语言处理作为一种新的技术要很好地适用于大学生评教还需进行一定的理论与实证研究。本文从第四代评估理论自然语言处理的基本原理入手，结合具体案例，讨论了自然语言处理在评教领域内的理论价值，旨在分析自然语言处理的文本量化结果与评教目的、评教内容、评教主体客体等维度的契合与适宜程度。

一、自然语言处理基本原理与方法

自然语言处理是基于脑科学的一种仿生技术，包含语言解析、语义理解和语言生成，其整体逻辑如图1所示。具体用途包括语义分析和语音识别。

脑科学认为，人类大脑左半球中的布罗卡氏区和韦尼克氏区是其运动语言中枢，功能是使语言映象转变为说话所必需的肌肉运动。布罗卡氏区负责生成语言的形式与结构，即语言的处理与话语的生成;而韦尼克氏区则负责语言的内在逻辑与含义，即负责语言的解析;另外信息的搜索、推理和决策是由大脑前额叶完成[7]。本文主要讨论语义分析部分，侧重于文本内容挖掘的词云和情感分析。

当前自然语言处理中涉及语义分析的主要方法有词云、情感分类、语义网络等。其中比较有代表性的是情感分类，方法主要分为情感词典和机器学习两类。情感词典基于分词引擎对学生评教评语进行切词，经去除停用词，再匹配正负面情感词库，来计算学生评教记录的正负面情感强度，亦可将二者相减，得到情感极性;机器学习则通过标注词性，并在此基础之上进行句法分析，模型上使用较多的有卷积神经网络、循环神经网络、支持向量机等。以卷积神经网络为例，可通过设定多层的神经网络，进行一系列的卷积池化过程来提取最显著的特征，最后用全连接层来进行情感分类。从相关文献所描述的实际应用效果上看，在部署得当的条件下，两种方法没有明显的优劣之分。

二、自然语言处理在理论层面的适用性

第四代评价理论包含响应式聚焦和建构主义方法论两大核心思想。对于评教而言：一是可通过响应式聚焦（responsive focusing），把学生的主张、焦虑、争议等作为组织要素，在多元价值体系框架内，来提取课堂教学中存在的不良问题或有益经验;二是通过建立一种评估者和利益相关者的协商互动模式来实施整个程序[9]。自然语言处理很好地适应了评教理论的现实要求，可通过提取评教文本中的负面情感极性评语来找出问题，在反馈渠道畅通的情况下，可通过积极互动，来达到优化评教效果的目的。

学生评教与专家评价、同行评教以及教师自评一道共同构成了评教的多元价值体系，本质上是一种对教师课堂教学全过程的情感与心理建构。自然语言处理通过情感分类算法，最终得到的情绪方面内容是其重要的组成部分，两者内涵上均体现出高度一致。评教与情感密切相关，学生评教文本反映的是其对课堂教学的主观认识。自然语言处理得出的量化分析结果是将文本所蕴含的情感强度，情感极性作为新设变量，与原数据集构成新的矩阵，所得到的统计量与情感密切相关，体现了学生对课堂教学的心理变化。综上，自然语言处理作为文本量化分析的一种有效方法，与评教的理论内涵、数据形式具有很好的一致性，适用于当前大规模的学生评教文本量化分析。从而可以实现方法与理论层面的统一。

三、自然语言处理在实践层面的适用性

评教在当前教育教学实践中，作为内部质量保障体系中的重要环节，涉及的利益相关者主要有学生、教师、管理者，他们构成了评教在实践层面的三个重要支点。学生按照行政指令，通过反思自身的学习效果，来对課程或者任课教师进行评价，既满足其对课堂教学情况进行倾诉的情感需要，也在一定程度上体现了学生的满意程度;教师也需要通过学生评教来帮助其把握教学效果，调适自身的行为，来进一步改进教学;管理者通常站在学校层面来思考问题，希望评教能够帮助其评价教师教学，用于职称评定与绩效考核等。因此，自然语言处理要在评教实践层面具备一定的适用性，就必须在一定程度满足评教利益相关者的诉求，符合现实需要，拥有较好的使用体验，方才具备实践层面上的现实价值。自然语言处理在评教中应重点服务以下三个方面：

1.彰显学生评教主体地位

学生评教的积极性不高是评教饱受质疑的一个重要原因。支撑学生参与评教的两类原因有两个：一是行政上的强制。强制措施能够保证一定的参评率，但也需看到，特定课堂教学对学生的作用是不可逆的，评教结果对学生不存在直接影响，也无法触及其现实利益。二是体现学生权利。事实上，各高校评教结果普遍没有面向学生进行反馈，即便反馈也最多公布任课教师的评教得分，学生无法寻找到自身对课堂教学评价的历史痕迹，使得作为评教主体的学生存在感不强，彰显权利的诉求没有得到充分尊重。

2.促进教师专业化发展

排除个别学生的干扰信息，从总体来把握课堂教学情况，是任课教师普遍需要的。教师需要从学生那里得知学生对课堂教学的反馈信息，尤其是涉及情感认同的信息。课上的好不好，学生最有发言权。评教对于教师来说，最大的一个难点就是从评教整体中得出学生关注什么内容、存在哪些典型问题、应聚焦哪个方面予以改进。部分课程的情感得分与极性如表1所示。

通过自然语言处理，教师可就学生评教中的情感得分来了解自身的授课水平。将数据集中的情感极性做简单的筛选，即可提取负面评语。部分课程评语如表2所示。

参照情感极性表，可提取负面评语并将其直接反馈给任课教师，供其改进教学方式方法。自然语言处理中的语义网络及词云技术，能够从总整体上提取评教文本特征，给教师提供参考，有利于任课教师有针对性地改进教学。

3.帮助管理者理顺評教相关影响因素

管理者普遍关心的是教学质量好不好，学生是否满意等方面内容，在制定政策和进行决策时，需要这一类的信息作为参考。自然语言处理能以较低的成本提取所有评教记录中的负面评价，改变了以往评教文本特征提取困难的问题，并通过公开发布评教结果，激发学生参与评教的热情，彰显学生评教的主体地位。譬如可以绘制评教评语的词云。它是按照一定的运算模型对所分析的文本，调用分词引擎对语句进行处理，并统计分词后各词出现的频率，形成词频表，如表3所示。

绘制词云时，程序根据各词出现频率的大小来排布结构。频率越高的词，将分布在词云的中心位置，字体也较大，体现了该词在文本中的重要程度。

自然语言处理能够基于情感因素对评教文本进行分析，可以辅助管理者了解学生诉求，进而对教学质量、学生满意度做出估计，为解决教育教学中现实存在的问题提供依据。

四、讨论建议

基于本文对大学生评教文本的量化分析结果，可得出以下结论：一是自然语言处理可有效适用于大学生评教文本分析，在大规模数据集中具有优势;二是自然语言处理对文本情感因素的提取，较好地符合了第四代评价理论的内在要求，可把学生情感作为组织要素，提取课堂教学中存在的问题;三是对学生评价评语进行自然语言处理，有助于彰显学生权利，辅以面向学生的结果反馈，有助于提升学生评教的积极性;四是教师、管理者可结合分析结果，进一步了解学生的所思所想。

综合上述问题与讨论，本文认为自然语言处理技术在学生开放式评教领域内能够有所作为，但要从根本上解决问题，单纯依靠技术效果是有限的，相关建议如下。

1.广泛利用自然语言处理等现代化教育技术，用数据说话，形成科学合理的诊断式评价机制

是否具备较强的科学计算能力，是衡量高校教育现代化水平的重要方面。其有助于高校从大量的信息稀疏数据中提取真正有价值内容。本文认为学生评语在内容维度、情感强度等方面存在“总体无效，局部有效”的问题，其解决方案是通过现代化的数据分析手段从海量的数据中找出有价值的部分并加以分析。实证结果表明：真正有高价值的数据只占总评语记录的2%，是一个非常小的比例，但是它所蕴含的信息是非常大的，有助于迅速找出问题所在并及时反馈给各利益相关者，为改进暴露出的问题提供参考。要认识到评教是帮助存在缺陷的课程找到问题，并通过不断地查找问题、分析问题、解决问题、反馈问题，来闭环教学质量监控主要环节，最终促进教学质量的持续改进。

2.加强管理队伍建设，打造高度专业化的教学管理队伍

一流的大学呼唤一流的教学管理队伍。没有高度专业化的教学管理队伍，其教育教学运行与管理状况将会是低效且无能的。新技术在管理层面的应用将极大推动高等教育的现代化水平。教育管理有其自身的特殊性，不能简单参照企业管理的思路与标准进行实施。学生评教机制的优化关键在高校管理层面。然而管理队伍自身的建设并不乐观，据了解，部分高校将每年新进人员的指标全部划拨到教学一线，以改善师资学历结构，管理人员的补充只能从教师队伍中补充。这部分人员往往被认为不适宜从事教学工作，就被分流至管理队伍中去。且管理队伍中因干部个人发展需要，人员流失严重，这势必会伤害高校的长远发展。因此，加大管理队伍的人才引进，提高待遇与职业荣誉已刻不容缓。

3.加强开放式评教的研究，强化信息双向反馈，并在适当的范围予以公布

开放式评教与封闭式评教都是评教工作的重要组成部分，不应有所偏废。尤其是评语，学生以叙事、情感表达等方式，描述了对课堂教学的基本看法。它从定性评价的角度对基于指标体系的定量评价形成了有效的补充。就本文对学生评语的实证研究经验来看，其中所蕴含的教学能力、师德师风、学习效果、情感倾向等内容，对指导教师改进教学、促进管理者优化机制有着重要的参考价值。将评语的相关内容及时进行反馈，有利于强化各利益相关者对教学质量的监督。缺少结果反馈的评教机制，其课堂教学质量的高低也只能更多地取决于教师的“良心”。很多高校以保护教师隐私为名，人为阻断了评教结果的双向反馈，是不利于及时获取信息并改进教学的。

4.应关注学生评价的情感因素，集体对评教行为和评教机制进行纠偏

评教体现出了学生对课堂教学的情感判断，源于当前大学生特定的心理状态，这个是很难改变的现实情况。如果学生普遍具有较高的思想认识和评教能力，或许能够做到对课堂教学质量的客观评价。但是本文认为这是一个短期内无法解决的问题，所以评教所得到的结果只会是一个对课堂教学的满意度评价（或许还能通过技术手段对数据进行处理，提取出能够反映质量的学生评价）。因此各利益相关者有必要正确认识这一点，将评教结果更多地视为指针而非量尺。更多地基于问题导向去不断解决暴露出的问题，促使更多人群关注教学质量，而不仅仅认为只是管理者的职责。这样才能提高认真参与评教学生的占比，促成更多学生进行有效的、高价值的评价，提高学生评教的信效度。这一状况改善得越好，评教工作就越具有公信力，也就越能形成良好的质量文化。

参考文献：

[1]付习涛.言语行为与自然语言处理[J].湖南第一师范学报，2004（2）：5-9.

[2]佚名.国务院印发《新一代人工智能发展规划》 人工智能发展铺就快轨[J].中国战略新兴产业，2017（33）：14.

[3]袁阳.基于半监督集成学习的学生评教情感分类模型研究[D].广州：华南理工大学，2018.

[4]张捷，陈付龙，张佩云.学生情感分析在课程教学评价中的作用与实施探讨[J].电脑知识与技术，2019，15（4）：184-188.

[5]孔凡华.基于模糊综合评价法的中学学生评教模型[J].现代中小学教育，2017，33（2）：80-84.

[6]张俊飞.基于改进朴素贝叶斯算法实现评教评语情感分析[J].现代计算机（专业版），2018（32）：3-6.

[7]申小龙.索绪尔“语言”和“言语”概念研究[J].中国海洋大学学报（社会科学版），2004（6）：65-74.

[8]郑捷.NLP汉语自然语言处理原理与实践[M].北京：电子工业出版社，2017.

[9]古贝，林肯著;秦霖，蒋燕玲等译.第四代评估[M].北京：中国人民大学出版社，2008：9-79.

（编辑：王晓明）