高校学生评教信息中文本语义因素的挖掘与运用研究

张冕 赵晨

摘 要：越来越多的高校使用学生对教师课堂教学的评价来作为评判教师课堂教学质量的关键依据。多数高校学生评教系统中均同时包括数值信息的学生评分和非数值信息的学生评价文本，但出于信息收集与计算的方便，多数高校仅使用评分数值计算评教结果，本文使用了共4001条管理学原理课程的所有学生评教文本信息，对学生评教文本信息要素进行抽取，通过评价者异质性判别，保证所抽取文本语义因素能适用于绝大多数学生所发布的评教信息，并使用多种方式判断了所挖掘文本语义因素，对课堂教学评价归类的预测有效性。

关键词：评教信息；文本语义因素；机器学习

中图分类号：G4     文献标识码：A      doi：10.19311/j.cnki.16723198.2024.03.079

0 引言

目前，基于人才培养在高校中的重要作用，各高校越来越重视教师课堂教学质量，并且有越来越多的高校使用学生对教师课堂教学的评价来作为评判教师课堂教学质量的关键依据。多数高校学生评教系统中同时包括数值信息的学生评分和非数值信息的学生评价文本，但出于信息收集与计算的方便，多数高校仅使用评分数值计算评教结果，这种仅依赖评教数值信息的方式会引发学生对评分标准理解不一致、学生评分随意性强、评分区分度不高、评分结果过于简单，导致教师不愿接受、难以反馈和持续改进等问题。

基于上述背景，本文希望挖掘学生评教中评价文本的语义信息，与评教中的数值评分共同作用，更全面、有效的利用学生评教中的各类信息，形成更为科学、系统的评教结果，并提升师生双方对评教过程与评教结果的重视程度与认可程度，推动教师结合评教信息进行课堂教学的改进，持续推动课堂教学质量和学生培养质量的提升。

1 文献综述

目前与本文相关的国内外已有研究，包括学生评教的意义和作用、学生评教的问题和优化策略，及文本语义信息的挖掘运用等方面。

别敦荣（2017）强调学生评教是高校教学质量保障的一项根本制度，它的建立使学生拥有了表达教学意愿的常规渠道，有助于高校树立服务学生的办学宗旨；陈佑清（2016）认为通过学生对课堂教学质量的评判可以系统地促进教学改进，成为高校内部教学质量保障体系的重要环节。但目前在学生评教的实施过程中也出现了一些问题，例如江利（2020）从评教的功能定位、评教的指标体系、学生完成评教的意愿和态度、评教结果的反馈与运用等方面剖析了当前评教中的突出问题。

在信息管理的研究中，信息可以被分为数值信息与非数值信息两类，Liberti（2019）认为数值信息收集过程简单、便于理解，但表达内容单一，非数值信息虽然难以收集，且需要置于特定的情境中理解，但能表达更丰富的内容，二者需要结合使用。

2 研究方法与研究过程

鉴于本文的研究目的和研究对象，本文采用信息管理和机器学习中的文本语义因素挖掘、分类、预测的设计方法来完成，具体包括以下3个步骤：

首先，采用人工初始设定与机器关联学习结合的方式挖掘学生评教信息中的文本语义因素，形成正向因素词典与负向因素词典。项目组将首先结合权威的正向与负向情感词典内容与课堂教学的特征，人工设定评教文本中正向与负向的典型词汇各20个，例如，将“精彩、收获、满意”等作为典型正向词汇；将“糟糕、无聊、不负责”等作为典型负向词汇。之后，收集之前的大量已有学生评教文本信息，通过机器学习形成评语中出现的其他词汇与初始正负向词典的相关度矩阵，在给定相似性阈值θ时，当某一词汇与初始正负向词典的相关度超过阈值时即添加该词进入相应词典，形成完整的最终正向评教文本词典与负向评教文本词典。令初始词典为KV，其中的初识词汇为wi，词汇相关矩阵为DTM，新添加词汇为sck，则机器学习的基本程序为：

其次，本文将对于抽取出的文本语义因素进行评价者异质性的判别，以求保证不同学生给出的评教文本中，同一词组却导致了不同文本语义关联的情况不会显著出现。

最后，本文将使用不同的预测模型，使用挖掘出的评教文本信息判别一个特定学生对教师课堂评价属于“好的”或是“不好的”。

本文研究的数据使用了我校近2学期，即2022—2023学年的两个学期中，管理学原理课程的所有学生评教文本信息，共4001条。使用上述方法完成文本语义因素评教的结果会将每一个学生对于管理学任课教师的课堂教学评价归类为“好的”或是“不好的”两类之一，并以特定教学班中教学评价归类为“好的”比例作为课堂教学评价的辅助标准。

3 研究结果

3.1 文本语义因素的抽取

在使用本文第三部分描述的文本语义因素抽取过程对实际管理学原理课程学生评教文本信息进行抽取后，使用R程序中推荐的标准数值，将与初始设定词语相关联的其他词语进入文本语义因素库的阈值PMI（wi，wj）=log2P（wiwj）P（wi）P（wj）设定等于8，最终寻找到87个词语构成文本语义因素库。

3.2 评价者异质性判别

为了保证所抽取文本语义因素能适用于绝大多数学生所发布的评教信息，必须保证对于不同的评价者，即学生，可能使用的词语没有显著的区别，因此，进行评价者异质性的判别。

由于参与管理学原理课程学习与评教的均为我校大一学生，年龄上并无区别，不需要对评价者的年龄异质性进行评判。本文对于另外两方面的评价者异质性进行的判别，一是性别，即男性或女性；二是课程学习情况，即期末考试合格或不合格，将这两部分的子样本分别进行文本语义因素抽取并进行对比，发现不同性别的评价者有84个词语有重合，不同课程学习情况的评价者有85个词語有重合，显示了不存在明显的评价者异质性问题。

3.3 文本语义因素评教预测

最后，本文使用实际数据，以所抽取的文本语义因素库对于教师课堂教学进行预测，并归类为“好的”或是“不好的”两类之一。由于之前缺乏评教信息中的文本语义因素对评教结果影响的相关研究，因此本文分别使用线性预测模型与非线性预测模型来预测。在线性预测模型中，选择了较常使用的Logistic回归和Lasso回归；在非线性预测模型中，选择了较常使用的随机森林（Random Forest）和极端梯度增强（eXtreme Gradient Boosting）方式。分别进行回归后，其预测显著性如表1所示。

4 结论

本文使用了共4001条管理学原理课程的所有学生评教文本信息，对学生评教文本信息要素进行抽取，通过评价者异质性判别保证所抽取文本语义因素能适用于绝大多数学生所发布的评教信息，并使用多种方式判断了所挖掘文本语义因素对课堂教学评价归类的预测有效性。但在获取上述结论的同时，本文对评教文本信息的挖掘过程是否能推广到其他课程中还有待进一步验证，并且将通过文本信息作出的课堂分类结果如何与传统的评分结果进行综合，是很值得进一步探索的问题。

参考文献

[1]赵平，邬鹏.利益相关者视角下大数据技术驱动高校学生评教改革研究[J].上海教育评估研究，2020，9（06）.

[2]江利.高校学生评教制度问题剖析及优化策略研究[J].教育教学论坛，2020（35）：1214.

[3]别敦荣.论“双一流”建设[J].中国高教研究，2017（11）：717.

[4]陈佑清.“学习中心课堂”教学过程组织的逻辑及其实现策略[J].全球教育展望，2016，45（10）：4047.

[5]Liberti J M，Petersen M A.Information： Hard and soft.The Review of Corporate Finance Studies，2019，8（1）：141.