基于机器学习的高校学生评教信度分类分析

苑迎春，雒明雪，陈江薇

(1.河北农业大学 信息科学与技术学院，河北 保定 071000；2.河北农业大学 教务处，河北 保定 071000)

课堂教学是高校实现人才培养最直接和最根本的方法，课堂教学质量的高低直接决定着人才培养质量，科学合理的课堂教学质量评价能有效地促进人才培养质量的提升。为保障课堂教学质量得到有效监测和及时反馈，很多高校通过学生评教这一举措来实施监测并反馈教学质量情况，从而促进教学质量的提高。学生评教为教师收集学生反馈信息和改进教学服务提供帮助，其结果直接影响学校对教师考核、课程规划等。然而，在实际评教过程中，存在着学生不客观评教的问题，如学生在评教时存在被动、消极、敷衍、“集体高分”“分数贬值”、随意评教、恶意评教等现象[1-4]。以上不良现象影响了评教的客观性，因此如何纠正学生不客观评教，提高学生评教信度具有重要意义。

为提升学生评教的客观性，大量学者做了相关研究。部分学者从评价指标出发，建立科学、有效的评教指标，从教学、练习与评价、学生反馈等多维度进行打分，全方面、多角度地对教师教学进行评价，同时提高学生评教的便捷性；也有部分学者从评教原始数据的分析、处理入手，通过对不客观数据的识别，将异常数据进行剔除或通过修正算法进行修正，减轻偏离数据的影响，使教师最终评价更加客观[5]。

针对学生评教数据的客观性问题，不同学者通过定义不同指标进行识别和区分。陈慧针对严重偏离的数据，采用统计学方法定义指标，认为评教数据应符合正态分布，利用三倍标准差原理，将落在三倍标准差区间之外的数据定义为偏离数据。姚成、龚毅等学者引入粗差理论定义指标，识别严重偏离群体的数据[6-7]。李慧等人则利用K-Modes改进算法定义偏离指标，对评教数据进行聚类，寻找评教中的离群点[8]。陈文等人通过对学生评教原始数据进行信度分析，发现数据中存在“噪声”数据，并将噪声数据分为“偏见”噪声和“敷衍”噪声 ，对不同类型的噪声定义不同指标进行识别[9]。“偏见”评价噪声采取3a法则进行识别，对超过10名教师给予相同分数的数据定义为“敷衍”评价噪声。

对评教不客观数据的处理方法，不同学者也存在不同意见。杨晓明[10]等学者认为评教数据量大，可采用删除数据的方法处理不客观数据。温兵等则通过定义偏差系数(描述某位学生的评价与大众的偏差)和主观原因系数(评价结果的两极化程度，偏高或偏低程度)，引入公平度的概念对每个学生的数据进行加权，减轻不客观数据的权重。张义东和于长英、高旭都提出了采用标准分的方法处理评教数据，有效消除不同年级、专业、学科以及课程性质等因素对教师评分的影响，提高评教结果的可比性，使评教结果可信度和有效性大幅提高[11-13]。刘瑞玲则是在运用LOF离群算法识别离群数据后，在大量数据反复试验基础上定义了修正公式[14]。对离群数据进行修正，利用修正方式对偏差评教数据进行纠正，更大限度的保留了学生评教价值。

以上对评教中不客观数据指标的定义，大多聚焦于偏离数据的严重程度分析和处理，而对于“敷衍”数据指标定义较少；对不客观数据的处理大多采用直接删除或加权、修正来减轻不客观数据的影响。本文通过对评教数据分析，多角度定义学生的评教信度指标，利用机器学习中的聚类算法，按照学生样本信度近似程度，实施无监督分类，通过对分类结果分析得到群体特征，借助星级评定向学生来反馈评教信度，引导和警示学生客观评教，形成良性循环机制提高学生评教信度，改善学生评教质量。

一、学生评教信度指标定义

一般而言，学生评教的客观程度取决于两个方面。一方面，是同一个学生对所学课程的评分，表达了一名学生对多门课程教师的评教态度，学生对不同课程任课教师评分应有所区分，若学生对不同任课教师的区分度明显，说明其评价的客观性越高。另一方面，则是多名学生对同一门课程教师的评教态度，可用一名学生与同课程学生评教的偏离程度衡量。通常情况下，如果他和其他学生的评教偏离度越大，则说明该学生对这门课程评教的客观程度越差。此外，体现学生主观思维的教师评语也是高校学生评教的主要内容，能比较真实地反映学生想法，相比客观评分能够提供更加丰富的信息。因此，主观评语质量也是学生评教客观程度的重要体现之一。本文正是基于上述角度，定义了描述学生客观评教信度的7个指标，用以衡量和评价学生的评教信度，如表1所示。

表1 评教信度指标

1.区分度方差，用于描述学生对不同教师评分的区分度。以学生评教所有评分分数作为研究对象，计算每位学生评分方差。计算公式为：

(1)

根据区分度方差可知，一名学生同时评价多门课程，方差值越大，表明学生对教师区分度越大。

2.波动极差，用于描述学生不同课程评分的波动性。计算每位学生评分最大值、最小值，得到极差。计算公式为：

(2)

式中，max(Si)为第i个学生评分最大值，min(Si)为第i个学生评分最小值。

根据波动极差，一名学生同时评价多门课程，波动极差越大，表明评教波动性越强。

3.相邻差方差，用于描述学生对不同教师评分的差距。将评分进行排序，计算相邻评分差值的方差。计算公式为：

SORi=sort(Si)

(3)

SAij=SORj+1-SORj

(4)

SAVi=var(SAi)

(5)

式中，SORi为第i个学生评分排序，SAij为第i个学生，第j、j+1门课程分数差，SAVi为第i个学生相邻差方差。

根据相邻差方差可知，一名学生同时评价多门课程，相邻差的方差值越大，表明学生对教师的评分差距越大。

4.最大相同分数比，用于描述学生评分过程中给不同教师相同分数的程度。计算每位学生同一分数的个数，得到最大相同分数数目占所有课程数的比值。计算公式为：

SMi=max(SIi)/n

(6)

式中，SIi为第i个学生评教相同分数个数的集合，n为第i个学生评教课程数。

根据最大相同分数比可知，一名学生同时评价多门课程，最大相同分数比越低，表明学生的相同评分越少，其认真客观的评教态度越强。

5.信息量，用于描述学生评教文本有效信息数量，评论内容是否与教师、课堂相关。根据聂卉等提出的平均词条数计算信息量[15]。计算学生每条评语中词语在词典中的词条数，将平均词条数作为信息量指标，计算公式为：

Tij=dict_ni

(7)

(8)

式中，Tij为第i个学生的第j条评语包含词条数目，IMi为第i个学生n条评语平均词条数即信息量。

根据信息量可知，一名学生同时评价多门课程，信息量越高，表明学生评价的有效信息越多。

6.评语相似度，用于描述学生评教内容的相似度。文献[16]将文本转化为空间向量，结合词语语义信息进行相似度计算。本文评语相似度计算简化文献中的算法，计算公式为：

(9)

式中，STi为第i个学生相同评语个数，n为第i个学生评语个数。

根据评语相似度可知，一名学生同时评价多门课程，评语相似度越低，表明学生相同评语越少，评教越认真。

7.偏差率，用于描述学生课程评分偏离群体程度。对任何一名学生，在同一门课程中的评教分数应与其他同学大体一致，不应严重偏离同课程的其他同学。根据温兵提出的粗差算法进行偏差判断，记录偏差学生，得到每位学生偏差评教数，计算偏差率[11]。偏差率计算公式为：

(10)

(11)

根据偏差率可知，一名学生同时评价多门课程，出现偏差的比率越低，表示学生出现的偏差评教越少，能够客观进行评教。

二、学生评教信度识别方法

(一)学生评教信度框架

本文基于机器学习算法和文本分析算法设计学生评教信度识别方法框架(见图1)。本框架包括数据的收集与处理、评教指标的计算、评教信度指标分析、评教信度分类4个部分。

图1 学生评教信度识别框架图

(二)评教数据的收集与处理

数据的收集与预处理是后续计算的基础。本文研究数据来自某高校2018—2019学年度，29 057名学生近44万条评教数据。由于每位学生所上课程数目存在较大差异，为更好地体现数据的群体性特征，将学习课程数量少于10门的学生数据进行剔除。最终剩余学生25 455名，评教数据399 836条。

(三)学生评教信度指标计算

本文第一节对学生评教信度指标进行了定义，计算过程如下：

1.区分度方差、波动极差、相邻差方差、最大相同分数比、偏差率的计算如式(1)～(6)、(10)～(11)。

2.信息量、评语相似度的计算过程需进行文本预处理。本文选用目前主流的分词工具结巴分词，对学生评语进行分词；将评语中无意义的字、词，如“的”“一些”等删除[17]。结合知网、台湾大学等停用词表，组合成新的停用词表，对分词后的数据去掉停用词，然后进行词频统计，并经过人工剔除评教无关词语，形成评教词典。信息量、评语相似度计算如式(7)～(9)。

(四)评教信度指标相关分析

对计算完成的信度指标进行相关性分析，结果如表2所示。可以看出区分度方差、波动极差、相邻差方差3个指标的相关系数均大于0.7，具有较强相关性。为避免指标冗余，经多次实验，将相邻差方差、波动极差指标删除。

表2 指标间相关性分析

(五)学生评教信度分类方法

1.分类方法。本文研究的学生评教数据为无标签数据，故利用聚类算法进行学生信度分析。聚类分析是常用的数据挖掘技术之一，被应用于信息处理、图像分析等多个领域。聚类算法是研究特征分类问题的一种多元统计方法，通过将数据分为不同簇，使同一个簇中数据具有较高的相似度，不同簇中数据差距较大。本文中不同学生的评教行为具有相似性，通过归类研究，有助于了解和分析不同分类群体的特征[18]。

K-Means++聚类算法属于基于划分的聚类算法，是对K-Means聚类的改进算法。在聚类中心的选择上本着不同聚类中心越远越好的原则，改善了K-Means选取初始聚类中心的随机性，适用于圆形(或者高维球形)等分布，具有出色的速度和良好的可扩展性[19]。

2.分类方法评价研究。聚类质量评价指标分为内部指标、外部指标。无监督聚类采用外部指标进行聚类质量评价。外部指标有轮廓系数(Silhouette Coefficient)、Calinski-Harabaz等。

轮廓系数指标：结合内聚度和分离度两种因素。轮廓系数范围是(-1,1)，其中值越接近1表示样本与自己所在簇中的样本越相似，与其他簇中的样本越不相似，当样本点与簇外样本更相似时，轮廓系数为负[20]。当轮廓系数为0时，则代表两个簇中的样本相似度一致，两个簇应该划分为一个簇。轮廓系数计算公式如下：

(12)

式中，S(i)为样本i的轮廓系数，n为样本点个数，a(i)为样本i到同簇其它样本的平均距离，b(i)是i样本到与它相邻最近的一簇内的所有点平均距离的最小值。将所有样本的轮廓系数求平均，得到聚类结果总轮廓系数。

CH指标：通过计算簇中各样本与簇中心的距离平方和来度量簇内的紧密度，通过计算各簇中心点与数据集中心点距离平方和来度量数据集的分离度，CH指标由分离度与紧密度的比值得到[21]。因此，CH越大代表簇自身越紧密，簇与簇之间越分散，聚类效果越好。CH指标计算公式如下：

(13)

式中，m表示聚类的数目,k表示当前簇,tr(Bk)表示簇间离差矩阵的迹,tr(Wk)表示簇内离差矩阵的迹。

(六)学生评教信度的分类

本文学生评教信度分为5类，将评教信度指标作为输入，应用聚类算法得到分类结果。通过对分类群体特征分析，参照电影评价、电商评价，对5个类别进行星级评定，反馈给学生，达到警示的目的，敦促学生客观评教，提高学生评教信度，改善教师评价的有效性[22-23]。

三、学生分类结果分析

(一)信度指标分析验证

将剔除前后学生评教信度指标作为输入，利用K-means++，对比不同指标组成对聚类效果影响(如表3所示)。剔除冗余指标后轮廓系数、CH指标均有提升，证明进行指标精简后，分类更加合理有效。

表3 聚类算法指标评分对比

(二)学生分类结果分析

通过K-means++聚类算法将学生评教信度分为5类，对每个类别中指标进行均值统计，如表4所示，不同类别之间指标差异明显，验证了学生评教信度指标的有效性，最后分析每种类型的群体特征，对应不同评教行为。

表4 聚类结果分析

第一类学生，从学生所评教的多门课程来看，该类学生对每门课程老师的教学拥有自己的判断，对不同教师给予不同分数，有明显的区分度。和学习同一门课程的其他同学相比，具有较低的偏差率，表明该类学生能够客观公平的进行评教，具有较少的极端情绪。从评语角度，能够清晰的表达自己想法，发表有意义的评论。该类学生不需要进行敦促，能够正确行使自己的权利，客观评教，认定为5星，给予肯定。

第二类学生，从学生所评教的多门课程角度分析，该类学生对不同教师具有明显区分度，评分具有明显梯度，对评教活动认真对待。和学习同一门课程的其他学生相比，具有一定的偏差度，说明该类学生评教过程中，存在一定数量的课程偏离大部分同学。从评语角度，该类学生所评文本具有一定的信息量，并且相似度较低。综合考量，该类学生能够对不同教师有一定区分度，能够认真评教，但是存在一定偏差，认定为4星。

第三类学生，从学生自身角度分析，该类学生对不同教师的区分度不大，相同分数的评分较多，梯度不明显，表明没有对全部教师认真评价。和学习同一门课程的其他同学相比，具有较低的偏差率，表明能够基本客观的进行评教。从评语角度，该类学生评语有一定的信息量。综上，该类学生对不同教师区分度不够，但能够基本客观进行评价，且具有一定的信息量，给予3星。

第四类学生，从学生自身角度分析，该类学生对不同教师区分度很小，没有明显的梯度。和学习同一门课程的其他同学相比，偏差较大，没有客观评教。从评语角度分析，该类学生信息量较低，且存在大量相同评语。综上，该类同学对不同教师没有明显区分，并且存在恶意评教，给予2星。

第五类学生，从学生自身所评教的多门课程来看，该类学生对老师的评教区分度很小，给不同老师评相同分数的比重较大，具有敷衍现象。和学习同一门课程的其他同学相比，该类学生偏差较大，表明该类学生没有能够对老师进行客观评价，而是一味的恶评或好评。从评语角度，该类学生评语具有信息量低，相似度高的特征。综合考量，该类学生对评教具有随意性，没有客观评教，认定为1星，需要进行一定的敦促。

四、研究结论

学生评教是教师评价的重要组成部分，学生评教质量对教师评价的结果具有直接影响，相关研究大多通过寻找偏差去掉数据或对数据进行修正均无法改变学生评教的态度，无法有效改善学生不客观评教的行为，同时也不利于学生良好品格的形成。本文通过对评教数据分析，多角度提取学生评教信度指标，利用机器学习算法，对学生进行分类，方便教师掌握学生评教情况，敦促学生认真评教，使学生有效行使权利，有利于更好地进行教师评价活动，为优化课堂、改善教学提供帮助。

本文通过某高校数据分析，结果验证了高校大学生存在敷衍评教行为，有约5%的学生存在明显的恶评或好评，没有做到客观评教。对学生分类评定一方面能够对学生进行警醒，为未来评教打下良好的基础，另一方面也为后续评教数据预处理做准备，对不能够认真评教的学生给予较低的权重，为保证评教数据的客观性起到积极作用。