基于深度学习的学生教学评价情感分析

王保华 熊余 姚玉 储雯 吕翊

[摘   要] 随着教育信息化建设的深入推进，教学系统中积累了海量的学生教学评价数据，这些数据蕴含了丰富的信息，亟待挖掘利用。为了挖掘学生教学评价中的情感倾向，为提高教学质量提供科学依据，文章提出了一种基于双通道深度记忆网络的深度学习模型，用于学生教学评价的方面级情感分析。在该模型中，设计了双通道策略以充分提取评语中隐含的局部特征和上下文依赖信息，并使用循环注意力机制提取与特定教学方面相关的情感信息以实现细粒度的方面级情感分析。通过在真实的教学评价数据集上进行实验，结果表明，所提出的方法能有效挖掘学生评价中关于不同教学方面的情感倾向，为教师和教学管理者了解并改进教学提供依据。

[关键词] 学生教学评价; 情感分析; 深度学习; 深度记忆网络; 卷积神经网络

一、引   言

提高教学质量是当前教育的核心任务，也是建设教育强国的基本要求。提高教学质量，首先要能对教学质量进行客观科学的评判或评价。由于教学服务的直接受众是学生，故学生对教学的反馈信息在教学质量评价中至关重要[1-2]。学生教学评价（Student Evaluations of  Teaching，SET）是各类学校广泛使用的收集课程教学质量反馈信息的方法，能较好地反映学生对教学的满意度，可以作为教学管理部门衡量教学效果的重要手段，也可以用于帮助任课教师有针对性地改进教学。此外，SET还常常用于辅助行政决策，如作为教师职称晋升和岗位聘用的依据或参考[3]。可见，SET已经成为一种普遍采用的教学评价与管理制度，是教学体系内涵建设的重要内容[4]。

随着教育信息化的深入推进，SET已经逐步电子化[5]，然而，由于其庞大的数据量，通过人工获取学生的反馈信息仍然十分繁琐。文本情感分析（Sentiment Analysis，SA）主要是基于文本数据研究人们对于商品、服务、事件等对象的情感、意见或态度，可以实现文本数据的自动化处理。因此，如何利用情感分析技术从大量的SET数据中挖掘学生的情感倾向，是充分实现SET教学功能的关键，也是目前教育领域亟待解决的重要问题之一[6]。

现有的SA方法主要有基于词典的方法、基于机器学习（Machine Learning，ML）的方法和基于深度学习（Deep Learning，DL）的方法[7]。其中，基于词典的方法主要利用情感词典将语料库中表达情感的关键词提取出来，进而对目标语句进行情感分析[8]。基于词典的方法能体现文本的非结构化特征，在情感词典覆盖率和标注准确率较高的情况下分类效果较理想[9]，然而，此类方法依赖语料库的领域、语言等背景知识，在实践中难以构建高质量的情感词典。基于ML的方法可以通过语句中词语级别的情感特征准确捕获文本中有用的情感信息，这种词级特征可以将语义信息表示成向量形式，方便衡量两个词之间的相似度，因而在情感分析任务中表现良好[10]。据此，Francis F. Balahadia等人开发了一个基于意见挖掘和情感分析的教师绩效评价系统，将学生教学评价中的情感信息作为教师绩效的评价标准之一[11]。Qika Lin等人分别使用朴素贝叶斯（Naive Bayesian，NB）、逻辑回归等机器学习方法，自动从学生教学评价中分析学生的情感倾向，并比较了这些方法的性能表现，进而实际应用于学校教学管理系统的学生评教环节[12]。基于ML的方法简单易用，但是这种词级特征过于依赖特征提取，对复杂句式的建模并不理想。近年来，随着基于DL的情感分析研究取得重大的进展，各种DL模型被用来分析产品评论、社交媒体评论的情感倾向，并取得了良好的效果[13]，因而研究者开始将其应用于教育领域[14-17]。Chiu-Wang Tseng等人设计了一个决策支持系统，使用了NB、深度神经网络、注意力机制的循环神经网络（Recurrent Neural Network，RNN）和长短期记忆网络（Long Short-Term Memory，LSTM）等多种方法对学生教学评价问卷的评语进行情感分析，并将结果作为学校评选优秀教师的参考依据[18]。

然而，上述研究多是对教学评价进行句子或篇章级的情感分析，忽略了学生教学评价中细粒度的情感，即未考虑教学评价中学生对教学态度、教学方法等某个特定方面的情感倾向，难以让教师有针对性地改进教学。为此，本文设计了一种基于双向门控循环单元（Bidirectional-Gated Recurrent Unit， Bi-GRU）和CNN的雙通道深度记忆网络（Dual-Channel Deep Memory Network，DDMN），以用于学生教学评价的方面级情感分析（Aspect Based Sentiment Analysis，ABSA）。左通道中基于CNN的深度记忆网络（Deep Memory Network，DMN）提取评语中的局部特征，右通道中基于Bi-GRU的DMN提取上下文依赖信息，将两个通道得到的情感特征加以融合并通过Softmax分类器得到评语关于特定方面的情感倾向。

二、问题描述

SET的评语作为最直观的学生反馈，包含丰富的信息。观察评语可以发现，很多评语不仅表达了对教学整体的积极或者消极的情感，还表达了对教学的某个具体方面的情感。例如：评语“非常棒的教授、非常好的教学技巧、谢谢老师给我们上这门课”中，表达了学生对教师“教学方法”方面的认同，即表达了对该方面的积极情感。并且，通过对各个教学方面的挖掘分析，能深入了解学生对不同教学方面的关注程度。SET中这种细粒度的情感，表达了学生更加真实的感受，可以帮助教师和管理者更加了解教学效果，进而为教学反思和针对性的教学改进提供科学依据。

与电商产品评论相比，SET评语中的情感更加隐晦，情感特征提取更困难。如电商产品评论表达对某产品消极的情感可能很直接：“这个相机的画质很差”，对于这种直接性的评语采用CNN提取局部特征效果良好。而学生对某教师教学效果持负面评论时，可能表述更为委婉，例如：比较性评语“李老师的课相比张老师的课还有提升空间”，或者“希望老师能配备一个好的助教”，这使得传统的机器学习和CNN难以捕获其中的情感特征。这时需要通过评语的语境，即上下文的依赖信息来综合判断评语的情感倾向，而RNN能很好地提取这种上下文的依赖信息，进而得到更准确的情感特征。

三、双通道深度记忆网络模型

DDMN模型用于SET方面级情感分析的流程如图1所示。其中，SET数据收集和预处理部分是为了从教学评价网站获取真实的学生评价数据，经预处理后将其作为情感分析所需的SET数据集。情感分析部分则是利用DDMN模型来提取评语的情感特征，进而得到其情感标签。其中，左右两个通道分别是两个深度记忆网络，均包括记忆模块、循环注意模块两个部分，不同之处在于，左通道由CNN构建记忆模块，右通道由Bi-GRU构建记忆模块。给定一条来自评语数据集的评语，首先通过词嵌入模块得到评语的上下文表示，并将其分别输入左、右通道中的记忆模块。然后，左、右通道分别通过循环注意模块从各自的记忆模块中多次关注并提取特定方面的相关信息，以得到更准确的情感特征。最后，将两个通道得到的情感特征相融合以获取最终的情感特征f，并输入分类器得到该评语的情感标签。

（一）数据收集与预处理

随着在线学习平台、学评教信息系统、教学质量监控系统的应用，逐渐积累了大量SET数据。尽管不同系统的SET有着不同的评价指标和方式，但主要都包括定量的评分和定性的评语两种。在获取上述数据后，可先根据数据的实际情况进行数据清洗，去除空白评语和包含无法识别的特殊字符的评语，然后进行评语情感标签和方面标签的标注。进行情感标注时，由于评分定量地表达了学生的情感，因此，可以作为评语情感标签的依据，而方面标注的依据是评语中是否出现方面词。

（二）词嵌入模块

在处理定性的评语文本时，为了将非结构化的文本语句表示为计算机程序可识别的数据，需要将每个词映射成一个低维、连续、实值的向量，即评语的词嵌入。设L∈Rd×|V|是由GloVe生成的嵌入查找表，其中，d代表词嵌入的维度，|V|代表查找表的大小，所有的词向量都堆叠在该嵌入矩阵中[20]。给定由n个词语组成的评语S={w1，w2，...，wi，...，wn}，其中，第i个词wi为方面词，输入模块从L检索词向量，将评语和对应的方面i映射到低维向量，得到评语的向量表示X={x1，x2，...，xi，...，xn}。将其中的方面词的向量xi抽取出来，作为后续循环注意模块的输入，其余的评语上下文表示x1，...，xi-1，xi+1，...，xn作为左、右通道的记忆模块的输入。

（三）记忆模块

1. 左通道：CNN构建记忆模块

由于CNN能够快速训练模型并从语句序列中获取上下文的局部特征，因此，其被广泛用于情感分析任务。CNN构建记忆模块主要由输入层、卷积层、池化层组成，当输入为评语s={w1，w2，...，wi，...，wn}时，通过词嵌入后，CNN的输入即为去除方面词的评语上下文：

2. 右通道：Bi-GRU构建记忆模块

评语中的情感特征不仅包括单个单词和局部特征，而且还包括上下文依赖性强的短语类特征。如在评语“李老师上课很有特点，不过我有点难以接受”中，“很有特点”和“难以接受”表达的情感信息完全不同。对于这种委婉表达的评语，为了能更加准确地对学生评价进行情感分类，需要尽可能地利用评语的上下文依赖信息来提取出更准确的情感特征。

RNN是一种能够对可变长语句序列进行建模，并捕获语句中单词间长期依赖信息的模型，其被广泛应用于自然语言处理领域的文本语义信息建模，因此，使用RNN可以有效捕获评语中的上下文依赖信息。然而，委婉表达的评语一般是较长的复杂句，而RNN的记忆周期相对较短且容易发生梯度爆炸或梯度消失问题。GRU作为RNN的一种改进模型，其参数数量相对较少，训练更加容易，因而能够在情感分析、图像分类等任务中取得更优异的性能表现。GRU单元包括更新门和复位门，对应两个Sigmoid非线性激活函数。更新门和复位门都能够独立地控制上一个时刻隐藏状态信息的输入，更新门用来控制当前状态需要遗忘的历史信息量和接收的新信息量，复位门用来控制候选状态中的历史信息量，其模型结构如图2所示。可以将GRU模型简化为：

然而，由于评语上下文存在依赖性，即每个词的语义同时与前面的词和后面的词相关，而GRU內部的隐藏状态只保留了评语前面的词的语义信息，忽略了后面的词的语义信息。因此，这里可使用同时组合前向GRU和后向GRU的双向GRU网络。该网络将每个GRU单元输出拼接成最终输出，使每个单元的输出都包含了输入评语中各个词的完整上下文信息。双向GRU在 t时刻输出隐藏层状态ht为：

（四）循环注意模块

由于评语中每个词对于情感分析的重要程度不同，通过Bi-GRU和CNN得到的各个记忆片对情感的贡献也各不相同。例如：评语“上课比较拖拉，喜欢布置作业，学生很累但成绩有保障”的语境较为丰富，这里“但成绩有保障”比上文的“拖拉”“很累”更重要。为了能关注到评语中的重要信息，可使用深度记忆网络来实现对记忆的循环注意，以充分利用记忆中的有用信息，从而获取更准确的情感特征。循环注意模块由多个计算层（hop）组成，每个计算层都包含一个注意力层和线性层，其结构如图3所示。在第一个计算层（hop1）中，方面的向量表示xi作为输入，通过注意力层对记忆片进行加权后自适应地从记忆M中提取出情感信息，再将此信息与输入的线性变换相加作为输出，并将结果作为下一层（hop2）的输入;通过叠加hop，使得记忆中的有用信息被多次提取，最后一层中的输出向量被认为是该语句的情感表示，将其用作方面情感分类的特征进行分类。

在每个计算层里，首先需要构建注意力机制以提取记忆中的信息，假设共有K个计算层，则对于每一个记忆片mj，使用前馈神经网络来计算它与输入的相关性，计算公式为：

（五）情感分类器模块

对记忆进行多次关注、提取信息后，最后一个计算层的输出向量xik即为该通道中评语的情感特征，将两个通道得到的情感特征进行拼接得到最终的情感特征f，将其输入到一个Softmax分类器中进行情感分类：

、实验与结果分析

（一）实验数据集描述

为了收集一个关于SET的文本语料库，我们利用爬虫技术从美国著名的教师评价网站www. ratemyprofessors.com收集了4.49万条学生对教师的评论。在这个网站上，学生可以编辑文本发表对各个教师的定性评语，并用5分制对教师进行整体性的定量评分。经数据清洗后，按照上述方法对原始评语数据进行数据预处理，步骤如图4所示。

首先，对每条评语进行情感标注，将整体分数小于或等于2.0的评语标记为“消极”，大于或等于4.0的评语标记为“积极”，其他的评语标记为“中性”;然后，对描述过长的评语进行评语分割，将其划分为多个简单句，其中，每个简单句表达独立含义的评语，情感标签为原评语的标签;最后，对每条评语进行方面标注，先根据语义人工构建方面的词典，如“教学态度”的词典包含“态度”“认真负责”等词语，如果评语中出现这些词，则将其标注为“教学态度”。其他评语同理，对于没有出现此类词的评语标注为“others”。

通过上述方法得到经预处理的由44382条SET评语组成的数据集，每条评语都有方面标签和情感标签，该数据集的统计信息见表1。

（二）实验结果与分析

为了验证所提深度学习模型对学生教学评教情感分析的有效性，将SET数据集中约10%的关于同一教师的评语作为验证集，其余数据作为训练集进行实验。首先，与单通道模型进行对比实验，词向量维度设为300维，其准确率、宏F1均值如图5所示。可以看出，双通道的DDMN模型性能最佳，单通道的Bi-GRU模型次之。其中，在计算层数为4层时，双通道DDMN模型准确率分别较单通道Bi-GRU和CNN提高了3.26%、4.98%，宏F1均值分别提高了4.13%、5.89%。这是由于CNN提取局部特征的特性难以有效地对学生评语中委婉的情感表达进行建模，而Bi-GRU网络能有效地提取学生评语中的上下文依赖信息，因而能更好地捕获学生评语中的隐晦的情感特征，取得优于CNN网络的效果。DDMN模型结合了CNN、Bi-GRU提取的情感特征，故能有效地提取委婉的学生评语中的情感特征，得到最优的情感分类效果。

然后，与现有研究中常用的五种效果较好的方法进行分类准确率的对比，包括朴素贝叶斯（NB）[12]、支持向量机（SVM）[9]、注意力机制的长短期记忆网络（AT-LSTM）[18]、卷积神经网络（CNN）[16]和基于ELMo的情感分类方法（ELMo-ACSA）[19]，结果见表2。可见，DDMN模型获得了比现有方法更好的分类效果，其中，CNN和AT-LSTM分别取得了72.59%和74.11%的准确率，这是由于AT-LSTM能有效提取评语中的上下文依赖信息，并且利用注意力机制给特定词语赋予权重，而CNN不擅长处理长语句，容易忽略评语的上下文依赖信息。DDMN模型不仅结合了AT-LSTM和CNN的优势，还使用了循环注意力机制，因而准确率达到了79.61%。

通过挖掘学生教学评价中的情感倾向，可以了解更加真实的教学情况。例如：由验證集的情感分析结果（见表3）可知，该教师在“教学方法”“教学效果”两个方面的“积极率”分别为40.83%、34.99%，显著高于表1中教师群体在这两个方面的36.28%和32.91%的“积极率”，但是“教学效果”方面的“积极率”略低于该教师自身总体“积极率”的35.99%。因此，可以认为该教师在“教学方法”方面表现较好，而“教学效果”方面表现一般且大部分教师在“教学效果”方面都表现一般。类似地，通过对特定教师或者特定方面以及总体的情感分析结果进行对比分析和相关性分析，可以全面地了解真实的学生感受和教学情况，进而帮助改善教学效果、提高教学质量。此外，在实际教学实践中还可以根据不同的教学场景和需求来确定不同的“方面”，如教师和教学管理者对教学的关注点可能不同，那么对学生教学评价进行情感分析时的“方面”也就不同。

五、结   语

学生教学评价是了解教学情况、提高教学质量的重要依据，故挖掘其中的情感倾向进而反馈于教学具有重要的研究意义。针对现有学生教学评价情感分析的有关研究没有考虑特定教学方面的情感且在情感分析时容易忽略评语中的局部特征和上下文依赖信息的问题，为了更精准地挖掘学生教学评价中的情感倾向，本研究提出了一种基于双通道深度记忆网络的深度学习模型。通过在真实的评语数据中进行实验，表明所提出的模型能有效改善情感分析的效果，从而为教师和教学管理者了解教学情况、针对性地改进教学提供科学依据。由于学生的情感是多因素相互作用产生的，学生评价中蕴含的情感也与学生个人表现有潜在的联系，因此，下一步工作可结合学生个人特质和学习情况来对学生评语进行情感挖掘分析。

[参考文献]

[1] 盛津芳，董科，李龙，等.基于Web的学生反馈系统的构建及在高校教学中的实践分析[J].电化教育研究，2015，36（1）：48-54.

[2] PARDO A， HAN F， ELLIS R A. Combining university student self-regulated learning indicators and engagement with online learning events to predict academic performance[J]. IEEE transactions on learning technologies， 2017， 10（1）：82-92.

[3] 孙众，蘧征，杨现民，等.有意义的大数据与教学优化改革[J].电化教育研究，2018，39（3）：43-48.

[4] 杜江，程建钢.数据驱动的高校学生评教实施策略研究[J].中国电化教育，2019（9）：112-120.

[5] 熊余，储雯，蔡婷，於隆甲，田航.高校教育大数据应用支撑体系的设计与实践[J].现代教育技术，2020，30（11）：91-97.

[6] ROMERO C， VENTURA S.  Educational data mining and learning analytics： an updated survey[J]. Wiley interdisciplinary reviews： data mining and knowledge discovery， 2020， 10（3）： 1-21.

[7] 李然，林政，林海伦，等.文本情绪分析综述[J].计算机研究与发展，2018，55（1）：30-52.

[8] SIVAKUMAR M， REDDY U S. Aspect based sentiment analysis of students opinion using machine learning techniques[C]//2017 International Conference on Inventive Computing and Informatics （ICICI）.Coimbatore： IEEE Press，2017：726-731.

[9] RANI S， KUMAR P. A Sentiment analysis system to improve teaching and learning[J]. Computer， 2017， 50（5）：36-43.

[10] GUTIERREZ G， CANUL-REICH J， ZEZZATTI A O， MARGAIN L， Ponce J. Mining： students comments about teacher performance assessment using machine learning algorithms[J]. International journal of combinatorial optimization problems and informatics， 2018：9（3）， 26-40.

[11] BALAHADIA F F， FERNANDO M C G， JUANATAS I C. Teacher's performance evaluation tool using opinion mining with sentiment analysis[C]// 2016 IEEE Region 10 Symposium （TENSYMP）. Bali： IEEE Press，2016：95-98.

[12] LIN Q， ZHU Y， ZHANG S， et al. Lexical based automated teaching evaluation via students' short reviews[J]. Computer applications in engineering education， 2019， 27（1）：194-205.

[13] WADAWADAGI R， PAGI V. Sentiment analysis with deep neural networks： comparative study and performance assessment[J]. Artificial intelligence review， 2020（5）：1-41.

[14] 陳德鑫，占袁圆，杨兵.深度学习技术在教育大数据挖掘领域的应用分析[J].电化教育研究，2019，40（2）：68-76.

[15] 徐振国，张冠文，孟祥增，等.基于深度学习的学习者情感识别与应用[J].电化教育研究，2019，40（2）：87-94.

[16] ONAN A. Mining opinions from instructor evaluation reviews： a deep learning approach[J]. Computer applications in engineering education， 2020， 28（1） ：117-138.

[17] CABADA R Z， ESTRADA M L B， BUSTILLOS R O. Mining of educational opinions with deep learning[J]. Journal of universal computer ence， 2018， 24（11）：1604-1626.

[18] TSENG C W， CHOU J J， TSAI Y C. Text mining analysis of teaching evaluation questionnaires for the selection of outstanding teaching faculty [J]. IEEE access， 2018， （6）： 72870-72879.

[19] WANG Y， YANG Z， TIAN F， et al. ELMo-ACSA based multi-aspect view mining of students' reviews on teaching[C]// 2019 5th International Conference on Big Data and Information Analytics （BigDIA）. Kunming： IEEE Press，2019：78-83.

[20] PENNINGTON J， SOCHER R， MANNING C D. Glove： global vectors for word representation[C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）. Stroudsburg：ACL Press， 2014：1532-1543.