基于人工智能技术的学生情绪在线分析方法

唐闺臣 谢跃 李克

摘 要 近年来，因为疫情以及音视频和网络技术的发展，在线教学急速发展。与传统课堂教学相比，在线教学具有不受地点限制、互动范围广等优点。但是，在线教学比较缺乏师生互动，受环境和软件等因素影响老师无法面对面有效观察学员，从而无法判断学习者的当时的学习状态，影响教学效果。为此，本文提出一种基于人工智能技术的学生情绪在线分析方法，旨在通过识别学生的情绪来辅助了解当前学生的学习状态，从而为授课教师提供教学参考，进而帮助老师正确选择教学策略，以达到提高教学质量的目的。

关键词 在线教学;情绪识别;深度学习网络;人工智能

中图分类号：TP181                                 文献标识码：A  DOI：10.16400/j.cnki.kjdk.2021.33.044

Online Analysis Method of Students' Emotion Based on

Artificial Intelligence Technology

TANG Guichen[1]， XIE Yue[1]， LI Ke[2]

（[1] School of Information and Communication Engineering， Nanjing Institute of Technology， Nanjing， Jiangsu 211167;

[2] School of Information Science and Engineering， Southeast University， Nanjing， Jiangsu 210096）

Abstract In recent years， due to the epidemic situation and the development of audio， video and network technology， online teaching has developed rapidly. Compared with traditional classroom teaching， online teaching has the advantages of unlimited location and wide range of interaction. However， online teaching lacks interaction between teachers and students. Affected by factors such as environment and software， teachers cannot effectively observe students face to face， so they cannot judge the learners' learning state at that time and affect the teaching effect. Therefore， this paper proposes an online analysis method of students' emotion based on artificial intelligence technology， which aims to help understand the current students' learning state by identifying students' emotion， so as to provide teaching reference for teachers， and then help teachers choose teaching strategies correctly， so as to improve teaching quality.

Keywords online teaching; emotion recognition; deep learning network; artificial intelligence

引言

隨着互联网和人工智能技术的飞速发展，同时因为疫情，在线教学的发展越发迅捷。相比于世界各国，中国虽然起步较晚，但发展迅速，很多原来从事网络会议行业的互联网企业也开始进军在线教育行业。腾讯会议、钉钉、飞书等音视频即时通讯软件也在在线教学中起着重要的作用。

与传统课堂教学相比，在线教学具有不受地理位置限制、资源丰富、传播范围广等优点。然而，由于在线教育中的教师无法面对面观察学习者，无法判断学习者的学习情绪，缺乏与学习者的沟通和互动。与任何学习过程一样，在线学习依赖于人类知识的有效交流，无论是在面对面的课堂上还是在互联网上。因此，如何有效的在在线学习过程中评估学生的学习效果变得非常重要。近年来，人工智能技术在学生状态分析方面的研究越来越多。

有效和个性化的情绪反馈对学习者的动机、参与度、自我调节和学习结果有积极影响。[1]近年来，网络教育中的情绪问题受到了广泛关注。[2]教育中的情感包括：（1）教育者理解和识别学习者情感状态并给予他们个性化和有效的情感反馈的能力;（2）让学习者意识到自己的情绪状态，以便能够改变情绪状态。情绪会对学习产生巨大影响，并在决策、管理学习活动、时间安排和反思学习中发挥重要作用。情感在教学和学习中也很重要，通常以特定的方式表达，如与他人互动和学习动机。提高学习者在在线教育中的表现是设计和评估在线平台[3]的关键挑战之一。为此，许多学者从事了相关的研究工作，比如基于人工智能技术的情绪识别方法等。

Mohamed Soltani等人提出了一种基于表情动作的情感反馈系统，通过在课程中使用面部动作系统分析学生的面部表情，让学生了解自己的情绪状态，从而提高他们的动机、参与度、自我调节和学习成绩。YU Wanying等人提出基于深度注意力网络的课堂教学视频中学生表情识别模型与智能教学评估算法。[4]Chao Ma等人提出并实现了一个基于CNN的在线教育学习情绪分析识别模型，以加强讲师和学员之间的互动，从而有助于个性化教育。[5]Pan Xiang提出一种基于模糊神经网络的情感识别方法，通过分析学生的表情来识别学生的情绪，从而帮助系统正确选择教学策略。[6]Liang Jie等人以教师的语音信号为研究对象，设计了一套情感检测音频处理系统，用于教学中的语音情感识别。[7]

针对在线教学现状，本文提出一种基于人工智能技术的学生情绪在线分析方法。该方法首先构建神经网络模型获取含有情感信息视频初级特征，并基于时频分析方法提取音频初级特征;然后，根据视频初级特征和音频初级特征得到融合特征，将融合特征矩阵输入基于深度学习网络的情绪识别模型，从而得到情绪识别结果。实验结果表明，该方法在开放的多模态情感识别数据集上取得了较好的效果。

1 情绪识别模型

1.1 系统架构

图1是基于人工智能技术的情绪识别的系统架构。如图所示，整个系统主要分为特征提取，特征融合和识别模型三个部分。其中，特征提取分为音频和视频特征提取两个部分。其中，音频部分为美尔倒谱系数提取;而视频部分是基于深度残差网络提取深度特征。两部分特征提取后，通过特征注意力方法进行融合，并送入情绪识别模型。情绪识别模型由双向门控循环单元网络构成，最后一层输出经过全连接层后得到等同于分类数量的输出向量，从而获得情绪识别结果。

1.2 音视频特征提取

本文采用深度残差网络[8]提取视频模态数据所包含的特征。深度残差网络包括17个卷积层与1个全连接层，最后提取的视频初级特征共128维。音频特征为24阶梅尔频率倒谱系數。

为了将视频初级特征矩阵和音频初级特征矩阵进行特征融合，模型采用一种能够自动学习融合权重的机制。首先，模型对每一组特征矩阵以相同间隔进行下采样，并归一化至相同的时间长度。对于长度不足部分的数据采取填零处理，随后拼接每一时刻对应的视频初级特征与音频初级特征，得到融合特征矩阵。其中，融合后的特征维度为152，故为一个行高为152、列宽为的矩阵。

将融合特征矩阵输入特征融合模块，得到经过自注意力机制处理的融合特征矩阵，该过程使网络能够学习融合特征中更为重要的维度并将注意力集中，提高其权重并降低冗余维度的权重。该机制可以被描述为一个查询矩阵到一系列（键-值）对矩阵的映射，[9]其计算方式是先计算查询矩阵和各个键的相关性，得到每个键对应值的权重系数，即注意力权重，使用该权重对各值进行加权求和，最终得到经过注意力机制处理的值。

1.3 识别模型

为建模含有情绪信息的多模态数据样本中的时序关系，本文构建双向门控循环单元网络。此处的双向门控循环单元采用两个门控循环单元上下叠加在一起组成，在每一个时刻，输入会同时提供给这两个方向相反的门控循环单元，而输出则是由这两个单向的门控循环单元共同决定。门控循环单元是循环神经网络中的一种，可以有效解决长期记忆和反向传播中的梯度爆炸问题，并且其参数量较少。

将融合特征矩阵，输入双向门控循环单元网络，得到所有时刻的输出向量，以及最后一个隐藏层的状态向量，每一时刻的输出向量为当前时刻的隐藏层向量通过一个全连接层得到，维度设置为128。由于门控循环单元网络是双向的，因此输出向量与状态向量的维度均为256。随后，使用时间注意力机制模块计算最后一个隐藏层的状态向量与所有时刻的输出向量之间的注意力：

（1）

其中，、和均为可训练的参数向量或矩阵，为时刻的输出向量在时间维度上的注意力权重。根据注意力权重对所有时刻的输出向量进行加权求和，得到高级特征向量：

（2）

此时，256维的高级特征向量已经过特征维度和时间维度的注意力机制处理，融合了多模态特征以及上下文信息，且对于重要的特征维度及时刻拥有更高的权重。将输入全连接层得到一个维度等同于分类数量的输出向量，使用Softmax函数映射为概率分布后计算其与样本实际概率分布之间的交叉熵。以已知真实标签的含有情感信息的音视频数据作为训练样本、以交叉熵作为损失函数进行反向传播训练整个神经网络，最终得到可以预测音视频样本情感分类概率的神经网络模型。

2 情绪识别实验

2.1 实验设置

为了客观的评估算法性能，本文使用了一个被广泛使用的多模态情感数据库RAVDESS。该数据集包含24名专业演员（12名女性，12名男性）作为被试，每名被试以演讲和演唱两种方式表达各种情绪，本文仅采用其演讲的音视频数据进行实验。对于实验方案和性能指标，采用五折交叉验证计算识别精度，并采用平均F1分数来评估我们多模态情感识别方法的性能，情绪的分类包括快乐、悲伤、愤怒、恐惧、惊讶和厌恶。

实验以25fps的帧率提取图像序列并进行灰度化处理，进而对所有提取出的灰度图像帧进行人脸检测，并定位人脸的68点关键点;根据定位处理得到的关键点，以31号关键点鼻尖为中心，裁剪出人脸正方形区域，并归一化为64？4的尺寸、[0，1]的像素值范围以送入图像特征提取网络。以已知真实标签的含有情感信息的音视频数据作为训练样本、以交叉熵作为损失函数进行反向传播训练整个神经网络，并采用自适应矩估计算法进行训练优化，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，其中，自适应矩估计算法的权值衰减设置为5e-5，以32个样本作为一个小批次进行输入，学习率初始化为4e-3，每20个迭代周期衰减为原先的一半，共迭代100个周期。

2.2 实验结果

为验证情绪识别算法的效果，实验在公开的主流多模态情感识别数据集RAVDESS上进行对比实验。对比方法为基于无注意力机制、特征注意力机制和本文提出的方法。评价指标为识别准确率和平均F1分数。实验结果如表1所示。由表可知，本文采用的方法在数据集上取得了最好的识别效果。相比于无注意力机制，特征注意力机制的識别准确率在提升5.58%。融合特征-时间注意力后，识别准确率达到11.88%。两种算法在F1平均分数上有类似的提升。

3 结论

为了提升在线教学的效果，本文提出一种基于人工智能技术的学生情绪在线分析方法。该方法综合运用了音频和视频特征，基于人工智能的方法来有效的被试情绪。实验结果显示，该方法能充分利用录制的音视频数据来识别被试情绪，使从事在线教学的教师有可能获得学生的情绪状况，进而及时对课程内容进行调整，比如增加实例分析、提问、学生答疑等。后期研究应该录制更有效的音视频数据，并融入语音识别和自然语言处理技术，将学生情绪和语言表征相结合，从而更好的判断学生的学习状态，进而全面的评价学生行为并用以指导教学行为。

基金项目：2020年度江苏高校哲学社会科学研究一般项目“基于人工智能的在线教学质量双向评价研究”（项目编号：2020SJA0455）

参考文献

[1] Arguedas， Marta1， Daradoumis， Thanasis， Xhafa， Fatos. Analyzing How Emotion Awareness Influences Students' Motivation， Engagement， Self-Regulation and Learning Outcome. Journal of Educational Technology Society， 2016; 19（2）： 87-103

[2] Soltani M， Zarzour H， Babahenini M C， Hammad M， Smadi M a-， Jararweh Y. An Emotional Feedback Based on Facial Action Coding System for MOOCs with Computer-Based Assessment.in 2019 Sixth International Conference on Social Networks Analysis， Management and Security （SNAMS）.2019.

[3] Chemam C， Zarzour H， Sari T， Al-Smadi M， Jararweh Y. Trends in Linked Data-Based Educational Studies： A Review of Contributions in SSCI Journals. in 2018 IEEE/ACS 15th International Conference on Computer Systems and Applications （AICCSA）. 2018.

[4] 于婉莹，梁美玉，王笑笑，等.基于深度注意力网络的课堂教学视频中学生表情识别与智能教学评估.计算机应用， 1-7 DOI： 10. 11772/j. issn. 1001-9081. 2021040846.

[5] Ma C， Sun C， Song D， Li X， Xu H. A Deep Learning Approach for Online Learning Emotion Recognition. in 2018 13th International Conference on Computer Science & Education （ICCSE）. 2018.

[6] Pan X. Research on the Emotion Recognition Based on the Fuzzy Neural Network in the Intelligence Education System. in 2011 Second International Conference on Digital Manufacturing & Automation. 2011.

[7] Jie L， Xiaoyan Z， Zhaohui Z. Speech Emotion Recognition of Teachers in Classroom Teaching. in 2020 Chinese Control And Decision Conference （CCDC）. 2020.

[8] He K， Zhang X， Ren S， Sun J. Deep residual learning for image recognition. in 29th IEEE Conference on Computer Vision and Pattern Recognition， CVPR 2016， June 26， 2016 - July 1， 2016. 2016. Las Vegas， NV， United states： IEEE Computer Society.

[9] Vaswani A， Shazeer N， Parmar N， Uszkoreit J， Jones L， Gomez A N， Kaiser L， Polosukhin I. Attention is all you need. in 31st Annual Conference on Neural Information Processing Systems， NIPS 2017， December 4， 2017 - December 9， 2017. 2017. Long Beach， CA， United states： Neural information processing systems foundation.