基于智慧学习环境下的学习画面情感识别模型

韩杰　肖莹慧

摘要：在智慧学习环境下，学习者在学习过程中的情感交互是教育领域的一个重要研究内容，主要通过智能学习终端进行情感识别。学习情感主要包括专注、高兴、常态的积极情绪，走神、悲伤、愤怒的消极情绪，对学习者的学习过程具有影响和调节的作用。因此，本文提出了一种基于智慧学习环境下，构建学习画面情感识别模型。本模型根据学习者在学习中的情绪反馈，自适应改进和推送学习内容，促进学习过程中的积极情绪，促进情感交互率，也可作为辅助评估课程的教学质量和学习资源质量的支撑依据。

关键词：学习画面;学习情感;情感识别;智慧学习环境

中图分类号：G642        文献标识码：A

文章编号：1009-3044（2021）03-0195-02

Abstract： In the smart learning environment， the emotional interaction of learners in the learning process is an important research content in the field of education， and emotion recognition is mainly performed through smart learning terminals. Learning emotions mainly include positive emotions such as concentration， happiness， and normalcy， and negative emotions such as distraction， sadness， and anger， which have an influence and regulation effect on the learning process of learners. Therefore， this paper proposes a smart learning environment to build a model of emotion recognition in learning images. This model adaptively adjusts and pushes learning content according to the emotional state of learners， promotes positive emotions in the learning process and increases the emotional interaction rate. It can also be used as a supporting basis for assisting in evaluating the quality of teaching and learning resources of courses.

Key words： Learning Screen; Learning Emotion; Emotion Recognition; Smart Learning Environment

1 引言

随着教育信息化和人工智能技术的变革，智慧学习环境作为数字化的高端学习形态而呈现。智慧学习环境即智慧教室，可通过摄像头等终端设备，利用信息技术手段记录教学数据，捕捉学习者的学习情况，包括动作，神态，眼动追踪等，通过获取学习行为数据，为学习者提供适合个人偏好的学习内容和学习资源，调节学习者的积极情感。

学习过程中的情感交互近年来受到研究者的广泛关注，吴兴华等[1]提出数字化学习应融合情感交互，增强教学临场感，促使其更合理高效。沈映珊等[2]通过表情识别、语音识别、手势、眼动等身体姿态来识别学习者的情感，结合学习者的认知能力和学习行为，构建网络情感交互模型。

2 相关概念

2.1 学习画面

学习画面主要指学生在智慧学习环境中获取的信息载体，即接收的学习内容，包括由文字、图像、视频、语音等组成的多媒体信息，能通过智能学习终端设备进行获取或显示。学生可以通过学习画面接收学习内容的相关信息，同时，可以采集学生在画面学习中所反馈的情感认知，这种情感认知主要由视觉情感所反馈的学生外在表现出来的直观感受。

2.2 学习情感

学习情感也指学习情绪，包含在学习中表现出来的各种情绪和心境，主要通过生理信息、外部表现等体现。积极情绪称为高学习情感，包括兴奋、愉快等。消极情绪称为低学习情感，包含厌烦、失望等。好的学习情绪可以有效提升学生认知学习的开展。

2.3 情感识别

利用人工智能和深度学习技术进行情感识别，是实现学习过程情感量化的基础。面部表情是情感状态中的重要体现，可利用智慧学习环境中的摄像头采集面部表情，Mehrabian提出，在人們的对话中有93%的信息是通过非语言行为传递的，面部表情占比55%，本文主要利用卷积神经网络（Convolutional Neural Networks，CNN）进行面部表情识别，判断学习者的学习情感。

3 基于学习画面的情感识别模型

学习画面是指学习者在学习中接收的学习内容的信息画面，主要由多媒体数据组成，如文本、图像、Flash、动画等，并在学习者的智能终端屏幕进行显示的画面。根据学习内容画面识别、识别学习者情感、判断视觉偏好进行调整。情感识别模型如图1所示。

3.1 学习者情感识别

学习者情感识别模块，采集智慧学习环境中的摄像头拍摄的学习者面部表情，利用人工智能技术进行情感识别。首先，将采集的图像进行归一化处理，利用Adaboost方法提取学习者面部区域，进行特征提取，然后利用7层卷积神经网络CNN将图像提取的特征与模糊分类相结合，分别进行3次卷积、3次池化、1次全连接，最后输出学习者情感，主要分为高兴、专注、常态、愤怒、厌倦5种类型。

3.2 学习画面情感识别

学习画面主要通过學习管理系统，根据学习者的学习偏好和认知能力进行个性化推荐，或者在课堂教学中由教师通过智能终端进行屏幕分享。学习内容中的版面布局、色彩搭配等对学习者的学习兴趣、认知及情感有重要影响。所以在发布和呈现教学内容的时候，更加注重文本、图像等多媒体的选择。首先，将学习画面实时的传送给学生，利用9层CNN模型进行训练学习画面情感，包含4次卷积，4次池化，1次全连接，最后输出学习画面情感，主要分为温馨、活泼、幽默、欢快、沉闷、枯燥、空洞、繁杂等8种类型。

3.3 学习者视觉情感偏好

通过对学习内容的画面和学习者面部表情情感进行同步采集，挖掘两者之间的相关性，分析学习者情感偏好。学习者可以根据个人偏好进行重新设置学习画面。在系统的数据采集过程中，按某一固定时间段计算学习者情感识别系数和学习画面情感识别系数，最后，结合相关度高的学习画面和情感特征存入数据库中，进行视觉情感偏好设置。

3.4 学习情感调整模型

根据上述三类情感识别数据，综合学生的积极偏好，实时调整学习画面的推送风格选择，使其设置符合学习者偏好的学习画面，提高学习过程中的学习兴趣。主要调整视觉特征的方法有：图像混合法、色彩搭配法、图像叠加法等。学习情感调整模型需要实时的自动变化，使学生尽量体现出良好的学习情绪。学习情感调整系统采用Python、Matlab等开发工具，分别开发教师端和学生端。教师端传送教师机屏幕的学习画面给学生，学生端接收学习画面图像，根据学习者情感、学习画面情感、偏好特征来调整，反馈给学习者。

4 结束语

在现代智慧教育教学中，除了提供个性化学习内容外，还需根据学习者的情感偏好提供学习画面。将课堂讲授与学习情感相结合。应用深度学习进行智能情感计算、大数据技术进行行为统计，来构建学习情感调整模型，为学习者在学习过程中提供情感分析与偏好设置的支持。

参考文献：

[1] 吴兴华，张仕华.情感交互：解数字化学习中异步交互缺憾之策[J].成人教育，2016，（7）：36-39.

[2] 沈映珊，汤庸.社交学习网络中基于学习认知的情感交互研究[J].现代教育技术，2015（9）：90-96.

[3] 龚朝花，李倩，龚勇.智慧学习环境中的学习投入问题研究[J].电化教育研究，2018，39（6）：83-89.

[4] 王健，郭敏，肖冰.基于线性判别深度信念网络的人脸表情识别[J].陕西师范大学学报（自然科学版），2018，46（4）：28-34.

[5] 徐振国，张冠文，孟祥增，等.基于深度学习的学习者情感识别与应用[J].电化教育研究，2019，40（2）：87-94.

[6] 梁迎丽，梁英豪.人工智能时代的智慧学习：原理、进展与趋势[J].中国电化教育，2019（2）：16-21.

[7] 吴伟国，李虹漫.PAD 情感空间内人工情感建模及人机交互实验[J].哈尔滨工业大学学报，2019，51（1）：29-37.

[8] 张金刚，方圆，袁豪，等.一种识别表情序列的卷积神经网络[J].西安电子科技大学学报 ，2018，45（1）：150-155.

[9] 王琳琳，刘敬浩，付晓梅.融合局部特征与深度置信网络的人脸表情识别 [J].激光与光电子学进展，2018，55（1）：204-212.

[10] 马建军，乜勇.国内智慧教育的研究热点与发展趋势——基于多维尺度和社会网络分析的方法[J].现代教育技术，2018，28（10）：42-48.

[11] Ray A， Chakrabarti A. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression[J]. Educational Technology & Society， 2016（4）：112-125.

[12] Plass J L， Heidig S， Hayward E O， et al. Emotional design in multimedia learning： effects of shape and color on affect and learning[J]. Learning and Instruction， 2014， 29：128-140.

[13] Mao X， Ding Y K， Moutian Y. Analysis of affective characteristics and evaluation on harmonious feeling of image[J]. Acta Electronica Sinica， 2001， 29（12A）： 1923-1927.

【通联编辑：王力】