基于表情识别的在线学习效果监测研究

潘翔

(广西职业师范学院,计算机与信息工程学院，广西，南宁 530007)

0 引言

“互联网+”时代为传统教育改革提供了新的方向，让在线学习方式成为教学新模式。在线学习具有线下课堂学习无法比拟的优势，学习者只需通过各种用户终端即可完成课堂上的学习任务，线上学习平台拥有丰富的学习资源，多元化的学习渠道使学生轻松愉快地学习，根据用户学习行为的差异进行个性化学习路径推荐，学生可以选择自己感兴趣的课程项目自主学习，不受时间和空间限制随时随地在线学习。线上教育发展到今天越来越成熟，平台功能特色也更加完善齐全，在线学习对教育领域影响重大，它提高了教学资源的利用率，但也存在着一定的局限性，缺少在线学习的监测方法，学生的学习效果和质量无法得到保障。面部识别等人工智能技术在教育中的应用，为在线学习系统监控学习者的学习过程提供了有效途径，基于表情识别的学习效果监测不仅能够验证学习者的身份，还能检测学习者的学习状态和学习情绪。

1 感知教学理论

1.1 感知教学

感知教学依赖于在线学习系统，通过对用户线上学习实时感知，实现用户学习行为的监测反馈，帮助学习者认知、理解、运用和升华课堂知识，从而提高学习的效果和质量。在线学习行为感知包括学习者本原感知、眼睛状态感知和学习情绪感知，其中学习者本原感知用来验证学习者身份，判断是否为本人登录在线学习,眼睛状态感知用于眼睛开合检测，判断学习者否是有在学习,学习情绪感知通过面部表情识别来判断学习者学习状态如何[1]。感知教学解决了在线学习系统教师与学生之间的交互问题，以全面、深度感知观察学习者学习行为的一系列变化，做到课堂学习偏差及时纠正，追踪了解学生的课程知识点掌握程度。

1.2 学习效果监测

学习效果监测是对在线学习系统上的学习者的学习时间、作业成绩、问题回答、面部表情等进行综合监控，以此来判断学习者的学习效果。人类情感表达55%是通过面部表情传递的，对于在线学习的学习者来说，同样可以通过表情识别来鉴别学习者的学习情绪状态，以达到在线学习效果监测的目的[2]。在整个线上学习过程中，可以通过眼睛状态检测和学习情绪感知进一步监测学习者的学习情况，采用面部表情识别来获取学习者的情感状态，捕获学习者图像经过表情识别进行表情特征分类，完成其学习状态的检测和学习效果的监测。

2 系统设计

在线学习系统融入了线上学习、表情识别和学习效果评价为一体的情感分析模型，以感知技术、人脸识别技术和表情特征检测技术作为技术支撑，通过摄像头设备实时感知获取用户人脸图像，经过表情识别处理，判别学生的学习状态，进行感情评价反馈。在线学习系统模型设计如图1所示。

图1 在线学习系统模型设计

在线学习系统由注册登录模块、知识推荐模块、情感识别模块、学习效果评价模块和教学流程再造模块组成。知识推荐模块主要功能是为学习者自动、智能地推荐学习资源，形成具体的学习方案。情感识别模块是系统的核心模块，其主要作用可按设定好的时间自动获取用户人脸图片，对图像进行表情识别以及疲劳状态检测，得到用户线上学习的情感状态，当学习者出现情感状态不佳的现象，要进行教学流程再造相关学习[3]。学习效果评价模块包括自我评价、认知程度评价和情感状态评价。教学流程再造模块主要目的是调动学习者的学习情绪，活跃课堂氛围，提高学生的学习热情。

3 表情识别算法

3.1 表情分类与数据采集

根据学习者学习状态的不同，将其面部表情分为正常(Neutral)、高兴(Happy)、惊讶(Surprise)、厌恶(Disgust)、生气(Angry)、害怕(Fear)、悲伤(Sad)，构建包含这7种表情的数据库，进行数据采集以获取人脸图像，经过滤波去噪、灰度归一化和尺度归一化等常规图像预处理之后，提取面部表情特征，建立初始化模板，这是表情识别的训练过程[4]。本研究采用RealSense感知技术自行录制数据库，对现有的表情数据集进行改进优化，构建信息完整的表情数据库。

以表情数据库中的图片作为模板构造与之对应的弹性图，对这些弹性图进行网格分割。网格图尺度和方向转换公式如下：

(1)

将每个网格与各滤波器Ψμ,v(z)做卷积运算得到特征集合，如下：

Oμ,v(z)=I(z)×Ψμ,v(z)

(2)

通过式(2)所得到网格特征矢量共同构成表情模板的弹性图，依次构造各个表情的模板弹性图并形成链表，用于表情识别的匹配检测。

3.2 表情特征选取

表情识别的过程包括人脸检测与定位、表情特征提取与分类。人脸检测是表情识别的基础，挑选人脸图像有用的特征信息，保存表情展现强度大的图片序列，为表情特征提取的实现提供数据来源。表情特征提取是表情识别的关键，其有效性直接影响表情特征分类的正确性，保证表情特征提取的准确性可以提高表情分类识别率，为学习者在线学习的情感状态提供评价的依据。

由面部动作编码系统(Facial Action Coding System, FACS)可知，人体面部肌肉的运动促使脸上表情的产生，人脸表情是不同运动单元(Action Unit, AU)相互作用的结果，这些AU单元可以独立呈现或者以组合的形式出现，对嘴巴、眉毛、眼睛、鼻子部位的AU描述，与之对应有不同的人脸表情，而6种基本表情自身也有着显著的表现和结构特点[5]。FACS一般采用欧氏距离去分析表情，能够较好地描述脸部表情变化，但对于脸部姿态变化检测精确度不高，结合RealSense中脸部特征点的组成，通过增加角度特征向量提高检测效果。这里的角度是指由脸部特征点构成的角度，角度的变化幅度反映出表情的变化情况，一个完整的表情描述应该包括脸部区域、特征描述、角度特征向量、AU单元组合、对应表情和特征点位置等内容。

摄像头捕获到的人脸图像经过尺寸归一化后，再经过灰度归一化处理得到最终结果。灰度图转化公式如下：

(3)

式中，(x,y)表示图像像素点的坐标。

表情识别匹配图像之间能量值的欧氏距离计算式：

(4)

其中，EVG为待识别图像G的特征向量，EVG′为模板弹性图G′的特征向量，两者维数均是N。人脸的特征向量由嘴巴、鼻子、眼睛3个区域的Gabor特征组成，选取G与G′间最小距离作为结果返回。

3.3 支持向量机(SVM)建模

建立用于表情特征分类的SVM模型，选取脸部区域72个特征点，并将它们的几何特征作为训练对象，使用SVM分类器进行表情特征训练，首先采集表情数据样本，“正常、高兴、惊讶、厌恶、生气、害怕、悲伤”7种表情各抽取50张，分别存储在不同的目录中，对表情样本进行特征分析与记录，为特征点做标记后训练分类器，待测图片经过关键点检测和加载训练好的表情分类模型，由SVM预测关键点类型，最后输出表情分类结果[6]。表情分类识别过程如图2所示。

图2 SVM模型分类识别过程

如图2所示，整个表情识别的工作流程大致可分为图像录入、人脸检测、几何特征标记、加载训练的特征点数据到模型中、采用SVM分类器判断图像特征对应的表情类别、在界面上显示出结果。其中，SVM模型构建的具体步骤如下：提取训练对象，收集人脸表情样本，各种表情分别取50幅作为训练数据集，在输入的训练样本集提取人脸关键点并进行归一化缩放；训练SVM分类器，包括模型加载，存储关键点几何信息，进行测试表情预测。在表情识别之前先要检测定位人脸，下一步提取表情特征点并贴上标签，以方便后续表情的分类，根据SVM模型检测到的结果，确定表情的所属类型。

4 学习效果监测

基于表情识别的在线学习效果监测，重在检测学习者的学习状态，这也是表情识别的意义所在。利用C4.5决策树评估方法对用户学习行为进行分析评估[7]。第一，采集学习行为数据，行为数据从本原感知、眼睛状态感知和情绪感知中获得，数据类型有本人和非本人，睁眼、闭眼和半闭眼，愉悦、疲劳和平静；第二，构建决策树，采用C4.5算法挖掘数据特性，找出面部识别感知与学习行为之间存在的关系；第三,建立决策树分类规则，进行规则合并，去除无用规则，形成规则集合，分类成组化简相同规则得到最终结果[8]。例如,如果本原感知是本人，则感知继续，否则视为学习无效；如果眼睛状态是睁眼或半闭眼或闭眼，情绪感知为愉悦或平静或疲劳，相对应的学习状态则为良好、一般、欠佳。

抽取10名学习者作为实验对象，准备一段45分钟左右的视频，通过用户学习行为感知评估学习者的在线学习效果，在用户学习过程中随机截图保存，在视频播放的前后半段和中间段分3次共截取30张图像，对图片进行面部表情识别得到本次实验检测结果，如表1所示。

表1 学习效果监测结果

“睁眼愉悦、半闭眼愉悦、闭眼愉悦”用符号X代表；“睁眼平静、半闭眼平静、闭眼平静”用符号Y代表；“睁眼疲劳、半闭眼疲劳、闭眼疲劳”用符号Z代表。不同的学习行为组合所表示的学习状态也不同:3x、2x+y、2x+z表示学习状态良好；3y、2y+x、2y+z、x+y+z表示学习状态一般；3z、2z+x、2z+y表示学习状态欠佳。从表格中可以看出，对学习者的学习行为分析和学习状态评价与实际情况相符合，实验结果表明从学习者的脸部一些特征表现可以检测出其学习行为上的变化，根据学生的学习状态适当地调整教学策略，进而提高学生的学习效果和质量。

5 总结

本研究针对在线学习存在教学情感缺失的问题，建设在线学习系统对学生进行情感识别与分析，并做出情感状态评价和学习效果评价，全面管理监控学生的在线学习情况。系统应用表情识别有关方法和手段，获取人脸图像进行预处理，检测人脸提取表情特征点，自动识别学习者的表情状态；同时通过实时感知用户学习行为去判断学习者的学习状态，弥补了在线教育中教师与学生情感交互的不足。随着科学技术知识的更新迭代和技术水平的提升，在线学习人脸表情识别所涵盖的专业知识会更加的深广，对于先前研究的面部识别技术方案也要适时修改，以便提高人脸识别的检测率和准确率。