人脸表情识别技术在教学质量分析中的应用

李小兰,孙金瑞,冉长双,肖玲敏,李洪进

(遵义医科大学 医学信息工程学院,贵州 遵义 563000)

0 引言

人的各种情绪是通过人脸面部肌肉的变化表现出来的。通过识别人的面部表情蕴含着的丰富的情感信息,能够得到人们沟通交流中所传递、表达的心理状态、精神状态、意图等。心理学家 Ekman 与 Friesen 研究提出了人类的6 种基本情感的概念即为:惊讶、悲伤、恐惧、厌恶、愤怒以及高兴。近几年随着人工智能的快速发展,表情识别已成为感知学习情绪最直接和最有效的方式,备受教育技术领域关注[1]。

对于教学质量分析来说,学生的学习情绪是内隐式学习特征,对于分析教学质量来说是具有高度参考性的。一般的课堂教学分析仅仅是通过教师在课堂上观察学生的学习行为、动机、兴趣来推断学生的学习情绪,但课堂上的教师由于精力有限,在保证正常上课的情况下并不能很好地关注到每一位学生的状态。如何在课堂上有效精准识别学生学习过程中的情绪状态,一直是教育领域的研究分析的重点和难点。心理学家Mehrabian 通过研究发现:情绪表达=7%的语言+38%的姿势表情+55%的面部表情,所以面部表情包含丰富直观情绪信息。通过对人脸表情识别来推断学生的学习情绪,进而分析教学质量是一个直观且有效的方法。

1 人脸表情识别技术

在人脸表情识别技术中最重要的三步骤的处理是:人脸正面图像进行图像预处理,表情特征提取以及表情分类。通过这三步骤的处理,可以得到人脸图像反映的表情基本信息。

图像预处理就是在对人脸表情特征提取之前,排除掉图像中与人脸无关的一切干扰图像因素,使得在进一步进行人脸表情特征提取和表情分类时更高效。但传统的人脸表情识别技术会将非正面的人脸图像识别为干扰因素。比如,图像中可能有动物、植物以及其他物品的存在,直接影响到对人脸表情识别。因此,在图像预处理中就有了人脸检测、人脸对齐、归一化等过程来去除干扰因素。通过人脸识别判断是否存在异常,向指定邮箱发送图片和时间数据[2]。图像预处理的主要技术有:人脸检测、人脸对齐、数据增强、人脸归一化。

人脸表情特征提取是将预处理过的图像从以像素来描述转变为以运动状态、形状特点等更高级别的描述。现在主要应用的人脸表情特征提取方法有:基于几何特征、基于统计特征、基于频率特征、基于运动特征的人脸表情特征提取方法[3]。人脸表情特征提取在人脸表情识别中极其重要,能否提取出有效的特征信息以及这些信息的正确率影响着整个人脸表情识别的准确程度。

表情分类是将进行了图像预处理提取到的人脸表情特征,分到该表情所对应的正确表情类别中去。这一任务可以使用相关算法来实现,目前常用的人脸表情分类算法有:神经网络分类器、线性分类器、支持向量机SVM、隐马尔可夫模型等人脸表情分类方法。但是这些算法都是以人工预先设定的特征作为表情分类依据,算法能识别的特征数量直接影响表情分类的准确性。这也说明通过人工设置表情特征来实现表情分类还存在许多不足。所以现在更加有效的表情分类的方法主要是机器深度学习的卷积神经网络(Convolutional Neural Network,CNN),这是一种前馈神经网络,其内含多层非全链接的神经网络,每一层都是由二维平面组成的。

卷积神经网络有两种网络结构:卷积层和池化层,两者相互配合学习图像特征达到分类目的。卷积层中核心是卷积算法:该算法指输出图像上的像素点是对输入的图像对应位置小区域内的像素加权得到的,该区域又称局部感受野,得到的权值称为卷积核。卷积层的形式如下。

池化层核心操作是将图像分割成多个小区域,对各个区域分别计算出一个值,根据计算出来的值对图像重新排序输出,这样的操作可以增加图像特征提取的鲁棒性。对于表情分类,卷积神经网络是先对输入的图像含有的数据作为样本进行自主学习,这样可以获得人脸图像中更多更细节的表情特征,为表情分类打下良好基础。

以上所述的3 个人脸表情识别步骤主要是针对正面人脸表情识别,对于非正面的人脸表情识别具有很大的不准确性,以及无法识别到人脸的情况。对于课堂上学生的具体情况来说,非正面的人脸表情会更多,所以非正面的人脸表情识别也在想要通过人脸表情识别来进行教学质量分析里更加重要。

2 非正面人脸表情识别技术

非正面人脸表情识别中,不但要对非正面人脸图像进行检测,还要对头部姿态做检测。所以相较正面人脸表情识别来说,非正面人脸表情识别流程会更多也更为复杂。

在非正面人脸表情识别中对图像的人脸进行检测方法主要有3 种:局部特征标记检测方法,通过对去识别在人脸面部局部区域的标记点,来实现非正面人脸面部检测;整体特征检测方法,通过对同一个人不同姿态时的人脸表情图像进行检测识别训练,构建相应的人脸检测算子[4];深度特征检测方法,该方法不再是对人脸表情图像的表面特征进行识别,而是使用人脸表情图像的深层次信息。

在非正面人脸表情识别中,头部姿态是用于确定图像中人脸的位置,便于对图像进行处理。现有的头部姿态估计方法有:外观模板法、非线性回归法、几何法、检测阵列法等。效果最好的是采用深度学习中卷积神经网络模型估计的头部姿态估计,从现有实验结果来看,该方法无论是效果还是实时性都比较好。

非正面的人脸表情识别中表情特征提取和表情分类都可以使用基于深度学习的卷积神经网络(Convolutional Neural Network,CNN),通过对图像多层次的信息来自主学习提取、识别人脸表情特征。这种深度学习能够得到图像中更多细节信息,并且可以将学习过程中提取的人脸表情特征进行融合,得到更为复杂也更准确的表情特征,再将提取到的特征送入表情分类器作为分类依据对之后的人脸表情图像进行分类。针对这样的深度学习过程,有许多非正面人脸图像数据库可以提供学习所用图像。以下是一些非正面人脸图像数据库的相关信息。

从教学质量分析角度来说,学生的学习情绪不再是惊讶(Surprise)、悲伤(Sadness)、恐惧(Fear)、厌恶(Disgust)、愤怒(Anger)以及高兴(Happiness),这6 种基本感情。所以为了更好地实现学生学习情绪的识别,要将学生学习表情重新分类。

从教学督导、学生角度出发,分析不同视角下教学质量评价结果的一致性[5]。这些关于学生学习表情的新分类以及相关数据库的建立,为针对教学质量分析的学生人脸表情识别提供了很好的技术基础。但是随之而来的问题,无论是学生学习表情分类还是学生学习表情数据库的建立都没有统一标准。在这种情况下,同一个课堂的学生的人脸表情图像,用不同分类方法带来的教学质量分析会有很多差异。所以,目前关于人脸表情识别的教学质量分析发展趋势和重点都应该是建立一个统一的数据库,该数据库内表情分类类别就一定是一致的,从而避免不同分类方法导致的结果差异。

3 结语

人脸表情识别只是教学质量分析的一个参考和评价方向。要准确衡量教学质量还应该考虑抬头率、学生学习参与度、学生学习表情、学生学习活跃度等众多因素。

目前,所应用到现实的教学质量分析系统,或多或少都还存在不足和片面之处。但随着计算机网络的高速发展,通过人脸表情识别、学习行为检测、学生学习状态分析等技术对教学质量提供实时的分析、建议,以调整教学方案和措施进一步提高教学质量是未来教学领域发展趋势。

计算机网络技术的发展在教育事业领域带来了前所未有的新发展、新格局。人脸表情识别技术也是教育事业领域的新重点,通过对人脸表情识别得到学生学习情绪等实时教学质量数据。这对于教师和学校来说,是可以及时客观得到的基于学生的教学质量反馈,帮助其调整教学方案,以达到更好的教学评价。但目前相关技术在实际应用中还存在一些缺失,在之后发展里,要更加重视实际课堂的复杂情况,更加重视实际应用成效,便于更好地服务于教学质量分析,更好地服务教育领域。