基于深度学习的人脸识别技术在学习效果评价中的应用研究

左国才 王海东 吴小平 苏秀芝

摘 要：人脸识别技术是目前计算机视觉中的热门研究方向之一，已经应用于很多领域中，但是将人脸识别技术应用于学习效果评价的研究却非常少。因此，本文提出一种基于深度学习框架的人脸识别分析算法，并将该算法应用于课堂行为的分析评测中，为课堂学习效果评价提供客观评价的依据。实验证明，基于深度学习的人脸识别算法可以提取更高层次的深度特征，实现更准确、更高效的人脸和人眼识别，分析识别结果判断课堂上学生的专注度，为学习效果评价提供客观量化的分析评测结果。

关键词： 人脸识别;深度学习;学习效果评价

文章编号： 2095-2163（2019）03-0126-03 中图分类号： TP311.52 文献标志码： A

0 引 言

人脸检测与识别技术经过多年的研究已经成熟，并且广泛应用于考勤、门禁、安全检测等诸多领域中，但是将人脸检测与识别技术应用于学生课堂专注度研究却很少。国内关于高校课堂专注度的研究仍然不多，已有的课堂专注度的研究主要采用定性分析方式，不能有效评价学习效果。相比人脸识别中的人工特征提取来说，基于深度学习框架的特征提取能够提取高层次的深度特征，本文将最新的基于深度学习的人脸识别技术，应用于高职学生课堂行为研究，为学习效果提供客观量化的分析结果。开展基于深度学习框架的人脸识别技术的学生课堂行为研究，对高职学生学习效果进行科学评测，在教学实际应用中具有较大的研究价值。

1 人脸识别研究现状

人脸识别是通过机器视觉从静态图像或者动态视频中检测出人脸图像，进行人脸面部辨识。相比于传统的人工设计人脸特征的算法，使用深度学习框架可以自动学习人脸特征并且获得更好的识别效果。深度学习具有超强的特征表示能力[1]，已成为计算机视觉领域的研究方向和关注热点[2]。深度学习在进行人脸识别中体现出智能化和高效性，而且离线网络训练时间和识别速率也有较大提高。使用深度学习进行人脸识别获得的准确率高于传统的识别算法，例如LPP[3]，PCA[4]，Sparse[5]，NPE[6]等等。因此，本文采用基于深度学习框架的人脸识别算法，使用堆栈式去噪自动编码器模型[7]完成人脸识别任务。人脸识别是目前学界的热门研究课题[8-9]，而将人脸识别技术应用到学生课堂行为研究的文献很少，近几年来，也有学者把人脸识别系统和教育相结合，文献[10]提出了基于人脸检测的小学生课堂专注度的研究，通过上课抬头低头判断学生专注度，为课堂评价提供依据，实现更有针对性的教学。

本文将人工智能与教育教学研究相结合，利用人脸识别技术对高职学生课堂行为进行客观量化的分析，为学习效果提供客观评价。

2 基于人脸识别技术的课堂行为分析算法

2.1 基于深度学习的人脸识别算法

本文提出基于深度学习的人脸识别算法，使用堆栈式去噪自动编码器模型（SDAE）从大规模的图像数据库中来辅助地离线学习一般化的图像特征，构造深度特征提取器用于提取人脸特征。在一般圖像特征提取器的基础上增加分类器层，构建有监督的深度学习模型，该模型可通过在线训练人脸图像来提取微调之前学习到的一般化特征，完成人脸识别任务。

接下来，研究中采用了SDAE网络来进行图像高层抽象特征的提取。线下用大量数据训练SDAE网络，使网络具有提取图像高层抽象特征的能力。

假设有k个训练样本，对于第i个样本xi，加入噪声之后成为xi'，则经过编码过程得到的xi'的编码ci的数学公式可表示为：

2.2 学生课堂行为分析算法实现

提取到目标人脸后，对人脸面部特征进行检测，检测目标的眼睛与鼻子。以人眼为判断专注度的主要特征，把鼻子作为辅助参考区域进行判断，再通过目标所在教室表现出的姿态、神情、动作等特征转为算法运算，判断学生上课专注度的高低。

基于人脸识别技术的课堂行为分析算法从2个方面实现专注度判断，即学生侧脸专注度的判定、学生抬头低头专注度判定，判断学生上课的专注度，研究学生课堂专注行为与学习效果的关系，为课堂学习效果评价提供衡定依据，实现更真实有效的教学评价。对此研究内容可论述如下。

2.2.1 总体框架

课堂行为分析算法框架主要包括4个部分，即：图像采集模块、人脸特征提取模块、人脸识别模块以及人眼识别模块，总体设计框架如图1所示。

2.2.2 专注度判定

在概率学中，数据越多，发生的概率越大。在课堂上，大多数学生抬头，则表示抬头行为是专注的概率性大，反之亦然。因此，设定大多数人的课堂行为意向为专注度意向，如果大多数学生抬头，则抬头行为是专注的。学生上课专注度判断流程见图2。

2.3 专注度判定算法

基于深度学习框架进行人脸检测识别，检测到目标人脸的面部特征，识别被测目标的眼睛与鼻子，并且将人脸中的眼睛与鼻子部分用不同颜色的矩形框标识出来，得到被测目标的眼睛的矩形坐标以及矩形的长度和宽度。为了提高专注度判定算法的效率，把眼睛部分看成像素点，用坐标表示。假设被测目标的左眼左上角坐标，即矩形标识框的左上角坐标为（i，j），矩形标识框的长度为a，宽度为b，因此计算得到被测目标左眼的像素坐标为：

3 测试序列及实验结果分析

基于人脸识别的学生上课专注度判断实验环境主要包括硬件和软件两个方面。硬件涉及视频采集，采用了分辨率较高的网络视频监控摄像机;软件环境方面，操作系统为Windows7，64位，CPU为2.6 G，内存为4 GB。深度学习实验环境的描述是：CPU为i7-5830K，内存为128 G，GPU为GTX1080，深度学习框架使用TensorFlow1.4，开发语言为Python3.6。

实验中采用教室任意采集的20组时长为150 s的视频序列。采集任意一张学生课堂图像，进行专注度判断。首先对每一帧视频序列中的图像分别进行人脸定位和人眼定位，检测出图像中的人脸数以及人眼数并进行统计;然后分析学生课堂人眼动态，根据分析数据与侧脸专注算法、抬（低）头专注度算法相结合来判断学生课堂的专注度状态;最后统计出学生在课堂上5 min内出现的人脸个数、人眼个数和上课专注度的情况，得到人脸专注度的结果。检测结果如图3所示，课堂中，学生大多数是抬头，看着讲台方向，神情专注，属多数课堂行为，则表示课堂专注度高;有一位学生头朝窗外，手托下巴，属少数课堂行为，则表示课堂专注度低。

4 结束语

本文设计研发了基于深度学习框架下人脸识别技术的课堂行为分析算法，对学生课堂专注行为进行研究，实现对人脸和人眼的定位与识别，能够对正面和侧面人脸做出识别，从2个方面综合判断学生上课的专注度，为学习效果评价提供客观量化的分析评测结果，同时基于深度学习框架的研究也进一步提升了人脸识别率、判断的准确度。

参考文献

[1]POTAPOV A S， MALYSHEV I A， PUYSHA A E， et al. New paradigm of learnable computer vision algorithms based on the representational MDL principle[C]//Proceeding of  SPIE-The International Society for Optical Engineering. Orlando， Florida， United States  ：SPIE，2010，7696：769606（1-12）.

[2]POTAPOV A S. Theoretico-informational approach to the introduction of feedback into multilevel machine-vision systems[J]. Journal of Optical Technology， 2007， 74（10）：694-699.

[3]HE Xiaofei. Locality preserving projections[D] . Chicago， IL， USA ：University of Chicago，2005.

[4]AVERKIN A， POTAPOV A. Learning representative features for facial images based on a modified principal component analysis[C]//AIP Conference Proceedings. Shenyang， China： AIP，2013， 1537： 76-84.

[5]WRIGHT J， YANG A Y， GANESH A， et al. Robust face recognition via sparse representation[J]. IEEE transactions on pattern analysis and machine intelligence， 2009， 31（2）： 210-227.

[6]HE Xiaofei， CAI Deng， YAN Shuicheng， et al. Neighborhood preserving embedding[C]// Proceedings of the Tenth IEEE International Conference on Computer Vision. Washington， DC， USA： IEEE，2005，2： 1208-1213.

[7]VINCENT P， LAROCHELLE H， LAJOIE I， et al. Stacked denoising autoencoders： Learning useful representations in a deep network with a local denoising criterion[J]. Journal of Machine Learning Research， 2010（11）： 3371-3408.

[8]FEDHA O P N. 基于機器学习方法的人脸表情识别研究[D]. 长沙：中南大学，2014.

[9]蔡宇.  三维人脸检测与识别技术研究[D]. 长春：吉林大学，2013.

[10]孙亚丽. 基于人脸检测的小学生课堂专注度研究[D]. 黄石：湖北师范大学，2016.