基于CNN人脸识别模型的大学生课堂行为分析研究

左国才 吴小平 苏秀芝 王海东

摘要：本文提出一种基于卷积神经网络CNN人脸识别模型，并将该模型应用于高职院校学生课堂行为分析。实验证明，使用卷积神经网络深度学习框架提取人脸深度特征，构建深度学习人脸识别模型，完成人脸识别，相比传统的人工设计的人脸特征提取，大大提高人脸识别的准确率。学生课堂行为识别算法可以正确判断学生的课堂行为，为课堂教学评价提供依据，实现更有效地教学，切实提高教学质量。

关键词：卷积神经网络：人脸识别模型：课堂行为分析

0 引言

国务院国家职业教育改革实施方案（国发[2019]4号）提出促进职业院校加强专业建设、深化课程改革、提高师资水平，全面提升教育教学质量及人才培养质量。通过对国内外课堂行为相关研究的学术史梳理。以及国内外主流数据库文献相关研究动态得知，国内关于高等教育领域的学生课堂行为研究很少。基础教育课堂行为研究主要采用主观报告和定性分析等研究方式，已有研究不适应于复杂的高等教育领域的学生课堂行为研究。本文将人工智能与教育教学研究相结合。对高职学生课堂行为进行客观量化分析，更好地服务于教育学领域。

本文设计基于CNN人脸识别的课堂行为分析算法，用于研究学生课堂专注行为与教学质量的关系，为课堂教学评价提供依据，实现有针对性的教学。

1 课堂行为研究现状

课堂行为是在课堂情境中的社会行为。它是课堂专注度的外在体现。学生的课堂行为反映学生的学习状态和学习效率。与课堂教学质量密切相关。

目前课堂行为研究层次主要集中在基础教育、中等职业教育和基础研究（社会科学）方面。从现有的相关文献得知，國内集中在教师行为和师生互动行为的研究上，而对学生课堂行为的研究相对较少。研究最多的是关于学生课堂问题行为、学生课堂行为分类和学习行为的影响因素三个方面。在国际文献总库Wiley数据库中的相关文献得知，国外学生课堂行为研究领域主要是高等教育，研究主要集中在2005年到2010年之间。我国关于学生课堂专注度的研究是最近10年才兴起，每年成递增的趋势。在这些文献中关于学生课堂专注度本身的研究比较少，大多集中在调查和提高学生课堂专注度的方法和策略。

因此，基于CNN人脸识别客观评测课堂教学质量在实际应用中具有广泛的前景，在理论研究中也具有较大的研究价值。

2 基于CNN人脸识别模型的课堂行为分析

2.1 卷积神经网络CNN

本文提出基于卷积神经网络（CNN）的人脸识别算法，使用CNN模型从大规模的图像数据库中离线学习一般化的图像特征，构造深度特征提取器，用于提取人脸特征，卷积层的局部连接和权值共享，并且可以将自动提取特征和分类功能融合在一个网络中，构建有监督的高效的深度学习模型，完成人脸识别任务。

卷积神经网络CNN主要用于图像识别，由卷积层、池化层、全连接层等组成。CNN网络模型如图1所示。

卷积神经网络中卷积层的权值共享减少了网络参数量，局部连接减少了网络的计算量。用Z表示图像元素，W表示卷积核权重，W。表示卷积核偏置项，y表示特征图像元素，f表示激活函数。卷积计算公式如（1）所示：

2.2 基于CNN的人脸识别算法

2.2.1 人脸识别网络结构

卷积神经网络的人脸识别网络结构包括输入层、卷积层、池化层、全连接层、softmax分类器一共7层，网络结构如图2所示。

2.2.2 人脸识别模型的训练与测试

（1）将网络训练过程进行多次迭代，每次迭代包括多次训练，在前向传播中将CNN提取的特征归一化后作为Softmax的输入，对Softmax分类器进行训练。

（2）将测试样本输入到已训练的网络中，通过Softmax分类器完成分类识别，根据测试样本标签与真实值对比，计算错误识别率，完成分类测试。

2.2.3 人脸识别算法流程

输入：课堂视频学生人脸图片

输出：相似概率最高的类别及相似度概率

（1）输入课堂视频学生人脸图片。

（2）将学生人脸图片输入CNN人脸识别模型中，进行分类检测识别。

（3）选取相似概率最大的类型进行输出，完成人脸识别。

2.3 学生课堂行为分析算法实现

使用CNN模型提取到目标人脸，对人脸面部特征进行检测，检测目标人物的眼睛。以人眼张开度来判断学生在课堂中专注学习的课堂行为，通过CNN模型检测学生在课堂中表现出的姿态、神情、动作等课堂行为，综合判断学生在课堂上是否认真听课。

2.3.1 基本思路

首先，随机从学生课堂视频中截取图像帧，并且对图片进行相应处理：

然后，使用CNN模型离线学习图像特征，构造深度特征提取器提取人脸图像特征，构建有监督地深度学习模型，通过在线微调训练人脸图像完成人脸识别任务：

最后，对目标人脸面部特征进行检测，检测分析目标人物的眼睛、鼻子、嘴巴特征，将目标所在教室表现出的姿态、神情、动作等特征，通过CNN模型进行检测，判断学生上课专注度的高低。

2.3.2专注度判定流程

根据学生在课堂上眼睛张开程度以及学生的在教室表现出的姿态、神情、动作等特征，来预测学生上课专注度的概率性，学生上课专注度判断流程如图3所示。

2.3.3 检测目标脸部及眼睛定位

首先根据眼睛在人脸中所在位置的特点。将人脸区域进行裁剪，以减少定位时的计算量。然后对灰度图像进行边缘提取，再利用边界像素的灰度梯度信息去进行快速Hough变换，实现眼睛定位。眼睛定位流程如图4所示。

2.3.4专注度判定算法

在课堂上，学生的眼睛张开越大，其上课时的专注度就越高。采集学生抬头时的图像数据，通过CNN人脸识别模型，检测识别人脸，通过Hough变换，实现眼睛定位，根据眼睛检测识别结果，计算被测目标人眼的张开度。如果其张开度大则表示上课中课堂专注的概率性较大，否则上课中课堂专注的概率性较小。

采用CNN模型进行人脸识别，用矩形框标识人脸，检测目标人脸的眼睛，将眼睛部分用矩形框标识出来，计算被测目标眼睛张开度：

其中，H_i表示眼睛张开的高度，W_i表示眼睛张开的宽度。

计算被测目标眼球的面积，将被测目标图像中眼睛张开度面积与其最大的眼睛张开度面积相比，得出被测目标在上课中课堂专注度：

当被测目标ZKD的值大于20%时，可以判断其在上课中的课堂专注概率较高，当被测目标ZKD的值小于20%时，可以判断其上课中的课堂专注概率较低。

3 測试序列及实验结果分析

基于CNN人脸识别模型的大学生课堂行为分析算法的实验环境为：硬件环境采用视频监控摄像机：软件环境采用深度学习实验平台，CPU为i7-5830K，内存为128G，GPU为GTX1080，框架为TensorFlow1.4，语言为Python3.6.

随机选取50组学生在教室上课时的课堂视频序列。间隔5s左右随机采集学生上课时的课堂教学视频中的一帧图像进行人脸检测和人眼定位，计算学生上课时其眼睛张开时的眼球面积，结合通过CNN模型对学生上课时在课堂表现的神情、姿态进行是否认真听课的判断，最终得出被测学生在上课时的是否专注课堂学习的概率。实验结果如图5所示，在学生进行课堂学习中，大多数的学生是抬头，眼睛张开度较大，神情较为专注，表示该学生在上课时专注课堂的概率较高，否则，则该学生在上课时专注课堂的概率较低。

4 结束语

本文采用卷积神经网络（CNN）模型来完成识别目标深度特征的提取以及实现人脸识别。卷积神经网络（CNN）结合深度学习结构，使用梯度下降法的反向传播算法来训练网络的一种有监督学习的神经网络。卷积神经网络把自动提取特征和分类功能融合在一个网络中，降低人脸识别过程的复杂度，卷积层的局部连接和权值共享特性使训练的网络参数大大减少，提高网络训练性能。

设计基于CNN人脸识别模型的课堂行为分析算法，结合检测识别学生上课时的姿态、神情等，对被测学生在上课时的课堂专注行为进行研究，实现对人脸识别与人眼的定位，计算人眼张开度来判断学生在上课时专注课堂的概率，判断学生在上课时是否在认真学习。为教学质量评价提供客观量化的分析评测结果，同时基于CNN深度学习模型提升了人脸识别的准确率。