“FACE监管助教”系统的研究与构建

（湖北师范大学 湖北·黄石 435000）

0 绪论

“学习质量”已经成为当前教育工作者研究及实践的热点。当前，各大高校规模不断扩大，扩招的学生数量急速增加。由于硬件设施建设跟不上学生扩招的速度，教师对学生的管理心有余而力不足，课堂上教师需要借助信息化手段来监管课堂。目前，高校大学生课堂上的“非学习”行为愈加普遍，其表现形式多种多样，课堂上玩手机的问题尤为凸显。因此，人们对教学模式上的需求逐渐转变为对教学质量提升的迫切呼吁，如何提高学生的学习质量是摆在各大高校面前的现实问题。

《基于面部特征的学生学习状态检测系统设计》一文提出智能教育可以对学生课堂数据进行采集，通过大数据分析，更加全面地了解到学生对课堂的感兴趣度、学习习惯以及学习状态。“FACE监管助教”系统基于人脸识别技术，主要有智能考勤、专注力监控和学情监控三种功能，教师可以对学生的出勤情况、上课时的专注度、上课时的状态进行全面的了解，基于实时采集的课堂数据调整教学策略，从而提高课堂教学质量。

1 系统框架设计

FACE监管助教系统主要由图像采集、人脸识别、考勤记录三大功能模块组成，如图1所示各模块之间的底层架构和所采用的技术框架。图像采集模块负责通过硬件设备来读取和收集学生的人脸和表情信息。人脸识别和表情识别模块将捕捉到的人脸信息跟数据库的信息进行对比，识别出当前学生的相关信息和当前该学生在课堂中的学习情况。考勤记录模块实现读取和自动记录考勤表(EXCEL表格)。

图1：“FACE监管助教”系统构建

2 系统功能介绍

2.1 智能考勤

区别于传统的考勤方式，即繁琐的人工点名或者是指纹打卡，运用“FACE”监管助教系统的智能考勤，更为简单、便捷、高效。首先学生进入教室入座后，系统可直接根据学生人脸库的人像进行对比，对比结果反馈至教师端。同时系统采用活体检测，有效的抵御照片、蜡像等作弊手段。最后，智能考勤在节省考勤检查时间，提高课堂考勤管理工作效率的同时，还可以实现相关数据的信息化存储与共享，为后续的学情分析等工作采集基础数据。

2.2 专注力监控

“FACE”监管助教系统根据Yolo(v3)人脸识别功能对学生进行实时监控，然后通过表情识别，每隔一段时间扫描学生的面部表情。侦测分析他们的神情变化，是开心、惊讶、生气，是反感、害怕、担忧。如果发现学生的某种心理状态达到某个临界值，系统会实时反馈给讲台上的教师端，教师便可以根据这些数据来调整教学方式和内容，提高学生学习专注力。

2.3 学情监控

“FACE”监管助教系统持续性的判断学生学习状态和衡量学习效率，生成学生学习动态记录表。通过此项系统功能，教师可以实时了解学生学习状态，及时进行课堂管理；依据生成的学习态度记录表，直观化了解学生学习状态、洞察学习者学习心理、发现学生学习规律；同时也对教师的教学过程做出分析反馈，从而优化教学策略，更好地指导教师的教学行为，促进信息化教学质量的提高。

3 系统功能实现

3.1 图像集制作

在win10+GPU的环境下训练收集的图片信息，具体步骤如下：

（1）用摄像头来采集学生的面部图片，大小为416*416，方便后期作为网络的输入；

（2）将采集完的图片添加到LabelImg软件中，在predefined_classes.txt文件中添加自己需要标记的类别，最后每张图片的信息将会转存到JPG文件、XML文件、TXT文件中；

（3）根据预先设置的权重来训练经过处理之后的图片信息，在训练的过程中不断调整相关参数使得训练的结果能够尽量接近真实情况。

图2：图片信息展示

3.2 人脸识别

本系统采用Yolo(v3)框架来作为人脸识别的技术支撑。YOLO(You Only LookOnce)是一种基于深度卷积神经网络的目标检测器。它拥有75个卷积层，还有skipconnections和上采样Upsampling层，使用步幅为2的卷积层对特征图进行下采样，而不是使用池化层，这样有助于防止通常由池化层导致的低级特征丢失。

Yolo(v3)工作原理 在YOLO中，预测是通过1*1的卷积层完成的，所有每次输出的特征图都和之前的特征图是一样大小，因此在YOLO上，预测图就是每个可以预测固定数量边界框的单元格。对于网络的深度，特诊图包含(B*(5+C))个条目，B代表每个单元可以预测的边界框数量。这些边界框中的每一个都可能专门用于检测某种对象。每个边界框都有5+C个属性，分别描述每个边界框的中心坐标，维度，objectness分数和C类置信度。

如果对象的中心位于单元格的感受野内，特征图的每个单元格都可以通过其中一个边界框预测对象。（感受野是输入图像对于单元格可见的区域）因为只有一个边界框负责检测任意给定对象，所以首先必须确定这个边界框属于哪个单元格。因此，我们需要切分输入图像，把它拆成维度等于最终特征图的网格。如图3所示，其中输入图像大小是416×416，网络的步幅是 32。特征图的维度会是13×13。随后，我们将输入图像分为13×13个网格。

图3：Yolo(v3)工作原理

3.3 系统各项功能实现

（1）系统硬件设计在“FACE监管助教”系统中，硬件主要是图像采集设备、网络传输设备以及服务器等。其中图像采集设备为摄像头（一般的智慧教室采用2个至少1300万以上像素的摄像头即可），当学生就坐完毕，摄像头会自动进行拍摄，从而完成图像采集；针对所需的网络环境，不需要重新建设，可以使用已有的校园网；服务器既可以选用虚拟服务器，也可以选择实体服务器。摄像头将采集到的图像，经校园网传给服务器，并由服务器上的Yolo(v3)人脸识别模块来完成考勤工作，同时反馈出学生学习状态数据，用以学情分析。

（2）智能考勤功能设计智能考勤模块由两部分组成，分别是学生身份信息识别和教室考勤。其中学生身份信息识别是核心部分。当系统载入人脸特征库之后，会将待识别的人脸与特征储存的图像集中的人脸信息进行对比，之后系统会自行判断该学生是否与信息源相匹配。若是成功识别，则可获得与该人脸对应的标识信息，即学生的学号等相关信息，从而完成识别过程。而成功识别的结果，会被自动更新至考勤表当中，识别成功的学生会在考勤表中被标识为“已到”，未能成功识别的学生则会在考勤表中显示“未到”。同时，考勤系统会按照课程的时间，自动终止考勤，并生成考勤结果。在图像对比功能的具体实现过程中，使用File对象的WriteAllBytes方法将本次采集到的学生照片文件保存至终端电脑上的另一个临时文件夹中。在成功获取到现场拍摄的照片文件之后，即可将该文件读取并转换为property类所定义的多项特征信息，并存储在property变量中。

（3）专注力与学情监控功能设计此功能部分首先实现了视频图像的采集、视频图像的分解及预处理、Yolo(v3)人脸识别处理、AMM算法的面部特征分析。使用该系统，教师可以时刻了解学生学习状态，并及时调整教学方式和内容。系统功能实现步骤如下：

步骤一：图像采集和预处理。通过安装在教室的摄像头实时采集学生的动态上课视频，然后通过OpenCV对视频图像进行分解转化为单帧图像，对分解得到的每一帧图像进行图像去噪处理并保存到本地文件夹中，为后续的人脸检测和识别作铺垫。

步骤二：人脸检测和识别。采用卷积神经网络对课堂中的学生进行人脸检测和标注，检测出人脸的大体位置和人脸个数，并用矩形框框出人脸的位置，当人脸个数出现异常情况时，系统给予提醒；若为正常情况时，则进行下一步的人脸识别操作。采用改进的Alex Net网络进行学生的人脸识别，识别出具体的学生名字；面部特征分析。使用AAM算法对识别到的人脸进行人脸特征点跟踪标定（前面的人脸检测的精准度会直接影响特征点标定的准确度）。检测眼睛和嘴巴特征点，并设计眼睛睁闭状态判断算法，利用PERCLOS值的P80标准和眨眼频率可以判断学生的疲劳程度设计嘴巴张闭状态判断算法以及嘴角弧度判断算法。

步骤三：学习状态分析。将眼睛和嘴巴的参数变化作为特征输入，采用支持向量机训练学生的学习状态，并对学习状态进行分类和识别。

4 结论

本文提出了一种兼具智能考勤、学生专注力监控与学情监控功能的“FACE”监管助教系统。该系统不仅可以使教师能够及时的了解学生的上课状态，更能对教师和教学机构开展科学的学情分析提供技术支撑，对提升高校教学水平和深化教育信息化有着重要意义。