基于深度学习人脸识别技术的课堂行为分析评测系统研究

左国才 韩东初 苏秀芝 王海东 吴小平

摘 要：深度学习人脸识别技术已经非常成熟，并且应用广泛，但是将深度学习人脸识别技术应用于课堂行为分析评测的研究却非常少。因此，本文提出一种基于深度学习人脸识别技术的课堂行为分析评测系统，并将该系统应用于高职院校学生专业课程课堂行为分析。课堂行为分析评测系统从学生侧脸专注度、学生抬头低头专注度、眼睛张合度专注度三个方面来判断学生是否专注听课，为课堂教学中的学生课堂行为评价提供客观评价的依据。实验证明基于深度学习人脸识别技术的课堂行为分析评测系统可以正确判断学生的课堂行为，为课堂教学学生课堂行为评价提供依据，方便课堂教学管理与实施。

关键词： 深度学习;人脸识别;课堂行为分析评测系统

【Abstract】 Deep learning face recognition technology has been very mature and widely used， but the application of deep learning face recognition technology in classroom behavior analysis and evaluation research is very few. Therefore， this paper proposes a classroom behavior analysis and evaluation system based on in-depth learning face recognition technology， and applies this system to the classroom behavior analysis of vocational college students' professional courses. Classroom behavior analysis and assessment system judges whether students concentrate on class from three aspects： students' side face concentration， students' head-up and head-down concentration， and their eyes opening and closing concentration. It provides an objective evaluation basis for students' classroom behavior evaluation in classroom teaching. Experiments show that classroom behavior analysis and evaluation system based on in-depth learning face recognition technology can correctly judge students' classroom behavior， provide a basis for students' classroom behavior evaluation， and facilitate classroom teaching management and implementation.

【Key words】  deep learning; face recognition; classroom behavior analysis and evaluation system

0 引 言

课堂行为是在课堂情境中的社会行为，是课堂专注度的外在体现[1]。学生的课堂行为反映学生的学习状态和学习效率，与课堂教学质量密切相关。研究层次主要集中在基础教育、中等职业教育和基础研究（社会科学）方面[2-3]。关于课堂行为的研究，国内学界更多是把聚焦点放在教师行为和师生互动行为的研究上[4-7]，而对学生课堂行为的研究相对较少。

国内关于高等教育领域的学生课堂行为研究很少，基础教育课堂行为研究主要采用主觀报告和定性分析等研究方式，已有研究不适应于复杂的高等教育领域的学生课堂行为研究。本课题拟将人工智能与教育教学研究相结合，设计研发基于深度学习人脸识别技术的课堂行为分析评测系统，对高职学生课堂行为进行客观量化分析，更好地服务于教育学领域。

1 系统设计

1.1 课堂行为分析评测系统总体框架

课堂行为分析评测系统主要分为图像采集模块、图像处理模块、人脸识别模块、人眼识别模块、行为分析模块等五大功能模块。总体框架如图1所示。

1.2 系统设计思路

综前所述，本系统主要分为图像采集模块、图像处理模块、人脸识别模块、人眼识别模块、行为分析模块。对于本系统的整体研发思路，可做阐释分述如下。

首先，每一帧视频中截取判断目标专注度的图片，并进行相关图像处理操作。

然后，使用深度学习模型从图像数据库中来辅助地离线学习一般化的图像特征，构造深度特征提取器提取人脸图像特征，构建有监督的深度学习模型，通过在线微调训练人脸图像完成人脸识别任务。

最后，对目标人脸面部特征进行检测，检测分析目标人物的眼睛、鼻子、嘴巴特征，将目标在教室中表现出的姿态、神情、动作等特征转为算法运算，对学生上课专注度进行定量评测。

1.3 课堂行为分析流程

本文设计的基于人脸识别技术的课堂行为分析评测系统，从3个方面实现专注度判断，即学生侧脸专注度的判定;学生抬头、低头专注度判定;眼睛的张合度判断，从而全方位地判断学生上课的专注度，用于研究现代学徒制班级学生课堂专注行为与学习效果的关系，为现代学徒制班学生课堂学习效果评价提供客观依据，最终做出更真实有效的教学评价。学生课堂行为分析流程如图2所示。

2 系统实现

设计基于人脸识别技术的课堂行为分析评测系统，课堂行为分析评测系统实现步骤详见如下。

（1）提取到目标人脸，对人脸面部特征进行检测，检测到目标人物的眼睛、鼻子、嘴巴。

（2）以人眼为判断专注度的主要特征，把鼻子作为辅助参考区域进行判断。

（3）从学生侧脸专注度、学生抬头低头专注度、眼睛张合度专注度三个方面来综合判断学生是否专注听课，根据被检测目标人眼的张合度大小判定其是否专注。

（4）通过目标在教室中表现出的姿态、神情、动作等特征转换为算法运算，判断求出学生上课的专注度。

2.1 数据库设计

学生信息表：stuInfo（学号，姓名，性别，班级，照片，偏好）

图像采集表（图像ID，图像名称，图像大小，图像类型，抓取时间，存储路径，学号，处理标记）

图像识别表（学号，识别号，图像ID，存储路径，识别结果）

判定过程表（学号，识别号，判定结果，开始时间，结束时间）

专注情况表（学号，判定频度，开始时间，结束时间）

专注统计表（学号，时间段，判定结果，图像ID）

2.2 实验环境

基于人脸识别的学生上课专注度判断实验环境主要包括硬件和软件两个方面。硬件方面，涉及视频采集，采用了分辨率较高的网络视频监控摄像机，软件环境方面配置具体如下：操作系统为Windows7，64位，CPU为2.6 G，内存为4 GB。深度学习实验环境具体如下：CPU为i7-5830K，内存为128 G，GPU为GTX1080，深度学习框架使用TensorFlow1.4 。开发语言：C++，数据库：Mysql。

2.3 相关代码

//对齐

FaceAlig：：FaceAlig（const char * model_path）{

faci_detec = new CCFAN（）;

if （model_path == NULL）

model_path = "facesb_fa.bin";

faci_detec->InitModel（model_path）;

float*facial_loc = new float[pts_num * 2];

faci_detec->FaciPoiLoc（gra_im.data， gra_im.width， gra_im.height， face_info， facial_loc）;

for （int i=0; i < pts_num; i++） {

points[i].x = facial_loc[i * 2];

points[i].y = facial_loc[i * 2 + 1]; }

delete[]facial_loc; }

//检测

facesb：：FaceDete detec（"F：/faceSB/FaceDete/model/facesb_fd.bin"）;

facesb：：FaceAligt point_detec（"F：/faceSB/FaceAligt/model/facesb_fa.bin"）;

FaceIdent_recog（（MODEL_DIR + "facesb_fr.bin"）.c_str（））;

std：：string test_dir = DATA_DIR + "test_face_recog/";

cv：：Mat galle_img_color = cv：：imread（test_dir + "img/test1.jpg"， 1）;

cv：：Matgalle_img_gra;

cv：：cvtColor（galle_img_color， galle_img_gra， CV_BGR2gra）;

cv：：Mat probe_img_color = cv：：imread（test_dir + "img/test2.jpg"， 1）;

cv：：Mat probe_img_gra;

cv：：cvtColor（probe_img_color， probe_img_gra， CV_BGR2gra）;

2.4 实验结果

课堂行为分析评测系统的主界面如图3、图4所示。

课堂行为分析评测系统从学生侧脸专注度、学生抬头低头专注度进行检测所得的结果如图5所示。从图5可看到，由于学生臉部有遮挡，并且距离较远，一些学生没有检测识别出来，当大多数学生抬头时，判定抬头为专注行为，低头为不专注行为。从眼睛张合度专注度进行检测所得结果如图6所示。从图6可看到，由于距离较远，人脸图像较为模糊，有一个学生能识别人脸，但无法定位到人眼，所以判定为不专注行为，其余4个学生可以正确定位到人脸与人眼，其人眼张合度较大，判定为专注行为。

3 结束语

随着信息技术的飞速发展，创新人才培养模式，同时提升高校课堂授课效率，则有着实际应用价值和深远意义。本次课题即对学生课堂专注行为和课堂专注度分布情况展开了研究。拟设计基于深度学习框架人脸识别算法的课堂行为分析评测系统，实现对人脸和人眼的定位与识别，能够对正面和侧面人脸进行识别，从3个方面判断学生上课的专注度，并求得客观量化的分析评测结果，同时提升人脸识别率、判断的准确度以及识别速度，为课堂教学评价提供依据。在此基础上，授课教师可以有针对性地设计教学方案，切实提高课堂教学质量，从而达到预期教学效果。

参考文献

[1]徐琳，严淑斐，史利涛，等.两岸高校学生课堂行为比较研究—以东北师范大学与台湾彰化师范大学为例[J].文教资料，2014（15）：157-159.

[2]胡卫星，赵苗苗.多媒体教学过程中学生学习行为的实验研究[J].中小学电教，2005（11）：50-51.

[3]崔允漷.有效教学[M].上海：华东师范大学出版社，2009.

[4]周敏.初中小班化教育背景下学生课堂问题行为的实证研究[D].宁波：宁波大学，2013.

[5]陈霞.语文课堂学生学习行为的研究[D].桂林：广西师范大学，2007.

[6]赵庆红，徐锦芬.大学英语课堂环境与学生课堂行为的关系研究[J].外语与外语教学，2012（4）：66-74.

[7]王会廷，张艳平，阎慧.大学生课堂行为的心理学研究[J].安徽工业大学学报（社会科学版），2012，29（3）：37-38.