基于人脸识别的智慧课堂分析系统的设计与实现

姜丽莉 王澍廷

摘  要：借助于计算机视觉与模式识别技术，主要探讨智慧课堂中人脸识别考勤和课堂行为分析等技术，通过Jakarta EE平台，设计并开发智慧课堂分析系统，实现课堂考勤、课堂督查以及课堂分析。提出了一种适用于学习分析的专注度评估方法。该方法给出了出勤率、抬头率、疲劳程度的计算方法，并建立了综合评估学生的课堂专注度的模型。系统可以实现对学生上课数据的采集与自动分析，并生成面向校方与老师的可视化数据报表。

关键词：人脸识别;智慧课堂;Jakarta EE

中图分类号：TP311       文献标识码：A文章编号：2096-4706（2022）04-0024-04

Design and Implementation of Smart Classroom Analysis System Based on Face Recognition

JIANG Lili， Wang Shuting

（Nanjing Tech University Pujiang Institute， Nanjing  211200， China）

Abstract： With the help of computer vision and pattern recognition technology， this paper mainly discusses the technologies of face recognition attendance and classroom behavior analysis and so on in smart classroom. Through Jakarta EE platform， this paper designs and develops smart classroom analysis system to realize classroom attendance， classroom supervision and classroom analysis. A focus evaluation method suitable for learning analysis is proposed. This method gives the calculation methods of attendance rate， head up rate and fatigue degree， and establishes a model for comprehensively evaluating students classroom concentration degree. The system can realize the collection and automatic analysis of students class data， and generate visual data reports for the school and teachers.

Keywords： face recognition; smart classroom; Jakarta EE

0  引  言

智慧课堂是顺应如今教育信息化发展战略应运而生的新兴教学模式，其核心特征在于教学决策的数据化，体现在教学过程依赖于教学中的客观数据，方便教师有的放矢地开展更具针对性的教学工作，推动以学定教[1]。

随着计算机视觉和机器学习技术的蓬勃发展，利用人脸识别、表情识别等技术，可以将学校教学领域中存在的海量影响教学质量的各相关要素，进行动态的数据采集与分析，实现对学生课堂表现的数据化存档，以辅助学情分析与学习分析工作的开展。

课堂教学存在海量的高价值学习行为数据，但这些客观数据仍然存在利用率低下的问题。教育学一直在吸纳并利用各类先进技术辅助学情分析和学习分析，以便于为包括学生、教师和学校等相关者提供更好的教学环境[2]。近些年来，学情分析的理论研究表明，教学设计的起点应该是学生情况而非教学规律，教学只有针对具体的学生个体才有意义，不仅应关注学生受教育后的结果，也应重视学生受教育前的状态。

1  系统分析与技术方案

1.1  系统分析

本系统主要面对教师与教务人员，考虑到系统的易用性角度，需要提供网页端应用与后台管理页面以方便用户操作，同时需要提供一定的操作引导方式，保障操作便捷。

考虑到后期维护角度，需要保障系统的高内聚性与低耦合性，并进行适当的模块化，使得系统功能调整时无需对系统结构进行大规模重构。

本文所设计的系统是典型的B/S架构的应用程序。借助于目前成熟的数据库与Web应用程序开发的技术方案，足以实现包括服务器部署、界面设计等大部分功能。另一方面，本文所设计的课堂评估方法需要借助于人脸检测、人脸识别、表情识别等技术，目前均有成熟的研究方法与技术方案。

1.2  人脸检测及识别模型

本文的人脸检测技术选用RetinaFace模型[3]。RetinaFace是目前对不同尺寸的人脸图像的识别率最高、识别精度最高的人脸检测模型之一，其基于RetinaNet模型[4]的结构，采用图像特征金字塔技术实现了单步人脸检测。其核心思想是在图像特征金字塔中设计有三个检测分支，步长分别为32、16和8，在特征图上具有不同的感受野，以检测不同尺度的人脸图像。

本文的人脸识别技术选用InsightFace模型[4]。InsightFace模型是目前识别速度和识别精度兼具极高的开源人脸识别模型，其核心思想在于考虑到在人脸识别的决策边界中，角度距离因素对角度判断的影响相比于余弦距离因素更加直接，通过对AmSoftmax模型[5]进行改进，使用角度距离替代了AmSoftmax模型中的余弦距离，并改造了ResNet网絡[6]的内部结构，使之更加适用于对人脸图像的训练。InsightFace中同样使用了FocalLoss[4]作为损失函数，可以有效缓解因类别不平衡问题所导致的识别精度低下的问题，而InsightFace作为单步识别算法，具有较快的识别速度。1DD1D306-C2F8-4C4A-8C29-7F0A4C45C252

2  系统设计与实现

2.1  网络拓扑结构架构

本系统在网络拓扑架构设计中，采取内外网结合的架设模式，即服务器部署于校园网内部核心网中，由于内网的网络环境安全，允许教务用户通过内网直接访问服务器;由于外网环境中存在一定的不可控的安全风险，需要在内外网之间架设企业级防火墙，对外部潜在的非法访问进行过滤，以确保数据完整性与安全性，为用户提供安全可靠的服务，系统的网络拓扑结构如图1所示。

2.2  逻辑架构层次设计

根据系统总体需求，本系统采用微服务架构[7]设计为五层：表现层、网关层、业务层、持久层、基础設施，如图2所示。微服务架构是新兴的模块化企业级应用架构设计，基于微服务架构的软件体系结构将传统SOA单体应用依据其业务需求将其模块化，拆分为可以独立运作、互相协作的一组服务。这种面向业务需求的应用体系结构可以有效提高业务模块的高内聚性与低耦合性，并易于拓展[8]。

2.3  功能设计

如图3所示。智慧课堂分析系统设计时，依照功能需求，划分为以下功能模块：（1）信息管理。信息管理包括对学生的学号、姓名、班级等信息，班级的名称、专业、学院等信息，专业的名称、学院等信息，学院的名称等信息，教师的姓名等信息，课程的名称、学生等信息，课时的默认教室、默认时间、授课教师，教室的名称、监控等信息的管理功能。（2）监控管理。监控管理包括监控管理以及视频流采集等功能。监控管理包括对监控信息的增删查改，以及视频流播放等子功能。视频流采集是系统根据教室信息记录的监控摄像头的ip地址，连接到对应摄像头进行视频流录制。（3）人像标识。人像标识包括图像预处理、人像检测以及人像标识等功能。图像预处理是对视频流按一定时间间隔进行视频帧提取，并进行预处理，以便后续检测与识别工作。人像检测是依据本文所选用的人脸检测算法，对课堂图像中的学生进行检测，并将检测结果提取分割并保存。人像标识包括身份标识、疲劳标识以及情绪标识等子功能，采用本文所选的方法标识对人像对应的识别信息。（4）数据报告。数据报告由系统依据课堂图像标识的结果，对学生的出勤情况、抬头率、疲劳程度、表情等课堂数据进行汇总统计，并自动生成高可读性报告。数据报告可以学生、班级、专业、学院、教师、课程以及课时为单位呈现给用户查看。（5）系统管理。系统管理负责对系统用户、用户角色、角色权限等方面的管理功能，并提供系统日志追踪的服务，以便在数据异常时可以按照日志进行数据恢复。

2.4  课堂评估方法设计

课堂评估方法设计内容有：

（1）抬头率评估。通过评估学生的抬头率可以有效反映授课过程中学生的听课状态。本文选定每间隔一定时间对教室监控的视频流进行截图，并对截取的图像进行一次人脸检测与识别，被识别出的学生人脸视为抬头。

为统计每个学生的抬头情况，可以认为学生的个人抬头率r是学生个人被识别的总次数t与系统在课时中的总识别次数T的比值，如公式（1）所示。

（1）

同时，可以认为班级整体的抬头率R是每一次人脸识别中识别出的总人脸数Ni与总学生数N的比值的均值，如公式（2）所示。

（2）

（2）疲劳度评估。评估授课过程中学生的疲劳程度可以直接反映学生的听课状态。PERCLOS原理[9]是20世纪80年代由卡内基梅隆研究所提出的通过眼睛睁闭情况评估人的疲劳程度的方法，其定义为对象在单位时间内眼睛闭合一定比例所占的时间tc与总时间t的比值，当时间比超过一定阈值时，如70%，可视为对象疲劳。其定义表达式如公式（3）所示。

（3）

而对于视频流，可以认为截取的图片帧数与时间时长存在一一对应关系，因此在视频流中可将时间比转化为帧数比，据此可以判断，当眼睛闭合的总帧数fc占总帧数f的比值越高，则可视为疲劳程度越严重，如公式（4）所示。

（4）

（3）表情分数评估。评估学生的上课表情可以有效反应学生的听课效率。根据第4章所选用的表情识别方法，可以对学生在课堂中的平静、皱眉、惊讶等关键表情进行识别，则可以对学生上课过程中出现的表情进行评分，如平静的权重设为0.7，皱眉与惊讶的权重设为1，其他情绪的权重设为0.5。由此，通过加权求和可以得到学生i的情绪评分si，如公式（5）所示。

（5）

其中Wj是第j种表情的权重，Eij是学生i的第j种表情的频率。

对所有分数进行归一化处理，得到最终分数，如公式（6）所示。

（6）

其中，S=UNsN是学生课堂表情评分的样本空间，N是学生总数。

（4）专注度评估。通过对学生上课时的出勤考核、抬头率评估、疲劳度评估以及表情分数评估，可以综合评估出学生的上课专注度。考虑到出勤率、抬头率、疲劳度等因素均与课堂专注度呈正相关关系，本文对学生x的课堂专注度A（x）的评估方法如公式（7）所示。

A（x）=norm（a（x）· r（x）· PERCLOS（x）· z（x））   （7）

其中a（x）是学生在该堂课中的出勤分数，全勤为1，否则为0;r（x）是学生的抬头率;PERCLOS（x）是学生的疲劳度;z（x）是学生的上课表情分数。

2.5  系统开发环境与关键功能实现

2.5.1  系统开发环境

为确保系统能顺利实现、安装与调试，需要对系统开发环境进行充分的准备工作，本文所设计的智慧课堂分析系统的系统开发环境如表1所示。

2.5.2  关键功能实现

关键功能实现的内容有：

（1）学生详情。学生详情界面如图4所示。系统在学生详情页面会显示学生的姓名、学号、班级、专业、学院等信息，同时会给出学生过去一个月内的出勤情况，以及各个课程中的平均疲劳度、抬头率与专注度。1DD1D306-C2F8-4C4A-8C29-7F0A4C45C252

（2）数据报告板。数据报告板是本系统的核心功能，负责呈现系统所收集并分析后的数据，如图5所示。系统在这个界面提供了出勤情况、疲劳度、抬头率以及课堂专注度的全局数据图表，可以方便地让系统用户一览学校内的课堂情况。

3  结  论

在智慧课堂分析系统的设计过程中，基于当下学情分析与学习分析对教育信息化、现代化的数据挖掘与分析的需求作为背景，并结合了当下先进的信息技术理念，包含微服务架构、鉴权授权、深度学习等。设计与实现的智慧课堂分析系统的目的，旨在解决学校教学环境中课堂教学评估数据收集中依然以人工为主的管理模式的问题，提高管理效率，为教育现代化提供信息化保障。

图5  数据报告板界面

参考文献：

[1] 刘邦奇.“互联网+”时代智慧课堂教学设计与实施策略研究 [J].中国电化教育，2016（10）：51-56+73.

[2] 邵燕楠，黄燕宁.学情分析：教学研究的重要生长点 [J].中国教育学刊，2013（2）：60-63.

[3] DENG J K，GUO J，ZHOU Y X，et al.RetinaFace：Single-stage Dense Face Localisation in the Wild [J/OL].arXiv：1905.00641 [cs.CV].[2021-12-03].https：//arxiv.org/abs/1905.00641.

[4] DENG J K，GUO J，XUE N N，et al.ArcFace：Additive Angular Margin Loss for Deep Face Recognition [J/OL].arXiv：1801.07698 [cs.CV].[2021-12-06].https：//arxiv.org/abs/1801.07698.

[5] LU Z，PU H M，WANG F C，et al.The Expressive Power of Neural Networks：A View from the Width [J/OL].arXiv：1709.02540 [cs.LG].[2021-12-08].https：//arxiv.org/abs/1905.00641.

[6] HE K，ZHANG X，REN S，et al.Deep Residual Learning for Image Recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：CVPR，2016：770-778.

[7] 辛园园，钮俊，谢志軍，等.微服务体系结构实现框架综述 [J].计算机工程与应用，2018，54（19）：10-17.

[8] 易文康，程骅，程耕国.Shiro框架在Web系统安全性上的改进与应用 [J].计算机工程，2018，44（11）：135-139.

[9] DINGES D F，GRACE R.PERCLOS：A Valid Psychophysiological Measure of Alertness as Assessed by Psychomotor Vigilance [J].Tech Brief，1998，31（5）：1237-1252.

作者简介：姜丽莉（1985—），女，汉族，江苏徐州人，讲师，硕士，研究方向：深度学习、数据挖掘、软件工程;王澍廷（1998—），男，汉族，广东深圳人，本科，研究方向：深度学习、软件工程。1DD1D306-C2F8-4C4A-8C29-7F0A4C45C252