课堂学情态势感知辅助教学系统的设计与实现

王殿林

摘要：为解决班级授课制课堂中个别学员学习投入不佳问题，设计实现了一个基于人脸表情识别的课堂学情态势感知辅助教学系统。系统实时获取学生面部照片信息并使用VGGNET进行表情识别，通过获取到的知识点难易度指标数据和课堂授课进度信息，挖掘出指征学生学习投入水平的面部表情时序关系，并应用于系统对教师进行“干预信息”提示。系统在真实教学场景应用效果较好，能够根据表情时序关系模式及时向教师提示需要干预的学生，提升了课堂中学生整体的学习效率。

关键词：课堂学情态势感知；表情时序关系模式；干预提示

中图分类号：TP18        文献标识码：A

文章编号：1009-3044（2022）34-0026-03

1 概述

课堂教学是各类学校培养人才的基础环节和重要组成部分。课堂教学作为学校教学的基本组织形式，学生能否深度学习达成预期教学目标是关键，研究学生在课堂学习中的学习投入问题具有一定现实意义。学习投入指的是学生在学习活动中的认知、行为和情感投入[1]。本研究关注的是学生的学习情感态度投入，也就是学生在课堂学习过程中的情感体验，需要考察积极的情感体验、消极的情感体验以及一些中性的情感体验。

研究表明，情绪对感知、注意、记忆、学习、推理及其问题解决等认知加工过程具有重大影响[2]。基于此，采用智能硬件及摄像设备实时捕捉课堂授课中学生的面部表情照片，通过部署于智能硬件中的深度学习模型VGGNET[3]分析学生的面部表情，结合课前依据課堂讲授内容知识点设置的难易度指标，分析面部表情与学情态势的相关性，进而挖掘出学生学习投入的指向性面部表情组合关系指标，反过来应用于教学指导和教师介入，便于教师对学习投入不佳学生进行积极干预，主动帮助学生“回归”课堂，提升课堂学习的总体效率。

本文的研究内容主要是设计实现课堂学情态势感知辅助教学系统，基于部署于智能硬件的VGGNET对捕获的学生面部照片进行表情识别，关联知识点难易度指标，推理出几个指征学生学习投入水平的面部表情时序关系，应用于教学指导。

2 背景概要

现代社会，随着教学内容的增加和人才需求的加大，为了提高教学效率，院校的教学组织形式一般采用班级授课制。班级授课制很好地顺应了工业时代经济快速发展的潮流，符合现代学校发展和普及大众教育的基本需要。随着第三次科技革命浪潮的推进，诸如网络教学、虚拟教学、线上线下混合式教学等新的教学组织形式也逐渐被人们所接受，开始得到应用。新冠肺炎疫情在全球肆虐后，更加速了新教学组织形式的应用和推广。

尽管新的教学组织形式有利于提升教学质量，但传统的班级授课制仍是主要的教学组织形式，仍是院校组织教学活动各要素完成教学任务的主要形式。在课堂中组织教学活动，一方面便于学校实施教学计划，便于教学管理和评价，提高教学效率，各类学习活动可以稳步推进；另一方面，也存在难以满足学生的个性化特异化需求，学生学习状态难以整体掌控分类干预，学生主体性创新性受限制等问题。其中，学生学习状态差异化明显问题在传统的传授知识课中尤其明显。

从学习体验角度分析，学生在传授知识课中一旦出现学习状态不佳问题，想通过自我调节的方式回归课堂，回到教师的讲课思路上来，往往比较困难。即使能够回归，由于存在一定时间的偏移，再次进入课堂，可能存在“与前序知识衔接不上”“跳过关键知识点”等问题，可能导致再次思绪偏离甚至自我放弃。因此，在学生刚出现“学习状态不佳”倾向性状态之前就进行干预，可以帮助学生快速回归课堂，提高学习效率。

学生“学习状态不佳”的状态可以通过肢体动作、情绪等外在表现反馈。研究关注情绪与“学习状态”“学习投入”的关系，期望通过技术手段获取学生情绪信息与“学习状态”的关联，进而对授课中的教师进行提示以便进行人工干预。已有研究关注于使用人工智能技术进行学情分析：一种方法[4]是在课堂教学中采用人脸识别技术识别抬头率，分析学生的学习专注度，进而为后续实施教学分析提供参考；另一种策略[5]针对教师不能及时掌握学生情绪变化而及时调整课程进度问题，归纳学生7种表情与对应“学习状态”理解，设计实现了一个学生情绪识别系统，可以为教师提出针对性教学建议。

为了更有效实时地帮助教师识别“学习投入”不佳学生，研究设计实现了课堂学情态势感知辅助教学系统，应用VGGNET深度学习模型识别学生情绪特征，并不是简单地将这些特征与“学习状态”关联，而是将时序情绪特征看作是“学习状态”的特征，进而挖掘出反应“学习状态”差的时序情绪序列，并与当前授课进程中知识点难易度进行关联分析，以便更好地为教师干预学习投入不足的学生提供指导。

3 课堂学情态势感知辅助教学系统设计概况

课堂学情态势感知辅助教学系统分为硬件和软件两部分。硬件采用NVIDIA Jetson Xavier NX SUB开发板套件。Jetson Xavier NX是一款英伟达设计生产的嵌入式主板，搭载了6核ARM架构的64位CPU和384核Volta架构的GPU以及48个向量计算核心，AI算力达到21 TOPS，适用于嵌入式系统和边缘计算开发，可被视为一台适合部署深度学习模型的强算力计算机。

软件部署于硬件之上，主要是基于VGGNET模型的Python程序，用于进行人脸表情识别。同时，实时获取教师正在讲授的知识点和难易度指标信息。基于统计学原理，挖掘学生面部表情时序关系，从而指导教学实践。图1为系统架构图，主要是获取人脸图片数据和实时知识点授课进度和知识难易度指标数据，经由“课堂学情态势感知辅助教学系统软件分析子系统”处理，最终完成辅助教学指导任务。

图2为“课堂学情态势感知辅助教学系统软件分析子系统”的模块关系图，由四个模块构成：知识点难易度获取模块、表情识别模块、表情特征模式分析提取模块、辅助教学指导模块。知识点难易度获取模块接收智慧屏中当前课程讲次的知识点实时进度和预先设定的知识点难易度指标数据，交由表情特征模式分析提取模块使用；表情识别模块收集摄像头定期拍摄到的人脸照片后，采用VGGNET深度学习模型识别出学生的表情信息并进行标记交由表情特征模式分析提取模块使用；表情特征模式分析提取模块收集前述两方面数据后，综合分析数据，使用统计学方法抽取与知识点难易度强相关的表情时序关系并保存；辅助教学指导模块根据成熟的表情时序关系模式结合表情识别模块的实时数据，对学生学习投入情况进行判定，选择最需干预的学生，并通过智慧屏进行预警，教师根据课堂情况自主决定干预方法。

4 表情时序关系模式

根据美国心理学家Ekman等人的研究结论[6]，情绪包括：高兴、惊讶、悲伤、担忧、生气、厌恶6种基本情绪，同时加入中性情绪作为非6类情绪的补充。基于重难点知识学生学习状态普遍不佳的假设，反应“学习状态”差的时序情绪序列模式由上述6种基本情绪构成。为了挖掘出上述时序情绪序列模式，使用已构建好的课堂学情态势感知辅助教学系统针对信息系统设计与应用课程进行探索性研究。信息系统设计与应用课程是信息系统工程专业的专业背景课程，学生在学习了大学计算机基础、程序语言、计算机网络、数据库系统等方面的知识后，通过该课程的学习进一步从系统规划分析设计的角度审视信息系统的构建过程，具备抽象和逐步求精的设计理念，从而为形成系统思维打下基础。

以“结构化的分析”这堂课为例，共有39名学生听课学习。在探索挖掘时序情绪序列模式时，课前，通过课程教学组集体备课研究，选定了12个知识点和3个知识难点，并在课件的相应位置进行了标注。表1展示的是知识点难易度以及在课程进度中的位置关系。课中，与智能硬件连接的摄像头以10秒為间隔实时捕获学生的情绪信息，结合智慧屏中教师讲解课件的进度信息，生成39组与知识点信息关联的学生基本情绪序列。针对难、中、易得知识点信息进行基于统计的相似时序情绪序列模式识别，最终挖掘出的表情时序关系模式如表2所示。

5 教学应用效果及前景

系统识别出情绪序列模式后，应用到后续课堂教学中，发现对教师有一定的辅助作用，序列模式触发系统报警并筛选出最需干预学生一般出现在重难点知识讲解的中后段，且序列模式持续触发多名学生告警。针对上述情况，教师及时调整设计好的授课安排，将时间线往回拨，通过提问、课堂小练习、小讨论等方式缓解学生的担忧焦虑甚至是悲伤情绪，从疑问点出发进行回溯，帮助学生理清思路，查找问题症结，跳出误区，实现知识的理解。因此，在系统调优中，针对此类成规模地触发系统告警的问题，系统及时做修正，不再提示干预某一个学生，而是提示采用集体干预策略。

由于不同类知识的学习存在显著的差异性，在后续研究中将针对不同的课程进行针对性的情绪序列提取工作。期望系统能够应用于更多的课程中，协助教师开展授课活动。同时，学习活动是双向的，既需要老师的教授过程，更需要学生的积极参与其中，因此系统的提示性信息是否可以公开展示在课堂中或以某种方式悄悄地提示学生本人也是未来需要研究的方向。

6 结束语

本文设计实现了一个课堂学情态势感知辅助教学系统，系统通过智能硬件上的摄像头捕获学生课堂面部表情照片，采用VGGNET深度学习模型分析表情信息，结合智慧屏传输的课程进度信息和知识点难易度指标信息，挖掘出一组关于学生“学习状态”差的时序情绪序列，应用于系统进一步实时监测学生学习状态，辅助教师进行人工干预。系统可用于真实教学场景，辅助教学工作，提升班级授课制教学组织形式中学生整体的学习效率。

参考文献：

[1] 何佳.硕士研究生学习投入现状的实证研究——以J大学为例[D].南昌：江西师范大学，2015.

[2] Tyng C M，Amin H U，Saad M N M，et al.The influences of emotion on learning and memory[J].Frontiers in Psychology，2017（8）：1454.

[3] Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition[EB/OL].[2021-10-20].2014：arXiv：1409.1556.https：//arxiv.org/abs/1409.1556.

[4] 汤双霞.基于改进神经算法在课堂人脸识别学情分析应用研究[J].信息系统工程，2019（11）：122-123.

[5] 李鹏.辅助大学课堂教学的端到端学生情绪识别系统的研究[D].成都：电子科技大学，2020.

[6] Ekman P.Emotions Revealed： Recognizing Faces and Feelings to Improve Communication and Emotional Life[M].Glasgow：Times Books，2003.

【通联编辑：王力】