基于人工智能的课堂教学分析研究与实践

甘启宏，余 淇，王春艳，崔亚强

（四川大学 信息化建设与管理办公室，四川 成都 610065）

0 引言

课堂是学校教育教学的主阵地，课堂教学分析是课堂教学质量评价的重要依据［1］。传统课堂教学分析主要以人工编码和工具统计为主，存在依赖专家、编码复杂、分析低效等问题［2］。随着人工智能技术的发展，国务院印发的《新一代人工智能发展规划》提出建立智能、快速、全面的教育分析系统，推动人工智能在教学、科研、管理等领域的应用［3］。人工智能与教育研究逐步结合［4］，形成新兴的跨学科研究领域——教育领域的人工智能（Artificial Intelligence in Education，AIED）。尽管当前人工智能的整体发展仍处于弱人工智能阶段［5］，其仍然为大规模自动化采集课堂教学过程及智能化分析提供了可能［6］。总体而言，基于人工智能的课堂教学分析还处于探索阶段，随着高校智慧教学环境建设的不断推进，如何实现智能化和规模化的课堂教学分析、提高课堂教学分析效率，以及实施基于数据的教学评价已经成为教育领域关注的热点［7］。

1 基于人工智能的课堂教学分析相关研究

人工智能背景下，课堂教学分析逐渐趋于自动化、智能化与规模化。从课堂教学环境发展变化和数据采集分析方式来看，课堂教学分析主要经历了人工、半自动和智能化3个阶段。

（1）基于人工的传统课堂教学分析。传统课堂教学分析主要采用人工标注方式，由研究者设计量表，通过现场观察进行人为记录与分析。比较有代表性的是S-T 分析法和弗兰德斯互动分析系统（Flanders Interaction Analysis System，FIAS）。S-T 分析法［8］记录课堂教学中教师教学行为（T）和学生学习行为（S），间隔固定时间记录一次，得到教学行为和学习行为数据，绘制S-T 曲线，通过计算判断教学模式。FIAS 将课堂教学行为分为教师言语、学生言语和沉寂3 类，按照编码标准，每隔3s 取样记录课堂行为一次，然后填入迁移矩阵进行分析［9］。皮亚塔研发课堂互动评估系统（Classroom Assessment Scoring System，CLASS），通过课堂组织、教学支持和情感支持3 个维度进行课堂教学行为分析［10］。国内学者夏雪梅［11］提出以学生为中心的课堂教学行为分析框架。该阶段课堂教学分析主要依靠人工标注方式，存在劳动密集、分析低效、容易出错等缺点。

（2）信息化教学环境下的课堂教学分析。信息化教学环境下的课堂教学分析融入信息技术特征，出现了课堂教学分析编码系统。国内学者开发出基于FIAS 的分析工具，并对课堂教学分析方法加以改进。顾小清等［12］提出基于信息技术的互动分析编码系统（Information Technology-Based Interaction Analysis System，ITIAS），将“沉寂”类行为进行细化，并增加“技术”行为分析；穆肃等［13］提出课堂教学行为分析系统（Teaching Behavior Analysis System，TBAS），从教学活动的角度将课堂教学分为教师活动、学生活动和无意义教学活动3 类；方海光等［14］基于FIAS 和ITIAS 分析方法，提出改进型弗兰德斯互动分析系统（iFIAS），对部分编码进行优化调整。该阶段相关课堂教学行为分析软件工具相继被开发、引入和使用，能够实现课堂教学行为的半自动化标注，课堂教学分析效率也得到一定程度提升。

（3）基于人工智能的课堂教学分析。随着人工智能技术的不断发展，研究人员开始探索课堂教学数据的智能化分析，并尝试利用教室内的摄像头实现自动化采集。课堂教学分析数据更加多源化，除对课堂教学行为进行分析外，还尝试对师生情感变化数据进行采集与分析。李青等［15］探讨如何在人工智能视角下构建课堂教学管理与评价体系；韩丽等［16］利用视频监控设备，设计基于人脸检测与面部表情分析的课堂教学评价系统；贾鹂宇等［17］基于课堂视频对学生数量、位置、表情及姿态进行识别，实现课堂学生状态的自动化分析；陈靓影等［18］通过摄像头对学生的姿态、表情、互动进行分析，提出学生学习兴趣的智能分析方法；刘清堂等［7］提出课堂教学行为智能分析模型，基于教室录播视频样本进行课堂教学S-T 行为智能化分析实验与有效性验证；曹晓明等［19］设计基于学生表情、脑电波数据的多模态融合学习参与度模型；孙众等［1］提出人工智能支持的课堂教学分析框架（TESTII），并融入课堂教学行为和教学事件分析；卢国庆等［6］提出基于人工智能引擎自动标注的课堂教学分析，并基于真实教学视频进行分析研究。

综上所述，针对人工智能技术在课堂教学分析与评价方面的应用已有探索，但是目前研究主要侧重于课堂教学分析的方法指标，且大多还处于实验研究阶段。如何结合实际课堂教学场景，利用人工智能相关技术实现课堂教学过程数据的自动化采集、智能化分析与可视化呈现，以及实现课堂教学分析与评价的规模化还需进一步研究。

2 智能化课堂教学分析框架

基于已有课堂教学分析方法和高校课堂教学评价实际工作内容，结合研究实践，本文提出智能化课堂教学分析框架，如图1 所示。该框架以课堂教学为中心，以课堂教学分析内涵为指导，在教育教学理论和人工智能技术、标准以及信息安全和隐私保护相关规范下，从课堂教学数据采集与处理、课堂教学分析、课堂教学改进方面建立课堂教学分析的一体化流程，实现课堂教学数据的自动化采集、智能化分析与可视化呈现，提升课堂教学评价的科学性，促进基于数据的课堂教学反思。

（1）数据采集与处理。利用人工智能相关技术，课堂教学数据采集可以更加多源，而不仅仅局限于课堂教学行为数据。本框架主要依据课堂分析与评价指标体系，利用教室网络摄像头设备进行无感知的数据采集。采集的数据主要分为4 种类型：人员感知、姿态行为感知、表情感知和人工采集。人员感知指通过人脸识别技术进行无感知教师考勤、学生人数清点；姿态行为感知指基于S-T 行为分析理论，利用深度学习算法进行教师教学行为和学生学习行为自动化识别；表情感知指利用人脸关键点识别技术对学生面部表情与姿态进行识别；人工采集指设计线上听评课方式，一方面能满足高校课堂教学评价的业务需求，另一方面能丰富课堂教学数据源。

Fig.1 Framework of intelligent classroom teaching analysis图1 智能化课堂教学分析框架

（2）课堂教学分析。基于采集的课堂教学数据对课堂教学进行建模分析，维度包括教学秩序分析与教学过程分析。教学秩序分析主要是基于人员感知数据，对教师考勤以及学生出勤率、前排就座率、睡觉率进行分析。教学过程分析主要包括课堂教学行为分析和学生状态分析。课堂教学行为分析是指基于姿态行为感知数据，以常用的ST 分析为理论指导，并结合课堂教学行为云模型［20］对课堂行为特征的定义，实现3 类教师行为与7 类学生行为识别，并进行S-T 分析；学生状态分析是指基于表情感知数据，利用DLIB［21］获取人脸关键点后，通过机器学习中的支持向量机（Support Vector Machines，SVM）进行表情分类与训练，实现7 类与教学有关的表情识别与分析。对课堂教学数据进行指标化分析后，予以可视化呈现，并实时预警问题课堂，进行各个层级的课堂教学画像，便于管理人员掌握课堂教学情况，也有利于教师掌握课堂教学过程性数据。

（3）课堂教学改进。根据设定的指标阈值对问题课堂进行自动预警与数据下发，二级学院针对问题和指导建议进行课堂教学改进与反馈。校级管理者跟踪各学院处理进度与结果，使课堂教学分析和评价工作进入良性循环。

3 智能化课堂教学分析系统构建

随着智能技术的发展，基于新一代AI 摄像头能够实现师生教学行为与表情分析，基于已建的教室监控巡查摄像头实现自动化、规模化的课堂教学分析也成为可能。2021 年，四川大学开始探索智能化课堂教学分析系统研究与构建，基于智能化课堂教学分析框架，利用已建设的巡查摄像头完成课堂教学秩序智能化分析，并尝试建设一批AI摄像头教室，以深入进行课堂教学分析研究。

3.1 智能化课堂教学分析系统功能设计

基于课堂教学智能化分析研究与实际需求，构建智能化课堂教学分析系统，通过课堂教学过程性数据自动化采集与分析，为教学管理人员提供课堂教学数据分析与可视化呈现，为教师开展基于课堂教学数据的教学评价和教学反思提供支持。各功能模块设计如下：

数据采集与处理模块包括AI 采集和人工听评课。AI采集指利用教室摄像头实现人员感知、姿态行为感知和表情感知；人工听评课可按照课程、教师、教室进行查课与评课，查看课堂教学视频和课堂AI分析。

课堂教学分析基于可视化中心、画像中心、报表统计、明细结果和报告中心5 个功能模块对课堂教学情况进行自动化分析与评价，数据指标围绕教学秩序和教学分析两个维度展开。可视化中心实时呈现全校课堂教学情况，并实时预警问题课堂；画像中心从学校、学院、课程、教师4个维度进行课堂教学数据聚合，方便管理人员和教师进行课堂教学分析；报表统计支持按学院、课程、教师维度以报表形式呈现各项数据指标情况；明细结果聚焦到学校课堂教学的最小颗粒度——课时，对每个课时产生的数据进行记录统计，便于数据自上而下逐级下沉，从而进行问题溯源；报告中心以学校层面的管理需求为出发点，支持按日、周、月自动生成课堂教学报告。

通过问题课堂下发、问题课堂处理、问题课堂跟踪3个流程实现课堂教学改进。问题课堂下发指校级教学管理人员确认预警课堂后，将问题课堂进行下发；问题课堂处理指学院接收问题课堂，对课堂教学进行改进后反馈处理情况；问题课堂跟踪指教学管理人员跟踪问题课堂处理进度与情况，确保问题得到处理。

3.2 智能化课堂教学分析系统架构

按照智能化课堂教学分析功能需求，运用云—边—端协同的架构思想，综合人工智能、大数据和云计算技术，以现有教育云、教学环境硬件资源为支撑，构建集人工听评课、课堂教学分析、课堂教学改进等功能于一体的高校智能课堂教学分析系统，系统架构如图2 所示。其中，端指设备，包括教室的教师摄像头、学生摄像头、网络视频录像机；边指边缘计算，基于音视频网关设备进行AI 数据采集与数据预处理，将计算能力下沉，减轻云端计算压力；云指云计算，部署云服务器完成数据的统一处理与管理，提供业务应用。

Fig.2 Architecture of intelligent classroom teaching analysis system图2 智能课堂教学分析系统架构

4 智能化课堂教学分析系统应用实践

智能化课堂教学分析系统经过一年多的功能优化和算法改进后，已经上线进行试运行。在系统部署前，课堂教学分析工作部分环节，如师生考勤、前排就坐率等需要人工查看课堂教学视频，进行统计并手工撰写报告，工作效率较低，准确度也不高。系统部署后，能实现自动采集与分析课堂教学过程。教学秩序分析涵盖教师考勤、学生到课率、前排就坐率和疑似睡觉率，可完全替代以上人工分析工作，也能进行基于人脸识别的考勤分析、课堂教学行为分析和学生表情分析，并自动生成报告，从而提高课堂教学分析效率和覆盖率，并提供数据支持。在研究过程中，基于信息安全和隐私保护相关规范，教学秩序分析是智能化的传统视频督导分析，分析指标针对课堂，精细程度不到个人。基于AI 摄像头的试点教室，基于师生知情同意开展研究，并严格做好数据安全保护。

4.1 数据采集与处理

本研究课堂教学数据采集采用非入侵、伴随式的采集方式，利用教室前后安装的两路巡查摄像头采集课堂上教师和学生的课堂图像，设置每5min 采样一次，覆盖学校所有本科公共教室。巡查摄像头能实现人员感知和简单姿态识别。人员感知通过人数清点算法对教室人数进行自动清点，经过大量实际教学场景训练，该算法对于实际教室场景各种不同类型、不同姿态的人数清点都能保持90%以上的准确度，人员感知结果如图3 所示。简单姿态识别通过姿态分析算法识别教室学生的睡觉姿态和非睡觉姿态，简单姿态分析结果如图4所示，红点标注睡觉姿态。

AI 摄像头能实现人脸识别、教学行为感知与表情感知。人脸识别通过学生跟拍摄像机，结合图像识别算法，对教室学生进行人脸抓拍和一对多比对，并通过教师跟拍摄像机对教师进行人脸抓拍和一对一比对。

Fig.3 Personnel perception图3 人员感知

Fig.4 Simple attitude analysis图4 简单姿态分析

教学行为感知与处理基于S-T 教学行为分析理论，利用人工智能深度学习算法进行教师教学行为和学生学习行为自动化识别，如图5 所示。采用每5min 一次的时间采样方法，实时采集课堂教学图像，获得行为特征矩阵，并通过基于深度神经网络的教学行为预测模型，计算得到课堂行为时间序列矩阵。本研究识别的T 行为包括多媒体、板书、巡视，S 行为包括阅读、书写、听讲、举手、起立、睡觉、玩手机，然后计算并绘制S-T 曲线和Rt-Ch 图，分析课堂教学模式，将课堂教学分为练习型、混合型、讲授型和对话型4类。表情感知基于DLIB［21］特征提取方法，获取人脸关键点，采用机器学习中的SVM 进行表情分类与识别。本研究识别的表情包括高兴、惊讶、厌恶、难过、愤怒、害怕7 种类型。

Fig.5 Intelligent analysis model of classroom teaching behavior图5 课堂教学行为智能化分析模型

4.2 课堂教学分析与改进

课堂教学分析围绕教学秩序和教学分析两个维度展开，将课堂教学分析结果进行可视化呈现，院、校级管理人员可从可视化中心与画像中心概览和分析课堂教学情况，逐步下沉至报表统计、明细结果，并支持导出报告。教师用户可查看所授课程的课堂教学数据与分析，便于开展基于数据的教学评价和教学反思。

可视化中心实时呈现当日全校课堂教学情况，如图6所示。教学秩序模块实时呈现当前课时的教师考勤，以及学生到课率、前排就坐率和疑似睡觉率，可选择各项指标查看各学院情况。系统实时预警各指标若低于所设阈值的异常课时，点击异常课时可直接跳转到具体课堂明细，同时展示各指标今日汇总情况与分布情况。教学分析模块通过课堂教学行为分析和学生状态分析呈现当前课堂教学情况。课堂教学行为分析包括教师行为占比分析和学生行为占比分析，通过S-T 分析计算得出4 种教学模式类型；学生状态分析包括学生表情识别和表情占比分析，并尝试进行学术课堂活跃度与专注度分析。

Fig.6 Visualization center -teaching order图6 可视化中心—教学秩序

画像中心从学校、学院、课程和教师4 个维度，围绕教学秩序与教学分析各数据指标进行画像分析。以学校层级到课率分析为例，可按日、周、月呈现学校整体到课率、到课率分布情况、各学院到课率对比分析、到课率全校趋势及与各学院的比较、到课率排名靠前或靠后的课程与教师，以及到课率低于所设阈值的学院、课程与教师分布。

报表统计从教学秩序、教学分析两个层面对课堂教学数据进行统计，按照学校—学院—课程—教学班—课堂的顺序逐级下沉至某堂课的课堂明细。课堂明细对应该课时的课堂教学分析，包括课堂直播或录播授课视频、课程基本信息、教师考勤、学生到课率、前排就座率、疑似睡觉率、课堂教学行为分析和表情分析以及课堂截图。

报告中心基于教学秩序和教学分析两个维度，自动按照日、周、月生成课堂教学分析报告，并支持围绕不同分析指标自定义分析报告。

教学改进模块对问题课程整改进行信息化管理，可查看问题下发、问题处理、处理效果概览。校级管理人员在确认预警课程后下发给院级管理人员，学院进行整改与反馈，校级管理人员随时跟踪各学院问题课程的处理情况。

5 结语

人工智能技术助力课堂教学分析已经成为研究趋势，通过课堂教学过程自动化采集与智能化分析，使课堂教学分析更具规模性与科学性。本文基于课堂教学分析研究现状，提出智能化课堂教学分析框架，在此基础上构建智能化课堂教学分析系统并进行实际应用验证，取得了一定效果，期望本文提出的框架与实践案例能为基于人工智能技术的课堂教学分析研究和应用提供参考与借鉴。在下一步研究中将重点考虑两个方面，一是研究在实际教学场景下基于AI 摄像头的课堂教学数据多源采集与算法优化，提升分析精度；二是探索教学大数据分析，一方面是基于课堂教学数据的分析，如学生到课规律、学生座位习惯、课程教学特征、教室座位资源分析等；另一方面是人工智能教育应用伦理研究，如何规范人工智能教育应用设计，规避伦理风险，保护师生隐私数据等。