基于多模态数据融合的课堂教学行为分析研究

陆燕 杨秋芬

摘要：课堂教学行为是影响课堂教学效果的重要因素，然而现有研究在分析课堂教学行为方面存在一些问题，例如数据类型单一、编码复杂以及难以发现课堂运转规律等。人工智能技术为课堂教学行为数据的大规模采集和处理提供了全新的机会。通过运用人工智能技术对某省的10所学校917个智慧课堂教学视频进行了分析，并揭示了课堂教学行为的一些特征。研究结果表明：课堂教学行为的频率和类型存在较大差异，不同教学行为之间存在相关性，同时教师行为和学生行为也不完全独立。这些研究结果为人工智能时代的课堂教学规律挖掘、课堂教学改进以及教研活动的开展提供了重要的参考依据。

关键词：多模态数据  课堂教学行为  人工智能技术  智慧课堂

中图分类号：G434

Research on the Analysis of Classroom Teaching Behaviors Based on Multimodal Data Fusion

LU Yan  YANG Qiufen

（Hunan Open University， Changsha， Hunan Province， 410004 China）

Abstract： The classroom teaching behavior is an important factor affecting classroom teaching effects. However， existing research has some problems in the analysis of classroom teaching behaviors， such as the single data type， complex coding and the difficulty in discovering classroom operation rules. Artificial intelligence technology provides a new opportunity for the large-scale collection and processing of classroom teaching behavior data. In this study， artificial intelligence technology is used to analyze 917 smart classroom teaching videos from 10 schools in a certain province， revealing some characteristics of classroom teaching behaviors. Research results show that there are great differences in the frequency and types of classroom teaching behaviors， there is correlation among different teaching behaviors， and that teacher behaviors and student behaviors are not completely independent. These research results provide important reference for the mining of classroom teaching rules， the improvement of classroom teaching， and the development of teaching and research activities in the era of artificial intelligence.

Key Words： Multimodal data; Classroom teaching behavior; Artificial intelligence technology; Smart classroom

课堂是教育教学的主战场、人才培养的主阵地，课堂教学行为是影响课堂教学效果的重要因素。随着人工智能技术、可穿戴传感设备的发展，课堂教学多模态数据的获取和分析成为可能，加速了课堂教学从数字化向智能化的转型升级。目前，通过深入的数据挖掘和课堂教学行为分析，可以解决课堂教学行为的复杂性并发现课堂的运作方式。为教育教学部门及相关人员提供了技术支持。

目前，国内外许多研究都集中在利用大数据技术分析课堂教学行为，挖掘教师和学生的教学行为特征，这是改进教学过程、优化教学评价的重要依据。然而，目前的研究在数据类型分析、编码复杂度以及课堂规则的进一步研究等方面还存在差距。智能时代，智慧课堂为多模态数据采集和教学行为分析提供了机会。那么如何利用智能技术来收集课堂上的多模态教学行为数据呢？用什么方法从多模态数据特征中挖掘课堂教学的特征以及这些特征之间的联系？这已成为分析智慧课堂教学行为的难点、教育研究的重点和解决智慧教学关键问题的核心力量。

1文献综述

1.1多模态教学行为数据采集分析方法

Tan， S.等人[1]利用360度视频技术采集课堂活动的多模态数据，如师生对话、动作、表情、姿势、设备使用等，支持教师精准教学；陈雅淑[2]通过对课堂语音文件的降噪、特征提取，判断学生上课的情绪状态：振奋、淡然、无聊；宋宇等人[3]提出了基于音视频转录文本的课堂教学自动标注方法，针对以思维培养为导向的课堂教学评价体系，采用卷积神经网络与双向长短期相结合的混合神经网络技术记忆网络可以实现大规模课堂数据的快速准确标注，可以有效提炼课堂教学中的思维特征；炕留一等人[4]利用可穿戴设备和植入设备自动采集、编码和处理教师和学生的情绪和表情数据，可以识别情绪和神经脑网络，表征学生的情绪和表情。学习情绪，预测教师的某些教学活动。

1.2多模态课堂情绪感知与行为分析

张乐乐等人[5]利用深度学习算法，分析学生的行为、生理、心理等数据，全面、科学地反映学生的学习情况、教师的教学行为和教学风格，帮助教师优化教学过程、从而提高教学质量。顾小清等人[6]认为，多模态课堂教学行为数据不仅能够反映学习者的基础认知、深度思考、学习持续力等特征，还可以如实记录教师教学情况。卢国庆等人[7]根据智慧课堂数据，利用机器学习算法，识别和提取课堂教与学中师生的行为特征，并利用人工智能引擎自动标记课堂教学行为，发现教师的讲、演、评等较多，师生、生生互动不足。

1.3多模态课堂教学行为分析的结果应用

童慧等人[8]研究表明，多模态分析方法能够更有效、更全面地呈现智慧课堂教学互动场景；马晓钰等人[9]开发的系统能支持教学视频处理、人体骨骼检测、教师行为识别、结果可视化展示等核心功能，能够实现对课堂教学视频的实时分析，为教学评价智能化提供有效手段； Dillenbourg P [10]使用眼动追踪、视频、音频和加速器来提取学习者特征，并构建简单且具有教学意义的布局图，以支持教师的教学反思。

综上所述，多模态数据支持的课堂教学行为分析能为教研人员提供全面方位的课堂教学实践和分析方法。然而，受限于数据采集设备、教师信息技术应用能力、数据分析能力，多模态数据支持的课堂教学实践尚未实现常态化和规模化应用。

2 研究内容

2.1构建多模态教学行为分析模型

基于深度混合判别受限玻尔兹曼机（Hybrid Deep Restricted Boltzmann Machine，HDRBM）神经网络模型的优点是降维、分类、回归、协同过滤、特征学习和主题建模以及当前的深度学习特征提取、精度高、速度快。本研究选择HDRBM神经网络作为多模态数据处理的深度学习框架。在智慧教学环境中，我们利用HDRBM神经网络处理多模态课堂教学行为数据，通过建立多模态教学行为分析模型来分析教师和学生的行为特征（如图1所示）。

2.1.1多模态数据采集

这项研究以教育心理学和行为科学为基础，通过多种渠道收集信息，例如来自智慧教室的视频信息和各种传感器数据。数据包括师生互动行为数据、谈话交流数据、课堂测试数据、师生情绪观察数据、人机交互数据等。通过采集更接近实际教学情况的教学行为数据，结合可以最大化分离在不同时间和空间维度的教学行为数据的关联性。

2.1.2教学行为分析过程

该项研究使用深度学习算法基于收集的多模态数据来分析课堂教学行为，包括浅层特征分析和隐式特征分析。首先，对多模态数据进行预处理，并使用BP神经网络和LSTM等深度学习算法来提取浅层特征；其次，从多维多模态数据特征中挖掘师生隐藏的心理情感特征，分析行为模式之间的相关性。

2.2多模态教学行为分析的算法设计与实现

2.2.1模态数据的获取与归一化

预处理后的数据通过各自的深度学习网络映射到同一个融合层中，对不同模态数据的浅层特征进行归一化，然后采用特征堆叠方式融合各个模态的局部特征，以得到更鲁棒和有区分性的全局浅层特征表达。

将预处理后的数据通过相应的深度学习网络映射到同一融合层，对不同模态数据的浅层特征进行归一化，然后利用特征叠加的方式融合各模态的局部特征，获得更高的鲁棒性和判别性全局浅层特征。

2.2.2基于HDRBM的教学行为特征

本研究采用生成式约束玻尔兹曼机和判别式约束玻尔兹曼机相结合的方式，创建混合判别式约束玻尔兹曼机损失函数。

通过结合约束玻尔兹曼机和判别约束玻尔兹曼机的损失函数，形成混合判别约束玻尔兹曼机的损失函数，并制定相应的多模态神经网络目标函数和优化路径以实现高维特征提取。

2.3多模态教学行为分析与结果应用

基于深度学习的多模态教学行为分析可以保证分析结果的高精度。当执行需要解释的工作（如相关性分析）时，需要额外的规划。这样可以强化教学行为与特征之间的因果关系，了解不同行为对特征的贡献，提高结果的准确性和师生满意度。为了进行影响因素分析，本研究进行了一系列实验，从收集到的多模态数据中分析影响教学效果的因素，得出教学行为对教学效果的影响程度。最终目标是确定影响教学效果的关键要素。

3数据分析与结果

3.1研究对象与样本

本研究采用了10所高职院校的917份普通智慧课堂教学视频作为样本。每个课例大约为40分钟，教学场景配备了智慧课堂教学系统和智能设备如电子白板和学生平板。同时，教师和学生在数字化信息方面有一定的能力，这样符合了多模态数据采集的条件。

3.2智慧课堂教学行为分类与编码

为了准确收集课堂行为数据，本研究采用HDRBM教学行为分析模型。通过提取教学视频样本中的图像、音频/文本特征，创建行为特征矩阵，并利用深度神经网络教学行为预测模型计算10个课堂行为的时间序列矩阵。这10个课堂行为以3 s的间隔进行编码和采样，以获得行为序列样本。每类抽样结果约为600～700个，总共获得了6 100多个有效行为序列样本。详细信息如表1所示。

3.3课堂教学行为关联分析

本研究通过Pearson相关性和单样本t检验进行分析，结果如表2所示。从均值的描述性统计结果来看，课堂教学行为出现频率从高到低依次为讲授、听讲、演示、练习、师生互动、讨论、回答、提问、表扬。总体来看，在规范化、智能化的课堂教学过程中，批评和表扬的情况相对较少。根据标准差排名，演示、应答和表扬是波动较大的三类教学行为，而师生互动、倾听和讨论是波动较小的三类教学行为。

相关性统计结果显示，课堂上大多数教学行为之间存在关联性。特别是教师演示、提问和学生练习呈现出显著的负相关。而且，学生的练习行为与师生互动之间具有最高的相关性，说明师生互动可能会促进学生的练习行为。因此，教师可以通过设计课堂教学活动来促进师生互动，从而提高学生练习行为的频率。

3.4课堂行为的主成分分析

本研究采用主成分分析法对10种课堂教学行为数据进行处理，提取了3个主成分，代表了课堂行为特征的降维，这些主成分的累积解释方差达到总方差的90.31%。

研究结果表明：与主成分1相关性较高的行为是学生的讨论、练习以及师生互动；与主成分2相关性较高的行为是表扬、演示和听讲；与主成分 3 相关性较高的行为包括提问、听讲和师生互动。这说明教学是一个有机系统，教师行为与学生行为相互联系，有时形成教讲授与演示、生生互动与师生互动等成对的教学行为。同时，教师行为和学生行为也具有一定程度的独立性，如学生的应答、讨论等，具体结果可见表3。

4结论

研究结果表明：教学行为之间存在一定的相关性。大多数课堂教学行为之间存在负相关，但讲授、练习和讨论之间存在负相关，讲授对学生的练习和讨论行为有一定的抑制作用。练习与讨论、应答行为之间也存在负相关关系。教师行为与学生行为相互影响和促进，如果简单地将教学行为分为教师行为和学生行为，就会忽视两者之间的相关性和复杂性。

然而，这项研究也有一些局限性。在技术上，教学行为分析模型的识别精准率有待提高。在多模态数据采集及处理方面，本研究主要分析学生的课堂行为类型，并未涉及师生的认知、情感或其他内部心理状态。因此，未来的研究可以考虑认知、情感和心理数据，以对课堂教学行为提供更全面的分析。此外，人工智能应用于教育时，还涉及大量敏感数据，需要关注隐私保护和数据安全，以及伦理、利益和安全问题。

参考文献

[1] TAN S ，WIEBRANDS M ，O HALLORAN K ， et al. Analysing student engagement with 360-degree videos through multimodal data analytics and user annotations[J].Technology，Pedagogy and Education. 2020，29（5）：593-612.

[2] 陈雅淑.基于语音识别的多维课堂交互分析[D].武汉：华中师范大学，2021.

[3] 宋宇，许昌良，朱佳，等.面向思维培养：基于精准标注技术的智能化课堂教学分析及应用[J].华东师范大学学报（教育科学版），2023，41（8）：79-89.

[4] 炕留一，叶海智，张瑾，等.基于多维数据的课堂教学行为评价研究[J].现代教育技术，2022，32（4）：68-77.

[5] 张乐乐，顾小清.多模态数据支持的课堂教学行为分析模型与实践框架[J].开放教育研究，2022，28（6）：101-

110.

[6] 顾小清，王超. 打开技术创新课堂教学的新窗：刻画AIoT课堂应用场景[J].现代远程教育研究，2021，33（2）： 3-12.

[7] 卢国庆，谢魁，刘清堂，等.基于人工智能引擎自动标注的课堂教学行为分析[J].开放教育研究，2021，27（6）： 97-107.

[8] 童慧，杨彦军.基于多模态数据的智慧课堂教学互动研究[J].电化教育研究，2022，43（3）：60-68.

[9] 马晓钰.面向智慧课堂的教师教学行为识别研究与应用[D].昆明：云南师范大学， 2023.

[10]  DILLENBOURG P.Orchestration Graphs：Modeling Scalable education[M]. Lausanne：EPFL Press，2015.