双师课堂中的多模态学习情感分析：关键问题、逻辑理路与实施路线*

蒋艳双 崔 璨 逯 行 祁彬斌 包昊罡

双师课堂中的多模态学习情感分析：关键问题、逻辑理路与实施路线*

蒋艳双1崔 璨2[通讯作者]逯 行3祁彬斌1包昊罡4

（1．北京师范大学互联网教育智能技术及应用国家工程研究中心，北京 100875；2．海军大连舰艇学院教研保障中心，辽宁大连 116018；3．浙江师范大学浙江省智能教育技术与应用重点实验室，浙江金华 321004；4．中国教育科学研究院基础教育研究所，北京 100088）

针对双师教学中远程授课名师对本地学生的学习情感感知不足、授课成效不佳等问题，文章提出通过融合情感计算和大数据分析等方法，构建多空间融合视域下多模态情感分析的理论框架，探索基于多模态数据融合的学生学习情感识别与智能评估，挖掘基于时序“学习情感-空间”联合建模的学生群体情感演化机理。在此基础上，建立多模态情感分析教育应用平台，分析基于原型系统的教学验证及干预方案。文章期望通过研究双师课堂中多模态学习情感分析的关键问题、逻辑理路与实施路线，揭示学生在双师教学视域下的学生情感发展机制，拓展学生群体情感的干预实践，为“双师”课后教研提供技术支撑与行动指南。

双师课堂；情感计算；多模态数据融合；学习分析

引言

2021年，教育部等六部门发布《关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见》，强调要推动“三个课堂”，开发基于大数据的智能诊断等应用[1]。为“三个课堂”提供个性化和智能化教学服务，推进城乡教育优质、均衡发展，成为我国教育数字化转型进程中的重要内容。双师课堂作为推进“三个课堂”落地应用的新型教学形态，是一种由远程授课名师和本地伴学教师协同完成教学活动的教学方式。但是，目前双师课堂教学存在远程名师对本地学生情感的感知能力不足，导致授课成效有待提升的问题[2]。学生情感是教学活动中的一种非智力因素，与认知加工息息相关，能够显著影响学生的思维发展和学习结果[3]。随着情感计算技术与多模态学习分析的快速发展，计算机逐步具备感知、识别、理解、适应学生情感特征的能力，可进一步提升双师课堂环境下对本地学生的情感感知能力。基于此，本研究面向双师教学场域，通过多模态数据融合的方式，挖掘学生的情感倾向及其与同伴之间的情感关联模式，以期为远程授课名师与本地伴学教师在课后开展联合教研提供技术支撑。

一 双师课堂中多模态学习情感分析的适用性

1 以双师课堂为代表的新型教学形态

伴随着5G、虚拟现实、情感计算等新一代信息技术的快速应用，学习环境逐步由原来的单一或混合式空间结构转变为跨越“物理空间、虚拟空间和网络空间”的融合样态[4]。多空间融合的样态催生出多种新型教学形态，包括同步互动课堂和双师课堂等。其中，双师课堂以多维化交互、全业务协同的特征，受到了越来越多研究者的青睐。在双师课堂中，名师以互动直播或录播的方式开展远程互动教学，伴学教师则负责本地课堂的内容辅导和纪律维持。然而双师课堂的问题在于，师生之间缺乏临场的情感交互体验，导致本地学生的学习成效不佳，这也是双师教学效果不理想的症结之所在。

2 课堂情境下的多模态情感分析

（1）情感计算与情感表示

情感是影响学生的学习状态及其学习结果的关键要素。1997年，麻省理工学院教授Picard[5]出版《情感计算》一书，直接推动了情感计算的发展及其在教育领域的应用。随着人工智能和大数据技术的发展，情感计算可为识别、分析、理解学生的情感状态提供技术支撑。一般情况下，情感以“Sentiment”和“Emotion”两个英文术语表示，两者均以提取一组情感标签的方式来识别情感，不同之处在于：前者侧重于情感极性分类，通常采用高度相关或相互依赖的二元分类任务，分析学生主观感觉的倾向性[6]，也有研究以实数的形式对学生的情感状态进行评分[7]；而后者侧重于较为细粒度的情感分类，通常采用认知心理学领域的情感表示模型对学生差异化情感进行表征，具体包括OCC（Ortony,Clore&Collins）模型、PAD（Pleasure-Arousal-Dominance）模型、HMM（Hidden Markov Model）模型、情感动力模型等[8]。情感表示模型可为情感分类、极性分类和观点挖掘等情感分析问题提供理论基础和行动指南。

（2）多模态数据融合及群体情感分析

近年来，情感计算技术逐步应用于教育领域，受到越来越多研究者的关注。在智能技术的驱动下，深度学习和多模态学习分析助推情感计算从单模态转向多模态数据融合，支撑教育领域中全场景数据的智能感知。有研究发现，基于多模态数据的情感识别效果优于单模态数据，其平均准确度提升了9.83%[9]。当前，多模态情绪感知主要涉及行为数据[10]、文本数据、语音数据、面部表情数据、心理数据、学习情境数据[11]、生理数据[12]等。随着多模态学习分析的发展，情感计算教育应用已由在线学习场景拓展至真实课堂[13]。目前，有研究能够实现课堂情境下无干扰地采集学生的面部表情、手势和身体姿态等多模态数据，以分析学生的情感状态与学习投入[14]；有研究采集课堂协作学习时高中生的面部表情，以识别学习过程中的意见领袖[15]；还有研究探讨大学课堂环境下学生情感状态的自动识别方法[16]，以帮助教师实时掌握课堂教学过程中学生的情感投入状态。在群体情感分析方面，有研究采用基于情感词匹配的方法并结合句法分析，对微博群体情感分析进行了有效探索[17]；也有研究采用细胞自动机模型比较时变特性，分析了网络环境下用户的群体情感[18]。

综合上述研究，基于多模态情感分析，智能感知与计算设备已能对双师课堂情境中的学生、教师、教学内容、教学资源、教学媒体、教学环境数据进行精准采集与智能分析[19]，形成面向学习全过程的情境感知能力。因此，本研究在双师课堂情境下，以多模态数据融合的方式识别学生情感状态，并从情感聚类和时空演化的视角探讨学生多人情感的关联模型，从而对学生及其群体情感状态进行精准评估与跟踪反馈，以期为提升双师课堂的教学成效提供技术方案。

二 双师课堂中多模态学习情感分析的目标旨向和关键问题

1 目标旨向

双师课堂中多模态情感分析的目标取向和价值旨归，是实现基于情境感知的全时空、多视角的学生情感建模，具体包括：①要实现双师课堂中学生学习情感的可解释，即基于多模态学习分析方法、学习情感分类理论和远程教学理论，探讨面向双师教学的多模态学习情感分析的理论框架；②要实现双师课堂中学生学习情感的可计算，即基于多模态数据融合方法，研究学生情感特征深度融合，以及面向双师教学的、基于多模态数据融合的学生学习情感计算与智能评估；③要实现双师课堂中学生学习情感的可辨识，即探究群体情感计算方法，挖掘个体之间学生情感的共现规律，提出双师教学场域下学生群体情感的关联模式与可视分析；④要实现双师课堂中学生学习情感的可调控，即构建多模态学习情感计算应用平台与适应性实证方案，以揭示多空间融合视域下的学生情感发展机制，拓展群体情感的干预实践，从而促进教育质量提升和学生个性化发展。

2 关键问题

针对多模态学习情感分析的目标旨向，双师课堂情境下的双师教学研究面临三个关键问题，分别是：多模态学习情感分析的理论框架构建、学习情感的多模态数据化表征、学生群体情感的关联模式挖掘。以上三个关键问题，是开展双师课堂中多模态情感分析的核心驱动力。

（1）关键问题一：多模态学习情感分析的理论框架构建

多模态学习情感分析的理论框架构建，是指厘清双师课堂情境下多模态学习情感分析的基本要素和关系结构，侧重于对其基本内涵和本质属性的阐释，可实现多空间融合视域下学生情感的可解释。随着5G、虚拟现实、大数据等技术的发展，以双师课堂为代表的多空间融合视域逐步呈现出泛在感知、人机协同的特征。在此背景下，明晰学习情感类型及其影响因素成为了情绪感知进程中的基础性工作。为此，需要结合基本情感理论和远程教学理论，探讨多空间融合视域下多维、细粒度的学习情感分类，构建系统性、层级化多模态情感分析理论框架，从而指导双师教学实践。

（2）关键问题二：学习情感的多模态数据化表征

学习情感的多模态数据化表征，是指建立双师教学场域中的学生情感识别算法模型，动态表征个体学习情感状态的变化情况。从学术研究视角来看，教育研究中的情感计算问题往往强调开展单一模态的模型研发和方法创新。与传统的、基于经验的定性研究和单模态分析相比，基于多模态数据融合的学习情感量化研究具有较高的精确性，尤其是在大数据技术的驱动下，学习情感的多模态数据化表征有利于建立起多种模态之间的数据关系[20]。为此，双师课堂作为融合“物理—人类社会—信息”的智能学习空间，应具备能够支撑学生心理测评数据、外在行为数据、学业测评数据等多模态数据采集和处理的能力，通过对多个单一情感通道的互补信息进行多结果拟合，来研判学生的学习情感倾向[21]，为学生提供个性化的学习支持服务，进一步探索规模化教育和个性化培养有机结合的有效路径。

（3）关键问题三：学生群体情感的关联模式挖掘

学生群体情感的关联模式挖掘，是指通过挖掘个体之间情感行为的共现规律，探究群体情感计算方法，构建双师课堂情境下的学生群体情感关联模式。具体而言，从课堂活动、知识主题、远程交互的视角出发，应利用基于时序的关联规则运算方法挖掘学生群体情感的潜在特征，对学生群体情感的时空演化机理、共现规律和关联模式进行系统性分析，探究双师课堂情境的创设、学习活动的设计如何对学生及其群体情感形成适应性干预机制。适应性干预机制即在数据驱动下，探索学习情感发展所涉的影响因素、各因素的功能以及因素之间的相互关系，构建学生情感的测量与干预模型，揭示双师课堂教学中学生情感干预的研究规律。

三 双师课堂中多模态学习情感分析的逻辑理路

针对多模态学习情感分析的理论框架构建、学习情感的多模态数据化表征和学生群体情感的关联模式挖掘这三个关键问题，围绕情感计算教育应用和个性化学习服务的迫切需求，本研究从理论研究、个体建模、群体建模、实证研究等四个维度，开展双师课堂情境下多模态学习情感分析的基础理论研究和关键技术研发，以实现多空间融合视域下学习情感的可解释、可计算、可辨识、可调控目标，具体的内容逻辑关系如图1所示。

1 理论研究：多空间融合与学生情感发生的学理汇集

针对关键问题一，可主要开展理论研究，侧重于对多空间融合视域下的学生情感分析理论框架进行探究，旨在实现学习情感的可解释。具体来说，可以结合多模态学习分析和远程教学理论，聚焦物理空间、资源空间、社交空间和虚拟空间等融合学习空间[22]，明晰双师课堂的典型形态，构建面向多空间融合视域的多维、细粒度学生情感分类模型，探究学生情感与学习因素（如领域知识、认知目标、群体类型）组合的教学实验设计规则，分析双师教学方式对本地学生认知发展和情感发生的影响机制，为构建学习情感的量化模型提供理论支撑。

2 个体建模：双师课堂与多模态学习情感分析双向赋能

针对关键问题二，可主要开展个体建模研究，侧重于对多模态数据融合策略进行研究，旨在实现学习情感的可计算。在具体的双师教学实践中，可以利用3D深度感知摄像头、4K超高清摄像头等设备对自然状态下学生的生理、心理和行为等数据进行采集、量化与分析，建立标准数据集合，从而为多模态学习情感的建模、评估和干预提供“数据基座”。同时，可以面向双师课堂中智能情境感知的需求，挖掘学习过程中学生的动作姿态、面部表情、声音和文本等多模态情感特征，利用不同模态信息之间的互补机制构成最佳情感特征向量，进而建立多模态数据驱动的学习情感识别算法模型，并运用智能评估方法分析和理解双师课堂中学生个体的“喜、怒、哀、乐”。

3 群体建模：全时空、多视角学生群体情感的关联与可视

针对关键问题三，可主要开展群体建模研究，侧重于对全时空、多视角的学习情感进行联合建模，旨在实现学习情感的可辨识。在具体的双师课堂情境下，可以探究学生群体情感的分析方法，分析学习情感的动态变化情况，开展基于时序的“学习情感—空间”联合建模，以挖掘本地学生之间的学习情感共现规律，构建双师课堂情境中的学生群体情感关联机制。同时，可以增强双师教学情境的可视感，并依据学习目标和学习任务的不同，引入可视化引擎技术对学生群体情感关联模式进行可视化分析，从而实现学生群体情感关联关系的可视化。

4 实证研究：基于原型系统的教学实践反哺真实课堂

针对关键问题三，可主要开展实证研究，侧重于多模态学习情感分析教育应用平台的构建及效果验证，旨在实现学习情感的可调控，具体可从以下方面着手：①结合人因知识和双师课堂环境设备的实际情况，探究双师教学中多感知通道信息的融合呈现；②基于数据驱动的多模态信息感知和可视分析框架，构建多模态学习情感分析教育应用平台，以可视化支持工具来呈现多模态情感数据的处理结果；③开展基于原型系统的教学验证及其干预实验，评估教学应用平台的有效性；④基于学生情感的多模态数据和学习成效数据，将学生情感算法模型应用于相关实例数据集，依据量化指标对学习情感识别的算法模型进行适应性检验。

四 面向双师教学的多模态学习情感分析实施路线

根据双师课堂中多模态学习情感分析的逻辑理路，本研究以“理论研究—个体建模—群体建模—实证研究”为全链条实施闭环，设计了面向双师教学的学生多模态情感分析实施路线，具体如图2所示。

图2 面向双师教学的多模态学习情感分析实施路线

1 理论研究：多空间融合视域下多模态学习情感分析的理论框架构建

多空间融合视域下多模态学习情感分析的理论框架构建是理论研究的核心议题，对学习情感分析教育实践具有指导意义，主要包括学习情感维度确定和学习情感指标划分两个环节。其中，学习情感维度确定分为三个步骤：①通过文献研究，对检索得到的国内外学习情感的相关文献进行梳理，分析相关情感分类理论，初步拟定学习情感维度的关键词，确定影响学习情感的潜在变量；②通过半结构化访谈法和问卷调查法，收集师生的反馈意见，进而增补学习情感维度及其影响因素的关键词集；③通过德尔菲法，对领域专家意见的集中度和协调度进行量化分析，增删相关的关键词集，确定多空间融合视域下学习情感维度及其影响因素的结构。之后，在此基础上进行学习情感指标划分，即对各个维度的测量指标进行分析，初步拟定测量指标集，并通过因子分析、信效度检验等数理统计方法，构建学习情感及其影响因素的测量指标体系。

2 个体建模：双师课堂中的多模态学习情感识别与智能评估

双师课堂中的多模态学习情感识别与智能评估是个体情感建模的主要研究内容，也为群体情感建模提供了前置方案，主要包含三个环节：①数据采集与预处理，是指对学生情感的多模态数据进行采集与预处理，是洞察与分析双师课堂情境中学习情感现象与规律的基础性工作。在双师课堂中，学生的行为数据、文本数据、生理数据等多模态数据均可反映并表征其学习情感状态。②特征提取，是指对学生情感的多模态数据进行特征值计算与提取。在双师课堂中，可通过机器学习算法对学生的生理情感信号、面部表情信号、语音情感信号和文本情感信号分别提取情感特征，以构建情感算法模型。③特征融合与情感评估，是指结合不同模态的特点，对上一环节提取的多模态情感特征集以特征级融合或决策级融合的策略进行数据融合，进而评估相对应的学习情感类别属性。在双师课堂中，多模态的学习情感特征数据通过一个情感分类器，可得到学生的情感类别标签，为后续开展群体情感关联模式构建提供基础。

3 群体建模：双师课堂中的学生群体情感关联模式及可视化分析

双师课堂中的学生群体情感关联模式及可视化分析是群体情感建模的关键任务。基于学习情感分类，结合线下真实课堂中的空间位置分布和个体情感智能评估结果，可以发现物理空间下学生群体中的情感异常个体，并在此基础上结合时间序列，基于远程交互、课堂活动和知识主题等不同视角，分析同伴之间的情感流动情况，开展群体学习情感的时空演化分析；同时，结合领域专家和数据分析师的领域知识，基于滞后序列分析、图卷积神经网络、模糊氛围场建模等方法，挖掘学生群体情感共现规律，构建学生群体情感关联模式。在此基础上引入可视化引擎技术，对学生群体情感的关联模式进行可视化分析，以实现学生群体关联关系的可视化。

4 实证研究:多模态情感分析的教育应用平台构建和效果验证

多模态情感分析的教育应用平台构建和效果验证是实证研究的核心内容，也是干预机制构建的技术引擎。通过构建适应性干预模型，分析双师教学互动体验，研究学习情感对双师课堂教学成效的影响，来验证算法模型和干预方案的有效性。根据学生学习情感的诊断结果，干预机制可为教师提供预警策略和干预策略[23]。预警策略的实施过程是先对处于某一极值的学习情感域进行描述，分析并生成不良学习情感的成因集，然后在辨识哪些学生处于不良学习情感域的基础上，为教师提供针对性的预警信号和建议性的干预时机。而干预策略的实施过程包括适应性呈现和个性化支持两个环节：①适应性呈现是指通过可视化支持工具，对生成的差异化学习情感域和学生群体情感关联关系进行内容的可视化呈现；②个性化支持是指基于适应性呈现结果，在“双师”课后教研过程中系统地分析支持对象，并为其选择与匹配个性化的支持策略。

五 总结与展望

本研究重在构建多空间融合视域下多模态学习情感分析的理论框架，探究学生情感状态评估及其群体情感的关联模式，并在此基础上构建多模态情感分析原型系统与适应性实证方案，以期为学生情感干预提供针对性的反馈机制和技术支撑。未来，开展双师教学场域下学生多模态情感分析需重点关注两个方面：一是强调以问题驱动和学科交叉为导向，利用多学科优势互补强化教育科技创新能力，共同为解决双师教学难题提供最优解决方案；二是关注情感分析教育应用的伦理与规范考量，明确双师教学场景中学生个人信息使用的基本原则，加强对本地学生隐私保护与数据安全的相关规范考量，以推动教育领域中情感计算技术的稳步应用和发展。

[1]教育部等六部门.关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见[OL].

[2]乜勇,万文静.双师教学三段循环模式的构建与应用研究[J].中国电化教育,2021,(2):83-88、96.

[3]Wu C H, Huang Y M, Hwang J P. Review of affective computing in education/learning: Trends and challenges[J]. British Journal of Educational Technology, 2016,(6):1304-1323.

[4]蔡苏,焦新月,宋伯钧.打开教育的另一扇门——教育元宇宙的应用、挑战与展望[J].现代教育技术,2022,(1):16-26.

[5]Picard R W. Affective computing[M]. Cambridge: MIT Press, 1997:12-14.

[6]郝彦辉,王曦,陈铎.基于BERT-BiLSTM模型的舆情监测方法及实证研究——以研究生招生考试为例[J].情报科学,2021,(8):78-85.

[7]章荪,尹春勇.基于多任务学习的时序多模态情感分析模型[J].计算机应用,2021,(6):1631-1639.

[8]叶俊民,周进,李超.情感计算教育应用的多维透视[J].开放教育研究,2020,(6):77-88.

[9]D'mello S K, Kory J. A review and meta-analysis of multimodal affect detection systems[J]. ACM Computing Surveys, 2015,(3):1-36.

[10]Di Mitri D, Schneider J, Specht M, et al. From signals to knowledge: A conceptual model for multimodal learning analytics[J]. Journal of Computer Assisted Learning, 2018,(4):338-349.

[11]牟智佳,符雅茹.多模态学习分析研究综述[J].现代教育技术,2021,(6):23-31.

[12]陈凯泉,张春雪,吴玥玥,等.教育人工智能(EAI)中的多模态学习分析、适应性反馈及人机协同[J].远程教育杂志,2019,(5):24-34.

[13]周进,叶俊民,王志峰,等.国外情感分析教育应用的进展与启示[J].现代教育技术,2020,(12):34-40.

[14]Ashwin T S, Guddeti R. Automatic detection of students’ affective states in classroom environment using hybrid convolutional neural networks[J]. Education and Information Technologies, 2020,(2):1387-1415.

[15]Dindar M, Jarvela S, Ahola S, et al. Leaders and followers identified by emotional mimicry during collaborative learning: A facial expression recognition study on emotional valence[J]. IEEE Transactions on Affective Computing, 2020,(99):1.

[16]Tongu G, Ozkara B O. Automatic recognition of student emotions from facial expressions during a lecture[J]. Computers & Education, 2020,148:103797.

[17]Ren F, Kang X. Employing hierarchical Bayesian networks in simple and complex emotion topic analysis[J]. Computer Speech & Language, 2013,(4):943-968.

[18]Wang C, Xiao Z, Liu Y, et al. SentiView: Sentiment analysis and visualization for Internet popular topics[J]. IEEE Transactions on Human-machine Systems, 2013,(6):620-630.

[19]郑永和,王一岩.教育与信息科技交叉研究:现状、问题与趋势[J].中国电化教育,2021,(7):97-106.

[20]穆肃,崔萌,黄晓地.全景透视多模态学习分析的数据整合方法[J].现代远程教育研究,2021,(1):26-37、48.

[21]郑旭东,饶景阳,贾洋洋.“三个课堂”促进义务教育优质均衡发展:演进历史、战略价值、关系解析与概念框架[J].现代教育技术,2021,(6):14-22.

[22]屈跃宽.疫情背景下学校教育空间的分析与价值审视[J].现代教育技术,2020,(10):35-40.

[23]Seeber I. How do facilitation interventions foster learning? The role of evaluation and coordination as causal mediators in idea convergence[J]. Computers in Human Behavior, 2019,94:176-189.

Analysis of Multi-Modal Learning Sentiment in Dual-Teacher Classroom: Key Issues, Logical Approaches and Implementation Routes

JIANG Yan-shuang1CUI Can2[Corresponding Author]LU Hang3QI Bin-bin1BAO Hao-gang4

As for the problems of insufficient perception of local students’ learning sentiment and poor teaching results by famous remote teachers in dual-teacher teaching, this paper proposed to construct the theoretical framework for the analysis of multi-modal sentiment under the perspective of multi-space fusion, explore the recognition and intelligent evaluation of students’ learning sentiment based on multi-modal data fusion, and excavate students’ sentiment evolution mechanism based on sequential joint modeling of learning sentiment-space, through fusing affective computing and big data analysis. Based on this, the education application platform of multi-modal sentiment analysis was constructed, and the teaching validation and intervention scheme based on the prototype system were analyzed. Through analyzing the key issues, logic lines and implementation routes of multi-modal sentiment in dual-teacher teaching, it was expected to reveal students’ learning sentiment development mechanism in a dual-teacher classroom, expand the intervention practice of student group sentiment, and provide technical support and action guidelines for after-school teaching and research of “dual-teacher” classroom.

dual-teacher classroom; affective computing; multi-modal data fusion; learning analytics

G40-057

A

1009—8097（2022）04—0013—08

10.3969/j.issn.1009-8097.2022.04.002

基金项目：本文为北京市教育科学“十四五”规划2021年度青年专项课题“双师教学场域中的学生情感氛围动力学模型研究”（项目编号：CECA21109）的阶段性研究成果。

蒋艳双，助理研究员，博士，研究方向为情感计算教育应用、网络与远程教育，邮箱为11132020051@bnu.edu.cn。

2021年9月23日

编辑：小时