多模态数据赋能精准教研：情境、路径与解释

王超 顾小清 郑隆威

[摘   要] 多模态教学数据驱动的精准教研具备精准化、个性化特征，符合新时代教育研究的发展要求，因缺乏有效的技术支持、规范的顶层设计和数据解释框架而难以真正落地。文章依托智能课堂中丰富的智能技术和多模态行为数据作为破解精准教研难题的创新途径，首先综合证据资源、关系挖掘、数据报告等维度构建适应智能课堂教学环境的精准教研模式，同时从数据获取手段、数据样态、关键技术等方面搭建精准教研逻辑实现框架，为细致准确地定位教学问题与规律提供了顶层指导。然后，整合和解释数据以透视行为背后蕴含的教学意义，形成数据解释框架。文章最后指出，精准教研若要实现智慧干预与决策，除在数据阶段确保“精”与“准”之外，还需在教学干预设计、教学改进策略上做到准确无误。

[关键词] 教育研究; 精准教研; 智能课堂; 多模态数据; 关系挖掘; 数据解释

[中图分类号] G434            [文献标志码] A

[作者简介] 王超（1992—），女，山东潍坊人。博士研究生，主要从事学习分析、计算机支持的协作学习研究。E-mail：wchao199@126.com。

一、锁定：新时代教学研究的发展趋向

“全面提高中小学教师质量，建设一支高素质专业化的教师队伍”[1]是新时代教师队伍建设改革的目标。教育研究为提高教师教学能力而生，是推动中小学教师专业发展的有效手段。然而教育研究模式固化导致服务形式千篇一律，教师既不能实现精准的学情分析，又难以对自身教学能力形成准确的认知，更无法对学生课堂学习实施精准诊断、测评和个性化干预。精准化和个性化是新时代对教育研究的要求[2]，是评价学生综合素质和教师课堂教学能力的必要条件。多模态教学数据驱动的精准教研完全具备精准化、个性化特征[3]，是新时代教育研究的发展趋向。

教育研究或者教学研究简称教研，是教师或研究者在一定的理论支持下探究教学过程、解释教学现象以及解决教学问题的活动[4]。目前以“互联网+教研”为思路的教研模式受到了追捧，基于网络的同课异构教研、线上线下混合教研、远程协同教研等组织形式逐渐趋向成熟[5]。相比之下，数据驱动的精准教研因对相关利益者的认知能力、经费投入、技术支撑和评价机制等都有比较强烈的依赖程度，又缺乏规范的顶层设计、有效的技术支持和数据解释框架而难以真正落地[6]。为此，本研究将借助智能课堂得天独厚的技术与数据条件，从顶层设计的视域构建智能课堂支持的精准教研模式。

在普通课堂教学环境中，教学行为数据的获取多数通过录播系统和人工观察来完成，因此驱动精准教研的数据绝大部分来自师生在某一行为上的投入时间和发生频次，或者是某些外显行为序列[7]，这些粗放式、粗粒度、单模态的行为采集与统计分析并不能准确量化教师的教学特征，无法精确地获取课堂教学全貌[3]，教育研究仍存在难以察觉的死角。而综合师生行为数据的精准教学服务从学校角度出发[8]，未能支持课堂教学研究。目前针对智能课堂的教学研究采用传统的视频分析法或单模态行为序列分析法，只能得到课堂互動强度、活跃度等浅层信息[9-10]，缺少对行为数据的深层精准探究。因此，本研究将结合师生的行为、心理和生理等特征，构建适应智能课堂教学环境的精准化教育研究模式与实现路径，以深度聚焦智能课堂教学规律和教学问题。

二、求证：智能课堂教学环境对精准教研的支撑

教学行为是洞悉教学过程和学习本质的重要依据，更是实现精准教研的关键证据[3]。在构建针对智能课堂的精准教研模式之前，有必要厘清智能课堂教学行为的概念，明确多模态行为数据的内部关联。智能课堂教学环境因具备丰富的智能技术，可实时连续追踪教学过程中的多模态教学行为[11]，可为精准教研提供多种应用方向。

（一）多模态课堂教学行为是精准教研的基石

传统课堂教学行为研究通常认为行为是个体受到思想控制而表征出来的外显活动，并将课堂教学行为分为教师行为、学生行为和互动行为。在智能课堂环境下，教学行为不再只代表能够被肉眼直接观察到的外显行为。多模态数据的采集与分析设备使生理和心理行为数据的获取成为可能。行为的概念变得更加宽泛。本研究采用心理学对行为的界定[12]，认为行为是有机体在各种内外部刺激的影响下所产生的可以被观测和测量到的活动或者反应。人类社会中个体的行为具备生理机制和心理机制，心理活动的状态和过程可以解释外显行为的发生与发展规律[12]。

在智能课堂教学环境中，利用教学主体的外显行为数据和生理信号数据诊断其心理状态。学习者心理认知、外部教学事件与教学阶段存在对应关系[13]。有些心理过程可直接通过外显行为表征出来，比如教师的声音表达、微笑、放松的身体姿势、手势、在教室里的位置和眼神接触等多种外显行为的组合能够反映出教师的教学态度[14];有些心理过程可直接通过生理信号表征出来，比如通过学生的脑电信号解释或者监测信息的加工过程[15];还有一些心理状态既可以通过外显行为表征也可以通过生理信号诊断，比如声调、面部表情和手势等外显行为，以及生物电等生理信息均可表征情绪状态。当然，并不是所有外显行为和生理信号都能对应特定的心理状态，同样，也并不是所有心理状态都能通过外显行为和生理信号诊断出来。而教育研究所关注的学生学习状态与教师教学特质等基本心理状态或者心理过程一般可通过外显行为或生理信号表征出来。

（二）智能课堂为精准教研提供多模态行为数据支持

智能课堂教学环境具备智能录播系统、可穿戴设备、电子平板等多模态数据采集设备，可高效地获取多模态教学数据。同时，机器学习技术的不断进化，使面对面教学过程中的教学语言、教学行为动作等外显行为数据以及心率、皮肤电等内在生理信号的提取、关联和分析实现了自动化和智能化[16]，这将有效支持教学研究者正确总结课堂教学经验、精准发现课堂教学问题以及科学研究课堂教学方法。

课堂多模态教学行为数据包含外显数据（可被观察，如书写、举手、皱眉等）和内隐信号（需要仪器测量，如眼动、心电、脑电等）[17]。不论是单一数据类型还是多类型数据的联合，均有可能反映教学主体的个体特征和所处的教学情境。比如眼动线索可以反映学生在课堂上的注意力分布[18]，定位学生感兴趣的教学内容或者多媒体形式;注视密度和眼跳路径等指标能够反映学生的信息整合模式[19];眼动线索指标结合学习者的自我报告数据和学业成就可以呈现出学习者使用不同课堂教学载体表现出的不同学习模式和学习满意度[20]，还能表征不同能力学习者的视觉信息认知模式。除以上“一对多”的情况，还存在多个数据度量同一指标的情况[21]。比如话语、面部表情以及生理信号均可反映出学生的情感学习状态[22-23]，这些多模态的课堂教学数据能够全面绘制学生课堂情感学习画像。智能课堂环境为精准教研提供多模态行为数据支持，使教师摆脱繁重及重复性的教学工作[24]，促生更科学、直观的教学诊断、评估与干预手段。

（三）智能课堂为精准教研打开多个应用窗口

智能化学习时代关注教和学的全过程，从学生的学、教师的教和教学互动三方面展开，聚焦到师生的行为、心理和生理特征[25]。课堂教学过程中学习者的注意力、记忆力和情绪波动等非认知学习状态，以及信息加工处理与调用等认知学习状态等可通过脑电信号、心电信号、面部表情、手写笔记等数据量化得到[26-29]。教学研究者利用多模态的课堂教学行为数据实施规模化的课堂学习评估[15]，以追踪学生课堂学习状态，分析学生个体差异，支持个性化的课堂学习干预与指导。

评估与改善教师教学表现是教学研究关注的另一关键问题[16，30]。通过采集和分析教师课堂教学行为数据，可以评估教师的课堂教学能力、诊断教师课堂教学特点或者风格、检测教师课堂教学习惯和缺陷[31]，为提升教师专业教学技能提供生理和心理方面的证据支撑。智能教学环境下的多模态数据为诊断教师课堂教学特点提供了更加全面客观的证据。另一方面，多数情况下，学生群体的课堂参与度、注意力、情绪波动和认知负荷等学习状态会受教师言行、教学内容的组织与呈现、课堂氛围等要素的控制[16，32]，因此学生学习状态也能客觀刻画教师的课堂教学表现。

课堂互动是非常重要的多模态教学行为数据来源[33]。有效的课堂互动能够促进学生学习、培养学生高阶思维能力[34-35]。教学研究者关注课堂互动的现状[36]、课堂互动工具和框架的设计[37]等问题。智能课堂教学应用为课堂互动教学研究提供了新的研究视角和范式。利用多模态的课堂互动数据，教学研究者可以洞悉师生互动和生生互动的详细过程和发生机制，探究协作学习过程中学习者之间在情感、认知、参与等方面的动态协同调节关系，设计有效促进学习的课堂互动工具等。

三、寻径：智能课堂中教育研究的“精准”之路

具备教师培训功能的教研活动应该精准关注教师的专业发展过程[38]。已有研究基于大数据构建了多源多层教师专业发展分析模型[39]，但尚不能聚焦教师课堂教学问题。本研究将从活动理论出发，构建一种精准化教研模式，以充分利用智能环境资源准确深度挖掘课堂教学问题。

（一）精准教研模型的理论基础

活动理论中，活动系统由三个核心成分（主体、客体和共同体）和三个次要成分（工具、规则和劳动分工）组成，次要成分连接核心成分，它们之间的联系如图1所示。在课堂教学活动中，生生互动与师生互动等构成了课堂教学共同体/群体。共同体产生的数据为精准教研提供了教学互动数据资源。教师和学生作为课堂教学活动的主体，通过使用各种教学媒体、设备、应用软件等工具辅助教与学，实现与教学活动客体（教学内容与目标等）间的连接。教师与学生通过使用各种教学辅助工具完成教学内容的传授与学习以达成教学目标。主体（教师与学生）与群体（教学互动群体）之间通过课堂组织和纪律等规则联系起来。规则协调教学主体和教学群体，是教学活动中的制约和秩序。比如多数情况下学生要听从教师安排，师生互动和生生互动时要保持某种关系，参加角色扮演等活动时要遵守角色设定等。当然，精准教研的关键是数据。规则和分工等活动理论原始要素在课堂中较难以数据形式表征，因此，活动理论支持下的精准教研数据来源主要来自教学主体、客体、群体和工具。

（二）适应智能课堂教学环境的精准教研模式

综合智能课堂教学环境的特点，以活动理论为基础，构建如图2所示的精准教研模式。多模态的精准教研证据资源是教学研究内容的重要支撑，决定着精准教研的范畴。教师的教、学生的学以及教学互动数据以外显行为、生理信号和心理状态等多种模态存在。数据挖掘与关系挖掘是确保精准教研的“精”之所在，强调关注多模态的教学行为序列，获取某一行为与其前后行为之间的关联以及某一模态的行为与其同时发生或者前后发生的其他模态的行为之间的关联，建立或归因行为与行为之间以及各教学效果与行为之间的关系，从而细致准确地聚焦教学过程中不易被察觉的教学规律与问题。比如通过归因分析，构建多模态行为序列与教学效果的因果关系以全面细致地探究影响教学效果的行为因素;通过关系挖掘，可构建行为与行为之间的关联以得到人力无法察觉到的课堂教学行为规律等。

将数据挖掘与关系挖掘得到的结果形成教学数据分析报告，以简要直观的方式聚焦分析结果，供教研评课使用[10]。教研主体可以根据分析结果描述教师与学生的课堂教学行为特征，发掘教师在课堂教学中存在的问题与教学现象，诊断并评估教师的课堂教学表现，总结教学规律，最终为教师制定个性化的课堂教学改进策略，设计教学干预手段。

以上教研内容和目标适配于多样化的教研角色。不论是一线教师、教研员还是教学研究专家、教育企业等，均可从多模态教学行为数据驱动的精准教研中获取具有针对性的教研结果。比如，一线教师可以反思自己的教学过程，正视自身的课堂教学问题，并制定修正方案，以改善课堂教学效果;教研员利用精准教研视域下的教师画像，对教师进行教学考核;教育企业可以依据课堂教学中的固有问题，聚焦课堂教学需求，开发教育产品辅助课堂教学。

（三）智能课堂教学环境中精准教研的逻辑实现框架

智能课堂教学环境中多模态数据支持的精准教研实施需要遵循如图3所示的逻辑步骤。首先，教研人员需明确数据类别以及数据采集手段与设备，同时要考虑到实际的智能环境条件是否能够准确捕获所需数据。采集到学生、教师和课堂互动多模态数据之后，要对数据进行预处理。以上前期工作完成之后，进入机器学习阶段：抓取行为，实现行为特征选择和标签识别，构建学习模型。课堂教学行为数据以及人机交互数据的挖掘方法常见的有分类、聚类、关联规则、序列模式、频繁项、文本挖掘，等等。关系挖掘是数据挖掘的一个重要方向，是发现多模态行为序列之间的关联规则和教学规律的关键手段，可以透视数据与数据之间隐藏的关联关系。

制定多模态数据解释框架意味着研究者要通过各种方式挖掘数据背后的教学意义，不同数据特征表征着不同的标签即教学意义[21]，所以制定一套满足教研目标的标签体系或数据编码体系是非常有必要的。最后将输出多模态行为序列以及行为之间、行为与教学效果之间的关系，并以可视化仪表盘的形式呈现给教育研究者。逻辑框架为提高精准教研质量增强精准教研效果提供了实现路径和优化依据。

四、赋彩：精准教研数据蕴含的教学意义

精准教研是数据驱动的教育研究方法，因此有必要从教学角度解释和整合数据，挖掘数据背后蕴含的教学意义。综合我国学者对课堂教学行为的研究成果，对智能课堂教学环境中驱动精准教研的行为数据进行分类和解释，以透视多模态行为具备的教学色彩。

智能课堂教学环境中多模态数据支持的精准教研数据来自于学生、教师和课堂互动。本研究以源自教师的行为数据为例（见表1），对多模态教研数据进行分类和解释，探索多模态行为数据蕴含的教学意义。教师教研数据和学生教研数据是教学活动主体产生的，包括主体自身的属性数据，比如性别、年龄等人口统计学数据以及学生已经具备的学业成就。在教学活动中，教师和学生均会产生非言语外显行为、言语行为、面部表情、眼动踪迹和生理信号等数据，教师在教学过程中展示的多媒体内容以及学生在学习过程中产生的学习笔记也是重要的教研數据。师生互动与生生互动产生的数据类别相似，除教学互动活动中常见的人体行为之外，还包括互动的内容、频次与时长等。教师和学生分别与多媒体工具的互动数据可由工具记录生成，抓取操作行为数据。

不同类别的行为数据蕴含着不同的教学意义。（1）教师在课堂教学中产生的非言语外显行为数据蕴含着教师的教学能力和行为习惯，表征教师对象征性动作、说明性动作、表露性动作、适应性动作、调节性动作、距离性动作[40]等非言语教学行为的综合运用能力。教师在课堂教学中产生的言语行为能够反映教师在系统讲授和组织教学方面的语言应用能力。教师的面部表情、眼动踪迹、生理信号等数据在一定程度上反映了教师的心理状态，比如通过眼动踪迹可以探析教师的视觉行为模式等映射教师教学能力的关键要素。（2）学生的非言语外显行为能够表征注意力、学习态度等非认知状态，比如综合利用抬头率、低头率、坐姿等多种行为可以判断课堂学习参与状态。学生的面部表情、眼动踪迹和生理信号等数据可评估学生在课堂学习过程中的多种心理状态，如学习情感等非认知状态以及记忆、决策等认知状态。学生的学习笔记和思维导图等图片文本数据也是测量学生认知学习结果的有效数据。（3）教学互动产生的数据包括人与人的互动数据和人与多媒体工具的互动数据。通过这些互动数据可以测量出课堂互动类型和效果，也能反映出教师的沟通能力和技巧以及学生的协作学习能力等教学研究关注的要素。以上多来源多模态的大数据为精准教研提供证据支撑。

五、展望：未来精准教研的发展

为充分利用智能环境资源、全面深度地挖掘教学问题，本研究构建适应智能课堂教学环境的精准教研模式并提供了逻辑实现框架，以教师的教、学生的学以及教学互动所产生的外显数据和内隐数据作为驱动精准教研的证据，为提高精准教研质量提供实现路径。

数据挖掘与关系挖掘技术能够精确定位教学问题，是精准教研的“精”之所在;依据教学问题准确制定教学干预措施、切实改进课堂教学效果是体现精准教研“准”的关键所在。因此，未来精准教研的发展，除在数据阶段确保“精”与“准”之外，还需要在教学干预设计、教学改进策略上做到有据可依且准确无误。此外，未来精准教研的发展还要统一数据采集、处理、解释和可视化等标准，在保护学生隐私、明确伦理准则方面形成被广泛认可的规范。另一方面，精准教研的有效实施需要教师具备高水平的教育研究能力、数据素养、教学调节能力和教育评价能力等。基于此，未来有必要开展精准教研服务与培训，形成智能课堂精准教研范式与服务体系，支持有条件的师范类高校设立教育研究、教育测量等相关学科课程，培养未来教师的教育研究能力。

[参考文献]

[1] 中共中央国务院.关于全面深化新时代教师队伍建设改革的意见[EB/0L].（2018-01-31）[2021-03-20].http：//www.gov.cn/zhengce/2018-01/31/content_5262659.htm.

[2] 胡小勇，林梓柔.精准教研视域下的教师画像研究[J].电化教育研究，2019，40（7）：84-91.

[3] 胡小勇，徐欢云.“互联网+教研”形态研究：内涵、特征与趋势[J].电化教育研究，2020，41（2）：10-16，31.

[4] 胡军哲.让教研成为一线教师生存常态[J].中国教育学刊，2010（3）：58-60.

[5] 郑世忠，张德利.继承与超越：从“网络教研”到“‘互联网+教研”[J].中小学教师培训，2016（10）：22-25.

[6] 胡小勇，曹宇星.面向“互联网+”的教研模式与发展路径研究[J].中国电化教育，2019（6）：80-85.

[7] 江波，高明，陈志翰，王小霞.基于行为序列的学习过程分析与学习效果预测[J].现代远程教育研究，2018（2）：103-112.

[8] 郭利明，杨现民，张瑶.数据驱动的精准教学五维支持服务框架设计与实践研究[J].电化教育研究，2021，42（4）：85-92.

[9] 王冬青，刘欢，邱美玲.智慧课堂教师行为数据的分析方法与应用验证[J].中国电化教育，2020（5）：120-127.

[10] 李月，姜强，赵蔚.基于过程挖掘的在线自主学习行为模式识别及干预实证研究[J].电化教育研究，2021，42（5）：61-69.

[11] 杨鑫，解月光.智能时代课堂变革图景：智慧课堂及其构建策略[J].电化教育研究，2021，42（4）：12-17，52.

[12] 林崇德，杨治良，黄希庭.心理学大辞典[M].上海：上海教育出版社，2003：1437.

[13] 孙众，吕恺悦，施智平，骆力明.TESTII框架：人工智能支持课堂教学分析的发展走向[J].电化教育研究，2021，42（2）：33-39，77.

[14] GORHAM J， ZAKAHI W R. A comparison of teacher and student perceptions of immediacy and learning： monitoring process and product[J]. Communication education，1990，39（4）：354-368.

[15] 张琪，武法提.学习分析中的生物数据表征——眼动与多模态技术应用前瞻[J].电化教育研究，2016，37（9）：76-81，109.

[16] 顾小清，王超.打开技术创新课堂教学的新窗：刻画AIoT课堂应用场景[J].现代远程教育研究，2021，33（2）：3-12.

[17] 汪维富，毛美娟.多模态学习分析：理解与评价真实学习的新路向[J].电化教育研究，2021，42（2）：25-32.

[18] JAMET E. An eye-tracking study of cueing effects in multimedia learning[J]. Computers in human behavior，2014，32（Mar.）：47-53.

[19] YANG F Y， CHANG C Y， CHIEN W R， et al. Tracking learners' visual attention during a multimedia presentation in a real classroom[J]. Computers & education，2013，62（Mar.）：208-220.

[20] MOLINA A I， REDONDO M A， LACAVE C， et al. Assessing the effectiveness of new devices for accessing learning materials： an empirical analysis based on eye tracking and learner subjective perception[J]. Computers in human behavior，2014，31（Feb.）：475-490.

[21] 穆肃，崔萌，黄晓地.全景透视多模态学习分析的数据整合方法[J].现代远程教育研究，2021，33（1）：26-37，48.

[22] MALMBERG J， JARVELA S， HOLAPPA J， et al. Going beyond what is visible： what multichannel data can reveal about interaction in the context of collaborative learning[J] Computers in human behavior，2018，96（Jul.）：235-245.

[23] 孫波，刘永娜，陈玖冰，罗继鸿，张迪.智慧学习环境中基于面部表情的情感分析[J].现代远程教育研究，2015（2）：96-103.

[24] 李泽林，陈虹琴.人工智能对教学的解放与奴役——兼论教学发展的现代性危机[J].电化教育研究，2020，41（1）：115-121.

[25] 钟薇，李若晨，马晓玲，吴永和.学习分析技术发展趋向——多模态数据环境下的研究与探索[J].中国远程教育，2018（11）：41-49，79-80.

[26] LIU N H， CHIANG C Y， CHU H C. Recognizing the degree of human attention using EEG signals from mobile sensors[J]. Sensors，2013，13（8）：10273-10286.

[27] 韩丽，李洋，周子佳，宋沛轩.课堂环境中基于面部表情的教学效果分析[J].现代远程教育研究，2017（4）：97-103，112.

[28] WHITEHILL J， SERPELL Z， LIN Y C， et al. The faces of engagement： automatic recognition of student engagement from facial expressions[J]. IEEE transactions on affective computing，2014，5（1）：86-98.

[29] 曹晓明，张永和，潘萌，朱姗，闫海亮.人工智能视域下的学习参与度识别方法研究——基于一项多模态数据融合的深度学习实验分析[J].远程教育杂志，2019，37（1）：32-44.

[30] 張俍，任友群.教师教育的智能变革何以可能：智能课堂及其意义[J].现代远程教育研究，2018（4）：15-21，33.

[31] 王陆，彭玏，李瑶，任艺.优秀教师的实践性知识特征——基于大数据的知识发现[J].课程·教材·教法，2019，39（2）：126-131.

[32] 张立山，冯硕，李亭亭.面向课堂教学评价的形式化建模与智能计算[J].现代远程教育研究，2021，33（1）：13-25.

[33] 刘清堂，何皓怡，吴林静，邓伟，陈越，王洋，张妮.基于人工智能的课堂教学行为分析方法及其应用[J].中国电化教育，2019（9）：13-21.

[34] KOZHEVNIKOV M， EVANS C， KOSSLYN S M. Cognitive style as environmentally sensitive individual differences in cognition： a modern synthesis and applications in education， business， and management[J]. Psychological science in the public interest，2014，15（1）：3-33.

[35] 宋宇，郝天永，刘葵.学习分析视角下培养高阶思维的课堂互动研究[J].现代教育技术，2020，30（7）：50-57.

[36] 李利，梁文洁，薛锋.智慧教室环境中的课堂互动教学现状分析——基于小学数学课堂教学个案的研究[J].电化教育研究，2018，39（3）：115-121.

[37] 刘清堂，冯小妹，翟慧清，劳传媛.学习分析支持下的课堂互动工具设计与实现[J].现代教育技术，2018，28（12）：94-100.

[38] 王陆，彭玏，马如霞，杨佳辰.大数据知识发现的教师成长行为路径[J].电化教育研究，2019，40（1）：95-103.

[39] 黄慕雄，林韩辉，罗永霞.基于大数据融合的多源多层教师专业发展分析模型构建——以广东省教师教育大数据智慧系统为例[J].电化教育研究，2021，42（5）：114-121.

[40] 周鹏生.教师非言语行为研究简论[M].北京：民族出版社，2006：153.

[41] 王显槐.中学教学语言学[M].南昌：江西高校出版社，2001：28-31.