多模态学习分析实证研究的发展与展望

刘清堂 李小娟 谢魁 常瑀倍 郑欣欣

[摘   要] 多模态学习分析（MMLA）是智能化探究有效学习发生机理的关键技术。研究对国外37篇实证文献的任务情境设计和MMLA的四个过程进行系统综述，梳理出多模态数据集的生成场域多以发展认知为主，少关注情感价值的培育;学习标签注释以计算科学指导为主，缺乏不同时间尺度行为关联的理论指导;预测结果多关注学习行为表现，轻心智发展的过程解释;多模态数据分析反馈聚焦个性化学习支持，忽视决策支持。未来实证研究发展应聚焦有效学习与情感体验，融合计算科学和认知带理论，协同人机优势提供反馈支持，开展MMLA系统开发者和利益相关者的深度对话，不断迭代设计与优化分析系统和应用模式，有效促进“人工智能+教育”的发展。

[关键词] 多模态学习分析; 学习行为; 学习标签; 正式学习情境; 实证研究

[中图分类号] G434            [文献标志码] A

[作者简介] 刘清堂（1969—），男，湖北仙桃人。教授，博士，主要从事数据挖掘、学习分析与知识服务方面的研究。E-mail：liuqtang@mail.ccnu.edu.cn。李小娟为通讯作者， E-mail：lixiaojuan2019@htu.edu.cn。

一、引   言

2020年10月国务院印发的《深化新时代教育评价改革总体方案》文件指出，基于教与学全过程数据，利用人工智能、大数据等现代技术创新评价工具和完善评价结果运用，综合发挥导向、鉴定、诊断、调控和改进作用，以此加强教师教育评价能力的建设[1]。学习分析作为“以学习为中心”的过程性评价和有效学习规律揭示的关键技术[2]，其实证应用是实现教师以学定教、以评定教、因材施教的有效途径。同时，学习是一个与环境复杂交互的认知过程[3]，学习过程的内隐性、交互性和多维性特征，决定了仅仅借助传统单一模态数据分析不能准确揭示学习发生的认知机理及个体内在心理变化过程[4]。随着智能数据采集工具在教育教学中的广泛应用，使多模态学习行为数据采集更加高效，加之社会网络分析、机器学习等学习分析方法可深度挖掘孤立存在于特定学习情景中的具有相对固定和可知语义价值的数据[5]，有助于理解和解释复杂的学习现象[6]、解释学习交互行为规律。近年来，随着人工智能、大数据、物联网、传感器等技术和“计算教育学”交叉学科的发展，数据密集型科学研究新范式开始崛起，教与学全过程的多模态学习分析实证应用逐渐成为当前研究的热点[7]。因此，有必要对目前多模态学习分析实证研究的进展情况进行系统的梳理，进而为多模态学习分析提供阶段性研究材料。

二、研究背景与问题

（一）多模态学习分析

多模态学习分析（Multimodal Learning Analytics，简称MMLA）是指利用多种分析技术对学习情境中产生的多模态学习行为数据进行同一化整合处理和建模分析，来预测学习行为风险，为教师和学生提供教学支持和导学服务，以实现优化学习过程和解释学习机理的目的[8]。MMLA概念自2012年被Stefan Scherer等首次提出后，针对教育领域的复杂特性，利用学习分析技术对描述学习者的对话、策略和行为等多模态数据进行分析，可以更好地解释和预测学生的学习轨迹、学习结果、学习表现、学习参与度等。具体分析过程如Daniele Di Mitri等提出的多模态学习分析过程模型，该模型是由“P”引导学习行为分析过程，生成的“R”结果来解释学习分析的结果，具体包括四个流程，即传感器采集表征多模态数据（P1-R1）、人工/自动标注解释学习标签（P2-R2）、机器学习/统计分析建模预测学习状态（P3-R3）、结合具体任务反馈解释促成行为改变（P4-R4）[9]。因此，MMLA的核心本质是通过建立学习情境中学习者多源异构行为与内在学习潜能（学习标签）间的桥梁关系，用智能技术支持学习者主动调整行为以增强学习体验的方法。

（二）学习行为和学习标签

学习是由身体在生理上、感知上与环境耦合或交互的自组织涌现而生成的复杂交互过程，是个体基于经验而引起行为或行为潜能相对一致的变化过程[10]。在教育领域，多模态话语分析可通过分析教学活动/事件中教师和学生的言语模态（声音、文字）和非言语模态（面部表情、目光注视、身体姿态、手势、社会距离、环境）之间的互补、强化关系，来解释和推测学习者学习目标达成状态和教师教学目标实现程度[11]。在机器学习领域，为更好地建立和解释外显行为和潜在行为属性间的对应关系，将学习行为定义为输入空间中的可被观察或测量的学习者个体的运动行为、生理行为及与环境交互行为，潜在行为属性定义为假设空间中用来解释行为数据意义的学习标签，是传感器不可直接观察到的，但可用数据表征的、由人类专家注释完成的、可解释学习者意义形成过程的与学习相关的属性结构，如情绪、动机或认知[12]。本研究将学习行为界定为实现学习目标过程中产生的言语和非言语行为，由可观测到的言语模态和非言语模态数据表征。将学习标签界定为由人类专家依据教與学理论的推理，分配到特定时间间隔的多模态数据的认知、情感、社交等属性状态值。

（三）正式学习情境中的多模态学习分析实证研究

正式学习情境是指有组织的、预先设定时间和地点的、有明确学习目标的学习形式，例如校园中的课堂教学、在线协作学习等，是由一个或一系列学习事件或学习活动组成的[13]。在正式学习情境中产生的学习行为数据具有多源异构性、多层关联性、多维互补性等特征[14]。一方面，收集和分析用以解释学习机理的多模态数据是极具挑战的，会受到任务情境设计影响[15]。任务情境设计通常基于一定的教与学理论，确定具体学习任务目标及匹配的教学法[16]。实现学习任务目标的教学法不同，学习者产生的一系列活动行为和评价目标实现的关键行为特征也不同。另一方面，侵入式数据采集设备和基于多传感器集成的MMLA系统的应用不仅会影响学生的学习体验和知识掌握，还会影响学生动机、创造力和社会情感等[17]。

因此，如何准确无干扰地获取解释学习机理的关键行为数据，以探究MMLA支持和优化教与学过程的理论与实践成为本研究的核心问题。在严格依照文献系统综述方法的基础上，以MMLA应用实证研究為对象，探讨以下主要问题：

（1）MMLA实证研究的正式学习情境有哪些？在不同学习情境中开展实证研究的理论基础、任务目标和适配的教学法有哪些差异？

（2）MMLA从传感器捕获到多模态数据、注释到学习标签、分析方法到预测和反馈解释到行为改变四个过程在不同学习情境中有何差异？

三、研究设计

（一）多模态学习分析实证研究框架

多模态学习分析是一个过程模型，为多模态学习分析相关实证研究提供指导框架。实证研究是指利用数据分析技术，来分析和确定复杂情境中要素间的相互关联关系的研究方法[18]。本研究以Daniele Di Mitri等提出的多模态学习分析过程模型为基础[9]，构建了多模态学习分析实证研究框架，具体如图1所示，并将其作为系统综述的框架。

（二）文献检索和筛选纳入

研究依据Khan等提出的五步系统综述法：（1）提出综述问题;（2）明确综述样本;（3）评价样本质量;（4）总结实证发现;（5）解释研究结果。第一步，已在引言部分提及。第二步，明确综述样本，两位研究者先将检索主题设为关键术语：“multimodal learning analytics”、“multi-modal learning analytics”，分别在“Web of Science”“Science Direct”“Springer Link”数据库中进行检索。然后，为确保综述信度，遵循Webster & Watson检索指南，对综述样本进行了二次人工检索。由于多模态学习分析是学习分析领域中的新兴研究方向[19]，该概念的首次提出时间为2012年，因此，时间跨度设置为2012年至2021年3月。第三步，评价样本质量。依据综述问题、纳入标准甄别和评估文献。具体纳入标准包括：（1）教育领域实证研究;（2）正式学习场景;（3）使用多模态学习分析方法;（4）采用2种及以上模态数据;（5）非综述和概念性或理论性文献。初次检索得到135篇，剔除不符合纳入标准和重复文献，最终纳入编码的文献为37篇。

（三）文献编码

由两位研究者共编10篇（27%）检验编码体系的有效性，讨论编制其他文献，编码一致性kappa值为0.82。依据多模态学习分析框架（如图1所示）梳理文献，具体编码结果见表1，学习情境分五种情境，其中在线自主学习情境占32%，在线协作学习情境占24%，面对面协作学习情境占22%，面对面自主学习情境占14%，混合学习情境占8%，说明多模态学习分析技术可支持复杂学习情境的过程分析。

四、研究结果

（一）不同学习情境的任务情境分析

在不同学习情境中，多模态学习分析的任务情境设计需要选择与任务目标实现相匹配的理论基础和教学法，学习分析前的情境任务设计决定了行为过程分析的数据集。

1. 自主学习情境

在线自主学习情境中，以具身认知、自我调节和情感价值理论构建知识习得的外部和内部条件，通过自我调节学习策略不断促进知识的内化，为知识习得效果的验证生成系列动作行为、认知注意、情感状态的数据集。比如Abelardo Pardo等基于具身认知理论利用手部动作模拟控制捕食者—被捕食者生态系统，获取目光注视和手势动作序列，探究游戏化学习对学习绩效的促进作用[28]。面对面自主学习情境中，多以实现知识习得和提高协作沟通能力的目标，采用项目式教学来促进个体认知发展和行为改变。比如Teppo Jakonen通过分析学生上半身的运动状态和注视点的转变来判断学生与学习材料的交互状态及所关注的信息[21]。

2. 协作学习情境

在线协作学习情境中，以社会交互和认知学习理论指导知识习得和能力发展目标的实现过程，利用项目式学习、问题驱动和游戏化学习方式激励学习者有效参与协作学习活动。比如，Ufuk Balaman等对在线协作活动视频中的互动行为（开始点、偏移点）进行标注，从知识协同建构的多层次、多维及层叠过程中探究学习者的认知进程[22]。面对面协作学习情境中，以社会交互、社会认知、认知神经科学、行为联合理论、具身认知等多学科理论构建问题解决能力和元认知能力等高阶目标的理论框架，开展项目式教学促进知识的迁移和应用。比如Mutlu Cukurova等利用计算科学的方法分析学生互动过程中头部和手势等非语言指标的关键参数（同步化、平等及个体贡献率），解释学生协作问题解决能力[23]。

3. 混合学习情境

混合学习情境中，因学习行为数据的时空关联性，多用自我调节学习理论和知识建构理论支持的教学法，侧重于对课程内容和实验内容知识的掌握。比如Wilson Chango等对理论课、实践课、Moodle在线平台和期末测试四种不同的来源数据进行多模态数据融合分析来预测大学生的最终学业成绩[24]。

（二）MMLA分析过程在不同情境中的差异

1. P1-R1：从数据采集到多模态数据表征

从学习情境与采集工具、多模态数据对应关系来看（如图2、图3所示），多用非侵入性工具采集言语和非言语模态组合数据，且手势、身体动作和面部表情等非言语模态数据多通过视频标注获得。但因不同学习情境的支持技术的不同，采集工具和学习行为表征模态存在差异。与面对面自主学习相比，在线自主学习情境中，除摄像头、传感器和系统平台工具采集手势、身体动作、面部表情、眼动和系统记录的点击流日志等多模态数据外，眼动仪器也是获取眼动数据的主要工具。与在线协作学习相比，面对面协作学习情境中，采集工具比较丰富，既用摄像机、系统平台、传感器、眼动仪、问卷等来收集协作互动过程中面部表情、眼动、文本及日志数据[25]，又有多向麦克风自动采集互动语音信息，且面对面协作中更偏重对语音和手势、身体姿态等非言语行为数据的收集。混合学习情境中，摄像头通常用来收集课堂数据，系统平台收集线上数据，问卷调查收集情感态度类数据。

2. P2-R2：从注释方式到关联学习标签

该过程是用学习任务完成过程中可解释的多模态行为数据证据，机器或人类专家结合学习理论给学习者不可观测的學习状态分配适当的学习标签，以建立外显行为特征与内隐行为潜能间的关联关系。从多模态数据与学习标签间的映射关系图4可知，视频常用来注释手势、身体动作和面都表情来表征学习者的情感、认知及社交状态[20];语音的言语和韵律特征解读学生知识习得绩效;眼动追踪用来研究注意力和瞳孔反应，解释任务表现难易程度;脑电图、心率等生理数据多用来研究深度心理过程，如长时记忆、短时记忆和认知负荷;面部表情了解学习者的情感状态，如无聊、开心、难过和参与度。在线学习情境中多用自动注释情感状态和认知状态，比如，利用眼动仪和面部识别软件获取学习者自我调节学习过程中的目光数据和面部表情数据，定义兴趣点范围及判断规则和离散情感状态，自动分析学习者的注意力和情感反应[26]。但在注释在线协作学习的社交状态标签时多用人工专家标注的方法[22]。面对面协作学习情境中，人工标注话语、手势来解释社交状态和技能发展，半自动化标注身体动作、手势解释注意力。面对面自主学习情境重点关注对情感状态和活动绩效的注释，主要采用自动加人工专家标注的方法。混合学习情境中重点关注对社交状态和情感状态的标注，注释的方式以人工专家为主。

3. P3-R3：从分析方法到预测结果

该过程分析的目的是将由人工专家驱动的注释过程（P2）自动化，通过预处理采样数据、后期处理选择相关属性、相关性诊断确定属性预测学生实现某一任务的学习表现、学习轨迹、学习参与度和学习结果，为学习者提供促进行为改变的适应性反馈。研究表明预测某一学习状态时所采用的学习分析方法和数据融合方法差异不大。比如，Wilson Chango等认为常用的多模态数据融合方法包括特征级融合、决策级融合和混合融合，针对离散型数据的REPTree分类算法的预测准确率最佳[24]。但具体使用的学习分析方法因数据分析支持的情境不同略有差异（如图5、图6所示）。差异表现在，在线学习情境中更侧重用关系挖掘、预测的方法，比如，用隐马尔可夫和决策树等来解释学习者的学习状态。面对面和混合学习情境中，多用人工萃取数据进行可视化分析以发现学习轨迹和解释学习表现。但关系挖掘、预测、聚类方法近几年也比较常用[7]，比如，有研究将15名小学生具身学习过程中的手势和目光数据聚类表征为5类动作序列，揭示不同动作序列与学习理解水平和学习结果的相关关系[20]。

4. P4-R4：从反馈解释到行为改变

任务目标类型和利益相关者决定反馈依据和行为支持[27]。以关注知识习得为主的自主学习情境中，反馈解释多以行为表现和学习结果为依据，为学习者提供适应性和个性化的支持型反馈，比如，为理解教学内容存在困难的学生提供脚手架。在知识习得、问题解决和元认知发展为主的协作学习情境中，多以行为表现为反馈依据，为教师和学生提供支持，但面对面协作情境大多未报告反馈依据和行为支持;比如，Daniel Spikol等分析了学习者、环境和学习活动中的多模态数据来预测学习者当前的学习状态，给予及时的学习支持[28]。由于混合学习中数据的多源异构性特征，基本没有报告多模态数据分析对行为改变的支持。

五、研究结论

（一）多模态数据集的生成场域多以发展认知为主，少关注情感价值的培育

任务情境设计的理论基础用以描述任务目标，教学法决定了学习者实现任务目标所参与的一系列活动行为，这一观点与Daniele Di Mitri等选择适切理论和教学法促进学习者有效达成学习任务目标，为有效学习机理的揭示生成多源数据集的观点一致[9]。实证研究主要基于具身认知、社会认知及知识建构等理论，采用自我调节学习、项目式学习、CSCL等教学法，收集学习者知识习得和能力发展的过程性数据。但对学习者情感发展的外显行为和内在潜能间的关联关系性研究还不太多，且主要以心流和情感价值理论为框架收集数据。

（二）学习标签注释以计算科学指导为主，缺乏不同时间尺度行为关联的理论指导

实证分析过程多是基于计算科学理论，通过系统揭示多模态数据表征、融合、建模、预测和反馈的规范操作。已有MMLA框架关注焦点在数据的处理和解释上，缺少从理论层面指导如何融合分析不同时间尺度的多模态数据。这一结论与认知科学家和哲学家Shaun Gallagher[29]观点一致，他认为心智计算科学理论难以充分解释认知和经验的本质，需要融合认知过程哲学的视角，关注认知主体参与不同时间尺度学习活动时的行为过程、情感过程和社交过程。

（三）预测结果多关注学习行为表现，轻对心智发展的反馈支持

人工萃取和关系挖掘是常用预测学习表现的方法，但心智发展是认知个体自组织演化的复杂性动力系统，且促进学习者心智发展的任务多是高度情境化的。尽管Paulo Blikstein等认为利用先进计算方法分析任务完成过程的多模态数据有助于更好解释任务表现和心智发展[6]。但大多实证文献中通常以时间为因子，依据因变量形成聚合式多模态数据，采用深度学习的方法来预测学习绩效、学习结果和学习轨迹。另外，研究表明学习者认为系统反馈是有效且有意义的，在真实学习情境中更易感知反馈信息进而改变学习行为，这一结论与Omid Noroozi等[30]的观点一致，但利用多模态数据提供反馈的实证研究还不多。

（四）多模态数据分析反馈聚焦个性化学习支持，忽视决策支持

实证研究聚焦为学习者提供个性化学习支持，且高清摄像头、系统/智能平台（基于移动设备的）和传感器等非侵入性设备是不同学习情境中常用的数据采集工具。比如常由视频标注而获取的手势、身体动作和面部表情等，以及系统平台自动记录的互动日志和传感器收集到的语音韵律，这些学习者言语或非言语的行为数据与其专业知识记忆、概念理解、成果作品质量、认知负荷、动机以及学习中学生的心智和情感状态有关。尤其在混合式学习情境中，个性化的学习支持更需要融合性、集成性的采集工具来捕获具有时空特性的学习过程数据，现有研究表明基于智能移动手机的多模态学习分析系统被认为是最佳捕获学习者真实的认知、情感和社交行为数据的工具[31]。但基于多模态数据分析结果为管理者提供决策支持的研究较少，这一点与人工智能改进教学、管理的应用导向不符。

六、研究展望

（一）聚焦有效学习与情感体验的价值取向

教学的核心本质是促进学习者有效学习的发生，而认知发展、人际交互及伴随的情感体验是有效学习发生的必要条件[32]。多模态学习行为分析实证研究的核心价值取向应是围绕学习机理，聚焦有效学习和情感体验，以人机协同的方式构建多模态感知、互动分析和话语分析技术支持的结构关系[19]，对学习者在跨时空的学习情境中产生的体征数据和学习过程行为数据进行全样本分析，来揭示和解释认知、情感和社交等学习潜能变化的机理和规律。

（二）融合计算科学与认知哲学的理论指导

个体认知过程的心理表征不是纯粹命题式的，可以以身体的知觉表征作为原初表征，在基底层为认知与行动提供因果说明，他提出用知觉的统一性理论来解决发生在物理世界的外显行为表征与内在心理世界的行为潜能间关联的问题[33]。另外，Allen Newell提出关于人类行为解释的认知带理论[34]，John R. Anderson在其基础上从行为的分解、关联、建模三个层面构建的跨越认知带的融合策略[35]，这些观点为解决多模态学习行为分析中，多源异构数据在时间粒度和确定程度上的差异特征融合和意义解释的问题提供了理论指导。

（三）协同人类专家与机器提供反馈支持

在正式学习情境中，学习者更易感知反馈信息，并借助仪表盘呈现的可视化学习报告洞悉學习状况，有针对性地调整学习进程，开展适应性学习[36]。但系统采用何种方式提供反馈？反馈发起者是由谁来执行（教师或系统智能代理）？提供多少行为反馈信息不会影响学生者的独立思考？针对以上问题仅凭人类专家或机器都很难提供有效的反馈能力，机器学习使用面部视频、系统日志和生理数据为学生提供可行性反馈，人类专家依靠人类智慧和经验，借助数据分析为学生提供情感、决策反馈，只有将二者优势结合，多模态数据分析才能为利益相关者提供可操作、有价值的支持。

（四）加强多模态学习分析系统开发者与利益相关者的深度对话

随着人工智能技术教育应用的深入，人们越来越重视行为学习分析的反馈和支持环境[37]，以及人的主体性地位的体现，从人本主义的视角，明确哪些数据是系统可以自动采集的，哪些数据是可通过使用者选择提供的。在实践行动方面，一方面，基于现有学习管理系统、网络学习空间平台拓展多模态数据采集系统，侧重对课堂教学视频或屏幕录制数据自动化分析技术的研发，比如，刘清堂等以S-T行为分析系统为理论基础，融合深度学习技术，提出并验证了课堂教学行为智能分析技术[38];另一方面，关注学习过程中的活动或事件，及对促进教学目标实现的关键活动特征的识别技术，为有效学习评价提供技术支持和过程性数据。在未来多模态学习分析的实证应用中，技术开发者要与一线教学实践者或利益相关者加强有效沟通和深度对话，在深刻认识理解多模态数据对学习行为内在意向性解释的重要意义和伦理规范使用的基础上，开展人机协同的多模态学习行为分析系统研究，开展基于设计的教育实证研究，不断迭代完善和优化系统功能和应用模式，这也是发展“人工智能+教育”实践应用的有效路径。

因综述侧重于对正式学习情境中多模态学习行为数据对学习改变过程的分析，文献以教学实证应用为主，机器学习、人工智能、学习科学及计算科学等领域的相关研究成果并未纳入系统分析。所以，在行为建模的方法和预测算法分析方面的深度不够，接下来会将相关领域文献作进一步梳理，为有效学习评价提供算法和技术方面的支持。

[参考文献]

[1] 中共中央，国务院. 深化新时代教育评价改革总体方案[EB/OL].（2020-10-13）[2021-05-06]. http：//www.gov.cn/zhengce/2020-10/13/content_5551032.htm.

[2] 魏非，闫寒冰，祝智庭. 基于微认证的教师信息技术应用能力发展生态系统构建研究[J]. 电化教育研究， 2017， 38（12）： 92-98.

[3] WONG L. A learner‐centric view of mobile seamless learning[J]. British journal of educational technology， 2012， 43（1）： E19-E23.

[4] GIANNAKOS M， SHARMA K， PAPPAS I-O. Multimodal data as a means to understand the learning experience[J]. International journal of information management， 2019（3）：108-119.

[5] HORVITZ E ， MULLIGAN D . Policy forum. Data， privacy， and the greater good[J]. Science， 2015（7）：235-255.

[6] BLIKSTEIN P. Multimodal learning analytics and education data mining： using computational technologies to measure complex learning tasks[J]. Journal of learning analytics， 2016， 3（2）：220-238.

[7] 田阳，陈鹏，黄荣怀，等. 面向混合学习的多模态交互分析机制及优化策略[J]. 电化教育研究， 2019， 40（9）： 67-74.

[8] SCHERER S， WEIBEL N ， MORENCY L P ， et al. 1st international workshop on multimodal learning analytics extended abstract[C]//Proceedings of the 14th ACM international conference on multimodal interaction. New York： ACM，2012：353-356.

[9] DI MITRI， SCHNEIDER J， SPECHT M， et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34（4）： 338-349.

[10] CLARK A. An embodied cognitive science[J]. Trends in cognitive sciences， 1999， 3（9）： 345-351.

[11] NORRIS S. Analyzing multimodal interaction： a methodological framework[M]. London， New York： Routledge， 2004： 163-164.

[12] DRAGANSKI B ， GASER C， BUSCH V， et al. Neuroplasticity： changes in grey matter induced by training[J]. Nature， 2004， 427（6972）： 311.

[13] 黃荣怀，陈庚，张进宝，等. 关于技术促进学习的五定律[J]. 开放教育研究， 2010（1）： 11-19.

[14] 穆肃，崔萌，黄晓地. 全景透视多模态学习分析的数据整合方法[J]. 现代远程教育研究， 2021， 33（1）： 26-37.

[15] BAKER R， OCUMPAUGH J， et al. The oxford handbook of affective computing[M]// Interaction-Based Affect Detection in Educational Software，2015：110-113.

[16] WANG Q， QUEK C-L， HU X. Designing and improving a blended synchronous learning environment： an educational design research[J]. International review of research in open & distributed learning， 2017， 18（3）：99-118.

[17] OVIATT S. Ten opportunities and challenges for advancing student-centered multimodal learning analytics[C]// Proc. of the International Conference on Multimodal Interaction （ICMI'18）. Boulder， CO， USA， 2018：87-94.

[18] 王卫华.教育思辨研究与教育实证研究：从分野到共生[J].教育研究，2019，40（9）：139-148.

[19] 牟智佳.多模态学习分析：学习分析研究新生长点[J].电化教育研究，2020，41（5）：27-32，51.

[20] PARDO A， HAN F， ELLIS R-A. Combining university student self-regulated learning indicators and engagement with online learning events to predict academic performance[J]. IEEE transactions on learning technologies， 2017， 10（1）： 82-92.

[21] JAKONEN， TEPPO. Handling knowledge： using classroom materials to construct and interpret information requests[J]. Journal of pragmatics， 2015（89）：100-112.

[22] BALAMAN U， SERT O. The coordination of online L2 interaction and orientations to task interface for epistemic progression[J]. Journal of pragmatics， 2017，2 ：115-129.

[23] CUKUROVA M， LUCKIN R， MILL？譧N E， et al. The NISPI framework： analysing collaborative problem-solving from students' physical interactions[J]. Computers & education， 2018（116）：93-109.

[24] WILSON C， CEREZO R， ROMERO C. Multi-source and multimodal data fusion for predicting academic performance in blended learning university courses[J]. Computers & electrical engineering， 2021（89）：106-119.

[25] EMERSON A， CLOUDE E-B， AZEVEDO R， et al. Multimodal learning analytics for game‐based learning[J]. British journal of educational technology， 2020， 51（5）：1505-1526.

[26] AHN B， HARLEY J. Facial expressions when learning with a Queer History App： application of the control value theory of achievement emotions[J]. British journal of educational technology， 2020， 51（5）： 1563-1576.

[27] PARDO A ， SIEMENS G . Ethical and privacy principles for learning analytics[J]. British journal of educational technology， 2014， 45（3）：438-450.

[28] DANIEL S，EMANUELE R， GIACOMO D， et al. Supervised machine learning in multimodal learning analytics for estimating success in project‐based learning[J]. Journal of computer assisted learning，2018，34（4）：1-12.

[29] GALLAGHER S， ALLEN M. Active inference， enactivism and the hermeneutics of social cognition[J]. Synthese， 2018， 195（6）：2627-2648.

[30] NOROOZI O， IMAN A， SANNA J， et al. Multimodal data to design visual learning analytics for understanding regulation of learning[J]. Computers in human behavior， 2019（100）： 298-304.

[31] NOBLE C， BILLETT S， ARMIT L， et al. "It's yours to take"： generating learner feedback literacy in the workplace[J]. Advances in health sciences education， 2020， 25（1）： 55-74.

[32] LYTLE S-R， KUHL P-K. Social interaction and language acquisition[M]. John Wiley & Sons， Inc. 2017.

[33] SCHELLENBERG S. The unity of perception： content， consciousness， evidence[M].Oxford， UK： Oxford University Press， 2018. 212-213.

[34] NEWELL A. Unified theories of cognition[J]. Journal of cognitive neuroscience， 1991， 3（3）： 301.

[35] ANDERSON J-R. Spanning seven orders of magnitude： a challenge for cognitive modeling[J]. Cognitive science， 2002， 26（1）： 85-112.

[36] 董艷，李心怡，郑娅峰，等. 智能教育应用的人机双向反馈：机理、模型与实施原则[J]. 开放教育研究， 2021， 27（2）： 26-33.

[37] SHARMA K， GIANNAKOS M. Multimodal data capabilities for learning： what can multimodal data tell us about learning？[J]. British journal of educational technology， 2020， 51（5）： 1450-1484.

[38] 刘清堂，何皓怡，吴林静，等.基于人工智能的课堂教学行为分析方法及其应用[J].中国电化教育，2019（9）：13-21.