多模态学习分析技术支持的学习评价研究*

2022-09-27张家华胡惠芝黄昌勤

现代教育技术 2022年9期

张家华胡惠芝黄昌勤

多模态学习分析技术支持的学习评价研究*

张家华胡惠芝[通讯作者]黄昌勤

（浙江师范大学浙江省智能教育技术与应用重点实验室，浙江金华 321004）

面对新时代高质量教育与创新人才的发展需求，传统学习评价的弊端日益凸显，亟需创新体制、深化改革。多模态学习分析通过多维度全面采集和分析学习过程动态数据，使面向过程与真实学习情境的学习评价成为可能。文章首先基于当前学习评价的难点问题分析，剖析了多模态学习分析应用于学习评价的价值内蕴。随后，文章提出四类多模态数据所映射的评价表征维度和内容，从确立目标、获取数据、建构模型、提供反馈四个方面构建并阐释了基于多模态学习分析的学习评价流程。最后，文章结合相关研究成果提出多模态学习分析的学习评价应用建议，以期为面向过程的发展性学习评价改革赋能助力，并为高阶学习评价提供新视角。

多模态数据；学习分析；学习评价；学习过程；数据表征

教育评价改革是建设高质量教育体系的关键环节和动力，引领着教育高质量发展的目标方向。传统的学习评价受技术的限制，难以对个体及群体性学习过程进行细致分析，无法支持理解复杂的学习现象。多模态学习分析作为一种新兴技术，为不同学习环境中的人、机、资源所产生的学习测量与评价提供了新的视角[1]。如何应用多模态学习分析对真实学习情境中复杂的学习活动进行评价，成为了教育研究者关注的热点问题。基于此，本研究从当前学习评价的难点问题出发，通过挖掘多模态学习分析应用于学习评价的价值内蕴，进一步分析多模态学习分析如何赋能学习评价表征，并构建基于多模态学习分析的学习评价流程，以期为新时代教育评价改革与创新提供参考。

一当前学习评价的难点问题

在深化教育教学改革的新形势下，传统学习评价的弊端日渐凸显，已在一定程度上制约了新时代教育的创新发展。当前，学习评价面临的难点问题主要如下：

1 学习评价忽视高阶思维

高阶思维是指发生在较高认知水平层次上的心智活动和认知能力，包括学生的独立思考、批判创新、问题解决及学习能力等。培养和发展学生的高阶思维，不仅是教育对现实诉求的回应，也是新时代教学研究和实践的目标定位与努力方向。传统纸笔测试以纸作问、用笔答题，重在测试学生学习认知方面的记忆与理解，难以全面考查学生的真实学习能力，容易忽视学生的高阶思维发展，不利于培养学生的创新能力和批判性思维[2]。21世纪的人才培养非常注重非认知能力的发展，这给传统纸笔测试带来了冲击和挑战，亟待探索高阶思维测评的实践方式。

2 学习评价难现真实情境

目前，以数据驱动的学习分析大多聚焦于以计算机为中介的在线学习情境[3]，如在线学习管理平台就是网络学习活动数据采集的重要载体。其中，用于评价研究的学习数据大多来自数字平台的记录，依靠对鼠标的点击、键盘的敲打等方式进行采集，忽视了学生在自然物理环境下真实学习交流的实时数据，且仅凭有限的学习过程数据无法助力教师在复杂学习环境下对学生的认知建构、情感交流、实践能力、创新思维等做出真实有效的评价，难以帮助学生真正地改善学习过程、优化学习体验。

3 学习评价过程重视不足

传统学习评价多以考试成绩作为主要依据，片面强调测量结果的客观性，这消解了学习评价本身的价值。学习本是一个渐进的过程性活动，评价应该贯穿于整个学习过程，关注让学生形成有意义的学习经历并提供有用的反馈，强调有效性、实效性和高效性。因此，学习评价要融于教学活动过程中，而不能仅作为临近学习结束的一个环节简单嵌入；应对学习过程进行持续评估，以最大程度地发挥评价的功能；同时，评价应与个体学习过程紧密地融合在一起，以便教师及时诊断学情，帮助学生找出学习过程中存在的问题并及时引导解决，全面把握学生的真实需求。

综上所述，如何关注问题真实情境，立足学习过程来评测学生思维发展、知识获得和认知建构，是当前学习评价亟需解决的问题。多模态学习分析可通过高频次、细粒度捕捉学习过程中的多种数据，结合多模态数据融合模型与分析算法，即时反馈学习评价结果，为解决当前学习评价难点问题提供了新方案。

二多模态学习分析的价值内蕴

多模态学习分析旨在通过捕获、融合和分析多种来源的数据，以实现对学习行为、认知、信念、动机、情绪等多方面的客观理解与深刻洞察[4]。随着物联网技术的发展，研究者利用眼动追踪、红外成像、脑电和面部识别等技术收集到多种模态数据，这些数据可以帮助分析复杂环境中的学习活动，如影响学生如何与设备、人、其他资源互动的认知和情感因素，包括压力水平、先验知识、认知水平、参与动机、情绪变化等。Drachsler等[5]指出，使用学习分析中的多模态数据可以获得比单一数据更全面的学习过程信息，并能更好地分析影响学习效果的因素。Sharma等[6]通过对42项有关多模态数据应用于学习分析的研究发现，使用来自眼动跟踪、脑电图和面部视频的多模态数据来预测学习技能习得，其效果要比使用任何单个数据预测更好。表1列出了多模态数据应用研究的典型案例，可以看出：多模态数据融合能够支持对学习过程和结果的有效分析与预测，有助于解释复杂的学习过程，故基于多模态数据的融合分析将成为学习分析和评价的研究重点。

表1 多模态数据应用研究的典型案例

研究人员学习环境融合数据应用方向 Larmuseau等[7]非正式的在线问题解决皮肤电活动（GSR）、心电图（ECG）和心率变异性（HRV）测量认知负荷情况 Olsen等[8]ITS的正式协作环境凝视、日志、对话和音频预测测验成绩和学习改善情况 Ahn等[9]游戏化学习（GBL）凝视和面部理解学习情绪对学习成绩的影响 Vujovic等[10]协作学习运动和视频数据解释协作学习的参与水平和行动范围 Emerson等[11]正式学习凝视、面部和日志预测学习动机和学习结果 Ochoa等[12]非正式学习视频、音频和演讲文件评估口头陈述能力

综上，多模态学习分析可以获取学生真实、细致的深层次学习数据，帮助研究者对学生的认知建构、学习动机和行为表现进行较为全面的评估，其应用于学习评价的价值内蕴主要包括：

1 促进发展性评价

基于发展性评价观的学习评价不仅要关注学习结果，还应重视学习过程，提倡在教学过程中不断反思评价过程与结果，根据学习者的特点和能力提出适合其发展的、有针对性的建议[13]。多模态学习分析有助于教师动态了解学生的学习表现、注意力情况和认知发展水平，根据学生的学习情况做出判断、调整教学，并提供个性化的学习指导。例如，曹晓明等[14]基于多模态数据融合深度学习算法，采集学生在MOOC学习过程中的脸部图像、脑电波和学习日志数据，对其学习参与度进行准确识别，实现了学习过程的动态评价并为个性化学习提供了证据支持。

2 强化综合性评价

发展学生的综合素质是新课程改革的关键所在，而评价学生的综合素质需要结合学习过程和结果的相关数据进行全面考虑[15]。多模态学习分析可对学生的合作能力、学习品质、创新精神等进行多维度的考察和评估，有助于促进学生高阶思维的发展。通过对学生综合素质相关的数据进行分类采集、分析和整合，有效评测学生综合素质能力的发展水平。例如，Blikstein等[16]提出使用高频率多模态数据收集和机器学习技术，通过自动化、细粒度的数据分析追踪复杂学习环境中的学习轨迹，实现对学生的认知能力、情感态度、信念动机等更加细致和深入的理解。

3 保障真实性评价

智能化技术工具的广泛应用，为收集、分析技术丰富场景中的学习过程数据提供了极大便利。多模态学习分析可将日常真实学习环境中师生的语言、动作、眼神等数据通过高清摄像头、拾音设备和智能化数据采集终端进行获取，突破了传统的单一数据收集研究局限，有助于评价学生运用所学知识完成复杂的开放性任务、进行知识体系的建构等能力，真实呈现学生理解、思考和解决问题的过程。例如，Von Davier等[17]设计了基于多模态数据的计算模型框架，用于捕获、分析和测量复杂真实情境下的人类行为，并使用可穿戴传感器采集学习者的非语言行为，以此作为评估人际交往能力、自身人格特征等的重要证据和方法。

三多模态数据类型及其评价表征

Blikstein等[18]将多模态学习分析划分为九个范畴：①文本分析；②话语分析；③笔迹分析；④草图分析；⑤动作和手势分析；⑥情感状态分析；⑦神经生理标记分析；⑧眼睛凝视分析；⑨多模态整合和多模态界面分析。陈凯泉等[19]根据数据特性，将这九个范畴涉及的数据归为四类：外显数据、生理数据、心理数据、基础数据。依据此数据划分标准，本研究探究了多模态数据与学习评价的内在关系映射，发现不同类型的数据通过特征提取可以表征不同的评价维度和内容，如图1所示。通过对学习者在多样化学习情境（如自主学习、协作学习、混合学习等）中产生的体征数据和学习过程行为数据进行全样本分析[20]，不仅能揭示学习者学习绩效、学习轨迹的变化，还有助于解释学习者个性化的认知、思维、情感等内隐特征变化的机理和规律，从而为开展精准学习干预、优化教学过程提供重要依据。

1 外显数据

外显数据是指学习过程中可直接被观察到或记录的真实数据。其中，文本分析代表对学习过程的日志记录；话语分析是指学习过程中学习者的语言，包括师生对话、人机对话和学习者之间的对话，通过提取语音、语调、语气等可进行语音分析和韵律特征分析；笔迹分析和草图分析常见于学习者识字、绘图教学。采集这些外显数据，可评价表征学习者当前的学习状况、问题解决能力、师生互动水平等。

图1 多模态数据类型及其评价表征

2 生理数据

生理数据是指人体内部结构在接受刺激时所发生变化的数据，是学习者心理和行为的反映。来自大脑、心脏、皮肤的信息是生理数据的重要来源，如脑电图、心电图、电流皮肤反应等数据。其中，脑电图可用于提取长期或短期记忆负荷、认知工作量等深层心理过程相对应的特征，电流皮肤反应、心率等数据可测量学习者在不同困难水平上从事在线问题解决活动的认知负荷。通过生理数据集，可以评价表征学习内容难度、学习者的情绪状态等，为学习评价测量提供重要的客观变量。

3 心理数据

心理数据是学习者自身的心理活动数据，如认知、注意、情感（如紧张、兴奋）等数据。具体来说，摄像头、肌电传感器可采集手势和姿态数据，来呈现学习者在学习过程中身体的移动轨迹；脸部肌电图可获取学习者的面部表情数据；而眼动仪能感知学习者眼睛的关注焦点变化。此外，通过卷积神经网络和监督学习算法，可准确获取摄像机所捕捉图像中学习者的骨骼关键点信息，并实现动作姿势识别，据此可评价表征学习者的学习兴趣、注意力变化等。

4 基础数据

基础数据是任何学习分析实践所必备的数据。其中，学习者的学情信息（包括年龄、性别、兴趣偏好、家庭背景、前期学习状况等），可通过学籍档案、成绩单得以反映。这些基础数据体现了学习者在学习之初就已具有的个人属性和特质，其必须与其他层面的数据结合起来分析才具有实际意义。例如，结合学习者的基础数据对其心理、生理等进行分析，有助于个性化评价表征学习者的学习风格和学习基础，并通过挖掘基础数据中存在的相关性与因果联系，进一步揭示学习者的学习过程。

四基于多模态学习分析的学习评价流程

多模态学习分析技术可以采集高频、细粒度、微观层面的学习数据，从多个维度更好地反映学习者的真实学习状态，从而提高评价的层次和质量，为推动学习评价从静态的学业成就的数字化表征评价走向动态的、立体的过程性学习评价提供了新途径。本研究从过程视角审视学习评价，构建了基于多模态数据分析的学习评价流程，如图2所示。该流程包括确立目标、获取数据、建立模型、提供反馈四个主要环节，可根据学习轨迹不断进行自我优化，重在为学习者提供持续的“分析—评价—反馈”之动态循环评价，并努力体现“评价即学习”的理念。

图2 基于多模态学习分析的学习评价流程

1 确立目标

在教学开始之初，教师需要了解学习者已有的知识基础，确立知识或技能获得所要达到的预期目标，据此选择合适的学习环境、评价指标和评价方式。其中，学习环境包括线上、线下和混合式学习环境，不同环境下的学习动机、情感态度、认知发展等可能存在一定的特征差异。根据学习评价目的或功能的需求不同，教师可以选择诊断性评价、形成性评价或总结性评价方式。因此，学习环境和评价方式将作为支持评价指标建立的重要内容。

2 获取数据

在教学过程中需要不断地采集学习者信息，以持续评估其学习表现、确定其学习状态。为此，可以利用智能终端、传感器、可穿戴设备、智能系统等工具，收集学习过程中人与设备、资源等交互所产生的轨迹化、序列化的多模态数据。结合已确定的评价指标和对应的评价表征关系，这些多模态数据将作为反映学习者当前生理、心理等不同层面的学习状况特征信息，并作为下一阶段数据提取融合与分析建模的依据。

3 建立模型

学习环境和学习活动的多样性将导致采集的多模态数据分布离散、缺乏关联，需要整合物理和数字空间学习过程中的认知、情绪、行为等关系进行立体建模，以建立学习数据与外显学习行为、内隐学习特征之间的联系。其中，数据提取融合需要研究者对所获取的学习数据（如眼部凝视、姿势、心率等）进行规范化处理，生成数据集，同时将不同模态的数据转换为数字化表征并进行筛选，以保证数据质量。当数据符合规范要求后，便可进行数据分析建模，即根据一定的规则关系和学习算法（如机器学习、分类与聚类等）对这些数据集进行特征提取、意义建构和融合分析等，尤其是对非结构化数据分析过程中的关键发现加以解释和建议。

4 提供反馈

评价结果可视化是提供反馈的首要步骤，可通过学习仪表盘、知识图谱等将数据分析结果呈现给利益相关者。不同利益相关者可根据数据分析结果，利用自评、互评、他评等方式进行评价干预。人机协同下的双重评价反馈将作用于学习者自身，帮助其确立新学习目标、进入下一阶段的动态循环。例如，教师可根据学习者的学习进展和问题，动态调整、改进教学进度和方法；学习者可及时对自己的学习水平和能力做出相应判断，形成合理的学习预期，完善学习计划；教育研究者可依据学习评价分析结果，对教学内容、方法或环境等提出优化改进建议。

五多模态学习分析的学习评价应用建议

智能教育场景下的多模态学习分析拓宽了学习评价的视域。随着物联网传感技术的发展，硬件成本逐渐降低，测量精度不断提高，可穿戴、便携式的手环产品已在日常生活中用于监测体温、血压、皮电、心电等主要体征，一些可进行嵌入式开发集成的、元器件级别的传感器在工业和教育领域开始广泛应用，多模态数据采集和分析的技术将逐步进入实用阶段。结合相关探索性研究案例，本研究针对多模态学习分析的学习评价应用提出以下建议：

1 伴随式数据处理

过程性学习评价要求学习数据的获取和处理能够实时、高频地进行，而智能技术的发展为学习过程原始数据的伴随式采集和实时数据汇聚提供了重要支撑[21]，使得多模态数据采集与分析得以贯穿于整个学习过程。例如，王丽英等[22]利用自动化操作行为事件监听、表情识别、生理特征监测等技术，持续采集MOOC在线学习者的数据，并对其认知、情感、行为投入等数据进行自动分析融合和及时评价反馈，可为不同学习者提供个性化、实时性的提示和指导。

2 多场景交叉融合

智能化技术的应用丰富了教育应用场景，也推动多样化教学场景与多模态学习分析的交叉融合成为实现精准教学、科学评价的重要途径。例如，陆吉健等[23]提出了混合现实（Mix Reality，MR）场域中“多模态+人机协同”教学方式，并依托MR实验套件与智能传感设备进行MR场域中多模态情境导学、智能诊学、人机助学、精准评学的教学实践，实现了过程性评价与结果性评价相融合的全方位精准教学评价，促进了多模态教学和人机协同教学的交叉融合。

3 低成本常态实践

目前，多模态学习分析尚被限于在特定的教学或实验环境中进行，而要实现真实学习情境下自然或非侵入式的数据获取仍存在一定的难度。因此，基于常态化教学环境搭建或开发低成本、易操作的多模态分析系统将成为后续研究重点解决的问题。例如，Cornide-Reyes等[24]通过引入低成本传感器和单板计算机、全向麦克风等设备，结合小型平板电脑采集学习者的音频、图像等多模态数据，用于评估真实课堂环境下学习者的沟通和协作技能，从而证实了多模态学习分析应用于学习者核心技能发展评估的可行性。

[1]Worsley M, Chiluiza K, Grafsgaard J F, et al. Multimodal learning and analytics grand challenge[A]. The Fourth International Conference On Multimodal Interaction[C]. New York: ACM, 2015:525-529.

[2]尚秀芬,邱晓欢.教育评价改革:纸笔测试中高阶思维能力测评的可行性探析[J].教育理论与实践,2018,(32):20-22.

[3]胡钦太,伍文燕,冯广,等.深度学习支持下多模态学习行为可解释性分析研究[J].电化教育研究,2021,(11):77-83.

[4]汪维富,毛美娟.多模态学习分析:理解与评价真实学习的新路向[J].电化教育研究,2021,(2):25-32.

[5]Drachsler H, Schneider J. JCAL Special issue on multimodal learning analytics[J]. Journal of Computer Assisted Learning, 2018,(4):335-337.

[6]Sharma K, Giannakos M. Multimodal data capabilities for learning: What can multimodal data tell us about learning?[J]. British Journal of Educational Technology, 2020,(5):1450-1484.

[7]Larmuseau C, Cornelis J, Lancieri L, et al. Multimodal learning analytics to investigate cognitive load during online problem solving[J]. British Journal of Educational Technology, 2020,(5):1548-1562.

[8]Olsen J K, Sharma K, Rummel N, et al. Temporal analysis of multimodal data to predict collaborative learning outcomes[J]. British Journal of Educational Technology, 2020,(5):1527-1547.

[9]Ahn B T, Harley J M. Facial expressions when learning with a queer history APP: Application of the control value theory of achievement emotions[J]. British Journal of Educational Technology, 2020,(5):1563-1576.

[10]Vujovic M, Hernández‐Leo D, Tassani S, et al. Round or rectangular tables for collaborative problem solving? A multimodal learning analytics study[J]. British Journal of Educational Technology, 2020,(5):1597-1614.

[11]Emerson A, Cloude E B, Azevedo R, et al. Multimodal learning analytics for game‐based learning[J]. British Journal of Educational Technology, 2020,(5):1505-1526.

[12]Ochoa X, Dominguez F. Controlled evaluation of a multimodal system to improve oral presentation skills in a real learning setting[J]. British Journal of Educational Technology, 2020,(5):1615-1630.

[13]李葆萍,周颖.基于大数据的教学评价研究[J].现代教育技术,2016,(6):5-12.

[14]曹晓明,张永和,潘萌,等.人工智能视域下的学习参与度识别方法研究——基于一项多模态数据融合的深度学习实验分析[J].远程教育杂志,2019,(1):32-44.

[15]田爱丽.综合素质评价:智能化时代学习评价的变革与实施[J].中国电化教育,2020,(1):109-113、121.

[16][18]Blikstein P, Worsley M. Multimodal learning analytics and education data mining: Using computational technologies to measure complex learning tasks[J]. Journal of Learning Analytics, 2016,(2):220-238.

[17]Von Davier A A, Zhu M X, Kyllonen P C. Innovative assessment of collaboration[M]. Cham: Springer, 2017:173-184.

[19]陈凯泉,张春雪,吴玥玥,等.教育人工智能(EAI)中的多模态学习分析、适应性反馈及人机协同[J].远程教育杂志,2019,(5):24-34.

[20]刘清堂,李小娟,谢魁,等.多模态学习分析实证研究的发展与展望[J].电化教育研究,2022,(1):71-78、85.

[21]刘邦奇,喻彦琨,袁婷婷.智能技术赋能过程评价:目标、路径与典型场景[J].现代教育技术,2022,(5):14-23.

[22]王丽英,何云帆,田俊华.在线学习行为多模态数据融合模型构建及实证[J].中国远程教育,2020,(6):22-30、51、76.

[23]陆吉健,周美美,张霞,等.基于MR实验的“多模态+人机协同”教学及应用探索[J].远程教育杂志,2021,(6):58-66.

[24]Cornide-Reyes H, Noël R, Riquelme F, et al. Introducing low-cost sensors into the classroom settings: Improving the assessment in agile practices with multimodal learning analytics[J]. Sensors, 2019,(15):3291.

Research on the Learning Evaluation Supported by Multimodal Learning Analysis Technology

ZHANG Jia-hua HU Hui-zhi[Corresponding Author]HUANG Chang-qin

Faced with the development needs of high-quality education and innovative talents in the new era, the drawbacks of traditional learning evaluation have become increasingly prominent, and it is urgent to innovate the system and deepen reform. Multimodal learning analysis made learning evaluation oriented to process and real learning situations possible through comprehensively collecting and analyzing the dynamic data of the learning process from multiple dimensions. Firstly, based on the difficult problems analysis of current learning evaluation, this paper analyzed the intrinsic value of multimodal learning analysis applied to learning evaluation. Subsequently, this paper proposed the dimensions and contents of evaluation representations mapped by four types of multimodal data, constructed and explained the learning evaluation process based on multimodal learning analysis from four aspects of establishing goals, acquiring data, constructing models and providing feedback. Finally, combined with relevant research results, this paper put forward application suggestions of the learning evaluation of multimodal learning analysis, expecting to empower the process-oriented developmental learning evaluation reform and provide a new perspective for the higher-level learning evaluation.

multimodal data; learning analysis; learning evaluation; learning process; data representation