面向多模态数据的学习分析应用研究

摘要：随着传感器技术的日趋成熟，多模态数据的学习分析必将成为未来发展的重要趋势。本文从个体的生理、心理和行为来探讨多模态数据的层次关系，简述了这三个层次多模态学习分析的研究现状，阐述了多模态数据的采集、处理、分析与可视化技术，以此提出了面向多模态数据的学习分析应用场景，为推進智能教育研究的发展提供研究参考。

关键词：多模态数据；学习分析；智能教育

一、引言

在“智能+”教育时代，人工智能、可穿戴、物联网等技术与教育教学的深度融合，促进了智能教育发展的进程，将学习者的学习情境数据作为信息表征，为研究教育现象和发展规律提供了新颖的方法。随着多模态数据采集技术不断地发展，学习者学习行为的获取突破了原有数据采集技术的局限，如通过视频采集设备收集学习者在课堂学习的行为数据；通过眼动仪监视学习者在线学习过程中的注意力；通过人脸识别设备对学习者进行定向跟踪来评估学习状态[1]。尤其是，基于生理感知数据测量的学习行为及心理特征已成为智能教育研究的发展趋势。生理感知数据是源于人体的生物活动产生的电信号或磁信号，主要包括眼动、脑电、皮肤电、心电图等多模态数据，具有客观性、精确性、实时性等优点[2]。据此，将多模态数据进行融合分析，突破单一模态数据无法实现整体关联分析的缺陷，能够全面地刻画学习者的学习行为、情感投入、学习状态等，帮助计算机更好地理解学习者真实的学习需求，为其提供精准的个性化学习服务。本文通过对智能教育领域的多模态数据和多模态学习分析进行阐述，将多模态数据的学习分析应用进一步梳理，以期为智能教育领域的研究提供价值参考。

二、多模态与多模态学习分析

（一）多模态数据

当前，随着传感器技术、物联网技术等在教育领域的普及，这为多模态数据的来源提供了有力的保障，也为智能教育的大数据分析提供了坚实的基础。多模态数据是指于同一现象、过程或环境采用两种或两种以上方式获取的相关数据[3]。本文所指的多模态数据来自个体的三个层级，即生理、心理和行为。这三个层级的数据呈现从里到表的层次关系，生理数据在最底层，心理数据在中间层，行为数据在最外层。生理数据是指学习者在学习过程中受到刺激时个人身体结构发生的变化，属于个体心理和行为的内在映射；心理数据是指学习者在学习过程中的心理活动数据，如认知、注意力；行为数据是学习者在学习过程中的外在行为表达，如手势、姿态。

（二）多模态学习分析

学习分析是指通过对学习者的学习数据进行采集、处理、分析和报告，进而理解和优化学习过程。相关研究论述了学习分析的发展历程、梳理会议报告及论文集，表明多模态数据将成为学习分析研究的重要话题，这需要着重发挥学习分析在交叉学科中研究的优势[4]。因此，通过多模态数据采集技术捕捉学习者学习过程中的学习状态并加以分析显得尤为重要。

1.生理数据

相关研究利用多种传感器采集学习者的眼动、皮肤电、脑电等生理数据，进行多模态数据融合分析，对学习状态、学习投入等进行深入的研究。在皮肤电反应方面：卢锦运等采集用户浏览动画导航界面的皮肤电信息，对用户的皮肤电分析得出用户更喜欢动画页面，能够获得更好的舒适体验感[5]。

在眼动方面：文献[6]从学习者在学习过程中眼动信息入手，针对学习者的眼动数据开展学习分析探讨，为学习者提供个性化学习服务的应用模式；文献[7]阐述了眼动跟踪在智能教育中的应用研究。在脑电方面：文献[8]采集学生学习过程中脑电信号，用于深度分析学习者状态，为学生提供个性化学习服务或自适应学习界面。因此，面向生理感知的多模态数据更能客观且真实地描述学习者的学习状态，广泛应用于智能教育学领域。

2.心理数据

相关研究利用传感器技术对学习者的注意力、认知负荷和投入感等进行客观地评估。注意力是评估学习者学习效果的重要因素，可以利用传感技术收集学生的运动状态、眼动行为等数据，采用机器学习方法对学习者的注意力进行建模，预测学习者的注意力变化，帮助个体及时调整学习状态来提高学习的投入感。其中，投入感是评估个体注意力的核心指标。投入感表示学习者在学习过程中理解和掌握知识的心理投入程度，如文献[9]利用传感技术收集学习者在真实写作过程中的表情、声音、动作和心率，利用机器学习方法对所获得的投入感自我报告进行建模，结果表明融合两种自我报告模型具有较好的准确性和稳定性。此外，认知负荷是与学习效率存在紧密联系的。如果学生完成任务需要消耗过多记忆容量，那么学习速度会变慢，同时学习效果也会下降，因此准确且有效地评估学习者的认知负荷显得尤为重要。

3.行为数据

目前，智能化的学习环境所配备的传感器能够采集学生线上线下的全方位学习数据，有效地拓展了学习分析数据的广度和深度。相关研究利用多模态数据采集器收集学习者的表情、手势、姿态等行为数据。一方面是对文本、语音、视频数据进行融合表征，实现对个体情绪状态的有效感知和识别；另一方面是对面部表情、手势和身体姿态数据进行融合表征，实现对学习者潜在状态进行挖掘分析。如文献[10]利用传感器采集学习者在学习环境中的表情、手势和姿态等多种行为，能够有效地识别学习者学习情绪和状态。因此，行为数据是主要研究学习者主观意识外在的行为表达，能够较好地描述学习者当前的情绪状态和兴趣偏好。

三、多模态数据的学习分析技术

学习分析技术重点挖掘学习数据的内在规律与隐含价值，这对学习数据的采集、处理、分析及可视化起到重要的支撑作用。

（一）多模态数据的采集技术

根据数据源的分类（生理数据、心理数据、行为数据）情况，多模态数据采集技术包括12种常见的数据采集技术。生理数据采集源于生物数据采集技术、物联网感知技术、可穿戴技术；心理数据采集源于网络爬虫技术、情感识别技术、语音识别技术；行为数据源于校园一卡通技术、视频监控技术、智能录播技术、网评网阅技术、点阵数码技术、拍照搜题技术。

（二）多模态数据的处理技术

数据处理是对数据进行清洗去噪、化繁为简，纠正或去除“脏数据”，如缺失数据、重复数据、错误数据，获得有效的数据集，为数据分析提供基础保障。因此，多模态数据的处理技术是按照相关规则进行学习数据处理，识别且纠正多模态数据的“脏数据”，这是学习数据分析的一个重要环节。

（三）多模态数据的分析技术

数据分析是指利用恰当的分析方法对所收集的数据进行分析，从中提取有用的信息加以详细研究，进而形成概括总结的过程。据此，多模态数据分析技术通过采集学习者的多模态学习数据，运用统计分析、聚类分析、分类分析、关联规则分析等相关技术，准确地分析和描述学习者学习的意图和需求，挖掘其学习规律、习惯和偏好等，进而有效地洞悉学习的全过程。

（四）多模态数据的可视化技术

数据可视化是关于数据视觉表现形式的科学技术研究，利用图形、表格、动画等手段，将数据内在的规律直观地进行展现的一种方式。多模态数据的可视化技术是利用图形可视化的表现形式，有效地体现多模态数据的潜在规律和分析结果。因此，多模态数据可视化技术广泛应用在智能教育领域已成为重要趋势。

四、多模态数据的学习分析应用

随着多模态数据与学习分析不断地深度融合，将其归纳为五个智能教育领域的应用[11]。

（一）多模态数据的人机交互分析

人机交互是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程。学习者拥有不同的教育背景、认知结构、学习习惯及行为偏好等，需要智能用户界面实现人与机器之间的和谐交互。如何促进人机协作在教育教学领域的开展，是智能教育应用有待解决的关键问题。随着智能教育领域的发展，智能用户界面逐步进入真实教学场景中，为学生和老师提供了相关的智能教育服务。智能教育界面通过收集学习者学习过程中多模态数据，更好地分析和理解学习者学习的真实意图和需求，为其提供精准的学习支持服务。

传统的学习分析数据主要源于鼠标、键盘等，如鼠标点击、键盘文本输入，这些可以反映学习者学习过程的显性反馈信息。然而传统的数据源较为单一，难以客观且完整地描述学习者的学习状态。因此，融合学习者生理感知数据（如眼动、脑电、皮肤电等）的智能教育系统能更好地实现学习者和系统之间的自然交互，有利于学习者进入高效地学习状态，为其提供精准化的学习支持服务。

（二）多模态数据的学习者情绪识别

情绪识别原本是指个体对于他人情绪的识别，现多指人工智能通过获取个体的生理或非生理信号对个体的情绪状态进行自动辨别，是情感计算的一个重要组成部分。当前多模态数据的学习者情绪识别是智能教育领域的重要研究话题，利用电脑、眼动、皮肤电等生理信息进行数据融合分析，判断学习者的情绪状态、意图需求等，挖掘多模态数据的学习规律，表达个体学习的动机、目标、兴趣和风格等，能够为学习者提供满足自身需求的自适应界面。

（三）多模态数据的学习投入分析

学习投入是监测学习者在学习过程中学业表现测评的重要指标，体现了学习者的认知深度、情感体验和思维灵活度。当前多模态数据的学习投入分析是智能教育领域关注的热点话题，重点利用多模态数据表征学习者学习投入状态，对认知投入、行为投入和情感投入进行综合评价，有效体现学习者真实参与学习的状况，实现对教学效果的客观评估。

（四）多模态数据的学业表现预测

学业表现预测主要是利用学习者学习数据预测个体的学习表现，并对学习者进行有效的学业预警和学习干预。当前多模态数据的学业表现预测是智能教育领域的又一热点话题，相关学者利用学习者的外显行为信息和生理感知信息进行融合分析。相比传统且单一的学习数据，利用多模态数据采集技术捕捉学习者在学习过程中的学习表现，能够更好地对个体学习效果进行预测。因此，多模态数据的学业表现预测方法具有更好的准确性和稳定性。

（五）多模态数据的学习情境感知

情境感知是通过传感器及其相关的技术使计算机设备能够感知到当前的情境，获得个体的反馈信息并对其数据进行处理分析，这为个体提供了精准的支持服务模式，有效实现用户与环境的和谐交互。多模态数据的学习情境感知是学术界关注的热点，利用多种传感器对不同学习情况下的学习者进行数据采集，建模分析学习者的学习体检，用于还原个体学习的情境感知。

五、结束语

随着人工智能技术、物联网技术、传感器技术等不断地发展，这为多模态学习数据的采集提供了坚实的基础。学习分析强调利用数据对学习者的学习进行状态描述、诊断预警和预测干预，然而传统设备采集学习者的学习数据较为单一，传统数据源对学习分析存在诸多问题与挑战。多模态数据可以有效拓展学习分析数据源的维度，同时完善数据源的准确性，这为学习者的学习评估提供了有力支撑。

本文揭示了多模态数据在学习分析的研究现状及相关应用，以期为基于多模态数据的学习分析的深入研究提供应用参考。未来相关研究还有待进一步突破。首先，缺乏多模态数据融合研究的探索，有待深入挖掘多模态数据之间的关系和规律；其次，缺少从智能教育领域中多模态数据融合进行研究探索，有待于对多模态数据融合研究现状进行阐述；再者，缺乏对多模态数据融合方法的梳理，需要进一步对机器学习、智能算法等进行深度研究；最后，基于多模态数据的学习分析应用仅限探索阶段，有待对所提出应用场景加以实现和验证。

作者单位：胡文婷    江苏开放大学 商学院

参  考  文  献

[1]李卿，任缘，黄田田，等.基于传感数据的学习分析应用研究[J]. 电化教育研究， 2019，40（5）：64-71.

[2]张琪，武法提.学习分析中的生物数据表征——眼动与多模态技术应用前瞻[J].电化教育研究，2016， 37（9）：76-81.

[3]钟薇，李若晨，马晓玲，等. 学习分析技术发展趋向——多模态数据环境下的研究与探索[J]. 中国远程教育， 2018（11）：41-49.

[4]吴永和，李若晨，王浩楠. 学习分析研究的现状与未来发展—2017 年学习分析与知识国际会议评析[J]. 开放教育研究， 2017，23（5）： 42-56.

[5]卢锦运，龚春燕，禹东川. 生物大数据监测：未来教育质量测评新趋势[J]. 中小学管理， 2018（5）： 14-16.

[6]胡文婷，张沫，朱咸军. 融合眼动信息的个性化学习服务研究. 中国教育信息化， 2021（19）：23-27.

[7]张俊杰， 孙光， 郑鲲. 视线跟踪及其在智能教育中的应用研究综述[J]. 计算机应用， 2020， 40（11）：3346-3356.

[8]姜雷，张海，张岚，等. 脑机接口研究之演化及教育应用趋势的知识图谱分析——基于1985-2018年SCI及SSCI期刊论文研究[J]. 远程教育杂志， 2018（4）：27-38.

[9]Monkaresi H， Bosch N， Calvo R A， et al. Automated detection of engagement using video-based estimation of facial expressions and heart rate[J]. IEEE transactions on affective computing， 2017， 8（1）：15-28.

[10]Ashwin， T. S.， Guddeti， R. M. R. . AutomaticdentsAffective States in Classroom Environment Using Hybrid Convolutional Neural Networks[J]. Education and Information Technologies，2020， 25（2）：1387-1415.

[11]王一巖， 郑永和. 多模态数据融合：破解智能教育关键问题的核心驱动力[J]. 现代远程教育研究， 2022， 34（2）：93-102.