多模态数据支持下网络学习行为分析

○程振林

“互联网+教育”时代的来临，加快了教育信息化的发展进程，使得网络学习已经成为数字时代主流的学习方式，随之而来，网络学习的有效性成为网络学习研究和实践关注的焦点。网络信息时代，新媒体、新技术快速发展和涌入网络学习中，使得网络学习时时发生、处处存在，网络学习已经成为普通大众生活和学习的日常行为。随着网络学习的快速发展和普及，人们越来越关注网络学习的成效问题，开始探究网络学习的本质以及如何提高网络学习质量的问题。作为网络学习研究的核心内容之一，网络学习行为分析自打网络学习兴起之始，便成为研究者最早关注和研究的内容，也是研究者探究网络学习的发生机制和提高网络学习质量的突破点。

现已有研究，通过教育大数据、学习行为序列分析法、学习分析技术等方法来分析研究网络学习行为，并希望借此方法和技术厘清网络学习行为的发生机制和表征方法。但网络学习是一个持续的动态过程，教育大数据和学习分析都比较偏向于中期的网络学习行为，这样就会在一定程度上忽视网络学习行为的逻辑关联性和整体连续性；并且在目前阶段，教育大数据和学习分析技术多是对网络学习中发生的诸如问答、讨论、使用工具技术等外显的、可观察和测量的网络学习行为进行分析和研究，而对有关情感、心理等认知行为的研究则需要通过间接方法和技术手段，不但耗费学习者的时间，同时还极易受到学习者主观情绪的影响，故而这方面的研究成效很有限；学习行为序列分析虽能从多层次、多维度来分析网络学习行为，找出网络学习行为之间的关联性、交叉线，但这需要研究者借助自身的研究经验来进行抽样选择和定期记录，这无形中增加了相关研究的难度。因此，单单借助某一科学方法或从某一学科领域方面来进行网络学习行为的相关研究，其研究肯定是不全面的。

在网络学习行为的实践研究中，应整合来自信息科学、计算机科学、教育学、脑科学、神经科学等领域的知识、技术和方法，进行多领域、多学科的协同研究，力求找寻网络学习行为研究的突破点。基于生物技术的多模态数据表征网络学习行为方法已成为研究网络学习行为的新领域，为探究网络学习行为发生机制、表征网络学习行为以及促进网络学习质量的提升提供了新的方法和手段，网络学习行为的深层次、多维度研究，能够更加有力地保障网络学习的成效，进一步规范以数据为驱动的网络学习行为的全方位的研究。

一、网络学习行为分析

网络学习已成为现代人学习的重要手段，网络学习具有时空性、情境性、互动性、多元化、碎片化等学习特质，是在一个虚拟、交互的学习空间中进行与学习密切相关的活动。网络学习活动的效果跟网络学习行为有着密切的关联，只有行之有效的网络学习行为才会促进网络学习质量的提升。

网络学习行为有别于传统的课堂学习行为，它是网络学习者为了获得知识、技能、方法等目标，满足自身发展需求，借助网络环境下的工具、资源和支持服务，在特定的学习活动情景中的所思所想、所作所为等个体行为和与学习环境、学习内容、学习工具等客体双向互动行为的总和。网络学习行为是一个动态持续的完整过程，存在于网络学习发生的全过程。网络学习行为的发生，不仅仅是学习者发挥个体主观能动性，积极地进行主观建构的学习行为，也包括学习者与所处的网络学习环境中的客体进行双向互动并演变为契合网络学习需求的行为模式。

网络学习行为分析不仅仅是分析研究可观察的、可测量的、稳定的显性网络学习行为，还需要借助一定的技术去分析研究网络学习者的复杂心理活动以及与所处学习环境的多维关系交互行为。通过全方位、多角度、跨学科领域进行网络学习行为的分析研究，厘清网络学习行为发生的内在机制，归纳整理现有的、常态化的、外显的网络学习行为，摸索探究不可见、不可量化、间接测量的网络学习行为，能够更加精准细化地表征网络学习行为，进而揭示网络学习的本质特征。

二、多模态数据表征网络学习行为理论基础

网络学习行为的分析研究需要整合多学科、跨领域方面的知识、技术和方法，弥补网络学习行为的教育测量方法、网络学习行为经验性数据来源、网络学习行为常态化分析模式的缺陷。多模态数据意味着从多重感知维度去获取学习所产生的生物信息，并同步整理分析这些生物信息所表征的网络学习行为，揭示网络学习行为发生的内在机制，厘清网络学习行为之间的内在关联和影响，开展网络学习的诊断与评估，进而调整网络学习过程中的学习行为，促进自我有效的网络学习行为的发生，保证网络学习质量的提高。

（一）行为科学理论

行为科学的研究范畴主要是通过分析和把握人类在社会环境中的心理和行为的发展变化规律，以此提高对个体、群体和组织的心理以及行为的预测、引导和控制能力，是一门专门研究人类行为规律的综合性交叉学科。“行为科学”的概念有狭义和广义之分，狭义的行为科学，主要是指通过对人的行为发展变化规律及过程的研究，进而解释其心理活动以及在社会活动中的行为变化。通过及时协调个人、群体、组织之间的相互关系，以及其与外部环境的关系，从而调动人的积极主动性和创造性。行为科学理论能够从以下三个方面为网络学习行为的分析研究提供指导和帮助。

一是强调学习者的主体地位。要重点观察网络学习者主观能动的学习行为和表现，其网络学习行为和表现是一个动态持续的过程，因此，应注重学习行为之间的关联性、内在逻辑分析。

二是注重网络学习环境对学习行为的影响。网络学习的本质可以看作为学习者与所在的虚拟网络学习环境交互的过程，网络学习环境对网络学习效果必然会产生一定的影响。在探究网络学习行为发生机制过程中，要考虑其与网络学习环境之间的关联和影响。

三是关注网络学习共同体之间的协作和交流。网络学习者的学习行为不仅仅表现为其个体独自的行为表现，还应包含其与网络学习共同体中其他成员之间的交流和互动行为。融洽、友好的同伴关系和学习氛围，能够在一定程度上促进友好合作和良性竞争关系的产生，激励或鼓舞学习者更加高效地投入到网络学习中，促使有效学习行为的形成和保持。

（二）具身认知理论

具身认知理论从可观察到的身体反应推断不可观察的心理状态，认为学习者心理状态通过多种外显行为表现出来，认知和情感是为行为服务的，身体是行为的代理人，从而提供了不同时间节点上学习行为分析的连续学习行为序列。已有的研究表明，学习者的面部表情、肢体语言与情感状态之间存在着一定的因果联系，如学习沉思的过程中，学习者会不知觉地皱眉或附带一定的手部动作。也有研究确定了生物特征与认知行为之间的关联性，如眼动对应注意力的行为以及脑电波与认知负荷的关系。

具身认知理论通过从可观察、可测量到的生理行为特征来推断出相应的认知行为和心理情感行为，丰富了网络学习行为分析的数据来源，从微观层面上精细化地表征了网络学习行为。

（三）神经科学理论

教育神经科学理论认为，神经元之间突触的连接是学习的生物学依据，学习任务源自任务对大脑的需求，不同的任务指令引起大脑化学成分和神经系统活动的改变。网络学习行为发生的不同阶段会伴随着交感神经和副交感神经的相应活动变化，下丘脑负责整合调控自主神经系统的活动，并控制学习者的情感与行为表达，通过记录皮肤导电率、眼动、血压、心电图、近红外光谱等，可以发现不同的网络学习行为存在特定的自主神经与生理活动模式。

教育神经科学理论可以帮助研究者厘清网络学习行为发生的生物学内在机制，揭示大脑内部产生的学习生物标记与认知行为、情感之间的对应联系。教育神经科学理论将传统意义上被孤立与分离的脑认知科学与教育研究整合起来，基于跨学科整合视角为网络学习行为的研究提供了范式指南。

三、多模态数据支持下的网络学习行为分析

网络学习已成为大众普遍接受的学习方式，随之也产生了大量的网络学习数据，如何通过这些学习过程数据来分析研究网络学习的效果和质量，一直是研究者们关注的焦点。自从大数据技术和学习分析技术应用到教育领域中，便引起了大家的广泛关注，研究者们希望借助学习分析技术从海量的网络学习数据中建立网络学习行为分析模型。大数据技术虽然能够最大程度地收集整理有关网络学习的过程性数据，但是一些与网络学习有着间接联系、不可直接测量、直接呈现、复杂的认知、心理、情感行为是很难去收集和分析的，更不用说去厘清这些行为的外在关联和自身之间的关系了。

（一）多模态数据揭示网络学习行为发生机制

经典教育学理论通过自我决定理论、自我调节理论、成就目标理论来激发和调控学习行为的发生，这对于探究网络学习行为发生的内在机制同样适用。但网络学习行为的时空性、情境性、互动性、多元化、碎片化等复杂特征，决定了仅仅用教育心理学来阐述网络学习行为发生动机是不够的。具身认知理论和神经科学理论都强调学习是学习者主观能动性的体现，因此，应重点分析学习者个体生理、心理指标产生并维系网络学习行为的过程，拓宽网络学习行为发生的内在触发机制。与此同时，应记录收集与学习者网络学习息息相关的学习资源、学习工具、学习平台、学习支持服务等数据，并分析这些数据之间的静态结构及动态演变过程，从外部环境因素来分析其对网络学习行为发生机制的影响。综上，网络学习者内在具身自我认知和所处虚拟学习场景共同作用于网络学习行为的发生。

（二）多模态数据表征网络学习行为

目前，对于网络学习行为的界定和测量，有两种比较主流的方法，一是对现场数据或视频数据的人工手动标记；二是基于智能评测系统对过程数据的自动编码和分类。第一种方式虽然能够比较精确地进行网络学习行为的划分，但需要大量的时间和精力，并且也带有一定的个体主观性。它需要个体具备丰富的经验，只适合小范围内的研究。第二种方式中智能评测系统需要预先设定好网络学习行为的类属，因此，只能对可预测到的网络学习行为进行测评和分析，对于其他不可见、不可预测的网络学习行为是没法进行智能编码和分类的。此外，两种测评方式都比较偏向于网络学习的中期过程，对于网络学习的前期准备和后续评估反馈都没有较多的关注。因此，本研究通过收集整理贯穿于网络学习行为发生的全过程的数据来更加精准化地呈现和表征网络学习行为。

多模态数据表征网络学习行为的典型特征就是各模态特征数据的整合分析，以互联网、物联网、智能设备作为信息获取和交互的载体，系统全面地记录和呈现学习者外显的、可观察的网络学习行为。与此同时，神经科学理论、具身认知理论、脑科学理论支持下的模态传感器（脑电图、眼动指标、红外光谱技术）可以检测和记录超出人类观察范畴的生理、心理行为指标，从而追踪网络学习者的大脑思维活动。将学习者外显的网络学习行为和内隐的生理、心理行为指标结合起来，构建网络学习行为的全维数据基础，可以极大程度上还原网络学习的发生过程，从而更加真实、全面地刻画和呈现网络学习行为。

（三）多模态数据支持网络学习行为分析

多模态数据揭示网络学习发生机制，进而表征网络学习行为，为网络学习行为的分析提供了数据、技术和方法。Newell和Anderson提出了“认知频谱”（Bands of Cognition）的概念，从生物、认知、理性和社会维度界定了学习行为，为多模态数据多维度地分层分析网络学习行为提供了理论指导，并基于此重新构建了网络学习行为分析模型。

多模态数据摒弃了以往粗线条分析网络学习行为的弊端。首先，它从认知、行为、生理、心理、情感等维度全方位、多层次地收集与网络学习有关的学习行为，拓展并丰富了网络学习行为的数据来源；其次，多模态数据表征的网络学习行为更加聚焦于学习者从分到秒的瞬时微观的学习行为，有助于研究者更加精确地定位分析连续的、动态的学习行为；再次，跨学科、多维数据的多模态数据建模，可以将同一时间维度下学习者的显性学习行为和隐性学习行为同步和对齐，例如，将可观察到的学习者做笔记的肢体行为与面部视觉所呈现出来的情感行为、眼动行为以及脑电波等生物信号行为进行同步整合分析，更加精准地剖析网络学习行为的发生机制和呈现方式。

网络学习行为分析一直以来都是网络学习理论与实践领域的研究重点之一，也是保证网络学习质量的突破点。多模态数据支持下的网络学习行为分析是基于跨学科、跨领域角度进行的网络学习行为分析。它整合了教育学、生物科学、脑科学、神经科学等学科领域知识、技能和方法，利用学习者个体的多重感知模式去获得全方位、多模态的学习行为数据，同步处理学习者不同模态下的学习数据并进行整合，更加真实地揭示了网络学习行为发生的过程，构建了多模态数据支撑下的网络学习行为分析模型。多模态数据支持下的网络学习行为分析，通过分析整合学习者多维度、过程性数据，揭示网络学习的发生机制，表征多模态数据支持下的网络学习行为，厘清了学习者生理、心理行为与网络学习行为之间的对应联系，从而更加真实、全面地分析了网络学习过程中学习者的行为表现和学习规律，对于提高学习者网络学习效果和质量有着重大的意义。