深度学习的发生机制与多模态数据测评研究*

马云飞 郑旭东 赵 冉 刘 慧

（1. 江苏师范大学 智慧教育研究中心；2.江苏师范大学 江苏省教育信息化工程技术研究中心，江苏徐州 221116）

进入21 世纪以来，随着数字科技在社会发展与生产实践中的广泛应用，人类知识也呈现出指数级增长趋势。为此，人们也将21 世纪称之为数字化知识经济时代。在此背景下，如何通过教育培养胜任未来社会发展所需的创新性人才，已备受国际社会的高度关注。基于此，我国提出了中国学生发展核心素养，并从不同层面明确了深度学习在“超越教科书水准”及“培养全面发展的人”之重要意义（核心素养研究课题组，2016）。因此，由来已久的深度学习，再次成为国内教学改革和课堂转型的研究与实践焦点。

在以往的深度学习研究中，研究者多采用自陈量表和行为编码等单模态数据评价方法，不仅难以对其进行科学、精准、真实、客观地测评，也导致深度学习的内在发生机制和发生过程仍属于一个 “黑箱”，亟待研究者开展更深入地探索以突破这一难点。为此，本文尝试应用多种学习理论，进一步分析深度学习的发生机制，并依据深度学习的发生指标构建多模态数据测评框架，以期为今后开展深度学习的相关研究与实践，提供一些借鉴与启示。

一、深度学习概述

我国古代和近现代西方的众多教育观点，在不同程度上均蕴含了深度学习的理念。比如，孔子提倡“学而不思则罔，思而不学则殆”，辩证性地分析了深度思考与有效学习的互促关系。杜甫提出的“学非探其花，要自拔其根”，则体现了只有追本溯源的学习，才能了解知识的本质内涵。西方亦然，现代教育家本杰明·布鲁姆（Benjamin Bloom）提出的教育目标分类学，在认知划分中也蕴含了“学习存在深浅”的学习观点。到了1976年，马顿等人（Marton，et al.，1976）在《学习的本质区别： 结果和过程》（On qualitative differences in learning：I—Outcome and process） 一 文中，正式提出了“深度学习（Deep Learning）”和“浅层学习（Surface Learning）”两个相对概念，并通过一系列的学习实验，推演学习的深浅之分，证实了其致使学习结果出现本质差异的根本原因。

在众多有关深度学习的研究与实践中，研究者也通常将其与浅层学习相比较，以更深刻地理解其内涵及开展相关实践活动。一般认为，浅层学习更多的是学习者对学习内容的被动记忆和简单复刻；而深度学习则更强调学习者对知识的深入理解、联结重构与迁移运用。即学习者在深度学习的过程中，能够在知识理解的基础上，批判性地学习新知内容，并主动地将所学知识融入到其已有的知识体系中，以及在面对现实环境中的真实与复杂问题时，能够将其顺畅提取、灵活迁移并应用于问题解决。此外，还有研究者从深度学习本身出发对深度学习进行界定与划分。比如，比格斯等人（Biggs，et al.，2001）将深度学习划分成深度策略与动机，纳尔逊·莱尔德等人（Nelson Laird，et al.，2006）将深度学习分成高阶、整合、反思三种学习过程。

自21 世纪以来，深度学习持续获得更多国际相关研究机构和研究者的高度关注。比如，美国研究院（American Institutes for Research）在2012年发布并实施了“深度学习研究：机会与结果”项目（Study of Deeper Learning：Opportunities and Outcomes，SDL）。该项目对深度学习进行了重新界定，并将其视为学习者成为21 世纪合格公民所必备的关键胜任力，其内容包括核心学科知识、批判性思维和复杂问题解决、团队协作、有效沟通、 学会学习、 学习毅力等知识与能力（The William and Flora Hewlett Foundation，2012）。此后，美国国家研究委员会进一步将深度学习能力划分为认知、人际和个体三大领域（National Research Council，2012），每个领域分别涵盖两种学习能力，为深度学习的研究与实践，提供了一个相对完整的指导框架。

由此可见，深度学习已成为促进未来教育变革与培养21 世纪人才的有效学习方式（何克抗，2018）。我们发现，无论研究者以何种视角理解、剖析与阐释深度学习，均在不同程度上呈现出以下特点：（1）强调对学习新知的批判性思考及和原有图式（schema）的动态融合与建构；（2）重视“在境”和“跨境”等多情境下的知识迁移与运用；（3）重视学习者在学习过程中的深度参与和过程性反思，关注学习者在实践或解决实际问题中检验和完善自身的内在知识体系；（4）重视“实践场”和“实践共同体”的构建，强调人机、师生、生生的多元化交互；（5）注重培养学生的复杂问题解决等高阶能力和创新创造思维。

二、多种理论视域下的深度学习管窥

适切的理论指引是深入剖析深度学习发生机制的基础，但由于研究者对深度学习理解存在一定分歧，当前仍无关于深度学习较为明确的理论。富兰等人（Fullan，et al.，2014）在《极富空间：新教育学如何实现深度学习》（A Rich Seam How New Pedagogies Find Deep Learning）中探讨深度学习时，关注和倾向于维果斯基（Lev Vygotsky）的“最近发展区”理论以及强调个体、认知工具、外部环境刺激之间交互作用的分布式学习理论。美国国家研究委员会针对深度学习项目出版的《为了生活和工作的教育：发展21世纪可迁移的知识与技能》（Education for Life and Work：Developing Transferable Knowledge and Skills in the 21st Century），则主要强调了建构主义理论、情景认知理论、格式塔理论等，并认为建构、有意义学习、认知、情境应当是有效深度学习的关键词。詹森等人（Jensen，et al.，2010）基于教学视角，初步构建了从教学准备、 教学实施到教学评价的深度学习周期（Deeper Learning Cycle）模型。

可见，根据既往研究，深度学习作为一种有效的学习方式，关注在个体与环境交互中更深层次的认知水平提升，以及内在心智活动与认知变化的联结（Ginsburg，et al.，1979），强调学生在学习中全身心的深度参与，以及通过外显行为、 情绪和状态表现出来。这意味着，理解深度学习的发生过程以及测评其发生程度时，应综合考虑其外显行为及情绪、内隐心理认知和大脑神经认知活动等过程，这有助于挖掘学习行为中隐藏的潜在“语义”。

为此，本文试通过认知心理学、教育神经学和具身认知三大理论视角，来深入分析与理解可能存在的深度学习发生机制，并为深度学习的多模态数据表征与测评，提供一些可依据的理论指导。

（一）认知心理学：以人—物互动方式理解深度学习的认知发展

认知心理学认为，学习者与环境互动的过程实则是学习者内部信息与外部刺激交互作用的过程（李虹，等，2018）。应注意的是，认知心理学不同流派的理论、观点，也为不同视角解释深度学习的有效发生提供了支持。如，情境认知理论展现了构建外部情境与交互的重要性，自我决定理论强调了作为深度学习动力机制的学习者内在动机，信息加工理论揭示了学习者认知处理和不同层次的学习发生程度。

（1）情境认知理论。该理论认为，在学习过程中，需要学习者与外部环境进行交互，并将其所学知识迁移并应用到真实的生活环境中，才能产生真正的、有意义的学习。这与深度学习所提倡的“迁移运用”理念不谋而合；同时，也为深度学习活动初期构建“实践场”和“实践共同体”等相关情境，提供了有价值的理论依据。（2）自我决定理论。该理论认为，学习者行为受其动机（意愿）影响，并按学习者自主程度，将动机划分为无动机、外在动机、内在动机三类。其中，无动机的学习者认为，他们所参与的学习活动毫无意义；外在动机强烈的学习者的学习行为，则受到外部环境的影响较大；而内在动机强烈的学习者的行为是源自其本身意愿，受外部刺激的干扰较小。瑞安等人（Ryan，et al.，2000）认为，较强的学习动机会产生积极的投入，更容易促进深度学习的发生。弗兰森（Fransson，1977）通过实验研究发现，内在动机比外在动机更容易促发深度学习，这也验证了申克（Schunk，2012）提出的相关观点。（3）信息加工理论。该理论是认知心理学的基本理论，其将人脑记忆加工过程与计算机信息处理进行类比，在于研究与模拟人脑的内部活动及其发生过程，其主要可分为学习层次理论、学习结果理论和学习过程理论三部分。其中，学习过程理论对学习过程的分类，能为分析深度学习的发生过程提供重要借鉴。需要指出的是，在现有的深度学习活动中，教师大多根据学习者的作业表现对他们的深度学习发生程度进行评价，但由于评价数据单一，难以公正客观地对深度学习发生的全过程进行精准评估。

（二）教育神经学：打开理解深度学习内隐机制“黑箱”的钥匙

从脑神经认知视角开展的教育教学研究，已成为当前探究人类内在学习过程与机制的重要领域。脑科学认为，人脑具有可塑性，人脑所具有的学习功能是将人与其他生物区别开来的关键标志。为此，脑神经科学和教育理论交叉融合而成的教育神经学，为深度探究学习者在学习中的大脑作用及活动机制指明了方向，也为研究深度学习的内隐发生过程提供了全新范式。已有研究表明，深度学习的发生机制依赖于人大脑神经的运行机制（斯普伦格，2005）。经典的“赫布理论”（Hebbian theory）也指出，大脑中的神经元相互联结以及突触增加，是促进学习者学习有效发生的主要原因。反之，有效的学习也会使大脑增添新的神经“联结”，并使原有脑内神经网络产生有效变化。值得指出的是，“学习发生在神经元产生联结之时，大脑中开展的深度学习越‘深’，神经元建立的联结亦越多”（张俊列，等，2020）。如果能够知道学习者大脑内神经网络结构的变化和突触数量，则可能揭示和评估学习者的学习“深度”。另外，大脑内包括杏仁核、海马、隔膜在内的“边缘系统”，也称为“情绪脑”。而深度学习通常也是指学习者积极主动地学习，也就意味着：有效的深度学习与学习者的情绪有很大关联，有活力、轻松、灵敏的求知欲是理想的深度学习状态。为此，对“情绪脑”的相关指标进行测量，可及时了解学习者在开展深度学习时的内在情绪变化，并帮助他们进行自我调节，这既有利于提高他们的学习效果，也与深度学习倡导的发展学习者高层次的情感与价值观相契合。

（三）具身认知：桥接理解深度学习的内在机制和外显表征

具身认知理论认为，由认知、身体和环境所形成的动态统一体是产生有效学习的前提，其也为探究学习者在学习中出现的内隐变化，提供了可观测、可表征的生理反应或变化。已有研究发现，个体生理体验和心理状态之间存在着强烈联系，而通过可观察的生理反应，则能推断个体的内隐心理状态及发生机制（张琪，等，2019）。另外，已有实验研究发现，学习者的脑电波幅度与认知负荷有关 （Sun，et al.，2017）；注视、眼跳等眼动特征，还可以反映学习者对学习材料的选择注意情况 （Dogusoy-Taylan，et al.，2014）；皮肤电和皮肤温度也与学习者的学业情绪密切有关（刘哲雨，等，2019）。值得提及的是，由于学习受个体自身内在反应变化和外部环境的双重刺激，当他们在具身学习环境中通过身体感知开展学习时，也能有效促进他们对科学概念的深度理解（黄红涛，等，2018）。比如，通过虚拟现实技术可构建有关探究问题的拟真环境，能够让学习者深度沉浸到学习情境中，并开展全身体器官深度参与的学习过程，从而促进深度学习的有效发生。

综合以上分析可知，在组织与实施深度学习时，应关注以下四个方面：其一，在发生情境方面，既要重视真实或虚实融合的情境搭建，或为学习者的学习过程提供技术性情境支架；同时，也要关注学习者与其他主客观环境的互动交互。其二，关注学习者对知识的有效提取、新知识与内在知识网络的整合，以及情境化知识的迁移应用。其三，关注学习者的内隐能力的调节，如，激发有效的内在学习动机、保持良好的学习情绪等。其四，注重学习者生理与心理状态的关联度，尤其是大脑在学习过程中的变化状况。此外，深度学习的组织与有效发生并非一蹴而就，应通过多模态数据表征和分析深度学习的具体发生阶段，进而体系化探明其有效发生的关键机制。

三、深度学习的发生机制模型与教学策略

“深度学习是如何发生的”，已成为教育科学、学习科学、神经认知等领域共同关注的研究主题。分析现有文献发现，有研究者从知识观视角入手分析（王明娣，2021），也有人利用社会认知网络研究深度学习的表征方式（冷静，等，2020），还有研究者将人工智能和信息加工模式相结合，以期望进一步探明深度学习的发生过程（安富海，2020）。然而，学习是人专有的、复杂的活动过程，涉及到外显行为、内隐心理认知及情绪情感变化，以及大脑神经认知活动等过程。为此，本文以认知心理学、教育神经学、具身认知等为理论基础，模仿计算机信息处理的基本原理，提出了深度学习发生的“信息输入—深度加工—学习生成”三个阶段，以信息加工理论中螺旋式学习阶段为分支流程，构建了深度学习可能存在的发生机制模型，并设计了涉及行为、认知、情感、交互、协作等学习状态指标，以便对深度学习的发生状况进行精准评价，如图1 所示。同时，在阐释机制的过程中，进一步指出了各阶段相关的教学策略，以指导教师设计有效支架，支持学生的深度学习活动。

图1 深度学习的发生机制模型

（一）信息输入阶段：深度学习情境构建和激发学习者图式

信息输入阶段主要是激发深度学习的发生，它涉及构建学习情境、创建知识情境、呈现学习刺激材料、激活学习者图式，以及与新知识建立联结等环节。

为了促进和激发学习者的深度学习，深度学习情境应能提供如下支持： 一是能提供丰富的情境化学习资源，以支持学习者主动、灵活地建构知识，达成深度学习中基础的“理解”层次。二是可依托物理环境和虚拟空间，为师生、生生之间的交流和协作提供场景支撑，实现接近或完全真实情境中的问题解决，促进高层次的“迁移”。三是要能支持学习过程中的多模态数据的采集，便于多维度评价学习者深度学习发生的程度。

图式是学习者进行学习时已有知识经验的网络化结构。康德（Kant，2016）指出，“新概念只有与人们已掌握的知识联系起来，才会变得有意义”。由此可见，图式对于理解学习的发生过程及其机制具有重要意义。一般而言，图式会影响学习者在学习过程中的注意选择、社会知觉和记忆保留，而且它还存在一定的内隐性。为此，在深度学习发生的起点，能否对学习者的图式进行精准化评估、干预与调节，将关系到深度学习活动是否会被有效激发。此外，多媒体学习理论也表明，在教学过程中灵活运用绘图和想象两种策略，也能激发学习者的已有图式，并促进深度学习的发生（Mayer，2014）。

（二）深度加工阶段：深度学习发生的八阶段及学习状态指标

1.不同深度学习阶段状况及对应学习状态指标

加涅的“学习八阶段”表明，深度学习的发生并非是一蹴而就及线性化呈现，而通常是以螺旋式形态迭代递进式发展。在学习的发生过程中，学习者的脑内信息形态如同计算机的信息处理过程，呈现出“输入—处理—编码—存储—提取”的变化。

（1）动机阶段：设置学习动机和情绪指标。其一，加涅认为，动机是引发学习的起始条件；自我决定理论也指出，学习者自我动机的强弱，会影响学习过程中的心理状态和行为。深度学习在此阶段能否有效发生，主要应关注学习者的内在动机能否被激发。其二，教育神经学指出，动机是所有情绪成分的综合反应，学习者的情绪是影响学习效果的重要因素，所以在深度学习初始阶段应被高度关注。为此，教师应关注学习者的已有经验与知识结构，并根据学习目标引导他们解决和学习目标相关的复杂性问题。此外，在教学过程中还要注意调动学习者的积极情绪，促使其对学习事件进行主动反应。

（2）领会阶段：设置注意选择指标。已有研究表明，人类学习时会严格筛选进入大脑的信息，以便保障大脑有效地编码和存储信息（周详，等，2006）。在深度学习的领会阶段，学习者已经激活了与学习目标相关的图式，并能根据自身认知网络，主动地从学习材料中有选择性地注意一些重要的学习信息，并忽略与学习目标无关的冗余信息，以实现高效学习过程的持续推进。在此阶段，教师可通过多种注意引导方式，引导学习者关注重要的学习内容。如，教师可在学生的多媒体学习中采用“线索效应”（Mayer，2005），即在学习材料中加入言语或视觉线索，引导他们快速定位或持续聚焦一些重要的知识内容。

（3）获得阶段：设置新知理解指标。理解是深度学习发生的基础，进入深度学习加工阶段的学习者会注意并适应外部环境刺激，并在大脑的工作记忆系统完成信息的编码与存储，从而实现知识的初步“理解”。其外在表现为学习者将新知和图式建立联系，能相对浅显地陈述所学知识并用其解决一些简单问题。在该阶段，教师可引导学习者采用“心理映像编码”“联想法”“概念图”等编码策略，帮助他们更好地理解新知。已有研究也表明，自我解释 （selfexplanation）作为“一种建设性或生成性的学习活动，可通过反省、产生推论和修正心理模型，来促进深入而有力的学习”。因此，教师还可设置自我解释问题来促进深度学习（Mayer，et al.，2005）。

（4）保持阶段：设置记忆保持指标。在该阶段，学习者大脑内的编码信息由短时记忆存储到长时记忆，实现学习者对所学知识的持续保留。这意味着，学习者已达到深度学习的“理解记忆”，且记忆不易丢失。其外在表现为学习者能完整复述学习内容，有效回答教师的提问或独立完成较高水平的习题作业。在教育实验中也常采用记忆保持问卷，来评估学习者对新知识的学习与掌握效果。

（5）回忆阶段：设置知识内化指标。相关研究表明，知识网状结构的生成是深度学习发生的重要落脚点。在此阶段应重视以下两点：其一，学习者将新知内容纳入原有知识结构中（同化或顺应），并在解决问题时能实现快速提取。其二，现有知识结构与原有结构在内化过程中产生“冲突”时，学习者能进行批判性的思考，并尝试解决此类复杂性问题。就该阶段而言，教师可利用有声思维法（think-aloud protocol），以学生在学习过程中的眼动数据作为刺激回忆物（stimulated recall），激发学生对当时情况的反思，以促进学习者对知识的内化与回忆。

（6）概括阶段：设置学习迁移指标。该阶段强调学习者在不同情境下知识的迁移与运用。此时，一方面，学习者对所学知识已有一定的批判性思考，形成了个人的知识结构体系，并能灵活运用这些知识解决真实情境中的问题；另一方面，学习者则能在实际问题解决过程中，反向检验、补充与完善自身的知识结构。由于此阶段出现的问题大多来自现实环境，且具有一定的社会复杂性，学习者个体或学习小组不容易设计全面性的解决方案，需要教师在学习者开展的头脑风暴等学习过程中，提供引导性学习支架。

（7）作业阶段：设置学习评价指标。学习者在以上阶段主要进行学习的内部加工，而在此阶段则通过作业反应与评价来检验学习掌握情况。对学习者的作业评价反馈，可帮助他们查漏补缺，完善自身知识体系，同时为后续反思提供依据。由于单一的作业评价无法全面评价学习者的整体表现，随着以大数据为代表的数据采集技术的快速发展，伴随式评价可作为一种全新的评价模式，给予可解释的循证性参考依据，把脉学习过程，提供及时而有效的学习反馈（钱旭升，2018）。

（8）反馈阶段：设置自我反思指标。反思是实现深度学习有效激励机制（Svensson，1977）。一方面，学习者应善于从反思中发现学习中的不足并及时修正；另一方面，通过自评判断是否达成学习期望，并强化学习动机，可为后续学习提供支持。在该阶段，教师可以运用哈顿等人（Hatton，et al.，1995）提出的“学生反思能力的评估框架”（包括描述性写作、描述性反思、对话性反思、批判性反思四类），对学生反思进行评估和及时反馈。

2.贯穿整个深度学习的过程性学习状态指标

本文将贯穿全过程的学习状态指标，按学习主体进行划分。其一，从个体角度来看，过程性学习状态主要涉及投入度、自我调节、持久度和认知负荷四个学习指标。已有研究表明，有意义的学习离不开高度持久的学习投入（Renninger，et al.，2015），学习投入不仅受学习者自身身心状态影响，更容易被外部环境的刺激所塑造。自我调节能力是一种个体积极调整自身心理状态以适应环境，在整个深度学习发生过程中与学习投入相辅相成。由于碎片化学习难以引发学习者的深层思考，而且深度学习的发生需要由内至外持久的变化，所以，对学习者学习持久度的监测，也能从侧面反映学习的发生程度。此外，认知负荷理论认为，平衡认知投入和负荷是深度学习发生的关键（Merrill，et al.，2008）。为此，学习者的认知负荷也是常用以评估他们深度学习发生程度的关键指标。其二，从实践共同体角度来看，过程性学习状态主要涉及协作交流和交互两个指标。在SDL 定义的深度学习能力中，人际领域的团队协作和有效沟通均强调群体学习的重要性，这也是衡量学习者深度学习状态的重要指标（高洁，等，2015）。上述的过程性学习状态指标之间并非相互独立，而是可以共同表征与揭示深度学习的发生过程。

（三）学习生成阶段：外显与内隐学习活动的综合性产出

从上述深度学加工阶段可以发现，问题产生及解决始终贯穿于整个深度学习过程。而由于深度学习结果有显性和隐性之分（付亦宁，2021），所以，可借鉴冰山模型来分析与研究深度学习的学习生成阶段。

“冰山”的显性部分，为知识理解和问题解决两部分，可以通过学习者的外显行为、情绪变化、作业表现等方式较容易地观察。而隐藏在“冰山”下的部分，主要涉及到内在知识网络的重构、高阶思维和创新能力的提升，这些内隐的变化和升华，难以简单观察。其中，知识网络的重构是学习者原有知识网络在经历“新知理解—批判性思考—迁移检验”后形成的内在认知结果。而学习者高阶思维和创新能力的提升，则强调学习者在个体学习或群体学习中通过协作和交互解决复杂的实际问题，这也是通过深度学习促进人的发展之价值所在。

四、深度学习的多模态数据测评框架

（一）深度学习的多模态数据表征

从多种理论视域审现深度学习，有助于理解以多模态数据表征深度学习的发生，以及更加精准、客观的评价深度学习效果之意义。

其一，教育神经学认为，人脑的可塑性是人进行学习活动的前提，深度学习的发生与人脑的内部变化息息相关。在深度学习的过程中，学习者的知识习得主要依赖于大脑记忆系统中神经元之间的“联结”和“重组”，但难以被客观监测的学习情绪，也会对大脑的学习活动形成影响。这意味着，在客观、精准、科学地评估学习者的深度学习发生过程与学习效果时，不仅需要依赖学习者主观表述的问卷量表等传统的测量方式，更需要加入正电子发射断层成像（PET）、功能磁共振成像（fMRI）、脑电图（EEG）、事件相关电位（ERP）、脑磁图（MEG）等生理数据测量技术，以深入搜集与分析学习者的大脑活动数据，从而更加客观地挖掘学习深度及其内在变化。

其二，从具身认知理论的角度来看，学习者的感官、躯体动作、心电、血压、激素分泌等生物传感数据，同样可以用于分析、刻画学习活跃状态和投入程度等。

其三，从认知心理学的角度来看，深度学习与“知识理解”和“记忆复述”为主的浅层学习不同，其涉及到难以观察的内部信息加工机制和过程，纸笔考试等传统的单模态数据，无法对其进行分析与测评。还必须采集和综合分析其他维度的学习数据，才能更客观地反映学习过程的内隐变化。

值得强调的是，多模态学习分析展现了应用多模态数据表征深度学习的可行性。比如，谢勒等人（Scherer，et al.，2012） 提出利用多模态学习分析方法，让计算机自动分析学习者在学习活动中的多模态数据，以更加精准地了解学习者的学习活动过程；安巴迪等人（Ambady，et al.，1993）将学习者的学习视频“切片”，并量化他们的肢体与非语言行为，以评估学习者的期末成绩。为了便于体系化的、以多模态数据表征与评估深度学习，本文构建了可用于表征与评估深度学习的多模态数据结构图，如图2 所示。此图中的多模态数据，大致来源于以下两方面。

其一，来自学习者个体的数据。一是通过自我调查报告、访谈问卷等采集到的主观性评估数据，可反映学习者对自己的学习方式、 学习过程所进行的主观判断。二是学习者个体的躯体数据、脑电波数据、眼动数据、皮肤、心率和血压、激素分泌等生物传感数据，主要用于客观监测学习者难以主观表达或有意识隐藏的认知、情绪、心理等状态。

其二，来自在线学习平台工具的数据。一是学习者在线学习平台中的日志数据，包括学习者档案、学习时长、互动次数、过程作业、反思日志等，这些数据能共同刻画学习者的完整学习路径。二是线下课堂教学中采集到的视频、语音和文本数据，以及教师观察的记录数据，可以直观评估学习者的学习参与度、投入度及表现。这些多模态数据经过迭加采集与耦合处理，有助于更深入地了解深度学习的发生过程及机制，便于全方位地测评深度学习的发生程度。

（二）深度学习发生的多模态数据测评框架

目前，对深度学习发生的评估方式，大致分为过程取向和结果取向。其中，过程取向的评价方法有问卷调查法（如，学习技能量表Approaches and Study Skills Inventory for Students，ASSIST） （Dolmans，et al.，2016）、眼动追踪（She，et al.，2009）等。结果取向的评价方法主要有概念图（Hay，et al.，2007）、开放性问题和任务（Tsaushu，et al.，2012）、学业成就（如，国际学习者评估项目Program for International Student Assessment，PISA）等。正如前述，深度学习与学习者内在认知加工过程息息相关，因此，单一的评价指标不仅数据不够精确，且容易受学习者主观控制，难以反映学习者内隐的认知活动。

随着可穿戴传感器、学习分析、评价测量算法等测评技术和统计算法的发展，一定程度上推进了客观数据用以促进的学习评价；并且评价学习数据源，也从在线平台和视频录制技术中的学习日志、 互动文本、学习表现等外显数据，进一步拓展为眼动、脑电、肢体、面部、激素分泌等内隐性生理数据（牟智佳，2020）。为此，基于以上所阐述的深度学习发生机制及多模态数据表征分析，本文基于学习者的自我评估数据、生物传感数据、线下课堂参与及在线学习平台数据相整合，提出了测评深度学习的多模态数据测评框架，可全方位、精准化地评估学习者深度学习的发生情况，如表1 所示。

阶段学习指标多模态数据直接观察主要是对学习者行为投入的观测，需要观察者亲临学习场地，在特定时间内评估学习者行为，适用于传统课堂教学澳大利亚学习者学习投入量表AUSSE（Coates, 2010）、课 堂 学 习投入量表SEM（Fredricks et al., 2011）、在线学习投入量表SED （Dixson, et al.,2010）、正性负性情绪量表PANAS（Watson, et al., 1988）等理论模型 韦伯认知的深度模型量表、 布鲁姆的认知目标分类等量表深度加工 过程性指标在线学习平台在线平台可采集学习者讨论区发帖次数、 师生交流情况、 学习持续程度、作业完成情况、考试结果等编码 课后访谈的文本加语音分析等脑电数据认知： 着重对人脑内部认知神经网络的监测（包括记忆、注意、知觉、动作、问题解决和心理意像等）注： 人脑认知功能需要多个脑区相互作用的结果，主要集中脑皮层区域情绪：着重对大脑“边缘系统”区域的监测知识理解和问题解决 行为数据 多以书面作业、课堂问题解决为主学习生成脑电数据 重点监测前额叶皮层 （尤其是额极），观察大脑“流”状态高阶思维和创新能力量表创造力测试TTCT- 语言/图形（Torrance, 1972）、 创造力水平评估K-DOCS（Kaufman, 2012）、心 流 体验评估FSS（Jackson, et al., 1996）

需要指出的是，表1 中所涉及到的数据指标，均与个体的学习行为、认知、情感和注意力的投入与调控情况有关。在学习过程中，行为是学习结果的保障，认知是图式同化与顺应变化的前提，情感影响学习过程表现，注意力是学习效率的反映。另外，通过采集与分析生理数据，可反映学习者内隐的学习机制，但通常主要采集的是大脑活动数据和眼动数据。所谓大脑活动数据，主要围绕大脑皮层、边缘系统、记忆通道和脑电波采集。脑科学中“赫布定律”认为，学习发生在人脑神经元联结之时，神经元联结数量的增加即为“突触发生”（synaptogenesis），突触数量的减少称之为“修剪”（pruning），突触的修剪或保留由已有经验决定。而利用PET 等技术可以研究脑突触变化情况，从而反映学习者的知识习得进展。

与此相应，学习者大脑各区的活动，也能从一定程度上反映学习者潜在的学习情况。例如，大脑的前额叶皮层既与高阶思维能力发展紧密相关，也和学习者的工作记忆、动机、注意力密切关联关；大脑边缘系统中杏仁核是影响学习者情绪调节的重要机制，杏仁核分泌的多巴胺、五羟色胺、三甲基锡等神经递质，与学习者的情绪调节相关；前扣带回（anterior cingulate cortex，ACC）作为大脑执行神经网络高阶调控，可以监测学习者学习过程中的自我调节情况；利用脑电图技术（EEG）可监测人脑中β 波，可以动态了解学习者的注意力情况的变化（郑旭东，等，2020a）。

此外，眼动数据指标通常可从以下四方面支持深度学习分析：（1）通过注视频次反映他们对学习材料熟悉程度、学习难易程度；（2）以眼睛注视时间挖掘学习者的学习加工情况；（3）以瞳孔直径变化分析学习者思考和深层的加工程度；（4）通过热力图反映学习者的兴趣区和视觉加工变化等。

五、深度学习测评面临的挑战与建议

（一）深度学习的多模态数据存在异质性差距

近年来，多模态数据支持的深度学习研究与实践，正在被更广泛的教育利益相关者所高度关注。由于多模态数据涉及到学习者的生理、文本、语音、视频，以及学习日志等各类数据。从理论上而言，通过全面分析这些数据，能够精准、客观和科学地认识到深度学习的有效发生过程。但事实上，这些数据存在一定的异质性差距，在分析和处理的过程中存在较大难度。目前，虽然可借助多模态数据平台进行融合建模分析，但是仍需要花费大量时间将数据转录编码，而且数据同步的时间跨度比较大。另外，当前对多模态数据的分析，大多是依赖专家的人工统计标注或是基于机器学习迭代完善的算法训练开展，还都存在着融合深度低、数据间的内在关联度不强、难以挖掘内隐性数据等问题，不能准确、全面地评价深度学习发生的程度。

虽然也有研究者提出，多模态学习分析（Multimodal Learning Analytics）能提供有效融合分析所需要的数据模态选择路径，进而挖掘具有价值的学习数据信息（吴永和，等，2021），但如何将其常态化并应用于深度学习的研究与实践，还需从两方面开展持续研究：其一，在多模态数据预处理时采用降维技术，以减少数据特征空间的维数，加大数据的相关性，删减冗余的、无效数据。其二，按需采用多模态融合技术（Multimodality Fusion Technology），从联合架构、协同架构和编解码器架构等方面，缩小语义子空间中的分布差距，从而保持模态特定语义的完整性（何俊，等，2020）。

（二）深度学习的多模态数据建模缺乏精确度

联合国教科文组织发布的《教育中的人工智能：可持续发展的挑战和机遇》（Artificial Intelligence in Education：Challengesand Opportunities for Sustainable Development）这一报告提出，高品质的教育数据系统，首先应保证数据的准确和可靠（Pedro，et al.，2019）。可见，精准、丰富和可靠的学习数据是开展多模态数据研究的基础，不可靠的数据不仅会使数据建模产生不正确的输出；更为严重的是，它会导致对深度学习的评估、实施及育人效果带来不良后果。初步采集的多模态数据除了存在大量无效数据，需要进行数据清洗之外，未来应着重从以下两方面，提高数据建模的精确性：其一，虽然面对不同模态数据有不同的建模方法、 分析方式，但要尽量减少人工注释，多使用计算机自动数据标注，避免因人的主观参与影响精准度。其二，应引入机器学习和深度学习算法，来优化建模精准度。例如，卡维莎等人（Kavitha，et al.，2018）基于卷积神经网络（Convolutional Neural Network，CNN） 和递归神经网络 （Recurrent Neural Networks，RNN）的深度学习算法，采集包含EEG 数据、脉搏率、血压、皮肤温度等生理数据，建立学习者行为预测模型，对学习者的认知发展进行预测，从而评估学习者深度学习发生的程度。

（三）多模态数据的深度学习评价比较困难

在先进的学习工具支撑下，以纸笔测验为主的传统评价，亟待向贯穿学习全过程、响应及时的数字化评估模型转型 （US Department of Education，2016）。可见，基于多模态数据的教学评价，将成为未来教育教学评价的主要思路与可行方式。但不可否认的是：一方面，基于多模态数据的深度学习评价模式还不够成熟；另一方面，以EEG、ECG、眼动仪等为代表的生理数据采集技术，受限于教育伦理、数据传输同步性差，以及难以长时间佩戴等原因，尚不能在日常的课堂教学中常态化应用。因此在未来，教育科学、神经认知科学、心理学、人工智能、统计算法等领域的专家和实践者，应该围绕“多模态数据的常态化采集与应用”开展跨学科、交叉性研究，利用机器学习等智能技术和先进的算法模型，推进基于多模态数据的伴随式评价，赋能学习者学习数据的全过程采集、分析，进而对学生的学习情况进行个性化精准反馈，帮助学生调整学习状态与学习策略，助力深度学习的有效发生，真正实现对深度学习发生程度的精准评估。

（四）学习数据安全和伦理规范难以全面保障

虽然将学习者生理行为和心理认知的多模态数据应用到深度学习中，能更全方位、深层次、精准化地揭示深度学习的发生机制并对其进行评价。但是，由于这些数据既可能包括学习者的个人隐私信息，也会涉及到教育研究伦理等道德规范问题。因此，如何在基于多模态数据有效驱动深度学习的研究与开展的同时，防范学习者数据泄露、保护学习者隐私、遵循教育及其研究伦理，值得深度学习研究者及实施者的广泛关注。为此，一方面，要持续完善教育及其研究伦理道德规范，构建面向教学实践的教育数据脱敏机制，明确教育主体的数据权力（王一岩，等，2021）。另外，相关研究人员也应提升自身数据收集、组织、分析、处理、评估等方面的能力，严格遵循教育数据伦理规范，合理合法地将学习者的学习数据应用到教育研究与实践中。另一方面，我国也应采用安全可靠的区块链等新技术，安全传输、存储涉及教育与学习的研究与实践数据，从而实现对相关研究进行后期的溯源验证（郑旭东，等，2020b）。