职业教育课堂教学变革：基于多模态数据驱动的深度学习研究

马云飞　岳婷燕　狄璇

特约主持人：郑旭东（江苏师范大学）

主持人按语：21世纪以来，信息技术对教育发展的革命性影响已成为社会共识，特别是近年来，以物联网、大数据、云计算和人工智能等为代表的新一代信息技术的爆发式发展与应用，给我国职业教育的转型升级带来了机遇与挑战。在此背景下，本专题围绕当前我国职业教育教学中广受关注的课堂教学转型、实训教学智能化升级和1+X证书制度试点三个重要领域，分别尝试应用多模态数据技术、数字孪生技术及区块链技术，来探索与破解这些领域在试点或转型过程中的痛点与难点，以期为新一代信息技术引领与支撑下的职业教育转型发展，以及培养面向智能产业和智能制造的高素质技术技能人才提供借鉴与参考。

摘 要：随着人工智能等新兴技术的不断涌现与广泛应用，未来职业教育的课堂教学已全面转向培养高素质的创新型应用人才，旨在培养学生的高阶思维和创新实践能力的深度学习，正逐渐成为促进职业教育课堂教学变革的新理念、新方式。为此，从教学目标、教学策略、教学过程、教学评价四个环节构建了面向深度学习的教学设计框架，并基于伴随性评价理念和多模态数据技术，设计了多维度评估学生深度学习情况的数据采集指标，可支持多模态数据驱动的深度学习实现，但仍需要在未来不断加强智能空间的构建、提升教师的数字胜任力与数据素养、促进课堂教学与实训实操对接、确保多模态数据的准确和安全。

关键词：职业教育;课堂教学;多模态数据;深度学习;伴随式评价

基金项目：江苏师范大学优秀博士人才引进科研支持项目“促进协作学习有效发生的共享调节机制研究”（项目编号：19XSRX002）;2020年江苏省研究生培养创新工程研究生科研与实践创新计划项目“多模态数据驱动的深度学习发生机制及实证研究”（项目编号：KYCX20_2109）

作者简介：马云飞，女，江苏师范大学智慧教育学院2019级硕士研究生，主要研究方向为多模态数据、深度学习;岳婷燕（通訊作者），女，江苏师范大学教育科学学院助教，主要研究方向为教育信息化、教师数字化发展;狄璇，女，江苏师范大学智慧教育学院2020级硕士研究生，主要研究方向为多模态数据、深度学习。

中图分类号：G710              文献标识码：A              文章编号：1674-7747（2020）12-0017-09

职业教育是我国教育体系的重要组成部分，是培养应用型和技术型人才的主要阵地。2019年2月，国务院印发的《中国教育现代化2035》提出，要“加强创新人才特别是拔尖创新人才的培养，加大应用型、复合型、技术技能型人才培养比重”[1]。因此，如何培养具有实践创新能力的高技术技能人才，已成为职业教育变革的重要课题。

然而，在我国当前的职业教育教学中，既存在如同工厂流水线生产的统一化教学方式问题，也存在教师教学偏重学生的技术技能培养，而轻视对学生深度理解专业知识及其创新实践能力培养的现象。要破除这些困境，急需“对症下药”，阻止学生在课堂教学中被动接受知识“灌输”和对教师技能的简易“模仿”现象发生。有研究发现，高阶思维和实践创新能力的提升都是基于深度学习而发生的，而大数据、人工智能等新兴智能技术也为深度学习的开展提供了核心技术支持。因此，面向深度学习的课堂教学不失为智能时代变革职业教育及其课堂教学的有效方式。为此，本研究将对智能技术和多模态数据支持下的深度学习展开分析，以期为我国职业教育课堂教学变革提供借鉴与参考。

一、深度学习：智能时代职业教育教学变革的重要取向

（一）深度学习及其发展历程

深度学习研究的兴起是人们自觉回应知识经济、终身教育、优质教育等理念对教育发展要求的结果[2]。1976年，Ference Marton 和Roger Saljo针对以机械记忆为代表的浅层学习提出了深度学习理念[3]，认为深度学习是指学习者在知识理解的基础上，能够主动将所学知识纳入到已有的内在知识框架，以及能迁移运用到现实情境以解决实际问题。深度学习与浅层学习的差异性体现于学习动机、目标、内容、方式、过程、结果和评价，具体如表1所示。

本世纪以来，深度学习越来越为国际社会和教育研究者所关注，围绕深度学习开展的项目实践也越来越常见。由美国威廉和弗洛拉·休利特基金会（The William and Flora Hewlett Foundation）发起、美国研究院（American Insitutes for Research）组织实施的SDL（Study of Deeper Learning： Opportunities and Outcomes）项目将深度学习能力定义为学生胜任21世纪工作和公民生活所必须具备的能力，这一能力能让学生灵活掌握和理解学科知识，以及应用这些知识去解决课堂和未来工作中的问题[4]。2012年，加拿大维多利亚大学联合众多院校开展了面向深度学习新教学法（New Pedagogies for Deep Learning）的全球性活动，以期寻求深度学习变革的方案[5]。2015年，美国还专门发布了一份有关深度学习的报告，将深度学习视为21世纪教育的重要政策方向[6]。我国教育部也曾实施“深度学习”教学改进项目，并在多个地方进行试点实验。综上可见，如何促进深度学习和提升学生的深度学习能力，已成为全球教育改革发展的重要课题。

（二）面向深度学习的职业教育课堂教学框架

深度学习是全新教学理念与学习方式变革的标志。本研究从教学目标、教学策略、教学过程、教学评价四个环节，以培养具有高阶思维和实践创新能力的学生为最终目的，设计了面向深度学习的职业教育课堂教学框架，具体如图1所示。

1.深度学习的教学目标。教学目标设计直接指引着教学活动的内容方向和评价基准。我国主流的教学目标从“基本知识和基本技能的掌握”到“知识、情感、动作技能”，基本上都指向学生的“核心素养”，这说明关注人的全面发展已成为我国教学目标的主要价值取向。深度学习与我国教育对学生发展的最终价值诉求相符。因此，面向深度学习的职业教育课堂教学总目标要以深度学习为导向，分层小目标的确定则可依据SDL项目划分的深度学习能力，即在认知领域要培养学生掌握核心学科知识、发展其批判性思维和复杂问题解决的能力;在人际领域要培养学生的团队协作、有效沟通能力;在个人领域层面要培养他们的学会学习能力及学习毅力。

2.灵活多样的教学策略。职业教育课堂相较于其他教育课堂而言，更注重学生所学的知识和技能是否可迁移至真实情境中。本框架根据职业教育特点，提出了促进深度学习的四个课堂教学策略。（1）项目式学习策略。项目式学习基于真实环境而展开，将课堂的书面知识和现实世界的真实问题连接起来，以促进学生的相关技能习得和迁移学习，进而产生深度学习。（2）任务驱动和问题导向相结合。任务驱动可以激发学生的内在学习动力，使他们自发学习核心学科知识;而真实问题导向则将课堂所学与现实情境相联系，不仅能提升学生的问题解决能力，也有利于学生将所学知识快速自然地迁移运用至真实情境中。（3）协作问题解决策略。该策略从学习中的问题出发，通过社会性交互、对话、协商等协作的方式，使学生达成对某个问题的共识，形成问题解决方案。（4）自主探究和小组合作相结合。自主探究和小组合作的结合让每位学生都能主动参与学习过程，使他们在学习共同体中实现综合发展。

3.延伸课堂的教学过程。本框架的教学过程借鉴“翻转课堂”模式，依托职教云、Moodle等多种网络教学平台，突破时空限制，延伸课堂教学，使深度学习贯穿所有教学环节。延伸课堂的教学过程可分为以下四个阶段。

（1）课前知识理解阶段。此阶段以学生对知识的获取和理解为主要目的，包括以下三个主要环节。其一，教师为学生提供與学习目标相对应的学习资源，并发布与真实情境相关的学习任务，激发学生的内在学习动机。其二，学生一方面基于教学平台独立自主地完成知识探究活动，另一方面则以小组形式运用所学知识开展协作学习活动，并在此过程中互相提出问题，以及通过交流协商形成问题解决方案，实现所学知识的巩固与情境化发展。其三，学生以小组形式完成学习任务并形成可视化学习报告，在课堂中向师生汇报。

（2）课中内化迁移阶段。线下课堂的最大特点是支持师生面对面交流，故此阶段强调师生深度互动，教师作为课堂活动的参与者帮助学生积极建构知识。此阶段包括以下三个主要环节。其一，教师发布与真实情境相关联的学习项目，并为学生提供必需的学习资源。学习项目应具备延续性和实践性，与后续的实训实操相关。其二，学生通过小组合作和自主探究等多种活动方式推进学习项目的完成，教师或企业专家可以基于学生的实际需求，为学生提供必要的指导与支持。其三，学习任务完成后，协作小组可将学习成果进行展示，教师和企业专家则可对学生的学习成果进行点评，结合学情和情境引导学生迁移拓展。此外，在整个教学过程中，师生可以组成学习共同体，建立平等且共同配合的关系;同时，要求学生在每次课堂学习后，都应开展生生互评和学生自评，以及最后的总结性教学评价。

（3）课后反思深化阶段。反思是促进深度学习的重要手段与有效策略。学生课后应及时回顾自身学习情况，填写反思日记。此外，由于学生的反思具有主观性和浅层化，可能会有意无意地忽略内隐数据，教师应该作为学生反思的协助者，采用有声思维等方法，向学生询问与课堂相关的问题，让学生立刻进行口头回答，以提高学生反思的精确性。

（4）实训实践创新阶段。实训教学作为提升高技能人才培养质量的有效方法，能为理论教学提供真实性、先进性与开放性并存的实践锻炼机会，有助于摆脱传统职业教育“重理论、轻实践”的束缚，提高学生的动手操作能力和创造性解决问题的能力。其一，学生应通过实践检验课堂所学知识，纠正错误的知识理解，完善认知，并达成对知识的深度理解;其二，学生应通过多次的实践操作，解决课堂学习过程中被忽略的深层次问题，提升自身的复杂问题解决能力，实现技术技能的优化提高。

4.伴随式的教学评价。传统职业教育以理论考试成绩和技能习得情况评价学生，这种单一指标的评价无法挖掘每个学生的潜能，并且评价固化可能会导致学生的学习倦怠。面向深度学习的课堂教学注重过程化、多维度、个性化的教学评价。伴随式评价是一种追踪连续学习过程并实现“全程动态”的评价，主张及时采集、分析学习过程数据，关注数据对教学过程的指导、反馈作用[7]。随着大数据、人工智能、区块链等高新技术的爆发式发展，基于大规模实时收集、精准分析学生的过程性学习数据的伴随式评价已成为可能。因此，在今后的职业教育课堂教学中，教师可通过智能教学平台和课堂管理平台采集学生的资源学习行为、问题提出、互动交流、任务完成等过程性数据，以实现对学生进行多维度建模与画像，及时评估他们的学习表现，诊断其学习质量，发挥评价的导向和激励功能。

二、课堂重构：多模态数据驱动的深度学习实现

（一）何为多模态数据

Laurence Nigay等指出，多模态的“多（multi）”即为多样多源（more than one），“模态（modal）”有“形态（modality）”和“模式（mode）”两层含义，其中，形态指传递或获取信息的通信信道类型，模式指提取或传达意义的方式的状态[8]。多模态数据的建模可以追溯至上世纪90年代，Nalini Ambady通过对学生的学习录像进行“切片”，量化他们的肢体动作等非语言行为，以实现对学生期末成绩的预测[9]。目前，随着数据采集技术的发展，多模态更趋向于对内隐数据的挖掘，如通过多模态生物识别技术和生理测试手段（如EEG、fMRI、ERP等）获取的人体大脑血流、脑电波、眼动行为、皮肤电、心率和血压等生理指标数据[10]。与来自对课堂与学习环境的人工观察和感悟等得到的传统教育数据相比，其采集与分析过程更为客观、可靠，对评估与推动深度学习极具价值。

（二）面向深度学习的多模态数据采集指标

面向深度学习的课堂教学框架包括学习路径、课堂投入、课后反思及实训实践四个维度。为了收集和分析能够反映学生学习过程的伴随性数据，笔者对以上四个维度进行了多模态数据采集指标设计，以期监测及促进学生的深度学习，具体如图2所示。

1.贯穿全程的学习路径追踪。学习路径包括路径起点、路径过程和路径终点，是构成对学生精准建模与画像的基础，可直观反映学习者真实的学习过程、学习状态，以及评估学生深度学习能力的习得情况，涉及到以下三个数据采集指标。一是学习风格指标。其主要目的是评估学生的学习风格，及时向学生推送个性化资源，激发学生的内在学习动机。该指标的数据来源包括学生自我学习风格评估量表、教师课堂观察等。二是学习行为指标。其主要目的是形成学生的学习行为序列，以此有效分析学生的风格和偏好，评估学生在学习过程中深度学习的发生情况。该指标的数据以教学平台产生的学生学习数据为主，包括学生浏览资源的次数、学习时长、讨论交流、课程评价、课堂任务完成情况等行为数据。三是学习效果指标。其主要目的是多样化评估学生的课堂学习效果，挖掘学生的内在潜能和创新能力，防止对学生的评价固化。另外，学习效果指标数据涉及到课堂中每个环节的小组评价和学生评价等过程性评价数据，以及学习成绩和教师评价等总结性评价数据。

2.课堂学习投入度的动态评估。学生的学习投入度对课程持续性、学生成绩及其未来毕业至关重要，也被认为是促进深度学习的前提。通过智能技术采集的学生学习投入度的数据指标涉及以下三个方面。一是课堂活跃度指标。学生的参与意愿是深度学习发生的先导动力，而该指标能反映学生课堂参与的意愿和参与情绪。另外，该指标数据的采集可利用教室摄像头记录的上课视频，提取学生主动提出问题、努力完成任务等相关片段，并对其话语、面部和肢体行为等数据进行分析，以实现对学生课堂活跃度的评估。二是课堂专注度指标。该指标更趋向于对内隐生理数据的挖掘，强调及时捕捉学生的学习状态波动。三是课堂互动度指标。由于师生、生生间的互动是促进深度学习发生的重要机制，故可采用该指标分析学生的交流合作能力。在分析课堂互动度指标数据时，可借助基于人工智能的情感分析和文本分析等技术，提取学生参与互动的次数和情绪，从而实现评估学生课堂互动的目的。

3.课后及时的多维度反思。人脑深度学习与机器深度学习的最大差别在于人脑具有反思力和创造力[11]。为了便于采集学生在深度学习后的反思数据，本文采用Neville Hatton和David Smith提出的“评价学生反思能力的评估框架”[12]，具体如图3所示。

基于这一框架的深度学习反思数据来源主要包括以下两个方面。其一，教师可基于以上反思框架编制相关反思报告，由学生填写，并形成文本数据。其二，由于学生的自我反思具有主观性，教师可作为反思参与者，采用有声思维法帮助学生快速回忆，并将学生回忆形成的文本數据作为一种数据源。有声思维法是将问题作为回顾刺激，并使大脑思维有声化，且及时转存为文本记录在档，在此过程中学生难以隐藏内心想法，因而该数据也相对客观准确。

4.真实环境下的实训成果检验。实训教学在职业教育中占有重要地位，在培养学生的专业技能和实践操作能力方面有着不可替代的作用。实训教学的数据采集包括如下两个指标。其一，学生实训成绩指标，主要评估学生在较真实环境下的知识迁移运用能力。该指标数据的采集可借助实训基地的虚拟现实（Virtual Reality）/增强现实（Augmented Reality）技术和大数据技术，在学生进行实操时全过程追踪采集和精准化记录，而且这种伴随式的数据采集方式可避免由单一的成绩评价造成的评价数据不准确等问题。其二，专家评估指标，主要评估学生的实训成果是否符合实训目标及是否具有创新性。该指标数据的采集可以通过现场或在线等形式，采集企业师傅和专家对学生实训全程的评价数据以及对实训产品的评价数据。

三、变革建议：未来职业教育课堂教学的发展路径

（一）构建面向深度学习的智能空间，实时采集过程性数据

学习数据是多模态技术驱动深度学习开展的基础，而这些多模态学习数据的采集离不开智能环境的支持。为此，职业院校急需构建面向深度学习的智能空间，其主要分为在线和线下两种形式。其一，在线智能教学平台的构建可通过职教云、Moodle等课堂管理平台，采集课堂学生的资源使用、任务完成、讨论互动和学习评价等过程性行为数据，并以此实现对学生的学习过程进行建模与画像。其二，针对线下物理空间的构建，职业院校可对传统教室进行智能化改造，通过智能摄像头等实时采集师生的课堂教学活动数据，并运用这些实际情境中的多模态数据，实现对学生课堂学习与交互行为的精准挖掘。

（二）关注教师数字胜任力的发展，提升教师的数据素养

面向深度学习的职业教育课堂改革，需要一支高素质、专业化、创新型教师队伍的支持。为此，未来我国职业教育教师的培养应重点关注以下三个方面。其一，教师应提高自身数字胜任力。这要求教师能灵活管理和运用数字技术进行实践教学;同时，要求教师作为辅助者，帮助学生使用数字技术进行高效协作和创造性问题解决。此外，职业院校应加快建设智能时代的网络智能学习体系，加快推动技术与教学的深度融合，为教师提供智能教学环境。其二，教师应培养和发展持续性学习能力。一方面，教师要树立终身学习的理念，面向市场所需，提升学习主动性;另一方面，职业院校应联合企业开展教师职业技能培训，让教师亲自参与企业产品生产过程，与企业专家协同合作，为教师的技能优化创新提供发展平台。其三，教师应提升自身数据素养。教师的数据素养是教师灵活运用多模态技术驱动深度学习课堂的重要基础，这要求教师主动对教育教学中产生的数据进行收集、处理、分析与应用，以提升自身的数据素养。

（三）课堂与实训对接，培养具有实践创新能力的学生

职业教育的特殊性要求课堂教学的最终导向是职业岗位和市场需求，因而深度学习既应发生在课堂教学中，也应在实习实训过程中得到延伸和发展，以帮助学生将知识和技能迁移应用到实际问题解决中，加深学生的深度理解，提升学生的实践和创新能力。其一，职业院校应重视与企业合作制订面向市场需求的创新型人才培养方案，鼓励学生发展多种技能，深化落实1+X证书制度。企业师傅、专家可灵活介入到课堂与实训中，对学生的学习与实践进行实时指导，引导学生挖掘自身潜能。其二，职业院校应重视利用多模态技术，全程追踪学生在深度学习和实习实训中的认知、生理及行为数据，并通过多模态数据分析技术，及时推送满足学生差异化需求的学习资源。其三，职业院校应加大实训基地建设的资金投入，搭建虚拟实训环境和仿真平台，创建具有沉浸性、交互性、想象性的虚拟环境，提升学生的学习临场感和体验性，进而激发学生的创新能力。

（四）重视多模态课堂数据的准确性和安全性，避免数据滥用

职业院校在进行多模态数据采集和分析时应重视以下两个方面。一是数据采集的准确性。高品质的教育数据系统首先应该具备数据的准确性，而不准确的数据可能会造成教师对学生深度学习发生情况的误判，从而提供错误反馈，不利于学生调节后续学习状态。为此，在数据采集中，一方面，职业院校要提高对脑电、眼动等具有内隐与客观特征的生理数据采集的精度;另一方面，在数据采集时应遵循教育伦理，不可过度搜集与使用数据，同时也能避免数据冗余和清洗困难。二是数据存储与使用的安全性。一方面，数据流通各端口的人员都应该提高数据安全意识，保障教育数据与师生隐私数据及信息的安全;另一方面，职业院校要积极采用高度安全的区块链技术，将多模态教育数据上链，以确保这些数据的安全可控和溯源追责。

参考文献：

[1]新华社.中共中央、国务院印发《中国教育现代化2035》[EB/OL].（2019-02-23）[2020-07-17].http：//www. gov.cn/zhengce/2019-02/23/content_5367987.htm.

[2]卜彩丽，冯晓晓，张宝辉.深度学习的概念、策略、效果及其启示——美国深度学习项目（SDL）的解读与分析[J]. 远程教育杂志，2016，34（5）：75-82.

[3] MARTON  F， S?lj?  R. On Qualitative Ddifferences in Learning： Outcome and Process[J]. British Journal of Educational Psychology，1976，46（1）：4-11.

[4] The William and Flora Hewlett Foundation. Deeper Learning Strategic Plan Summary Education Program [EB/OL].[2020-11-27].http：//www.hewlett.org/wp-content/ uploads/2016/09/Education_Deeper_Learning_Strategy.pdf.

[5] NPDL. New Pedagogies for Deep Learning[EB/OL]. [2020-11-27].http：//cus0201clsprod.blob.core.windows.net/uploads/dlh/trdoc/npdl-dll-2017-2g-deep-learning-design/08865c4c-ca2a-e711-80c4-00155d546fea/npdl%20dll%202017%20-%202g%20-%20deep%20learning%20design.pdf.

[6] National Association of State Boards of Education.Deeper Learning： Policies for a 21st Education[EB/OL].[2020-11-27].http：//www.nasbe.org/education-leader/deeper- learning-policies-for-a-21st-education/.

[7]李芒，蔡旻君.課堂评价亟需信息技术的支持[J].中国电化教育，2016（1）：63-70.

[8] NIGAY L， COUTAZ J. A Design Space for Multimodal Systems：Concurrent Processing and Data Fusion[C]//Proceedings of the INTERACT93 and CHI93 Conference on Human Factors in Computing Systems. New York：ACM，1993： 172-178.

[9] AMBADY N， ROSENTHAL R. Half a Minute： Predicting Teacher Evaluations from Thin Slices of Nonverbal Behavior and Physical Attractiveness[J]. Journal of Personality and Social Psychology，1993，64（3）：431.

[10]郑旭东，马云飞.脑电图技术的教育研究图景与趋势——基于2000—2019年国际文献的知识图谱分析[J].现代远程教育研究，2020，32（4）：36-47.

[11]刘哲雨，郝晓鑫，曾菲，等.反思影响深度学习的实证研究——兼论人类深度学习对机器深度学习的启示[J].现代远程教育研究，2019（1）：87-95.

[12] HATTON N，SMITH D. Reflection in Teacher Education：Towards Definition and Implementation[J]. Teaching & Teacher Education，1995，11（1）：33-49.

[責任编辑   贺文瑾]

The Reform of Classroom Teaching in Vocational Education： A Study of Deep Learning Supported by Multimodal Data

MA Yunfei， YUE Tingyan， Di Xuan

Abstract： With the continuous emergence and wide application of emerging technologies such as artificial intelligence， the classroom teaching of Vocational Education in the future has turned to the cultivation of high-quality innovative applied talents， aiming at cultivating students' high-level thinking and innovative practical ability. It is gradually becoming a new concept and new way to promote the classroom teaching reform of vocational education. Therefore， the teaching design framework for deep learning is constructed from four aspects of teaching objectives， teaching strategies， teaching process and teaching evaluation. Based on the concept of accompanying assessment and multimodal data technology， a data acquisition index for multi-dimensional evaluation of students' deep learning is designed， which can support the realization of multi-modal data-driven deep learning. In the future， we still need to strengthen the construction of intelligent space， improve teachers' digital competence and data literacy， and promote the docking of classroom teaching and practical training， so as to ensure the accuracy and safety of multimodal data.

Key words： vocational education; classroom teaching; multimodal data; deep learning; accompanying assessment