全息课堂:基于数字孪生的可视化三维学习空间新探*
2020-07-17李瑞丽
朱 珂 张 莹 李瑞丽
(1.河南师范大学 教育学部,河南新乡 453007;2.河南师范大学 河南省教育大数据分析与应用工程技术中心,河南新乡 453007)
一、引言
近年来,物联网、虚拟现实、人工智能、网络通信技术等的快速发展与应用,极大地改变了人们与世界相处的方式。随着5G 技术的不断成熟与应用,5G+AI+大数据的数智融合态势正在加快,使得数字孪生技术(DT,Digital Twin)、全息投影技术、XR 等的应用,正在变成现实并不断涌现。其在塑造人的感知方式变革的同时,也在重塑教与学空间和环境,并加速推进智能化教育的到来[1]。换言之,深度融合了物联网、XR、5G 及智能计算的数字孪生和全息技术,正赋能于教育,助推教育生态、教育环境的重构,引发学习空间、学习场域与学习方式的颠覆性变革。
搭载VR、AR、MR 等技术的全息技术,提供着更具多元化、拟真态、交互性的教学场景和多元体验。3D 全息投影增强了课堂教学中的虚幻效果和立体视觉感受,给学习者以身临其境的体验[2]。正如全球首个6G 报告中所提出的,通过XR 设备产生感知幻觉[3],利用实时捕捉或图形化身,实现着不同区域的人位于同一位置的体验;基于全息通信的XR 充分调动人体各类感官和情感,不断扩展并提升了人们的交互体验。当前,基于全息投影的直播课堂已经不断涌现[4,5],由于其具有的“面对面”全新交互、即时传输等特点,重新定义了“在场”,为教学活动的跨时空开展提供了可能。在未来,具有高保真仿真、可视化、动态交互和伴随生命全周期等特点的数字孪生技术[6],将其赋能于学习空间时,将塑造全新形态的学习环境,带来更为舒适的教与学体验。
特别是数字孪生技术,其在物理空间的基础上完成学习空间在虚拟世界的全映射,并实现了无缝融合,它与全息技术共同打造出全新的学习空间形态——可视化三维学习空间,以虚映实、以虚控实、虚以实用,不断优化教与学环境,提高学习者的具身化体验,满足学习者多元化学习场景的需求,使其在教育中的应用有了更多可能,并创造出难以亲历的场景教学。全息课堂作为虚拟学习空间进化发展的突破口,逐渐成为业界研究热点,它对于新技术赋能下的教与学情境变革与重构,具有重要的现实意义。
二、数字孪生与全息技术重构新型学习空间
学习空间(Learning Spaces)也称学习环境(Learning Environment),它是一个复杂、多学科交叉的研究领域,也是学校开展教学活动的重要基础设施[7]。麻省理工学院的Phillip D.Long 把学习空间界定为“要么是一间教室,要么是一个物理场所,它致力于为教学者和学习者提供面对面交流的空间[8]”。在信息技术的不断推动下,“学习空间重构”一直是教育改革探索中重点关注的问题之一。重构学习空间的研究目的,在于在数字化新技术的支撑下,对物理教学空间进行多样化的设计与改进,让环境为学习者的发展与成长注入新动力[9]。
随着技术发展赋能、教学活动需求和学习空间自身的不断拓展,学习空间的变革与发展,大致经历了以下三个阶段:
(1)以传统学校为依托的物理学习空间。依托于学校、呈现于课堂的传统物理学习空间,一般采用传统的总结性和形成性评价方式[10],以正式学习、教师教授为主,学习资源和学习途径较为单一。这是自工业革命以来,几百年标配的学习空间范式。
(2)技术赋能的网络学习空间。它以实现增强学习效果为目的[11],既可以独立于传统课堂、实现完全在线学习,也可以嵌入传统的学习空间。该学习空间包括教师、学生、服务终端和三个子空间部分——资源云服务、个人空间和教学空间[12],具有开放性、可控性和灵活性等特点。这是自计算机与网络诞生以后常见的学习空间样态。
(3)虚实融合的混合学习空间,这是当下应用较多的学习空间。该空间有三种存在形式:第一种是“物理+资源+社区”三位一体的学习空间,实现了学生学习、教师指导和系统分析的功能。第二种是依托于VR、AR 等技术打造的多样化虚拟学习系统,在智能化设备支持下实现半沉浸式学习[13]。第三种是基于5G 和全息投影技术的直播课堂,实现身处异地的“面对面”教学。
上述三个发展阶段或三种存在形式,呈现了技术赋能下学习空间层次的递增,不断增强着教与学相辅相成的功能。而融合了5G、XR、物联网、智能计算等技术于一体的数字孪生技术,正在构建一种全新态的学习空间——可视化三维学习空间,推动着学习空间朝着自动化、数据化、智能化的方向发展。
(一)数字孪生正重构新场域
1.数字孪生概述
数字孪生自提出至今,不同研究团队对其有着不同的理解和应用。NASA 提出的太空技术路线图(OCT)[14]、AFOSR 提出的机体数字孪生体[15]、陶飞团队提出的五维模型[16]以及褚乐阳团队提出的虚实共生[17],都从理论和实践层面对数字孪生技术进行了积极的探索。综合以上现有研究成果,我们将数字孪生定义为:利用物联网等技术在虚拟世界模拟创建一个与现实世界存在映射关系,且二者可以进行深度耦合的高仿真数字模型,即孪生体。在相关新技术的支持下,该孪生体能够实现对物理实体的驱动控制、运行维护和管理优化;同时,各孪生体间可进行交互式学习以改进决策,使之具有可视化数据、实时动态交互、智能化管理的特点。
2.数字孪生与全息映射空间
在现代通信网络(5G)、人工智能物联网(AIoT)、智能计算(人工智能、大数据、云/边缘计算、区块链)、XR 技术等的共同助推下,数字孪生技术在实现对物理世界全映射的同时,还可以构建起现实并不存在的场景以满足多样化的教学需求。全息技术则定义了映射空间系统中存储和显示方式,为学习者呈现更加立体直观的课堂体验和沉浸态学习方式。
(1)全息拓宽并赋能,实现具象表达。在映射空间中,不仅仅是活动需求中场景的全息,而且是全息可视化整个系统设备和数据,进而实施虚拟场景的部署与下放、维护全息课堂的设备(软硬件),完成映射课堂的指令,及时调整教学计划和指导这样一个全过程。全息课堂将成为基于数字孪生和全息技术创建的、可视化三维学习空间的一种具象化表现,以推动智能时代整个学习空间的优化与改进。
(2)“5G+AIoT”打通空间,深化融合。5G 不仅是移动技术的升级换代,而且也是AIoT 时代的关键性基础技术,它通过构建全链接的生态系统,切实赋能到学习空间中[18]。AIoT 作为5G 应用的关键领域,将促进物理空间和孪生空间的深度融合,创新物理世界与虚拟世界的交互方式,并升级空间系统。“5G+AIoT”通过顶层设计,向下打通映射空间,向上对接整个三维学习空间系统,促进并形成基于信息化、智能化和虚拟化的管理和全程动态服务,为三维学习空间系统建立了基础性通信功能。泛在智能感知系统则进行信息和数据的收集与反馈,使AI 深度赋能,配合算法部署到边缘,实现智能化识别、定位、监管等,从而对信息和数据即时进行获取、传输和处理[19]。
(3)“5G+XR+全息”,赋能沉浸式新生态。融合了虚拟现实(VR)、增强现实(AR)、混合现实(MR)等多种形式于一体的扩展现实(XR)技术,打破了虚实世界的界限;同时,赋予全息映射空间以更高层次的功能:第一,全面提升数据的可视化程度。可将课堂各项数据进行三维立体呈现,并把数字化信息转化为可视甚至可触、可感、具有真实感的信息或者物体,完成虚拟场景与全息课堂的映射,进而创设出一个虚实结合、人机交互的新场景。在5G 技术乃至未来6G 技术的支持下,这种新场景将呈现前所未有的新体验。第二,实现高品质的沉浸感。“XR+全息互动技术”还原真实的课堂互动,改善了在线学习的枯燥乏味、内容传输不完整等问题,实现师生在线实时互动。它在原有物理场景的基础上叠加创建虚拟场景,结合基础设备和服务,实现全息虚拟全交互的沉浸式体验。第三,通过实时数据的输入输出,在AI 和机器学习(ML)的作用下,实现对全息场景的自主孪生,不断完善XR 生态。
(二)映射空间的全新体验
映射空间孪生于物理空间却高于物理空间,映射空间中的运行数据,反映了物理空间要素的性能、状态和迭代优化。作为一个全虚拟的空间,在全息技术的支持下,实现一切数据的可视化和设备的三维显现。全息化作为映射空间的主要表达形式,在多种技术的支撑下,将实现动态交互下的一切皆全息、一切皆可视的全新体验;同时,在AI 和算法的支持下,对映射空间内容进行智能分析和决策。
1.双向动态交互
映射空间在AIoT 的支持下,随着现实世界的发展而不断变化,实现模型验证、关联和映射,以更好地模拟物理世界、刻画物理世界。比特流作为虚实世界交流的媒介,在虚实之间不断进行高速度、高保真的实时传输以进行交互,从而输出最优策略、提高效率和维护管理。5G 网络通信技术为实时传输提供动力,以实现映射空间中虚拟场景和教学主体的双向高互动,呈现三维立体、全息交互的“触手可及”。
2.全息化逼真呈现
全息化的特征主要表现在于将抽象内容具象化、具象内容可视化。第一,硬件设备和报告数据即时全息呈现。学习空间中的硬件设备性能和状态,通过全息技术投射到某一介质中,可对设备状态进行实时查看;同时,对整个孪生系统的故障和性能参数、指标进行三维展示。第二,全息投影将复杂难懂的逻辑空间内容以三维形式呈现,重塑更有趣味性和互动性的感知体验,深化人的具身认知。比如,通过三维的全息投影,认识人体构成、实施心脏手术实验等。第三,“5G 传输+全息成像技术”可实现异地面对面的互动交流,将虚拟教学场景和人员等通过全息投影技术投射在特定的场景中,可极大满足远程教育中无法实现的“在场”教学活动。
3.可视化与易沉浸
基于XR 和全息技术的自主探究环境、跨学科的学习空间,驱动着学生通过积极参与课堂展示、模拟实践、交流讨论等环节,自主协同构建内容,实现情景模拟,打破了情感认知障碍;并通过情感投入促进意义联系,实现共情。游戏化和叙事化的沉浸式虚拟场景,涉及了动作、人际、叙事因素和感官刺激,通过富有趣味的各种交互,推动着学生实现心理、感官、动作等各方面全方位沉浸式学习。逼真的三维场景将抽象的学习内容具象化,在抽象思维方法的指导下,透过现象溯本质,进而还原并加深认知[20],帮助学生掌握重点、提升协作,有效防止认知过载;同时,学习者直接与可视化内容构建联系,提高了注意力和学习兴趣,实现与复杂结构的交互。
4.智能分析和数据决策
第一,全息课堂的教学活动和师生的各项行为,均可被记录、分析、评价、总结和反馈,机器学习赋能自主孪生并对新的孪生体进行统一性验证。通过对采集信息的分析,总结出影响学生学习和教师教学的各种因素,提供改善措施或进行智能决策,以提高教学质量和效率。第二,分析学习空间中的运行数据,对于产生的各种数字化信息通过大数据和智能计算,实现对各项系统性能或行为进行预测,以便有效地进行故障检测和运行维护,及时解决问题,提高使用效率和各项软硬件系统的使用寿命及周期。
(三)从映射空间到全息课堂
全息课堂是可视化三维学习空间概念的细化和具象表达,实现了映射空间的全息化、全息空间的数据化,数据空间的智能化。即,它是由数字孪生和全息技术搭建的,包含整个物理和映射空间以及各种要素的新型教与学形态,并充分继承了映射空间可视化数据、实时交互、智能管理的特点。全息课堂并不是映射空间的过渡,而是其继承和发展。因此,具象化三维可视学习空间的全息课堂,将创新课堂交互的新模式、增强交互的无限可能。
1.未来互动课堂从平面呈现走向立体化
通过将立体化教学情境上传到云端进行建模、仿真、渲染,由映射空间感知并在边缘进行计算和优化,最终可在课堂中呈现出立体的内容:知识就仿佛从书中“跳”出来一样,教育内容被最大程度、全方位地显现,更加生动直观。在教育内容的立体化上,“触角科技公司”结合新一代虚拟现实人机交互技术,开发了实训仿真的教学平台[21],将教材的图文内容转换为三维图像,打造出“立体化互联网+教材”的模式,并与复旦大学、清华大学、北京大学、高等教育等多家出版社,联合开发数字教材和融合多种学科专业的终端APP。可以预见,数字孪生将基于此类应用,借助先进的技术支撑,与全息投影技术共同打造高度沉浸式、交互式的教与学模式。
2.5G+全息增强交互并带来无限可能
全息技术打破人为认知中虚拟世界与现实世界的界限,更加轻松直观地呈现虚拟场景,突破了时空限制,可实现瞬间“在场”与远程360 度“面对面”的交流。在虚拟现实和建模仿真技术的支持下,还可以构建表达新场景,激发学生在栩栩如生的环境作用下形成具身认知[22]。2019年,中国数字图书馆和影创科技公司共同合作,建设了以上海为中心的“XR 全球数字内容中心”[23],该中心基于5G、MR 等技术,通过3D 模型、虚拟人像等互动形式,实现虚拟世界与现实世界的完美融合,在对现有内容进行全息数字化呈现的同时,给用户带来更加立体、直观的全息新体验,可为远程教学空间提供无限交流的可能性。
三、数字孪生赋能下的全息课堂之构建
(一)全息课堂概述
英国科学家Dennis Gabor 发明了全息投影技术,并在其1948年所发表的文章中,正式提出了全息技术的概念[24]。简言之,全息投影技术利用干涉和衍射原理,记录并再现物体真实的三维图像[25]。综合全息投影技术的概念及其当前在课堂中的应用来看,全息技术可赋能课堂场景存储和全息投影功能,并在数字孪生的支持下,实现课堂中设备全息、环境全息和教学活动全息等多种功能。
我们认为,全息课堂不仅仅局限于一间教室或者一方教育场所,而是一种全数据、超智能化的“学习空间”,在人工智能(AI)和机器学习(ML)支持下,实现自动化管理。全息课堂重新定义了数据、环境、人员等对象的显现方式,在给学习者带来全新沉浸式体验的同时,赋能学习空间的存储与管理等功能,实现泛在全息可视及远程实时“在场”感与多元交互。
(二)全息课堂特征和应用形态
1.全息课堂的主要特征
(1)全虚拟。全息技术增加了视觉的真实感,以极其逼真的效果呈现出虚拟事物,如同是裸眼3D效果,让人身临其境。学习者只需要借助简单的终端设备,就可以实现学习、交流和实验。如今,全息投影技术不需要任何穿戴设备就可以实现与虚拟世界的交互。如,美国伊利诺伊州“大屠杀博物馆”创造的全息影院体验[26],通过全息系统保存大屠杀幸存者的故事,利用AI 等技术通过全息投影重现逝者,并为游客叙述“二战”期间的故事。在精心设计的环境布置、声音处理、舞台效果等烘托下,给人以双重增强的现实感和逼真的视觉效果。
(2)全交互。通过全息捕获与投影系统,实现实物的全息变焦捕捉与色彩重现[27],带来更强烈的现场感。特别是在远程直播教学中,师生、生生直接可以在5G 通信网络技术支持下,实现“面对面”地答疑、探讨等互动;教师可以根据终端随意的对同学进行提问,不仅可以通过语言、音调,还可以通过神态和微表情等进行交流,真正实现极具现场感的远程“在场”互动。全息课堂提供给学习者全虚拟的学习场景,只需要具体化的手势就可以实现人机即时交互[28];学习者可以像使用智能手机一样对场景进行各项操作。比如,多地可同时进行远程虚拟仿真实验,异地学生通过全息技术进行协同学习、同伴互助操作等。
(3)全动态。第一,内容动态更新。在人工智能、大数据等技术支持下,学习内容可实现动态的迭代优化,在满足教学和学习活动需要的同时,紧跟时代的步伐。第二,即时动态传输。传感系统布满整个全息课堂,活动开展和环境设备等信息被随时记录,即时传输到边缘端以数据的方式存储,并在算力赋能下,对课堂进行反馈,对云端进行更新优化;任何变化都被实时上传到云端,云端根据收到的信息对课堂备份、反馈和优化,以验证全息课堂的统一性。第三,空间开放流动。全息课堂是一个学习活动随时进行的开放性空间,在虚拟的“真实”世界中可对任何的学习内容进行操作;全息课堂还可根据需要即时变换场景,不断进行动态变换,以满足各学段、各类人群的需求。
2.应用形态表征
根据上述分析,基于多种技术支持的全息课堂,将带来全新的学习体验和教学功能,其主要表现在以下四个方面:预设实验,变革教学;高保真仿真,深化具身认知;自主孪生,强化教学;机器学习,拓宽评价(具体如表1所示)。
表1 全息课堂应用功能的表征
(三)全息课堂的技术构成框架
随着技术发展和教与学需求的攀升,基于泛在智能、高互动性的全息可视化学习空间,将成为未来学习空间变革的主流趋势。而全息课堂所涵盖的技术构成,也是众多技术的综合体,需要AI、智能计算、XR、5G 通信网络等的支持,如图1。
图1 全息课堂的技术构成框架
1.全息课堂的构建路径
全息可视化的学习空间可提供多情境、多学科混合的学习场景,组建全新的教学形态,并可根据学习或教学活动的需要,在最短时间内呈现相应的场景。所构建的虚拟场景从多维感官,给予学生充分的刺激,以弥补教育长期无法满足具身化体验的需求。全息课堂中的学习活动,也成为一种动态化的学习信息流。基于此,我们可通过以下逐次递进的路径,来构建全息课堂系统。
(1)路径一:创建平行体系,深化学习设计。数字孪生的一个特点就是创建出现实世界的全映射,构建与现实世界体系相伴的平行体系。现实体系与孪生体系就像DNA 的双链一样相生相伴,并呈现螺旋上升的结构,在算法与数据分析的助推下,使空间得到不断优化。在这个过程中,教师的职能就是为学习营造高效、轻松、愉快的环境,重点关注复杂的学习环境、学习过程和复杂学习环境中的学生数据分析;教师更多的是作为学习活动发生的设计者,在技术、工具和内容的支持下深化教与学设计,在孪生平行体系共同作用下,促进学习者学会深度学习和切实解决问题[29]。
(2)路径二:虚拟与现实的深度融合,创造无限交互。教学资源、通信技术和移动终端的结合,在一定程度上使多场景的泛在学习成为可能。但由于网络虚拟世界和现实世界目前还存在一定界限,不管是从心理距离还是实际距离,都阻碍着学习者实现深度沉浸以进行知识建构。即,不完全融合的虚实世界,让学习者频繁的进入、切换学习场景或叙事情境,可能带来冗余的认知负荷。而利用现有新技术可完成虚拟与现实的深度融合,尤其是在AIoT 支持下的数字孪生,充分利用传感系统实现动态实时传输、验证,弥合虚实交互的界限,使虚拟产生于现实并融于现实,创造无限交互,提供高沉浸感的学习场景,真正实现教育的连续性和学习的具身性。
(3)路径三:扩展多维刺激,增强环境的包容性。近期,Cell 杂志发表了一篇“对视觉表层的动态刺激,可在有视力障碍人群中产生形式视觉”的研究文章[30],即通过视觉皮质假体(VCP)绕过眼睛,可直接在脑海中呈现指定图像,形成对外部环境的感知。尽管目前这项研究仅通过刺激一小部分神经元实现简单的字母传递,但它拓宽了虚拟场景的用户范围,给虚拟环境增加了多维感官刺激的可能。未来的教育是趋向学生合作和自主学习的教育[31],全息可视化的学习空间所提供的多功能场景,为自助式的学习创设了良好条件,可以帮助有沟通障碍或者有自闭症的人组织语言、缓解拒绝与人沟通的情绪,在良性干预的情况下,更好地实现学习和治疗,进而训练其社交技能[32]。可见,通过即时实现多感官刺激,为全息态学习空间的使用提供了更多的可能性,进而增强其包容性。
此时,已是次日凌晨0时30分,当紧张的情绪刚刚舒缓下来,陈正副院长又接到了6号手术室内的电话,“孕40周试管婴儿,母亲为40岁高龄产妇,出现胎盘早剥,急诊手术需要护台……”他二话没说,又来到了6号手术室内参与到抢救护台工作中……
2.技术赋能的功能实现
按照技术的功能、特点和实现方式,主要有四个部分:虚拟场景的呈现、远程直播或录播教学、对系统数据的查看和存储。从全息课堂的功能来看,则表现为:场景全息、活动全息、系统全息和数据全息四个方面,进而实现教与学活动多场景变幻的需求,达成个性化适切服务目标,如表2所示。
表2 全息课堂功能实现以及关键技术
3.全息课堂的系统架构
全息课堂采用云服务中心和边缘部署,利用大宽带、高速低延的5G 技术优势,提供无线、易管、共享的可移动的虚拟教育服务。主要采用虚拟的“云—边—端”三位一体模式,即云服务中心、边缘计算和终端访问服务,如图2所示。具体来说,它通过将课程内容上传到边缘进行虚拟设计、渲染、编码、计算、优化,重新编码并统一上传到云服务中心,保存在资源层和应用层。用户通过终端等设备对其进行访问,调取应用层的场景进行学习。AI 算法通过智能识别和学习历史数据所表达的经验,通过边缘分析、预测和验证学习者体验,在实现深度沉浸学习的同时,对全息课堂进行有序的管理、分析和决策。
图2 全息课堂的系统架构
(四)全息课堂的应用案例
当前,虽然全息技术在教育领域的研究非常广泛,但从业界的发展现状来看,全息技术在课堂中的应用还处于初步探索阶段,实践场景也以非正式学习和定制学习的形式呈现。为此,我们选取Fernando Salvetti 和Barbara Bertagni 所开发的增强现实实验室(e-REAL)作为案例,进行简要的应用分析。
e-REAL 是一款基于增强现实技术的强大工具、基于视觉叙事技术开发的简短案例并予以呈现,它将物理世界的各要素集成在一个多维感官的场景中。该实验室提供了多种学科的实训场景,让学习者完全沉浸在这样一个以三维或全息形式呈现的拟真场景中,并可以通过自然的手势与内容互动,不受穿戴设备的限制,适用于探究学习、能力培训、创客活动、互动教育娱乐和沉浸式体验[33]。可以说,它重新定义了STEM 教育和技能培训。
图3 e-REAL 互动全息图(上)和仿真虚拟场景(下)
传统的翻转课堂虽然有很多优点,但是随着技术的发展和多元化学习的需求,已经不能满足于现在课堂对于可视化、定制化、游戏化等的新要求。而不断改进并技术优化中的e-REAL,提供了强大的全息投影、高互动功能等,允许远程在线交互和知识共享(如图3所示[34])。它基于交互式协作设计,鼓励学生利用日常技术解决现实问题。学生在这样的实验室场景中,可以多维度、多方式进行体验、互动,实现沉浸式的学习;极大地激发学习者的学习动机,强化了知识建构,提高认知技能。e-REAL 的优势在于:第一是通过虚拟交互,清晰可视的完成实验和任务;第二是教师可进行差异化教学,指导学生解决具体问题,即,对学生的每一个互动或步骤进行有效反馈。e-REAL 的学习管理系统提供了管理测试过程的方法,为每一个学习者提供个性化的测试方案,提高学习者的学习效率;对于效率低的学生,则提供个性化指导。
近年来,e-REAL 使用数字孪生技术创建出一个虚拟态教室,映射学生的现实生活情况;同时,可与导师、同学、专家等进行交流互动。在e-REAL 创设的环境中,要求学习者结合现实的事实或技术,不断练习处理各种情况和问题;要求学习者要像该领域中的专家一样,练习思考和行为[35]。
四、全息课堂的应用场域分析
全息课堂颠覆了以往人们对学习环境、课堂教学的认知。作为可视化三维学习空间的主要表现形式,全息课堂横向上逐步扩大孪生内容的维度,推动学习空间的变革;纵向上增强了教育情景的丰富性、趣味性和智能化。
(一)技术赋能环境拓展
1.不断升华学习空间
近年来,物联网、人工智能、虚拟现实等技术在教育领域的应用越来越广泛,尤其是《教育信息化2.0 行动计划》的发布,对于技术与教育活动全流程的融合提出了更高要求[36]。人们对教育的研究,也从1.0 时代基础网络平台、设施的建立和使用,转向2.0时代“互联网+教育”“人工智能+教育”等领域的融合创新[37]。未来课堂不局限于某一间教室或者一间实验室,它是一种虚实融合的学习空间,搭载全息和数字孪生技术,构造起全新的教与学生态环境。使学习者沉浸其中,实时交互,以多种方式进行知识的主动建构,提升认知与学习效果。这样的学习空间在数字孪生技术发展的不断加持上,可实现完美融合的孪生系统和服务系统,可进行超自动化的智能管理。相比传统的学习场景,孪生学习空间系统的各项功能,将达到质的飞越,实现学习空间领域的不断升华。
2.模糊家校界限
在传统理念上,“学校”和“家”有着明显的界限。“学校”即学习的场所,包含学习发生的各要素:教师、学习伙伴、图书馆、软硬件配套设施等,给学习者提供良好的学习条件和学习资源;而“家”在人们认知中是一个轻松愉悦的环境。究其原因大致有:首先,第一印象所形成固定思维。大多数人一开始接触的学校,单单从环境氛围和建设构造上便与家有着明显的区别,随着学段递增,学习者身处的学校虽在变化,但学校的构造仿佛有固定的模式一般,日积月累形成对学校认知的固定思维;其次,脱离学校等于脱离学习发生的大部分支持要素。从疫情期间网络教学的相关调查数据显示,即使学习者可以在家实现通过网课直播、录播学习,但仍存在学习内在动机激发不足、学习效果不佳等问题。
孪生课堂或学校的出现,将打破认知和条件限制,拓宽资源获取、学习的方式,突破现实环境的局限,模糊家校观念。第一,实体学校环境实现了颠覆性变化,学校的各项设计更加符合环境心理学、生理学和人体工程学等需要进行架构,营造出色彩丰富、活泼、没有特别界限的虚实相伴环境,学生既可以学习,也可以休闲娱乐。第二,高速低延的5G 技术,使得融合了全息技术和数字孪生技术的虚拟场景实现成为可能,即使身处异地,也可以随时“到场”提取学习要素(资源、环境、指导等),开展教与学活动。当面对突发情况或因某些不可抗拒因素不能正常返校时,教职人员也能按照教学计划开展教学活动。此外,还可帮助教师开展即使是在学校也不能进行的实验,比如,爆炸实验、拱桥抗压实验等。第三,数字孪生课堂或学校在新技术的支持下,可以满足教学活动开展的智能化管理需求,实现轻量化、自动化,极大减轻家校融合的数据联通和管理负荷。
(二)环境赋能教育变革
1.打造全新的创客教育
创客教育活动中协作设计过程十分复杂,传统的创客教育需要参与者在同一时空讨论交流、集思广益,以便在保证设计质量的同时实现效率最大化。传统创客空间中理想的协同设计是基于每位创客的想法,通过讨论、整合、叠加做出具体的可行性指导意见和相关依据等,让创意变为现实。但由于创客们知识起点、观念、知识积累等的不同,在进行资源整合和使用时,易产生赘余的争论。异地历史数据的收集分析、资源的存取、即时的交流等,也存在一定的困难。而在数字孪生和全息技术支持下,创客教育可突破现实条件的限制,弥补远程沟通和历史数据中存在的存储、分析和保护等方面的鸿沟,使得协同设计更具有专业性和可靠性。
首先,数字孪生技术支持下的创客教育,将打造新型的创客空间——孪生创客空间,它具有足够的条件支持和技术支撑,实现信息技术与课程的深度融合。数字孪生技术将物理和在线的创客空间进行无缝融合,全息技术将3D 影像共同投射到同一位置的特定场景中,帮助创客成员完成协作设计,即它打破了传统的物理性局限,突破了实验条件,实现3A模式(Anywhere,Anytime,Anything)。即,它可以在任何时间、任何地方开展任何创客教育活动。同时,基于数字孪生的创客教育,可极大发掘学习者的创造力,达到更高层次的学习体验和教育效果[38]。
其次,孪生系统动态交互的特点,使得系统数据一直处于实时变化的状态,可以对活动过程进行实时的分析、总结、评价,进而更好地反馈以优化整个创客教育和创客学习过程。数据系统通过对学生课内外所产生的数据进行分析,为每一个学生提供一个具象化的评价表,并智能化生成反馈建议。并可针对不同的学生提供不同的方案,不仅简化了教学过程,还能提供个性化教育。针对复杂环境中的低适应性学生,孪生体可陪伴学习者整个周期。将来,学生自身的孪生体可与其他存在联系,亦可独立其之外,并伴随学习者一生。在实现泛在学习的同时,为学习者形成相关学习或职业规划,实现人力资源的合理分配。
2.助推特定内容的教育
(1)应用特定情境的反馈促进人的思维发展。随着学习方式和社会需求多样化的发展,越来越多的学习活动采用游戏化的设计方式,在实现学生“做中学”的同时,更多的是对学生行为进行观察,来判定其心理素质、性格特征和学习风格等。在孪生技术支持下,数据呈现与运算将更具有说服力。比如,利用游戏来测试用户行为和推进体验(如图4):当游戏者进入场景,在秘钥开启场景的那一刻,触发“非玩家角色”(Non-Player Character,NPC)。游戏者的思想通过脑机接口,开始对环境进行操控,脑机接口自动将感应到的脑波传导到游戏中,转换为游戏语言并触发剧情发展。随着游戏者选择、生理数据变化和意念转变,将引发无数种剧情。服务器则将整个的游戏数据和用户的脑波等各项生理变化,及时进行分析、评价和总结并反馈给服务和交互平台。在整个游戏的过程中,后台管理人员可以将整个游戏的三维场景进行全息投影,分别以第一视角和第三视角,观察学生即游戏者个人形象的孪生体及其在游戏中的表现。当游戏结束后,会生成数据报告,被允许的后台管理人员可以根据需要提取数据和历史信息等。设置这样的游戏化特定学习场景,可以有效地预测行为驱动,进而了解学习者的应变力、反应力、意志力和社会生存力等,也有助于人的思维能力等发展。
图4 基于数字孪生的情景测试
(2)在生物临床实验测试中具有独特的价值。生物临床试验研究,不能逾越伦理。尤其对于一些遗传病和感染病等可通过母胎传播的疾病,通过改变胚胎的DNA 序列是否可以进行治疗的研究,是不能接受的。比如,改变HIV 患者结合产生的新生儿胚胎的DNA 序列,使其具有自主免疫艾滋病能力的实验。同时,目前的生物临床试验,必然会牺牲一些生物,比如,高校的生物和医疗实验等,一定程度上损害了生物的健康乃至生命。但是,如果在虚拟的场景中进行这项工作,通过全息技术,使用全息手术设备,对数字化的生物孪生体进行操作,分析并预测实验结果,可大大优化实验。同时,还可以通过终端设备进行协同合作或指导学生等,如图5所示[39]。
五、总结与展望
图5 融合全息、数字孪生的多维医疗实验
数字孪生技术作为智能时代的新技术代表产物,在XR、5G、AIoT 等技术的加持下,正在重塑人类的感知与体验方式。全息技术也在改变人们与世界相处的形态,推动着沉浸式体验学习方式的发展。我们通过对数字孪生技术和全息技术的概念、特点及相关应用进行梳理与分析,尝试将数字孪生与全息技术融入到课堂中,初步勾勒出了全息课堂的系统框架,通过“创建平行体系”“虚实融合”“扩展刺激”,逐次递进,呈现出一种无边界、全虚拟、高互动的高质量教学新形态,并实现了场景全息、活动全息、系统全息和数据全息等功能。
我们认为,全息课堂中多场景、多学科、多资源与多互动的特点,将满足当前多元化学习的需求,推动着未来课堂朝着创新动力机制、迁移时空维度、拓宽评价流程、集成多元技术的方向发展[40],并给未来课堂带来无限可能:
(1)超平行交互体系赋能创新动力,全息课堂中所有的学生、教师、教学设施及其他参与教学的对象,都将成为创新课堂教育、变革课堂教学的动力。
(2)技术促进课堂的变迁。全息课堂的构建为未来教育改革注入新动力,将助推实现孪生空间、孪生学校甚至孪生城市,塑造一种泛在无线智能、随时协作、自动化管理的“云端一体”学习环境。
(3)数据溯源,科学评价。全息课堂中所创建的复杂虚拟环境,可多维刺激、拓宽评价维度。比如,通过脑机接口,观察复杂学习环境中学生的各项数据的变化,通过终端反馈使教师调整计划,开展个性化指导。
值得指出的是,目前我们对于全息课堂的探究,仅是基于数字孪生技术+全息可视化学习空间的初步研究。但从技术发展(尤其是AI 2.0)、应用场景、学习变迁、学习者需求等方面来审视,全息课堂无疑是未来教与学模式、空间构建的重要研究领域。特别是随着高速、低延的通信网络的快速发展与普及,尤其是未来5G 走向6G 的大趋势下,基于XR+AI+大数据等新技术的叠加与赋能,未来需要结合多种技术特性和教与学新需求,对全息课堂的运行机制、框架、功能及教学内容、教学设计等,进行更为深入的构建与解析。从而为智能时代的教与学变革,为未来全新学习场域中的学习方式、过程及评价等的重构,提供具有可操作性的研究成果。