“虚拟现实+触觉反馈”对学习效率的促进机制研究*——基于2010-2021年的元分析
2021-10-12翟雪松孙玉琏潘俊君
翟雪松 孙玉琏 沈 阳 潘俊君
(1.浙江大学 教育学院,浙江杭州 310058;2.安徽建筑大学 电子与信息工程学院,安徽合肥 230009;3.北京师范大学 中国基础教育质量监测协同创新中心,北京 100875;4.北京航空航天大学 虚拟现实技术与系统国家重点实验室,北京 100191)
一、引言
在实现了教育普惠型的发展目标后,“十四五”规划明确提出了发展更高质量教育的要求和方向。其中,不断丰富数字学习资源和革新知识传递方式,成为更高质量教育的抓手[1]。教育部等六部门在《关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见》中,对智慧教学设施和智慧科研设施提出:依托感知交互、仿真实验等装备,打造生动直观形象的新课堂,以及利用信息技术辅助模拟实验过程等任务[2]。近年来,虚拟现实(Virtual Reality,VR)依托图像处理技术,让平面的学习资源和数字空间走向了三维立体的呈现形式,优化了数字学习环境,在一定程度上解决了一些投入成本高和实验环境复杂的教育场景搭建问题,具有广泛的应用需求和价值[3]。然而,当VR 被运用到常规课堂教学时,却面临着课堂沉浸体验未能达到理想效果、缺少教学交互、反馈不及时等问题[4]。反思VR 在教育方面的应用,目前大多局限于观影模式,且交互方式只能通过外部遥控或键盘与虚拟学习环境进行连接,无法提供学习者的具身体验和反馈。即当VR 课堂停留在数字化演示时,并未从根本上改变学习者的参与度问题,且现实世界与虚拟世界的信息无法进行有效连接,易造成学习反馈不及时和学习过程中思维不连贯等问题,使得学生对学习对象的深度体验存有缺失[5]。
触觉反馈(Haptics) 技术作为一项人机感知技术,能够通过触觉反馈传感器,在人机交互的过程中提供双向的即时反馈,有效地弥合了VR 在教学应用中的感知缺陷。因而,VR 与Haptics 的结合日益成为教育研究者和实践者探索的重要领域[6]。近年来,国内外学者相继开展了一系列实证研究,结论证明:Haptics 与VR 的有效结合,能够带给学习者身心合一的深度心流体验,提升学习者在体验活动中的专注力,从而实现VR 教育应用的沉浸性和交互性[7]。然而,任何的教育技术应用手段都必须基于恰当的教学应用场景。“虚拟现实+触觉反馈”(VR+Haptics)作为一种新兴的教学工具和手段,能否提高以及如何提高学习者的学习效率,亟需系统性实证结论来指导未来教学。为此,本研究基于心流理论(Flow Theory)和具身认知理论(Embodied Cognition Theory),采用了元分析研究方法,挖掘了国内外现有的VR+Haptics 在教育中的实证研究,旨在为该技术在教学中的有效性以及影响机制,寻找理论基础和实践依据。
二、研究现状与目的
(一)虚拟现实在教育应用中的挑战
虚拟现实是创建三维图像表征的计算机仿真系统,能够有效模拟学习者在自然环境中体验到的视、听、动等行为。依据不同的交互介质,曼达尔(S.Mandal) 等人将VR 分为非沉浸式桌面虚拟现实、半沉浸式虚拟现实和沉浸式虚拟现实三大类[8]。非沉浸式虚拟现实是指依赖屏幕的观影模式,仅能够提供有图像反馈带来的视觉沉浸感; 而半沉浸式虚拟现实通过头部跟踪和运动设备,能够从空间上提供给学习者一定的临场感; 沉浸式虚拟现实系统指用户通过插件设备的辅助,利用听觉、触觉及其他非视觉技术,来增强其沉浸式体验。本研究中的VR+Haptics就是属于沉浸式虚拟现实的一种。信息计算学者曾将VR 的特征概括为3I,即:沉浸性(Immersion)、交互性(Interaction)以及构想性(Imagination)[9]。纵观VR 课堂的应用情况,VR 技术的3I 特征,也恰好是传统VR 教学过程中面临的三大挑战。换言之,非沉浸式和半沉浸式VR 应用模式,并未达到理想的教学效果。
首先,现有虚拟课堂尚未提供高质量的沉浸效果。因为,非沉浸和半沉浸VR 技术是一种“弱”VR技术,主要是将知识的呈现方式从传统平面呈现转向三维立体呈现,虽然学习者感受到了知识的全景传播形式,但与“沉浸式”的虚拟学习还有一定的距离[10]。换言之,学习者仍处于被动接受知识的状态,并未真正参与到教学活动中,更没有进入知识建构的过程。因此,仅依赖单一的视觉通道,无法实现多通道感官刺激所带来的沉浸感受。
其次,学习者与虚拟环境之间的交互性不强。高质量的教育场景需要借助触觉体验和运动知觉,给学习者以主动嫁接客观世界的能力[11]。比如,物理教学中力的作用力和反作用力定律,医学教育中对于缝合手术的力度掌握,都是以触觉为基础、视听觉为辅助的交互式教学场景。当前,弱VR 技术下的学习环境无法提供给学习者实时“动”的交互,也无法进行连贯的有效反馈,学习者与虚拟环境之间的自然交互性也不够强。
最后,虽然诸多教育者试图通过VR 为学习者打造一个探究式的虚拟学习环境,但弱虚拟环境可提供给学习者的构想空间较为局限[12]。罗恒等人将其归因为VR 教学中的低沉浸性和弱交互性,致使学习者在创作、设计、实验的过程中受到较大限制;同时,也让学习者在探索能力和创造性培养方面遇到挑战[13]。也有学者认为,不同于被动的知识接受,创造式的学习需要学习者准确判断自身所处的能力层次,以及预期在虚拟环境中所能达到的创造阶段[14]。可见,VR 环境的构想性需要学习者勇于踏出从感知到认知这一步,对待知识能够从被动接受到主动接触,最后才能达成信任性交往。
(二)VR+Haptics 理论基础及意义
触觉反馈是一项人机感知技术,在人机交互中,计算机将使用者的输入触觉信息发送给Haptics 设备,在收到系统发送的信号后,再传递给使用者[15]。由于Haptics 提供了双向信息流,能够使学习者更大程度地沉浸在虚拟环境中。因此,Haptics 在当前的远程学习、交互式教学和计算机模拟领域,愈发承担着重要的角色[16]。当Haptics 与VR 通过共定位技术(Co-localization)相结合时,虚拟模型的动态变化会以力的形式传递给学习者,使其感受到物体间的交互效果,产生接触真实物体的感知。使用Haptics 设备系统,可以在很大程度上改善目前VR 技术反馈不及时、沉浸不持久等缺陷,给予学习者足够的构想空间,真正实现VR 技术所追求的无缝式交互目标。
心流理论认为,当个体沉浸在活动体验中达到忘我的状态时,不仅学习效率会有极大提高,也会拥有极大的满足感和幸福感[17]。心流体验的达成需要两个基础条件:一是有即时反馈的活动。对学习者而言,反馈即指对感官使用所期待的结果,及时的反馈有助于学习者进入沉浸状态。将VR 和Haptics 二者结合,能够对学习结果预期与心理预期产生切实有效的联结,帮助学习者更好地达到心流状态[18]。二是学习者要对这项活动有主控感。在桌面虚拟现实和半沉浸虚拟现实环境下,学习者虽然可以通过点击鼠标和键盘来操纵屏幕上的图片,但当学习者想要进一步接近并多角度了解学习对象时,就受到了限制[19]。Haptics 不仅能够在学习者和虚拟学习环境之间搭建信息交互的桥梁,更能帮助学习者实现主动控制的意向,并根据自身意愿来改变虚拟环境的呈现方式。
具身认知理论是心智、身体和环境的一体论,身体各个部位的活动方式决定了个人的思维方式,各类认知活动都受身体的动作、感受及活动方式的制约,强调身体在认知过程中的重要作用[20]。具身认知理论是整合学习科学、人机交互和学习环境的研究,使学习者对学习发生机制的探讨,从“离身性”向“具身性”转变。随着VR 技术以及体感交互等新型人机交互技术的普及,具身认知理论在教育教学中的应用,具有强大的环境保障和技术支持[21]。VR+Haptics凭借其沉浸的特性,使学习者获得如同真实环境一般的认知体验,它构建了一个完全拟真的认知环境,将虚拟数字化信息或场景叠加到真实的环境中,改变了物理世界中知识的呈现状态。此外,VR+Haptics所构成的学习环境,也能够扩展学习者对认知内容的感知形式和感知范围,增加学习者对学习内容感知的维度。它不仅可以促进学习者认知情境的延伸,还可以帮助学习者构建虚拟的认知世界,提供多感官的认知资源,以丰富认知交互环境。
目前,有关VR+Haptics 能否提高学习效率的研究,呈现出多种复杂的结论。例如,萨拉戈萨-西凯罗斯(J.Zaragoza-Siqueiros)等人在一项关于正颌外科教学中发现,对于新手外科医生来说,VR+Haptics 的教学模式会显著提升学习者的学习效率[22]。而张文娟等人在一项心理运动能力测试中则发现: 受试者在VR+Haptics 学习环境中效率偏低[23]。因此,教育技术界亟需对这一研究问题进行元分析,以充分揭示VR+Haptics 促进学习效率的有效性及相关影响因素。一方面,VR+Haptics 尚未大规模引入常规课堂,现有研究均属于小样本的实验性课堂,实验结果可能存在一定的偶然性或偏差;另一方面,由于VR+Haptics 技术性较强,有关其在教育领域的量化研究还处于初探阶段。就当前国内外已有的VR+Haptics在教育领域的研究来看,大多数研究仍属于理论性研究,少有研究通过实验对VR+Haptics 在教育方面产生的影响以及原因作详细阐述。我们认为,通过元分析,则可以对“相同目的”“相互独立”的多个研究,进行定量的综合分析,可将多个小样本整合成较大的样本,使实验结果更具普适性。
本研究的目的主要是解决以下三个问题:(1)相比于VR 观影模式和线下交互课程,VR+Haptics 能否促进学习效率的提升? (2)在VR+Haptics 环境下,学习效率会受到哪些调节效应的影响?(3)根据研究结论,VR+Haptics 可以在未来应用于哪些教育场景?我们希望通过VR+Haptics 在教育领域的元分析,能大致勾勒出有效的教育应用场景,并对其可能面临的机遇和挑战进行阐述,以寻求今后VR+Haptics 在教学应用中提升学习效率的有效途径。
三、数据来源及筛选原则
(一)数据来源
本研究遵循格拉斯(G.Glass) 的元分析评估程序,具体包括以下四个步骤:(1)收集VR+Haptics 的相关研究;(2)对所搜集的研究进行特征值编码;(3)通过元分析计算效应量;(4)分析调节变量对效应量的影响[24]。关键词搜索的中文数据来自中国知网,英文数据来源于Web of Science(WoS)和Scopus,时间跨度均为2010年6月到2021年6月。中文文献检索采用四组关键词:(1)虚拟现实相关关键词,包括虚拟现实、虚拟学习环境、虚拟教室、混合现实和增强现实;(2)触觉相关关键词,包括触觉、力反馈和触觉反馈;(3)学习效率相关关键词,包括教育、学习、学习时间、效率、模拟、培训。英文文献检索采用的四组关键词:(1)VR 相关关键词,包括“virtual reality”“virtual learning environment”“virtual classrooms”“mixed reality”和“augmented reality”;(2)Haptics 相关关键词,包括“haptics”“haptic feedback”“haptic”和“tactile”;(3)学习效率相关关键词,包括“education”“learning”“learning outcome” “learning time” “achievement” “simulation”和“training”。布尔运算符“AND”用于整合两组关键词,“OR”运算符用于连接集合内的关键词。
(二)筛选标准
在本研究的元分析中,我们根据PRISMA 文献筛选标准,对所选入的文献研究采用详细的纳入和排除的准则[25](如图1 所示)。综合以上筛选标准,3698 篇学术文献符合关键词检索标准。其中,英文文献2519 篇,中文文献1179 篇。在阅读了摘要之后,对这些文献是否应该被纳入本文的元分析做出了判断,删除了2916 篇文献,最终20 篇文献被纳入当前的元分析研究,参与的学习者共445 名。由于部分文献做了多项研究,最终进入元分析的案例共42 个。
(三)编码规则
依据何克抗教授提出的一般教学系统设计过程中的基本要素,本研究的元分析编码包括描述性变量和调节变量两个部分。描述性变量包括标题、作者信息、样本量、发表年份和教学模式;调节变量包括教学目标、样本水平和评价方式[26]。通过对纳入分析的文献阅读归类后,将教学模式分为实体课堂、传统VR 课堂和VR+Haptics 课堂三类; 教学目标分为知识传递和技能训练两类; 样本水平分为学习者对实验课程有、无先前学习经验两类;评价方式通过即时测试和延迟测试,着重分析短期有效和长期有效,调节变量编码如表1 所示。此外,本研究利用Cohen Kappa 一致性检验,评估了入选论文编码过程的信度,三名VR 教育的专家对编码进行了评估,Kappa可信度为0.83,反映编码信度较高。
表1 元分析调节变量编码
四、研究结论
(一)异质性和出版偏倚检验
在本研究中,纳入元分析的文献共20 篇,由于其中11 篇文献同时报告了多种不同实验设计的对照结果,因此,纳入元分析的研究数据具有多个效应值[27]。经阅读筛选后,最终共有42 个效应值参与元分析。本研究采用I2统计量来定义异质性,即I2<25%(低)、25%<=I2<=75%(中)和I2>75%(高)表示不同程度的异质性[28]。若异质性较低(I2<50%),选择固定效应模型;反之,选择随机效应模型(I2>50%)。在本研究中,实验组的教学环境均为VR+Haptics,对照组包括实体课堂、无Haptics 的传统VR 课堂。关于学习效率的数据,采用了学习者在保证正确率相当的情况下,完成同一任务所需时间的标准化平均差(SMD)来表示;同时,与95%的置信区间(CI)关联起来。元分析的所有合并效应值如表2 所示,样本异质性检验结果显示,Q=958.297,P=0.000<0.10,I2=95.721。此数据表明,样本间存在很大的异质性,故选择随机效应模型。
由于出版偏倚容易对元分析的结果产生较大影响,会使元分析产生偏倚的结论,故在进行元分析的过程中,需要对所筛选文献的出版偏倚进行检验[29]。本研究采用漏斗图与贝格(Begg)的秩相关法检验出版偏倚,使用元分析软件Comprehensive Meta Analysis(CMA)得出漏斗图,当研究不存在出版偏倚时,散点将形成一个对称的倒置漏斗状。如图2 所示,漏斗图中数据以-0.728 为对称轴分布均匀,说明用于此元分析过程的出版偏倚可以接受。Begg 检验结果Z 的值大小为1.752<1.96,P=0.08>0.05,进一步表明其出版偏倚不明显。
(二)VR+Haptics 对提升学习者效率的整体效应
本研究的目的一,是为了探究VR+Haptics 对学习者的学习效率是否具有提升作用,从表2 的随机效应模型我们可以看出,元分析的合并有效值为-1.126(P=0.003<0.01),达到了统计学显著水平。遵循Cohen界定的效应值标准:效应值的数值小于0.2,则为弱效应; 效应值的数值介于0.2 至0.8 之间,则为中等效应;效应值的数值大于0.8,则为强效应[30]。从表2 的数据来看,随机模型效应值的绝对值为1.126。因此,从整体效应而言,基于VR+Haptics 技术的教学对学习者学习效率的提升,具有较大程度的积极影响。
表2 VR+Haptics 对学习效率的整体影响
从表3 的元分析结果可知,实验组相比于无Haptics 的传统VR 课堂的合并效应值为-1.516,达到0.001 水平下显著(P=0.000<0.001)。而实验组相比实体课堂的合并有效值为-0.443,未达到统计显著水平(P=0.408>0.05),组间效应显著(QBET=-1.105,P=0.001)。元分析的结果表明,相对于传统VR 课堂,实验组的促进作用十分显著; 而当对照组是实体课堂时,促进作用没达到统计学上的显著性。相对于无Haptics 的VR 环境,Haptics 的加入不仅能够给予学习者实时的动态反馈,还能够为学习者提供视、听、触觉一体化的信息体验通道,为学习者创设生动且逼真的学习情境;同时,VR+Haptics 还可以创造虚拟或想象的空间,刺激学习者对未发生事物的想象和思考,促进有意义学习的发生。然而,VR+Haptics 作为一项新兴技术,依然面临一些技术难点,比如,力的大小以及力的方向都可能存在误差,且VR 和Haptics 的同步也会存在一定的延迟。因此,与普通物理环境相比,VR+Haptics 的学习环境没有明显优势。
表3 VR+Haptics 相对不同的教学场景的影响
(三)VR+Haptics 对提升学习者效率的调节变量效果检验
本研究的目的之二,在于探讨哪些调节变量会对VR+Haptics 在学习效率方面产生影响,从而寻求这一技术工具在教育应用中的有效应用情境,优化其技术应用效能。如表4 所示,本研究对教学目标、样本水平和教学评价三个方面进行了编码。从元分析结果来看,对于技能型的学习内容(Z=-2.974,P=0.003)、无先前经验(Z=-3.016,P=0.003)和延迟测试(Z=-4.108,P<0.001)三个编码对象,VR+Haptics具有显著的正向影响力。
表4 VR+Haptics 对不同教学设计的学习效果影响
首先,元分析的结论表明:在教学目标方面,相对于知识获取,VR+Haptics 更适合于技能习得。这主要是由于VR+Haptics 能充分调动视觉与触觉的协同感知,扩展了学习者对实践内容的感知形式和感知范围,弥合了传统VR 单通道视觉感知上的不足。同时,技能训练的绩效主要取决于反复的实操,传统的实体训练由于实训材料的匮乏或条件的局限,往往难以开展重复性训练,学习者在面对稀缺实验材料时,更容易表现出紧张等情绪。VR+Haptics 则克服了以上困境,并在心理上让学习者无需顾虑实验材料和环境的局限性,因此,在很大程度上给予学习者宽松的训练环境[31]。而在大部分的知识获取活动中,教学是以知识传递为主要目的,传递的量和速度成为教学设计主要考虑的因素,学习者个体的受控性较强。因此,VR+Haptics 难以帮助学习者在知识获取中获得即刻的反馈和主控感,相比技能传递来说,心流体验在知识获取方面显得较为不足[32]。
其次,VR+Haptics 对不同先前经验水平学习者的学习效率,有着不同的影响。大量的研究证明,先前知识经验对学习者关注的内容会起到引导作用,学习者可以在学习和生活中,建立信息关联、学习技能、积累知识和经验[33]。然而,本文的元分析显示,VR+Haptics 对有先前经验的合并效应值为-0.615,并未达到统计显著水平(P=0.311>0.05);而无先前经验为-1.465,达到0.01 水平下显著(P=0.003<0.01)。这可能是由于对有先前知识经验的学习者而言,他们对所学知识体系有一定的了解,借助VR+Haptics是为了弥补部分学习内容的短板,可能缺少对所有学习内容的统筹[34]。同时,有先前经验的学习者也会更聚焦VR+Haptics 与实体课程或传统VR 课堂的差异之处,因此,会占用知识本身以外的认知空间。比如,VR+Haptics 的技术成本能否弥补实体课程中器材损耗的成本[35]。相比之下,无先前知识经验的学习者,会节约无关的认知损耗;更为重要的是,学习者对先前知识和技术的双重未知,会诱发他们产生浓厚的兴趣和探索的欲望[36]。因而,VR+Haptics 反而会给无先前知识经验的学习者以更高的学习效果。
最后,为了探究不同测试条件下VR+Haptics 对学习效果的影响,本研究比较了即时测试和延迟测试的合并效应值。即时测试的合并效应值为0.731,未达到统计显著水平(P=0.027>0.05);延迟测试的合并有效值为-1.906,达到0.001 水平下显著,组间效应显著 (P=0.000<0.001)。元分析数据表明,VR+Haptics 技术对延迟测试的学习效率提升较为明显,但对即时测试的学习效率不仅未起到提升的作用,反而起到抑制作用。我们认为,这一反向结果的原因可能是: 当学习者初次从物理环境或VR 环境切换到VR+Haptics 环境时,无法适应视觉和触觉的双重虚拟,从而产生由于过度虚拟所带来的不信任感[36]。但当延迟学习者的测试时间,即让学习者持续使用VR+Haptics 一段时间之后,再对其进行测试时,能缓解学习者因虚拟场景所带来的陌生感。经过持续训练后,学习者能准确地将VR 视觉反馈与触觉反馈同步控制。还有一个原因在于,当学习者特别是科研工作者,通过持续一段时间的实体课程和虚拟触觉反馈课程的比较,会发现该技术能极大地节约实验成本,规避场域受限等问题;而学习效果并未受到明显阻碍时,会迅速提升其对该技术应用的信任度[37]。
综上元分析的结果表明,基于VR+Haptics 技术的教学,对学习者的整体学习效率产生了较大程度的正向影响,促进了学习者学习效率的提升。同时,需要注意的是,不同的教学目标、评测方式和学习者经验,都会影响VR+Haptics 技术的作用。因此,结合本研究的三个调节变量,对如何设计有效VR+Haptics 教学应用或实践场景,具有重要的指导价值。
五、“虚拟现实+触觉反馈”在未来教育场景中的应用途径
教育技术与教育应用需求是相互支撑的,从而不断促进双方的迭代式发展。一方面,教育中的现实问题和需求引导技术的融合与创新。虚拟现实的图像模拟虽然丰富了知识表征形式,但学习者往往缺少“做中学”的体验,而触觉反馈的融入恰好能有效激活学习者多感官的刺激,提升现有VR 教学中学生的体验感和参与感。另一方面,信息技术也在整合进步中,不仅解决了当下的教育问题,甚至创设了很多新的教育需求。“虚拟现实+触觉反馈” 在知识理解、生理反馈和远程协作等方面,正开辟着很多新的应用场景和服务形式。
(一)VR+Haptics在知识理解中的应用场景
反馈是帮助学习者建立知识与认知的重要方式,可以激发学习者在改进中学习,增强心流体验[38]。近年来,VR 一直努力尝试通过基于图像定位的手势识别来实现交互反馈。然而,由于整体上依然建立在视觉感官基础上,其反馈效果并不理想。而融入触觉感知的“视—触”双通道反馈,对学习者在关联思考和知识迁移理解上,有着诸多的应用空间。
在关联思考方面,触觉反馈可以对虚拟图文信息进行交互验证,从而构建关联性思考,这对帮助学习者深刻理解图文信息所表达的结构、材质等功能性作用有着重要价值。在物理或材料学科中,通常为了理解某一材料(如,石墨烯)的功用,需要通过图像虚拟表征出其蜂窝结构特征(如图3 所示)。但图像虚拟仅仅是帮助学习者构建了思考的源头或基础,对于新材料的相关学习知识而言,学习者的想象力往往是有限的。触觉反馈则可以让学习者触碰到虚拟石墨烯材料的韧性,也可以通过电流触感模拟出其这一结构的导电发生机制。这种功能性的反馈,能够有效扩展文字和图像认知的局限,从而增强对知识的理解。
在知识迁移理解方面,触觉反馈将散落的知识点有效地整合为一个项目化的学习过程。传统的多媒体学习方式通常是文字记忆+图片理解。但图片的虚拟呈现即使再逼真,也仅仅只能对应一个知识点的记忆,无法串联成事件的知识体系。借助触觉反馈,可以让学习者在感受某一知识点的同时,启发他们的迁移理解能力[39]。比如,在历史学科学习中,可以将某一知识点设为中心点,进而串联起整个知识体系。如图4 所示,触觉反馈可以帮助学习者感受到某历史文物的工艺特征,再借助VR 可以模拟出历史场景,建立知识的迁移体系。如,触碰到的工艺特征反映出当时怎样的历史科技发展特点? 为什么这个朝代会出现这种工艺?这一工艺对于后期农业、军事、艺术等又产生什么影响? 这些知识点的迁移,形成了一个完整的项目化学习反馈回路,在这一环境下有助于培养学生主动迁移和发散思维,并将分散的知识点构建成一个项目化、探究式的学习场域。
(二)VR+Haptics在生理反馈中的应用场景
从神经科学角度来说,触觉反馈能有效刺激感知知觉中的脑神经元,在学习者对外部环境的适应中起到重要作用[40]。在大量技能型专业在实训中,需要解决两个问题:一是空间有限问题,二是提升对外部环境的反应程度问题。前者已经通过VR 和零摩擦万向步行器等得以解决,而后者则需要融入不同感知的触觉传感器和定位技术加以刺激。比如,在体育学科中,触觉反馈可用在体育器材中对学习者受力情况给予反馈。从而不断刺激这一运动区间的脑神经反应能力和肌肉传感能力。除此以外,体育学科还涉及到场馆、场地等多样性的问题,因此,局部温度和送风方式等同样会影响运动机能的发挥。当前,触觉反馈正朝向柔性皮肤贴合的方向发展,未来可为学习者提供更丰富和精细度的生理刺激,从而模拟出学习场所、运动场地的“实地”状况,提高学习者对外部环境的适应力和反应力。
从心理学角度来说,虚拟仿真和触觉反馈能让学生体验到视觉和触觉的双向情感补偿。对于偏远寄宿的K-12 学校而言,社会交流障碍通常是学生心理问题(如,自闭症)的核心。虽然,不少寄宿学校开设了情感交流站,为学生提供远程与父母交流的空间,但现有的空间仅局限于视频交流,若加入具有触觉传感的机械手臂,能从体感上提升情感补偿。在特殊教育领域,已有大量研究发现:相比于真实世界的交流,一些心理疾病人群往往更愿意接受虚拟场景所带来的交互方式。通过触觉模拟可为特殊教育人群创设社会交往的情境,可以不断修正其社交接受度,从而逐步促进社交能力的改善[41]。斯特里克兰(D.Strickland)通过对自闭症儿童的实验研究,也发现当自闭症儿童进入虚拟世界时,他们开始接受虚拟环境带来的变化,并主动与之进行交流[42],而Haptics 能给这种交互的有效性带来极大的增量[43]。触觉还能带来超过文字和图像的情感感受,而且在儿童刺激反馈神经里停留的时间会更久。即,VR+Haptics构建了对解决青少年心理问题可能会大于两者叠加的效果。根据多媒体学习认知理论中的双通道原则,图像和声音可以从多感官来交互刺激学习者的记忆,而不增加认知负荷。Haptics 的融入,可能会进一步从多通道角度提升学生的情感感知。
(三)VR+Haptics在远程协作教学或科研中的应用场景
远程协作在未来教育与科研中会广泛应用,跨区域、跨平台综合解决复杂问题,成为一种重要趋势[44]。随着5G 网络在校园的不断普及,以及传感器和模拟技术等方面的提升,VR、AR(Augmented Reality)和Haptics 结合,势必将成为未来远程协作的有效途径[45]。由于力反馈设备主要包括机械臂和穿戴设备两种,VR+Haptics 远程协作的形式,主要有远程协同操控和远程矫正两种。
远程协同操控是身处异地的多人,借助VR 对实验材料进行图像模拟,来协同操控机械手臂。在很多复杂的教学和科研场景中,往往需要多人协同完成一项工作。比如,在医学教育中,一台虚拟手术需要由主刀医师、麻醉师、缝合医师等协作完成。而医学教学,常常面临实验样本稀缺或实验环境高危等问题[44],VR+Haptics 的远程协同就可以满足这一教学场景的需求(如图5 所示)。对于必需使用实体的实验,使用者也可以通过触觉反馈感知到远端实验材料在手术中的受力情况,并在控制系统的帮助下,多人远程协同完成。对于非必须使用实体的实验,比如,为了学习者预习相关知识或者课后巩固练习,就可以通过VR 模拟实物进行建模,并与触觉传感器建立共同定位后,实现远程协同对VR 虚拟物体进行实验。为了达到远程协同操控的有效性,需要在技术上满足远程信号传递的低延时,以及成熟的控制系统算法支撑。因此,人工智能算法的自我学习和5G 网络的普及,将成为远程协同操控的布局重点。
远程矫正是操控人通过远端控制受控人的穿戴式外骨骼,从而进行纠正性的活动。远程矫正在医学中有较为广泛的运用,主要是通过对远端病患穿戴式外骨骼的辅助控制,达到运动康复的目的。随着可穿戴外骨骼的不断轻量化,在实操性较强的教学中(如,工业加工、技能型体育运动),VR+Haptics 可以用于远端辅助纠正学习者在实验中的操作行为。在工程安全教育中,学习者在掌握文本基础操作后,需要有操作经验的培训师进行实训,而在大量的实操过程中,培训师往往难以用语言去表述操作技巧。通过VR 对操作员实地场景的建模,培训师可以远程观看并利用同步触觉装置来演示操作。此时,学习者可以通过穿戴式外骨骼感受到培训师远程的操控技能,在体验式学习环境中不断纠正自己的操控行为。更重要的是,随着学习者在纠正中的数据量慢慢增大,借助人工智能深度学习算法,可以实现自动辅助纠正的优化,未来学习者可以不借助远端控制人的干预,而自动实现符合自己触感舒适度的纠正方式。
六、机遇与挑战
“虚拟现实+触觉反馈”是变革知识传递模式,提升学习心流体验,减轻学习负担的有效途径之一。现有的知识传递方式,特别是在基础教育阶段,本质上没有改变通过反复记忆去复述或抽象理解知识的方式[46]。VR+Haptics 可以充分发挥具身认知效果,将繁杂的记忆工作转化为体验感知。2021年7月,中共中央办公厅、国务院办公厅印发的《关于进一步减轻义务教育阶段学生作业负担和校外培训负担的意见》,明确要减少学生在学科辅导方面的负担,鼓励开展丰富多彩的科普、文体、艺术、劳动等非学科活动[47]。这就要求在教学中破除重复记忆去复述或抽象理解知识的学习方式,尊重学习者身心成长规律,充分调动其具身感知,促进学习者产生学习心流体验。就此而言,VR+Haptics 创新了传统教学载体,可以使VR 课堂变得更加真切、鲜活,更能激发学习者主动建构知识单元的动机,从中寻找自己兴趣点,从而将单一的学科学习转化为学科与非学科的融通式学习。此外,教育部等六部门最近也提出,要充分依托感知交互、仿真实验等技术,打造生动、直观、形象的新课堂,并在有条件的地方支撑居家学习和家校互动。这都为“虚拟现实+触觉反馈”今后在教育中的应用(如,城乡远程协同教学)提供重要的应用场景。
当然,“虚拟现实+触觉反馈”在教育中的广泛应用也面临着一些挑战:
首先,是教育资源设计的可重复性问题。由于VR+Haptics 目前尚处于开发和测试阶段,VR+Haptics 教育资源较为缺少[48]。这主要缘于不同课程要运用到不同的虚拟建模,VR+Haptics 教育资源的可重复利用率较低,初期投入成本也相对较高。因此,如何提高VR+Haptics 教育资源的利用率,减少投入成本,利用有限的教育资源以发挥最大的价值作用,成为VR+Haptics 教学资源设计时需要考虑的重要因素。
其次,虚拟交互学习环境与传统课堂的衔接问题。VR+Haptics 教育环境倡导的是探索精神和创新素养的培养,教师在虚拟环境下不再是知识的传授者,而是承担引导和辅助的作用;学生不再是知识的被动吸收者,而是主动探索并建构知识[49]。如何将VR+Haptics 所设计的教学理念有效融入传统课堂的教学方式中,还有待进一步的探索。
再次,技术的适用性问题,由于部分人群在初次接触到Haptics 设备时会感到眩晕等不适,因此,学习者的视力健康等问题,依然需要加以解决[50]。
最后,教学评价的创新问题。VR+Haptics 作为一项新技术,能够在很大程度上激发学生的学习兴趣,学习者可能会由于对技术的好奇心而付诸更多热情或投入更多的课外时间进行学习。而目前,基于此评估和测量学习绩效的显著性方法尚欠缺,可能不全面[51]。需要我们在今后的评价中,综合考虑学习者在利用这一技术中所体现的社会活动能力、领导力和人文素养等维度,不断加以完善。