沉浸式VR在教育培训中的应用概况和展望*

刘崇进 ，贺佐成 ，叶 雯，吴应良 ，张云霏

（1.广州番禺职业技术学院，广东 广州 511483；2.华南理工大学，广东 广州 510641）

一、引言

虚拟现实（Virtual Reality，简写VR）的概念来自于科幻小说，Laurence Manning在1933年出版了一系列的科幻小说，提出了虚拟生活（Virtual life）的概念。随着电子管计算机的应用和全息照相技术的发展，为VR技术的实现提供了基本的条件。Ivan E.Sutherland在1965年发表了《终极的显示》的论文，首次提出了虚拟现实的思想，并在1968年发明了第一台头显设备（Head-mounted display，HMD）。[1]随着计算机和虚拟现实技术的发展，虚拟现实越来越类似于现实的世界。Jaron Lanier在1989年推出了面向市场的第一台VR头盔——EyePhone VR头盔和数据手套，这是现代意义的沉浸式虚拟现实（immersive VR）的VR套件。

Jaron Lanier在研发EyePhone VR套件的过程中，发展了沉浸式虚拟现实技术，他在1989年介绍该产品时最早使用“Virtual Reality（VR）”一词。在 1990年，以麻省理工学院为中心，召开了圣巴巴拉会议，把不同称谓的沉浸式虚拟现实统称为“Virtual Reality（VR）”[2]，Jaron Lanier也被称为“虚拟现实之父”[3]，在2010年被美国“时代”杂志评为100个最有影响的人物之一。沉浸式VR技术应用于教育领域，能模拟生成虚拟的三维学习环境，学生等有关人员在这个模拟环境中学习或得到培训。Delucia A等人把这个学习环境称为“Second Life”，即“第二人生”，是模拟真实社会在线角色扮演的平台，构建一种沉浸式、游戏般趣味性的学习环境，这个学习环境远比坐在屏幕前观看二维图像和动画要真实、方便和有趣得多。[4]现在，沉浸式VR已经在教育培训领域获得了广泛的应用，[5]在国外归属于计算机多媒体的教学，被称为沉浸式多媒体。

二、沉浸式虚拟现实和非沉浸式虚拟现实的概念

沉浸式虚拟现实是利用图形系统和各种控制接口设备，在计算机上生成可交互和具有沉浸感觉的现实世界的模拟仿真，也就是利用电脑模拟产生一个三维空间的虚拟世界，给使用者在虚拟环境中提供关于视觉、听觉、触觉等感官的现实世界模拟。用户需要戴上VR头盔，几乎与现实世界隔绝，才能进入洞穴状自动虚拟环境（the Cave Automatic Virtual Environments）。[6]非沉浸式虚拟现实也称为桌面式虚拟现实，是借助于计算机和其鼠标、键盘、话筒等外围设备，通过三维制图软件在屏幕生成窗口式虚拟环境，或者通过摄影技术获得实际图像加上计算机处理生成的虚拟环境，[7]该虚拟环境一般由三维视频或3D电影组成，不足之处是能感觉到脚和手不在虚拟空间里。

沉浸式VR比非沉浸式VR更有吸引力，用户在沉浸式虚拟空间漫游体验时，犹如身临其境。沉浸式VR还具有与虚拟物体实时交互的优点，可以根据自己的思路探索整个虚拟环境，选择自己想体验的内容。另一方面，用户在虚拟空间观看VR作品的时间不受限制，可以随时播放或暂停，切换到其他的VR作品，也可以从不同角度长时间浏览虚拟作品，而且操作简单快捷。因此，沉浸式VR技术被称为终极的多媒体技术。[2]

三、虚拟现实的特性

G.Burdea和Coiffet Philip在1993年的世界电子年会上发表了论文《Virtual Reality System and Application（虚拟现实系统和应用）》，指出虚拟现实具有沉浸感（Immersion）、交互性（Interaction）和想象性（Imagination），即3I特性，是沉浸式VR的标志特性。[8]虚拟现实技术融合了计算机图形技术、传感器技术、多媒体技术、包含人工智能的人机交互技术、立体显像技术、网络技术、计算机仿真模拟和心理学等众多科学技术，现在这些科学技术逐渐走向成熟，沉浸式VR也开始变得成熟，并获得了越来越广泛的应用。

虚拟现实的沉浸性是指利用计算机产生的三维立体图像，让人置身于一种虚拟环境中，就像在真实的客观世界中一样，能给人一种身临其境的感觉。用户需要戴上VR头盔 （头显设备），才能在虚拟空间漫游和体验。VR头盔里装有目镜和立体显示屏，用户观看立体图像时，透过目镜的视角放大和视场放远作用，实现视觉的沉浸性；头盔里装有传感器，能追踪用户的位置、姿态的变化及其眼球的转动，通过人工智能中的动作捕捉和识别，实时地调用或生成立体图像。

虚拟现实的交互性是指用户能在虚拟空间里与虚拟对象互动交流，实现相应的动作和功能。虚拟现实的交互手段摒弃了键盘和鼠标与计算机的人机交互方式，采用传感设备如数据手套、操纵手柄或者音频设备等新型交互方式。用户采用这些新型设备与虚拟空间的物体交流互动，感觉就像处于现实世界中一样。

虚拟现实的想象性是指人们在虚拟环境中对现实世界中的环境发挥想象，并进行创造性的模拟，能拓展人类的认知范围和可想象的空间。VR专家在开发作品时可再现过去的或真实存在的环境，也可以随意构想客观不存在的，或不可能发生的环境，研发充满想象力的作品；另一方面，用户在虚拟空间漫游体验时根据所获取的信息，通过联想、推理和逻辑判断等传统思维，展开自己的想象，以便了解更多的作品内容，获取更多的知识。

四、虚拟现实在教育培训中的应用概况

虚拟现实在教育培训中应用的首次尝试在美国。1992年，虚拟现实技术与教育实验室在美国东卡罗琳那大学正式成立。该实验室主要是用来确认虚拟现实技术在教育上是否适用，并且对这一技术中的软件和硬件进行评价，以便更好地观察虚拟现实技术对教育教学活动的推广情况。1994年，华盛顿大学和西屋科学基金会组织了一个流动教学计划，一辆装有虚拟设备的流动教学车在各个学校中进行教育体验，为中小学生提供虚拟现实技术的教学服务，并观察虚拟现实教学对提高学生兴趣和领悟能力的情况。从20世纪90年代到21世纪初，这一时期的虚拟现实设备非常贵，其存在沉浸感不足、三维图像的质量比较差，交互动作发生时图像变换滞后引起晕眩感等缺陷，只有少数游戏发烧友迷恋虚拟现实的游戏。在教育培训领域，一般是大学和公司在基金资助下展开一些应用研究，尙未在教育界获得实际应用。

1.虚拟现实在国外教育培训中的应用概况

2012年，Oculus Rift推出了VR套装（VR头盔和数据手套），沉浸式虚拟装置的价格下降了很多，沉浸式VR也获得了很大的发展和推广，并在2013年开始应用于美国的教育界。[6]德克萨斯大学 （The University of Texas）是把Oculus Rift VR套装应用在教育培训中最早的大学之一。2013年，高分辨率的大型视觉墙（a largescale high-resolution VizWall）的数字图像输入到Oculus Rift VR头盔，形成沉浸式的虚拟现实的学习环境，成为新的教育方法。[9]例如，大型视觉墙可以显示比较详细的地球图景，其图像是由一组计算机处理器（CPU/GPU）耦合后建模产生的大型数字图像，该数字图像输入VR头盔，变为学习地理知识的虚拟环境，内容详细丰富，这是真实的地球仪无法比拟的。

虚拟现实技术应用于教学，学生与虚拟的教师进行交流互动，形成虚拟课堂。Cai S.、Wang X.和Chiang F-K设计了几个面向初中生关于化学物质结构认识的虚拟现实的操作实验，在实验中，学生可以采用自然交互方式对虚拟出来的微观世界中的分子、原子进行操作、组合和创作，[10]该实验表明虚拟现实的教学较大地提升了学生的学习兴趣和对物质微观结构的认知与理解，这是虚拟现实技术对日常难以呈现的微小物体之间的空间关系和内部结构细节的展示，有效地促进了学生技能的培养。

虚拟现实技术应用于实验或实训，学生操作虚拟实验（实训）设备或器材，形成虚拟仿真实验（实训）室，完成实验（实训）的任务。例如，Michael J.Amirian等研究了一组学生参加虚拟仿真的外科缝合技术的培训，并与真实实验培训的另一组相比较，结果发现虚拟仿真培训的一组和参加真实实验培训的一组掌握的技术没有多少不同，证实了虚拟现实的仿真培训的有效性。[11]虚拟仿真实验（实训）室能利用计算机建立反映现实世界规律的实验仪器，进行的虚拟仿真实验（实训），能够替代许多难以完成的真实实验，或者费时费力费资金的实验。

沉浸式VR与网络技术相结合，形成分布式虚拟现实系统（DVR：Distributed Virtual Reality），在远程教育中得到了应用，使身处异地的教师和学习者处在同一个虚拟的教学场景中，可以不受时空限制，实现异地交互学习，或者通过实时语音、动作捕捉和识别进行无障碍交流，为学习者带来了极大的便利。

虚拟现实已经成功地应用于土木工程和建筑学、化学、医学与生物学、物理学与天文学、电信，涉及科学视频、工商管理、时装、体育运动和军事训练等教育培训领域，学生能在线下或线上进行学习培训。[12]

2.虚拟现实在我国教育培训中的应用概况

沉浸虚拟现实技术在我国发展得比较晚，在教育培训中的应用目前正处于应用研究和尝试评估阶段。[13]到2016年的VR元年，沉浸式VR在我国也得到了普遍重视，我国一些高校对沉浸式VR进行了相关课题的研究。比如，北京航天航空大学对分布式飞行模拟方面的应用进行了研究，浙江大学在建筑上进行了虚拟规划和虚拟设计的研究，清华大学研究了临场感等。一些国内公司和院校合作，在2017年初也推出了VR教育培训产品，比如，杭州万霆科技公司是推出VR教育产品的公司之一，比较有名的产品就是VR建筑实训平台，也叫VR建筑实训中心。

我国VR技术在教育方面的运用主要包括以下三个方面：①虚拟仿真校园。虚拟仿真校园在我国应用得比较广泛，校园文化和学习氛围对教育教学活动的开展有着重大影响，参观虚拟校园的沉浸式体验能起到良好的对外宣传作用，或者吸引学生报考该院校。[14]②虚拟教学。虚拟现实技术在理工科和医学的教育教学中获得了一些应用。例如，同济大学建筑学院拥有一个虚拟现实实验室，可对建筑景观及其内部的结构进行仿真，学生戴上VR头显，在建筑教学中进行了尝试，学生能够通过新的方式学习到更加系统全面的知识。③仿真实验（实训）。 学生在虚拟环境中学习使用实验仪器设备，完成实验或实训的任务，在我国也获得了一些应用成果。例如，杭州万霆科技公司和广州番禺职业学院进行了校企合作，在2017年4月构建了基于BIM的VR实训室（中心）。

我国关于虚拟现实在教育培训中的研究和应用仍停留在较为初始的阶段，还是以虚拟现实理论探讨为主，应用层面的研究和实践较少，教育教学效果还在进一步评估和确定阶段；研究和应用重心还集中在虚拟仿真校园的实现等方面，较西方国家仍有一段距离。[15]

五、虚拟现实在教育培训中的优缺点

沉浸式VR模拟的虚拟空间身临其境，逼真的视觉和听觉感受让使用者不自觉地认为自己进入到真实世界；另一方面，沉浸式VR利用计算机图像建模技术、全景照相技术和相关软件等能整合丰富的VR资源，或创建丰富的VR作品，具有诸多优点。沉浸式VR目前处于走向成熟的阶段，还在发展一些关键技术，而且使用者需要戴上头盔，透过目镜才能在虚拟空间漫游、浏览虚拟物体和作品，几乎与真实的外界隔绝，无疑存在一些缺点。

1.虚拟现实在教育培训中的优点

Plamena Zlateva和 Dimiter Velev指出，虚拟现实的教学能使学习者在内容丰富的虚拟学习环境中磨合（hone）自己的知识，提高创造力和分析问题、讲解问题的技能，学生在虚拟的学习情境中，能充分发挥自己的特长，自主进行学习训练，而且还能自由、一遍又一遍地进行重复学习训练。真实的课堂教学是不能自由重复学习训练的，因此，虚拟现实的学习培训提供了弥补现实世界问题的比较好的解决方案。[5]

虚拟现实技术能整合丰富的VR资源，创建内容丰富的VR作品，能打破时间和空间的局限性，解决资源紧缺的问题，提高学习培训的规模和效能。例如，虚拟现实技术应用于医学领域，动物实验和尸体解剖等进行虚拟现实的教学培训时，在虚拟环境中通过比较自然的交互方式，其逼真的教学情境与真实世界动物实验和尸体解剖的体验是一样的，使学习者在系统中获得近似于真实实验的操作体会，一次投入使用，重复利用率高，可以节约大量的试验设备，样本如试验动物、组织等，学生和教师都可以进行操作、测试、分析和研究，而且同样能提高其动手能力。[16]

在虚拟现实体验中，学生几乎可以全身心地漫游在虚拟空间。虚拟现实的沉浸性能调动受教育者全部感觉器官，逼真的视觉和听觉感受使体验者不自觉地认为自己进入到了真实世界。这种教学模式是一种体验式的教学，由体验得来的知识并非教师的经验传授，而是由学习者自身感知得来的，这种体验式的学习更容易形成长时记忆。[13]

虚拟现实技术可以在避免伤害、减小成本的情况下，完成教育培训的任务，而在真实世界中是几乎不能完成的，特别适用于某些学科在现实生活中灾害性和危险性较强的，或者在现实生活中没有的、成本较高难以构建的现实场景——灾害危险场景、历史场景、跨国场景、特殊教育、军事演习、宇宙与海洋场景等。比如，虚拟现实应用于气象学中的气候温室效应、大片森林干旱和暴雨灾害等虚拟学习情境，获得相应的技能培训，这些教学情境在真实世界中的教学不能随时出现，而在虚拟学习情境中很容易随时呈现。[5]

虚拟现实技术和网络远程教学相结合，产生虚拟现实的远程教学系统，比非虚拟现实的更加真实、更加有趣。教师在教学活动中，利用这一系统，对不同地点、不同上网时间，组织进行实时的或者是非实时的分布式教学。而对于学生而言，他们可以根据自身的实际情况，在不同的时间安排、不同上网地点中接受教师的指导，比较好地完成各项教学、实验或实训任务，同时在线提交作业、实验报告等。

2.虚拟现实在教育培训中的缺点

目前沉浸式VR还处于不成熟的阶段，一些关键技术处于研究完善的阶段，比如高清晰的全景三维显示技术和比较自然的交互方式等，相关的硬件设备存在使用不方便、效果不理想的情况，难以达到虚拟现实系统所需的要求，影响了学习者体验的兴趣；虚拟现实设备（运行速度快的计算机和VR套件）的价格依然比较贵，需要大量资金支持。

虚拟现实技术系统开发的相关软件语言专业性比较强，通用性和易用性比较差，相关模型工作比较复杂，普遍建模工作量大，系统平台应用软件的开发需要大量的精力和花费，开发成本昂贵；VR专业人员还比较少，合适的VR仿真应用软件和VR作品还比较少，教育培训的VR资源比较少；VR应用软件和作品所能实现的范围受到限制，不同厂商生产的VR产品标准还不一样，开发出来的VR应用软件和VR作品不能通用。

在教学应用层面，教师特别是年龄比较大的教师教学方式难以改变，乐于采用传统的课堂教学等教学方式，如果应用虚拟现实这种新型教育工具，感觉不舒适，这种虚拟新型教育工具难以起到积极的作用。实践表明，任何对虚拟现实具有负面看法的人，戴上了高质量的VR头显设备（目前指 Oculus Rift、PlayStaion VR（PS VR）、HTC Vive）进行体验后，每个人都发生了改变，成为VR的积极支持者，[8]这些教师通过体验，或者需要通过一定时间的培训，无疑会适应这种新型的虚拟现实教学工具。[5]

当使用者进行虚拟现实的学习培训时，需要戴上头盔，几乎与真实的外界隔绝，透过目镜才能在虚拟空间漫游体验，使用者在这种环境中漫游体验，眼睛容易疲劳，时间久了可能产生晕眩和头痛等负面影响。在虚拟环境漫游体验久了，还可能分不清真实世界和虚拟世界的物体；如果是儿童戴上VR头盔，有可能伤害他们的视觉系统，故美国Oculus Rift和韩国三星Gear VR建议13岁以上的少年使用，而PlayStation VR和HTC Vive等厂家禁止12岁以下的儿童使用，但这些VR缺陷可以通过立法限制或缩短在虚拟空间漫游体验的时间来克服。[8]

六、虚拟现实在教育培训中的应用展望

虚拟现实技术经过近几年的快速发展，各方面性能逐步完善，在教育培训领域的应用前景十分广阔。近期内，虚拟现实技术的设备及服务需要进一步完善，能营造智能化和实用型的虚拟现实教学环境，减少技术使用层面的困难。在一段比较长的时间内，随着计算机硬件的发展，VR公司需要研发和提供高质量的VR头显设备，令人欣慰的是，一些液晶板厂家正在研发高清晰度的液晶板，以便显示高质量的三维图像；VR公司还需要研发包含传感技术和人工智能的感知设备，该感知设备能在虚拟环境以非常自然的方式和虚拟对象进行交互作用，同样令人欣慰的是，一些VR公司在开发这种高技术的感知设备，例如，日本的SONY正在研发这种设备。[8]

各厂家生产虚拟现实的设备标准不同，VR虚拟仿真软件和VR作品不能通用，VR技术需要标准化，才会获得普遍的推广和应用。沉浸式VR技术正在走向成熟，融合了计算机图形技术、传感器技术、多媒体技术、包含人工智能的人机交互技术、立体显像技术、网络技术、计算机仿真模拟和心理学等众多科学技术，标准化具有一定的困难。现在，一些国际组织如IEEE等开始从3D显示技术、VR头盔、立体声系统、动作姿势追踪控制等方面进行标准化的讨论。随着VR技术的成熟，在不久的将来，国际标准化组织将会对VR技术进行标准化，高质量的通用虚拟现实设备就会生产出来，其价格会下降很多，在教育培训界会得到普遍的推广使用。

一些开发VR作品的系统软件的界面逐渐变得友好，功能变得更强大，这些系统软件能充分利用各种VR资源，比较容易地开发出满意的VR仿真软件或VR作品。例如，Unity 3D和Unreal Engine等起初是用来开发游戏的，随着版本的不断升级，界面越来越友好，功能不断增多，现在与其他开发3D的系统软件相结合，使开发VR仿真应用软件或VR作品更加容易，开发的内容更加丰富。随着VR技术的标准化，VR应用软件或VR作品能在不同厂家的VR设备上应用。因此，在教育培训方面的VR资源会越来越丰富，能逐渐满足在教育培训方面的需求。

人工智能（AI）已经在虚拟现实的交互方式中得到应用，例如，根据识别的动作或语音，调用相应的三维图景，或者在虚拟空间做出相应的反应，AI今后在VR自然交互方式中将会获得更多的应用。另一方面，人工智能还会在虚拟仿真软件或VR作品中应用得更为普遍，例如，日本开发的“夏日课堂”，用户在学习时与作品中女孩人性化的互动，就应用了人工智能。[8]

分布式虚拟现实系统在教育培训领域的应用将会更为广泛和普遍。分布式虚拟现实系统通常通过两种网络平台来进行搭建，一种是在Internet上，而另一个则是在高速专用网上。例如，美国在Internet上进行了VR教育培训，学生能在线上的虚拟环境中学习，取得了比较好的教学效果。[5]又例如，美国在高速专用网上开展了对综合训练场的研究，创建了一个覆盖了500x750公里的大范围，能够让海陆空三大兵种的3700个仿真实体共同参与到虚拟的演练环境之中，三大兵种在一起进行了非常逼真的协同作战演练。分布式虚拟现实系统随着在教育培训领域应用水平的提升，并利用网络的社交特性，共享信息和资源，提高教育培训的效果和经济效益会越来越明显。随着虚拟现实和网络技术的发展，虚拟实现的教学能与传统教学模式进行良好的兼容，发挥出自身的优势，并逐渐普及和大众化。

虚拟现实技术现在和未来主要应用于真实世界中几乎不能完成的、具有较强灾害性和危险性的事件，或者在现实生活中没有的、成本较高的、难以构建的现实场景，可以解决资源紧缺的问题。虚拟现实的教育培训与传统教学模式相融合，实现虚实结合，虚拟现实的教学起到了非常重要的辅助作用，但真实世界的教学依然处于主导地位。在虚拟现实的教育培训过程中，需要戴上头盔和操纵交互的感知设备，具有不可避免的缺陷；由于小学生年龄小，虚拟现实的教学有可能不利于他们的身心发展。另一方面，源于中学阶段学生的身心发展，也不适合处在长时间虚拟现实的教育培训中。

虚拟现实技术已经成为教育培训领域非常吸引人的、前景广阔的技术之一，它与教育教学的深度融合将会进一步推进教育教学的改革和发展，对提高教育技术水平、改善教学环境、丰富教学资源具有重要作用。广州番禺职业学院在VR实训室教学模式和方法的教学改革和实践中提出，VR教育培训平台适合于个性化教学模式，学生在个性化的学习过程中激发了强烈的学习积极性和主动性，对学业精益求精，提高了分析问题和解决问题的能力，有效地发展了工匠精神。[17]虚拟现实技术应用于教育培训领域，能优化教学过程，培养学生的个性化特征，使学生成为具有职业精神的创新型人才。