VR、AR和MR的关键实现技术及三者关系辨析

车敏 柳泉 张晗 空军工程大学装备管理与无人机工程学院

随着近年来，计算机三维处理能力的增长和低成本传感显示元件的出现,虚拟现实得到了快速发展,特别是与现实世界产生了越来越多的结合技术,同时人们从虚拟和现实的两个角度对虚拟现实进行了增强。这样就又出现了在虚拟现实的基础上的增强现实技术，增强现实是将虚拟对象叠加到了现实中。而增强现实和增强虚拟两者集合又构成了混合现实。虚拟现实、增强现实与混合现实，这三者之间的相互关系及其各自的关键技术是本文重点讨论的问题。

1 虚拟现实技术

虚拟现实是采用以计算机技术为核心的现代高科技生成逼真的视、听、触等一体化的特定范围的虚拟环境，用户通过输出设备以自然的方式与虚拟环境中的对象进行交互作用，相互影响，从而产生身临其境的感受和体验。VR技术由于其超仿真效果被广泛应用于产品展示、工业制造、医疗教学、军事虚拟作战、教育培训等领域。

任何虚拟现实系统都可以用3个“I”来描述其特征：沉浸感—交互性—想象力。沉浸感，指用户在模拟环境中所感受到的真实程度。交互性，指用户对模拟环境内物体的可操作性和从环境得到反馈的自然程度。构想性，指虚拟环境使人沉浸其中并获取新知识，提高感性和理性认识，深化认知萌发新意。其中沉浸感与交互性是决定一个系统是否属于虚拟现实系统的关键特征。

VR系统通用体系结构，主要由虚拟现实产生器和输入/输出处理子系统两部分结合形成一个较完整的VR系统。VR系统通常使用户通过多种传感和操纵设备,如头盔式三维显示器、数据手套、语音识别与跟踪技术等，浸入虚拟环境中，为用户提供了一种全新人机交互方式。

虚拟现实关键技术主要包括以下几个方面：立体显示技术、传感器技术、三维图形生成技术、动态环境建模技术、应用系统开发工具、系统集成技术、实时三维计算机图形技术、立体声、语音输入输出等相关技术。

2 增强现实技术

增强现实技术，是在虚拟现实技术基础上发展而来，是虚拟现实技术的进一步拓展。AR技术是通过可视化技术和计算机图形技术实时计算摄影机影像的位置及角度并产生相应图像、视频、3D模型等现实环境中不存在的虚拟对象，通过传感技术将虚拟对象准确“置”于真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并为用户呈现出感官效果真实的新环境。这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

增加现实有三个特点：1）把真实场景信息与虚拟信息相结合，即虚实融合2）可以实时地进行人机交互，即实时交互3）用于三维环境中，即三维注册。

典型的AR系统通常由场景采集系统、跟踪注册系统、虚拟场景发生器、虚实合成系统、显示系统和人机交互界面等多个子系统构成。其中场景采集系统负责获取真实环境中的信息，如外界环境图像或视频，跟踪注册系统用于跟踪观察用户的头部方位和视线方向等，虚拟场景发生器用于虚拟图形绘制系统，负责生成要加入的虚拟图形对象。虚实合成系统是指虚拟场景与真实场景对准的定位设备和算法。具体包括摄像头、显示设备、三维产品模型、现实造型及场景和软件等。

3 混合现实技术

混合现实包括增强现实和增强虚拟，该技术通过在虚拟环境中引入现实场景，在虚拟、现实和用户之间搭起可实时交互的信息回路，以增强用户体验的真实感。是在VR和AR发展兴起之后提出的一项概念，可以理解为AR的增强版。

MR系统通常有3个主要特点：1）现实与虚拟世界结合；2）实时交互性，即用户可与真实世界及虚拟物体实时自然交互；3）三维虚拟模型的被匹配，即虚拟物体与真实世界精确地对准。MR与AR都具有虚实结合的特点，但两者还存在着区别。混合现实的是亦虚亦实，亦幻亦真。足以让人分不清真实与虚拟。AR是将动态的、背景专门化的信息加在用户的视觉域上。它以真实世界为本位，强调让虚拟技术服务于真实现实。

MR由于是在VR与AR的基础上发展而来，故在硬件结构上MR系统同VR系统、AR系统的硬件具有一定继承性和一致性。一个典型MR系统由虚拟场景生成器、头盔显示器、实现用户观察视线跟踪的头部姿态跟踪设备、虚拟场景与真实场景对准的定位设备和交互设备构成。

4 VR、AR和MR三者区别与联系

4.1 VR、AR两者的关系

VR是完全沉浸在基于真实模型或完全虚构的数字环境中，而AR是在真实环境中融入数字信息，两者的相同点是，它们都使用多种信息源，通过编程为用户创建视觉或其他感官的输入，模仿产生某种体验。尽管用户感觉两者非常相似，但两者的不同点要远远大于相同点，最大的不同点是增强现实能够在真实环境里工作，而虚拟现实则不能。

4.2 VR、AR和MR三者的关系

多伦多大学工业工程系的PaulMilgram对MR定义：真实和虚拟的世界在一个显示设备中同时呈现。他提出“真实—虚拟连续集”概念，将真实与虚拟看作两极，与处于轴线中间的增强现实和增强虚拟之间构成一个连续集，该系统即为混合现实构成体。而混合现实可位于虚拟连续集极值间任何位置MR的实现需要在一个能与现实世界各事物相互交互的环境中。当用户在真实场景中移动时，虚拟物体也随之位移而做出相应变化，使虚拟展示物体与真实展示环境之间能有一个完美结合。

如果一切事物都是虚拟的，那是VR，VR是纯虚拟数字画面。AR是现实事物上简单叠加了一些虚拟信息，AR是虚拟数字画面加上裸眼现实。MR是数字化现实加上虚拟数字画面，MR的关键点就是与现实世界进行交互和信息的及时获取。从概念上来说，MR与AR更为接近，都是一半现实一半虚拟影像，但传统AR技术运用棱镜光学原理折射现实影像，视角不如VR视角大，清晰度也会受到影响。MR技术是结合VR与AR的优势，它能更好地将AR技术体现出来。

5 结束语

AR技术与VR技术共同丰富着现实世界，AR技术在于增强现实世界的内容，VR技术则是将我们的注意力从现实中转移到一个虚拟的空间。而MR则是将AR和VR完美相结合起来。如真正的混合现实游戏，是可以将现实与虚拟互动展现在玩家面前。这一点我们可以从电视一些综艺节目中看到，比如英国著名的达人秀节目。MR技术能让玩家同时保持与真实世界和虚拟世界的联系，并根据自身的需要及所处情境进行调整操作。尽管目前全球从事MR领域的企业和团队都比较少，很多都处于研究阶段，但有研究机构预测到2020年，全球头戴虚拟现实设备年销售量将达到4000万台左右，市场规模约400亿元，加上内容服务和企业级应用，市场容量会超过千亿元。现今国内一些科技企业已加入到VR设备和内容的研究中，在内容创造方面，也有了MR的作品。所有这些都将推动VR更快向AR、MR技术过渡。