混合现实技术常见应用场景*

罗 伟 王燕一 侯 霞 庞恋苏 刘洪臣

20世纪后半叶以来，数字化浪潮逐渐席卷全球，各行各业逐步从真实活动进入到虚拟世界。在此过程中，人机交互设备也从传统鼠标键盘的真实交互向虚拟设备发展，逐步出现虚拟现实、增强现实、混合现实等技术。

1.AR/MR简介

上世纪80年代末，Jaron Lanier正式使用Virtual Reality一词并获得广泛认可[1]。维基百科对虚拟现实技术(Virtual Reality，简称VR)的定义是：一个由计算机生成的模拟三维仿真环境，混合了视觉、听觉甚至触觉，人可以在其中探索、交互，是一种沉浸式模拟环境。从根本上说VR会将人带入另一个世界。2000年以来，计算设施和智能手机越来越强大，高清晰度显示和3D图像能力剧增，VR获得迅速发展。各种头戴式显示设备相继问世，有力促进了VR的快速发展。比较有名的设备有Google Cardboard，Samsung galaxy Gear，Oculus Rift，HTC vive等。得益于云计算的发展，近几年基于云端的VR应用不断出现[2]。

增强现实技术(Augmented Reality，简称AR)是在现实世界上实时叠加计算机生成的信息，通过视觉、听觉、触觉、体感甚至嗅觉等传感器提供一个混合的交互式体验，从而实现虚拟信息对真实环境的“强化”。这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。早期有名的AR设备是谷歌眼镜，允许用户在视野内使用地图、电子邮件等服务。现在移动端也有很多支持AR等应用，最典型的如地图类应用。下图是采用AR技术的某地图应用，在屏幕上实时显示步行路线指示。

图1 AR地图应用

混合现实技术(Mixed Reality，简称MR)是继虚拟现实、增强现实之后，出现的全新数字全息影像技术(见图2，图3)。混合现实有时也称hybrid reality，它打破真实世界和数字世界的界限，借助于沉浸技术将两者融合生成一个新的环境，包容了虚拟现实和增强现实。MR比AR更进一步，对环境进行识别，不只是简单的在相机的图像上叠加了虚拟图像，而是将计算机生成的图像锚定在真实世界的某一个点上。可以说MR是高保真的AR，也有人将AR和MR归为一类。微软将自己的Hololens定位为MR产品，并宣称将只关注MR。其他知名产品有创业公司Magic Leap，在2018年8月刚刚开始开放订购。虚拟现实技术发展到现在，AR和MR成了主流[3],为了保持术语使用的一惯性，在后面的文章里，AR指代低保真度的AR，而MR指高保真度的AR。

图2 虚拟现实、增强现实与混合现实

随着计算机产业技术发展，虚拟现实核心技术升级进步，计算机及各类移动设备性能的提升，在虚拟现实技术基础上发展出增强现实/混合现实技术。

与虚拟现实完全沉浸在虚拟的环境中不同，增强现实/混合现实是一种将虚拟信息与真实世界巧妙融合的技术，技术强调将虚拟的物体叠加或合成到真实世界中，在工业制造、军事、文化传播等领域已得到广泛应用。

图3 一个典型混合现实技术结构图

与VR相比，AR/MR最大的优势在于其灵活性。在使用VR时你完全沉浸于另一个世界，难以再与真实世界互动。而使用AR和MR时，更强调现实世界的信息。增强现实的显示目前有HMD(Head Mounted Display，即头戴式显示器，俗称头盔)、投影和桌面显示三种主要方式，最受青睐的是HMD。

以目前比较成熟的MR设备——微软的Hololens为例介绍一下AR/MR系统的组成，包括：透射式HMD、环境感知模块、交互设备和虚拟场景生成单元。透射式HMD负责输出虚拟和现实融合后的信号；环境感知模块负责混合现实捕获，追踪用户感官信号；交互设备负责环境控制及视线跟踪、手势及语音控制；虚拟场景生成单元负责虚拟场景的三维建模、绘制和管理。Hololens拥有3个处理器——除了常规的CPU、GPU，还有专门为了混合现实定制的HPU(Holographic Processing Unit);追踪头盔位置的惯性测量单元IMU(Inertial Measurement Unit)；4个环境感知摄像头，1个深度摄像头，1个2MP照片/HD视频摄像头；4个麦克风；1个环境光传感器等等。

2.常见应用场景

随着大笔资金进入AR项目和AR创业公司，一些IT巨头如谷歌、苹果、微软、高通和佳能等开始竞相大力布局AR和MR，构建自己的AR/MR生态系统，第一批消费级的AR产品已经如雨后春笋般涌现。

2.1 工业制造 计算机在产品开发中早已广泛使用，常用的系统有：计算机辅助设计(CAD)、计算机辅助制造(CAM)、计算机辅助装配规划(CAAP)等。AR技术的应用大大提高CAD/CAM处理能力[4]。

2.2 军事模拟 虚拟现实很早就被应用于军事上。20世纪60年代Ivan Sutherland提出虚拟世界的概念，随后美国国防部(DARPA)支持下构建了头戴式显示设备“Sword of Damocles”(达摩克利斯剑)。到1983年，DARPA实现了一个实时仿真系统SIM-NET(Simulation NETworking)，开发多用户交互仿真。1990年NASAAmes Research Centre开发了一个虚拟风洞(VWT)，使用VR设备BOOM和数据手套Data Glove分析流场[3]。

运用计算机仿真模拟进行军事模拟训练方面，美军走在世界前列[5]。在阿富汗、伊拉克战争准备阶段美军就在欧文堡训练基地、山姆休斯顿军事医学教育训练中心开辟模拟实景训练和仿真模拟训练，实景还原伊拉克、阿富汗等作战场景，并要求士兵必须接受该基地3周的适应性训练后才能赶赴前线作战。通过VR、AR技术，医疗队员携带多种形式的传感设备，对各种极端战场环境下的救治(极地、深海、高空，包括核化生武器致伤)会有切身感受，如同亲身参加实战，对参训人员的战伤救治水平、心理承受和应变能力都有显著提高。

2.3 游戏领域 游戏软件巨头任天堂公司2015年发布的的Pokemon Go将AR技术应用于游戏领域，通过手机在现实世界中寻找并捕捉虚拟的精灵，凭借出色的创新性获得巨大成功。

2.4 旅游/数字场馆 将旅游景点进行数字化，以AR形式展现景点的魅力。如2006年北京理工大学的王涌天等人提出运用增强现实技术数字化圆明园，实现圆明园的重建，通过原址、移动设备AR及头盔式AR等多种形式重现圆明园的往昔风采[6]。场馆方面，AR技术能成为读者的随身助理，也能成为馆员提升工作效率的得力助手，场馆信息展示的新舞台。应用实例：读者利用AR设备观察书籍、名胜、历史遗迹等被强化物时，相关信息如馆藏书目、影音资料、景点故事等作为强化物叠加其上。还可协助读者/管理员定位图书，结合用户位置进行导航。

2.5 汽车领域 GTC2016开发者大会上，德国马牌展示了其正在开发的AR增强现实技术在汽车领域的新应用。在汽车前挡风玻璃上显示人机交互界面，计算机会根据真实世界场景，实时动态地投射消息至前挡风玻璃上，驾驶者看到的车速、路线、交通状况等信息与路面、建筑等自然环境融为一体，通过AR交互大幅度提升了汽车驾驶体验。

2.6 AR购物 2017年万事达联合高通等公司推出了一个新的购物系统，并集成了增强现实与生物识别技术来提升其购物体验和安全性。

2.7 智能家居 2014年谷歌斥资32亿收购家居设备公司Nset，苹果发布智能家居平台Homekit，大量家电企业、互联网企业涌入其中。目前交互展示屏、视频墙已较为普及，数字交互的媒体技术已经非常成熟，可以实现在家中与窗户等玻璃制品进行交互，AR条件下进行家居的摆放布置。下一步就是3D投影与AR技术的结合，投入到智能家居场景中。

3.医学应用展望

学者们已开始在医疗领域进行各种尝试，摸索合适的应用场景。如解剖教学[7]、模拟手术训练[8]、术中导航[9]、康复训练[10]等多种场合均有望在AR/MR的支持下，获得更直观、更理想的效果。

口腔医学方面，AR/MR应用范围也较广。AR/MR的虚拟投影可用在颌面外科、种植科等手术科室的医患术前沟通，直观呈现手术规划设计；也可进行术中实时导航，提高手术精准度和安全性；观察髁突和关节窝位置关系，辅助颞下颌关节病的诊断和治疗；正畸科的方案设计、最终效果显示等。

随着技术不断进步，AR/MR已经成功应用于游戏、工业制造、医疗、军事、家装、购物、语言翻译等多种行业中，应用前景十分广阔。同时我们还要看到，有关AR/MR的研发还处在初级阶段，对于专业性、精准度要求较高的医疗领域来说，还有很大发展空间，需要更多的医学专业人员和软件开发人员开展紧密合作，熟悉AR/MR技术的优势和局限，才能开发出适宜的产品。但不可否认，几十年来，虚拟现实在游戏娱乐、影视制作、专业技能训练、旅游、军事、工业制造等各个方面对人类活动已产生深远影响，未来也必将给医学领域诊治过程带来深刻变革。