增强现实技术在单兵设备中的应用研究*

程天人 徐 腾

（上海船舶电子设备研究所 上海 201100）

1 引言

增强现实技术（Augmented Reality，AR）是将计算机生成的虚拟信息合成到用户感知的真实世界中的一种技术，通过利用视觉、听觉、触觉等人类的各种感知方式，将真实世界与虚拟世界融合起来，实现对真实世界的增加和强化，提升用户对现实世界的感知［1］。真实的环境和虚拟的物体实时叠加到同一个画面或空间同时存在，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加，提供了在一般情况下，不同于人类可以感知的信息。2012年6月28日，在I/O 开发者大会上，谷歌公司推出了穿戴式增强现实产品Google Glass，被《时代》杂志评为2012年最佳发明。微软2015年展示了HoloLens 增强现实眼镜，可以利用手势进行交互，戴上眼镜后，可通过手指在空中点选、拖动、拉伸来控制虚拟物体和功能菜单界面，进一步激发了全球增强现实技术研发与应用的新热潮。

当前，从城市规划、教育科研、设计研发、维修保障到军事训练、作战指挥，增强现实技术均能大显神通，展示出超强的发展潜力，随着研究和应用的日趋深入和成熟，必将对未来各领域应用产生深远和颠覆性的影响。

2 增强现实系统组成

增强现实技术发展与虚拟现实技术发展密切相关，二者又明显不同，虚拟现实是模拟真实世界，用户完全沉浸在虚拟世界中，与虚拟物体进行交互，增强现实是在用户感知的真实世界上，叠加虚拟场景，来提升用户的感知能力，用户与合成的场景进行交互，并不改变对真实世界的各种感受［2］。增强现实是一个多学科交叉的研究领域，融合了包括多媒体、计算机视觉和图形学、人机交互、图像处理等多种技术。一个典型的AR系统由虚拟模型生成、虚拟场景渲染、跟踪定位、虚实融合显示、操控信息捕获与处理等部分组成，如图1所示。

图1 增强现实系统结构示意图

模型、图片、文字等虚拟场景元素一般由计算机生成，模型可根据场景应用需求预先加载或在应用过程中根据用户要求实时加载［3］。

虚拟场景渲染主要是对虚拟场景进行绘制、渲染，生成虚拟场景中的虚拟物体，形成虚拟场景。

真实场景通过透镜或摄像机采集，叠加虚拟场景后，形成增强现实场景，供用户体验。

跟踪定位是通过对真实场景量测、计算，获取虚拟场景中物体的信息，实现虚拟场景在真实场景中的叠加和融合显示。

用户需要可以通过语音、手势等，由麦克风、摄像头、跟踪器和计算机等设备进行捕获处理，生成操控指令进行虚拟场景元素的加载及制作，从而实现对增强现实场景的控制。

3 增强现实系统主要关键技术

增强现实系统的主要任务是进行真实世界和虚拟物体的无缝融合，需要解决真实场景和虚拟物体在几何空间、色彩空间和时间维度的合成一致性问题。根据增强现实技术的定义，实现一个AR 系统必须要具备三种关键技术，分别是成像显示技术、跟踪与定位技术、人机交互技术，其中，跟踪与定位技术实现几何空间一致性，成像显示技术实现色彩空间一致性，人机交互技术实现时间维度一致性。

3.1 增强现实跟踪与定位技术

跟踪定位技术一般分两类，一类是基于传感器的跟踪定位技术，这类技术无需使用复杂的算法来获取虚拟信息呈现的位置，而是通过北斗、GPS、陀螺仪等各种硬件传感器来得到位置、姿态信息；另一类是基于计算机视觉的跟踪定位技术，该类技术无需借助传感器等硬件设备，它通过摄像设备采集真实场景视频图像，采用图形图像处理技术对采集的环境信息进行分析，获取摄像机在真实环境中的位置、角度等信息，从而实现跟踪定位［4～5］。跟踪定位技术的主要分类如图2。

图2 三维场景跟踪定位技术

由于两种跟踪定位技术在使用中各有优势和不足，目前单一的跟踪技术不可能很好地解决增强现实应用系统的跟踪定位问题。因此采用混合跟踪的方法进行跟踪定位是增强现实系统的重点研究方向［6］。混合跟踪定位技术主要是将基于视觉的跟踪定位与基于传感器的跟踪定位相结合，以达到更加精确的跟踪定位效果。

3.2 增强现实成像显示技术

增强现实系统成像显示技术主要包括传统普通显示器显示、便携移动设备显示、投影显示设备显示、头盔显示设备显示、眼镜显示、裸眼3D 显示等技术，如图3。其中，单兵设备的头盔显示方式已广泛应用于增强现实系统中，一般分为光学透视式和视频透视式两类，光学透视式头盔显示技术由加装在眼前的光学融合器完成虚实场景的融合，再将融合后的场景呈现给用户。光学透视式增强现实系统具有简单、分辨率高、没有视觉偏差等优点，但同时也存在着定位精度要求高、延迟匹配难、视野相对较窄等缺陷。视频透视式头盔显示技术由头盔上的摄像机获取真实场景的视频图像，并将该视频图像与虚拟场景进行叠加，实现虚实场景的融合呈现给用户。视频透视式增强现实系统具有景象合成灵活、视野较宽、跟踪误差小、定位精度高等优点，但由于人眼的视点与摄像机视点无法重合，会导致用户看到的景象与真实景象之间存在偏差［7］。

图3 增强现实成像显示技术

图4 增强现实人机交互技术

3.3 增强现实人机交互技术

增强现实系统中的交互方式主要有四类：传统的键盘、鼠标人机交互、基于便携设备的人机交互、基于手势的人机交互和基于语音的人机交互，基于手势和语音的人机交互更接近于人类本身的交互方式，一般称为自然人机交互［8～9］。

基于手势动作的人机交互技术通过视觉检测实时捕获、分析操作者动作，实现对操作者意图的识别，并自动匹配和生成相应的操作指令，实现人机交互［10］。动作捕获技术主要由光学捕获和视觉捕获技术两部分组成，光学捕获通过捕获穿戴设备特定位置光点，并综合多个光点位置信息分析出操作者所作的动作，实现对操作的识别；视觉捕获技术通过提取视频中捕捉对象，通过特定的三维模型匹配动作，实现对操作的识别。

4 增强现实技术在单兵设备中的应用

随着信息技术在军事领域的深度应用，以信息网络为基础，引入人工智能、增强现实等前沿技术，世界各国都在大力发展单兵系统，对系统的综合效能、人机交互特别是视觉增强等方面进行深入研究，从而提升单兵设备的智能感知、多任务协同和人机交互的能力。

单兵设备一般采用头盔式装备，其装备方便，便于使用。在头盔式装备中，穿透式大视角增强现实（AR）显示设备是主流的显示方式。新的设备形态需要新的人机交互方式与之相适应。

4.1 双目战术AR装置设计技术

双目战术AR 提供了一个全新的人机交互方式［11］，具有较佳的近眼显示效果，使用者能够轻松、便捷地观看显示信息，主要功能是提供一个双目的可视觉穿透式的近眼显示功能，透过屏幕可以看到实际的物理世界，同时还可以在屏幕上叠加显示一部分虚拟信息，从而达到虚拟现实增强的效果。头盔显示器采用隐藏式双目战术AR结构设计。

隐藏式双目战术AR 通过增加头盔前沿的宽度，采用阻尼滑轨，使用时可将AR眼镜端向下轻拉便可定位于眼前，通过微调便可清晰显示，同时可以佩戴全面罩式风镜。不使用时可将AR眼镜端向上轻推，便可完全隐藏在头盔内部，不遮挡视线，同时不影响制式风镜等装备的使用。隐藏式双目战术AR 包括盔体、盔体附件、AR 眼镜装置、连接装置，如图5所示。

图5 隐藏式双目战术AR示意图

图6 眼动追踪目标选择

4.2 基于高精度轻型稳定视觉SLAM 的头盔定姿定位技术

单兵设备的显示功能将融合所观察到的实际场景和对场景中的目标增强和辅助信息显示的功能，其中虚拟对象的显示要与真实对象的位置保持固定的空间关系，这就要求头盔的定姿定位具有高精度、高效和持久稳定性。同时定位与地图构建是增强现实设备与真实场景之间交互和显示的核心支撑技术。

研究基于高精度轻型视觉SLAM 的定姿定位技术，是为单兵提供获取周围环境空间关系数据的技术手段，也为虚实融合显示提供支撑，为单兵视觉提供辅助与指示。传统的激光SLAM 由于需要额外的激光设备不能满足头盔的轻便、低功耗需求，而视觉SLAM作为是以可见光/微光相机为主要输入源的SLAM 技术则成为可行的方案。该技术成本低廉，纹理、颜色信息丰富，更适合识别追踪场景中的动态变化，检测周边场景语义内容，给出丰富场景描述信息。

通过对视觉SLAM 与多感知信息融合处理技术的研究，能够得到更精确的单兵场景定位，同时实现单兵行动轨迹记录功能，为单兵提供实时周边信息反馈，帮助其判断当前场景局势。同时，单兵的传感器信息汇总到指挥中心后，可利用中央处理器对所有信息进行汇总整合，进行全局的地图重建，从而得到更丰富的场景实时情况。

4.3 基于眼动追踪的目标选择与人机交互技术

当单兵设备协同时，多维度差异化的观察视角与视距，复杂场景不同时延信息的同步融合，以及由战场环境、侦察打击目标和运动平台所构成的动态场景，都是影响单兵节点实现人人协同的难题。

由于单兵设备体积小，任务融合度高，为了满足交互过程特殊性需求、最小化或无需手的参与，提升单兵使用状态下的信息交互能力，最适合的交互方式为以眼动交互为主的交互方案。因为只有眼部动作的幅度最小，而且其他人无法单独从眼部动作判断动作的意图。

眼动追踪作为一种新型交互方式，在单兵头盔中应用可以帮助单兵进行态势感知和交互，它可以通过跟踪人眼球的角度来找到人的注意力，选择增强现实图像的目标［12］。基于眼动追踪的目标选择，是最快最直接的方式，眼动追踪技术是通过检测眼球运动过程中的一些特性，来追踪眼睛运动和视线的变化。眼动追踪测量设备又叫眼动仪，它能测量眼动频率、瞳孔大小变化、平均注视驻留时间、注视点序列、目标兴趣区时间、眼震等参数。为此，需要重点突破眼动追踪复杂光照防干扰算法、眼动追踪深度学习神经网络算法等关键技术。

4.4 虚实融合多坐标转换技术

虚实融合是增强现实技术的主要实现手段，虚实融合的效果直接影响着增强现实技术的真实感。虚实融合中的最重要的问题就是多坐标转换问题。

三维配准与虚实映射定位融合技术是增强现实系统中非常重要的部分，该技术完成的主要操作是把计算机生成的虚拟物体及信息等准确地叠加到真实场景之中。其核心是根据相机的移动，计算相机当前的位姿，由当前位姿信息就能够得到当前虚拟物体叠加的位置，实现虚实融合。

在AR 系统中，三维配准技术主要解决的问题是怎样准确的将虚拟物体放置在真实场景中。要将虚拟物体准确放置在真实场景中需要涉及相机的标定以及两个转换过程。其中，相机标定的主要目的是获得相机的内参，两个转换过程包括从世界坐标到相机坐标的转换，以及从相机坐标到成像坐标系的转换，要经过这两个过程的转换，重点实现计算机在眼镜屏幕上生成的目标检测框（虚拟物体）准确地框选目标，才能使目标对象准确的显示在屏幕上。

5 结语

经过多年的发展，增强现实相关技术取得了显著的进步，展示出强劲的发展前景。本文简要介绍了增强现实系统的基本组成，分析了增强现实系统涉及的主要关键技术，提出了增强现实技术在单兵设备中的重点应用研究内容，对相关研究人员系统地了解增强现实系统和技术有一定的参考意义。随着增强现实技术的快速发展，其应用领域特别是在军事方面的应用前景将十分广阔。