增强现实装备维修引导系统研究综述

马金盾，张 雷，郭理彬，张 杰

(陆军装甲兵学院 兵器与控制系，北京 100072)

随着计算机视觉、图像处理等技术的发展，增强现实(Augmented Reality，AR)技术应运而生。AR技术最早是在1994年由Paul Milgram和Fumio Kishino给出明确定义[1]，是指在真实场景中叠加虚拟模型或信息，实现虚拟场景与真实场景的精确融合，以加强人们对真实场景的感知和处理，目前已广泛应用在医疗[2-3]、工业[4-5]、教育[6]和军事[7]等领域。AR技术的出现给复杂的装备维修带来了生机，产生了维修引导的新概念，目前基于AR技术的引导维修是国内外大型设备的主流维修方式。诸如麻省理工、波音公司、浙江大学等多家单位都对增强现实维修引导系统及其关键性技术做了一系列的研究，并且取得了很好的成果。此外，同时定位与地图构建(Simultaneous Localization And Mapping，SLAM)技术在近几年取得了成熟的发展，并且视觉SLAM(Visual SLAM，VSLAM)技术以其硬件成本低廉(只需要一个普通摄像头)、小场景范围内精度较高、无需预先布置场景等优势，成为现在一个采用较多的增强现实定位技术[8-9]，能够实现真正意义上的无标志跟踪注册。本文主要对增强现实维修引导系统及其关键技术的研究进展进行了阐述，重点对VSALM技术的发展作了总结，最后对目前存在的问题和发展趋势作了深刻的分析，希望能对AR技术应用在维修方面的研究提供参考。

1 增强现实维修引导系统研究进展

增强现实维修引导系统是指针对复杂大型机电系统的维修引导培训系统，它是利用AR技术对维修过程中所用到的检测数据、操作步骤等复杂、多样化信息进行“增强”显示，以实现辅助维修人员进行故障检测和维修操作的目的[10]。该系统主要包括故障检测、维修培训、现场离线辅助维修和远程实时指导维修等功能，实现该系统的主要技术包括增强现实技术(跟踪注册技术、真实感绘制技术、交互显示技术)，交互式电子技术手册(Interactive Electronic Technical Manual,IETM)技术和故障辅助推理技术等等，该系统尽可能地实现了虚拟引导信息、检测数据与真实维修空间之间的完美对接，大幅度提高了维修的效率。增强现实系统如图1所示。

图1 增强现实维修系统框图

1.1 国外研究进展

AR技术自提出以来受到了世界上多家研究团队的广泛关注与研究，国外对AR技术在工业维修方面的应用研究起步较早，多家科研单位都进行了深入的研究，取得了一系列的成果，欧美等发达国家在这一领域的发展代表了当今世界的先进水平。

1.1.1美国的研究进展

美国是最早进行该研究的国家之一。1990年，波音公司的Tom Caudell[11]和他的同事率先利用AR技术来改善飞机制造过程中的辅助布线系统，这是增强现实这个词的首次提出，之后波音公司开始将增强现实应用到辅助维修领域。他们研究了用于指导技术人员维护航天电器系统的维修引导系统，此系统应用在DART510航空发动机的维修过程中[12]，其维修时间与之前相比缩短了56%。同期哥伦比亚大学也进行了一系列研究，到了1993年，Steve Feiner教授[13]的科研团队研发出了基于知识的增强现实维修助手(Knowledge-based Augmented Reality for Maintenance Assistance，KARMA)系统，该系统是一个基于标识的增强现实系统，他使用虚实配准技术将虚拟的技术说明和真实的激光打印机进行图像融合，技术人员会在头戴显示器(Head Mount Display，HDM)显示的说明信息下工作，此系统可以很方便地帮助使用该产品的用户维护激光打印机。由于AR技术在民用维修领域的突出表现，美国军方对该技术也有了高度的关注。2007年8月，美国空军联合空军研究实验室、战斗人员准备研究部、哥伦比亚大学启动了增强现实维护修理(Augmented Reality For Maintenance And Repair，ARMAR)研究计划[14]，旨在提升装备维护和维修训练的效果。模块化的设计思路是该计划研发的原型系统的一个创新点，所以该系统无需修改整个系统框架和维修流程就可以实现流程升级。人机交互方式中的机会控制(Opportunistic Controls,OC)策略是该系统的又一创新之处，当操作人员触摸到被维修对象时，系统通过手势匹配、手势分析和标志物识别等技术调出被维修对象的虚拟维修菜单触摸界面，通过手指触摸虚拟界面来选择相应的维修流程。此外该系统还可以监控用户的维修进度，在适当的时机自动地为用户提供在当前进度下的维修操作步骤、所用工具、图像、音频和视频等各种虚拟信息，这是此系统的第三大创新点。2009年，哥伦比亚大学基于此项研究完成了面向LAV-25A1式装甲运输车炮塔维修的辅助原型系统的设计[15]，此系统得到了成功应用，极大地提升了美军士兵的维修水平。2015年，美国国防部组建的数字化制造和创新机构，将基于AR和可穿戴设备的生产车间布局作为研究的重点[16]。该研究不仅可以实现传统的AR辅助维修，而且创新性地实现了异地多人实时交互，它通过互联网技术将远程云端的模型、设计图纸、实物及专家维修方案等信息实时共享，这是增强现实维修引导系统功能的又一重大突破。目前AR技术的研究越来越深入，Google、Microsoft、Magic Leap等多家公司都应用SALM技术研发了轻量级的AR眼镜，为增强现实维修引导系统的实现提供了新的解决方案。此类眼镜启动后可以利用自身摄像机(单目、深度相机)自动地实时定位自身位姿并且构建所处环境地图，能够实时为虚拟场景的融合提供精确的坐标信息，极大地提高了用户的沉浸感。2015年，微软公司的Hololens眼镜一经发布就获得了美国国家航天局的青睐，成为Sidekick项目的核心工具，随着Space X公司的太空飞船进入太空。现在波音公司的工人在飞机电力线缆的装配中，已经应用到了新型的Google AR眼镜，Ford、Tesla等公司也在汽车制造中的部件装配等方面应用了轻量化的AR眼镜，都取得了很好的效果。

1.1.2其他国家的研究进展

欧盟对AR维修引导技术的研究也取得了突破性的进展。2003年，由德国主导的研发团队成功开发了Arvika系统[17]和Starmate系统[18]，其成功应用完美地揭示了AR技术在大型复杂机电系统的安装、维修领域的巨大应用价值。2017年，意大利的Univet公司发布了Univet 5.0增强现实眼镜，此眼镜的一大特点是镜片可以快速替换，能够有效防止机械冲击损坏镜片。目前Audi、BMW等公司已经将AR眼镜成功应用于汽车维修和装配工作中。

2013年，新加坡国立大学的Zhu等[19]开发了可编程环境感知增强现实系统(Authorable Context-awareaugmented Reality System,ACARS)。ACARS系统的提出将维修人员的专业水平、现实场景中的实时维修状态以及系统显示的虚拟维修信息内容有机结合起来，允许专业维修人员根据现场维修场景对该系统提供的维修内容进行实时修改(这些维修内容由设计者提供)，提升了系统的完善和更新速度。ACARS系统的提出扩大了增强现实维修引导系统的功能范围，给增强现实维修引导系统的发展带来了新的启示。此外，2016年日本航空公司与Microsoft合作，也研究实现了面向发动机机械师和飞行员的AR训练系统。

1.2 国内研究进展

国内AR技术虽然起步较晚，但目前在大众应用和工业生产、维修领域都取得了不错的研究成果。

2000年，国内开始进行了AR领域的最早研究。北京理工大学的王涌天带领的研发团队成功实现了将AR技术应用到圆明园景观的数字重现[20,23]，效果非常逼真，除此之外他们还对AR关键技术之一的三维注册算法进行了研究与改进。2007年，国内的AR技术开始在工业生产领域得到应用，主要集中在航空制造、维修方面，目前已经扩展到汽车等其他工业领域。目前国内的研究主要集中在诸如南京航空航天大学[10]、北京邮电大学[21]、浙江大学[22]、北京理工大学[20,23]、中科院自动化所等高等科研院校和研究所，现已取得了喜人的研究成果。南京航天航空大学主要针对基于AR的民用航空器维修展开了一系列深入的研究，包括维修引导系统的组成、构建和交互方式等方面，还开展了基于视觉跟踪的AR电子知识技术手册的研究，较为突出的是民航学院的左洪福教授团队，实现了许多基于AR的飞机维修引导应用系统。华中科技大学的徐迟主要针对AR系统实现过程中三维物体识别和注册的实时性问题进行了研究[25-26]，提出了适用于高噪声环境下使用和计算资源有限的移动设备使用的注册识别算法。2017年，浙江大学的李佳宁对VSLAM技术在AR系统中的运用进行了深入的研究[27]。他创新性地提出了一种基于Frame-to-Model的SLAM技术框架，并在本框架的基础上结合RGB-D相机开发实现了一套使用者直接手指触控的AR人机交互系统，与现有交互系统相比该系统实时性有了很大提升。与此同时空军工程大学的防空反导学院利用基于红外高亮标识点的PST跟踪仪和AR头盔，结合语音和手势识别，成功研发了一套基于多传感器融合式的增强现实维修引导系统[28]，此系统还创新性地构建了数据分布式处理和无线通信网络模块，极大地增强了系统的适用性和实用性，能使维修人员的维修效率更加高效。

目前国内基于AR技术的维修引导系统及其相关技术的研究正处于如火如荼、攻坚克难的关键时期，各个研究团队都结合新兴的图像学技术进行着深入的研究。

2 关键技术

增强现实维修引导系统的关键技术主要包括增强现实技术(三维跟踪注册技术、真实感绘制技术、交互和显示技术)、交互式电子技术手册(IETM)技术和故障辅助推理技术，他们相互支撑，缺一不可。其中AR技术中的三维跟踪注册技术是保证系统实现的关键。

2.1 三维跟踪注册技术

虽然面向维修引导的AR系统目前已经取得了长足的发展，但做为其技术核心的跟踪注册技术一直限制着AR系统的发展。三维跟踪注册技术是保证AR系统几何一致性的关键，它是指如何实现将虚拟物体捆绑到现实环境的坐标系中，并且随着视角变换还能实时准确融合到真实场景中。由于具有摄像头的移动设备的普及和计算能力的进步，基于视觉传感器(摄像机)的注册方法受到了高度重视和发展，此类方法按照算法原理不同主要分为基于平面标志、基于无标志和基于三维物体，3种位姿跟踪和估计方法。

基于平面标志的注册方法是AR中最早实用化和商业化的技术，主要面向大众应用，其中最有代表性的研究成果之一是采用人工标志的ARToolkit[29]，此开源工具采用对比度高的黑白二色构成的图案(人工制造，预放置在场景中)来进行跟踪，主要包括获取灰度图、预处理、快速识别和丢弃4个步骤，最后计算标志位姿匹配图像。人工标志虽然具有稳定的定位效果，但黑白图案往往对环境造成“污染”，而基于自然标志的定位算法较好地解决了这一问题，主要采用具有丰富特征的自然图像作为标志，主要包括特征点提取、特点匹配和单应性矩阵计算等3个步骤，被苹果公司收购的德国Metaio公司开发的Metaio AR SDK[30]、高通公司收购的 Vuforia[31]发布的SDK都采用了这种方法，有着不错的跟踪注册效果。虽然这两种方法都可以满足实时、稳定、鲁棒的三维空间注册，但具有很大的局限性，就是当视角离开预设的标志，就不能进行跟踪注册。

2007年，由Klein等[32]提出的PTAM算法，为这一问题的解决带来了福音，具有无标志注册跟踪里程碑式的意义。无标志的跟踪注册是指通过对摄像机拍摄的连续视频图像帧进行处理得到摄像机位姿来实现虚拟物体的注册过程，一般都采用SLAM技术来实现，主要用来实现静态场景中的跟踪注册。2015年，Mur-Artal等[33]对PTAM中的各个模块进行了改进和完善，基于PTAM框架提出了完整的ORB-SLAM系统[33]并开放了源代码，成为SLAM发展的又一里程碑，随后各个科研团队对SLAM的关注度急剧提高，近几年的研究成果也极其丰厚。虽然SLAM技术最早是面向机器人领域的，但目前已被广泛应用在AR领域中，被称为未来真正实现增强现实系统三维注册模块的关键技术，让人耳目一新的HoloLens就是采用了基于单目和RGB-D的SLAM算法来实现虚拟界面的良好显示。本文将在下一节对此技术的发展进行具体介绍。

与SLAM技术不同，基于三维物体的注册方法主要是面对运动场景使用的，主要是对三维实物进行检测、识别和跟踪。当前主要的检测识别方法是基于模板匹配的方法，基本思想是在模板上提取物体边缘的方向，而后在待检测图像上进行物体检测识别，随着深度学习的发展，也出现了不少利用卷积神经网络学习图像较高层次特征来进行物体检测和识别的方法，分类能力较强。跟踪模块主要是采用基于特征点的方法和基于模型的方法两种，前者与特征法的SLAM原理类似，后者主要是通过与预知物体的三维模型进行对比来确定位姿关系的。此方法通常作为增强现实维修引导系统中跟踪模块的初始化算法，在得到维修对象初始化位置后，在针对相应的场景选择对应的位姿估计算法，静态场景则采用VSALM技术，动态场景继续使用基于三维物体的方法进行位姿估计。

2.2 真实感绘制技术

目前国内外多家机构对VSLAM技术已经进行了十几年的研究，逐渐形成了一个较为成熟的技术框架，现有的VSLAM结构如图2所示，主要包含输入端，视觉里程计(跟踪位姿求解)，回环检测，后端优化，构建地图和重定位6个模块。各种不同的VSLAM系统则是在每个模块各自采用了不同的实现方法，VSLAM的实现方式主要分为基于滤波器和基于非线性优化两种类型。21世纪前，SLAM的状态估计主要采用滤波的方法，通常用扩展卡尔曼滤波器(Extended Kalman Filter,EKF)来实现。2007年，Davison[34]提出了具有代表性的Mono SLAM，它是第一个基于EKF实现的单目VSALM系统，虽然初步解决了实时的问题，能够在线创建稀疏地图，但是EKF将非线性估计当做线性估计来近似处理，所以导致误差累积，无法保证全局最优，长时间就会极大地影响系统精度，因此之后的很多研究人员针对此问题进行了研究与改进，例如Mourikis等提出了MSCKF，此算法创新性地引入了硬件设备数据，即惯性测量单元(IMU)数据，作为状态输入，并用滑动窗口的办法减小了误差的传递。

图2 VSLAM结构框图

现在SLAM系统多采用基于非线性优化的方式进行实现，它是将所有状态当做变量，把运动方程和观测方程当作变量间的约束，并构造误差函数，通过最小化所有误差的平方和来有效抑制误差。2007年，Klein等[32]提出的PTAM(Parallel Tracking and Mapping)SLAM框架是首个采用非线性优化方法进行后端运算的系统，此外该系统还首次提出了前端和后端两个过程并行的SLAM框架，保证了系统的实时性，至今此方式依然被主流的VSLAM框架所沿用。但由于此系统缺乏闭环检测机制，地图初始化需要人工参与，所以仅在小范围场景有较好应用。2015年，Mur-Artal等在PTAM的基础上，结合Galvez的闭环检测方法[35]和Strasdat的大尺度环境的局部相互可见地图的思想[36]，研究了ORB-SLAM系统并开放了源代码，此系统能够在小尺度和大尺度、室内和室外环境实时地完成位姿确定和稀疏地图构建，具有重定位和闭环检测功能，并且初始化不需要人为干预，采用追踪、局部建图和回环检测三线程并行框架，全程使用ORB特征，在保证较好的跟踪和匹配效果的同时实时性也得到了极大提高。2016年，Mur-Artal又公布了最新的研究成果ORB-SLAM2[37]，它适用于单目、双目、RGB-D三种相机，具有很好的泛用性，可在CPU上直接运行。ORB-SLAM2是目前SALM系统中非常完善且易用的算法之一，极其适合AR/VR的应用。相比于基于特征点的ORB-SLAM算法，基于直接法的DTAM[38]创新性地提出了不提取特征点而是通过最小化两帧图像的像素误差来估计位姿，利用单目摄像机借助GPU加速实现了稠密的直接法视觉里程计，2014年Engel等提出的LSD-SLAM[39]仅关注图像中梯度较大的区域进行像素误差最小化，实现了半稠密的地图构建，减少了计算量，有效提高了算法在移动AR平台的可应用性。同年，Forster等提出了一种半直接法的视觉里程计(SVO)[40]，此方法创新性地将特征法和直接法结合，跟踪关键点，不考虑描述子，运行速度非常快，但主要是面向无人机航拍，此系统没有闭环功能，也没有重定位和建图功能。此方法虽然不适合于AR领域，但对于未来SLAM技术的创新发展具有较好的启示意义。在2010年微软推出能够获取深度图的RGB-D相机之后，创新了稠密地图重建的方式，并且较好地解决了单目相机估计是存在的尺度漂移问题，因此极大地促进了RGB-D SLAM的发展[41-44]。目前国外比较著名的RGB-D SLAM研究团队有华盛顿大学的机器人实验室，该实验室对计算机视觉以及基于RGB-D的SLAM与三维重建进行研究，突出的研究成果有RGB-D SALM系统以及柔性重建算法等等[43]；还有德国慕尼黑工业大学的计算机视觉组，他们对基于直接法的SLAM有着很透彻的研究，主要贡献包括早期的基于RGB-D摄像机的稠密算法、半稠密LSD-SLAM算法以及2016年完善的DSO算法等等[44]。

国内的SLAM技术相比之下起步较晚，但也有着非常不错的成果。浙江大学CAD&CG国家重点实验室的章国锋研发团队对面向AR的单目视觉惯性SLAM算法进行研究[45]，实现了RD-SLAM等一系列SLAM系统，此外还构建了一个新的移动端单目视觉惯性数据集以及面向增强现实的评测标准，为SLAM算法在AR上的评测提供了标准。中国科学院自动化研究所国家重点实验室的吴毅红研究了一种新的基于圆形的特征SLAM算法[46]，达到了速度和精度都可以兼顾的目的，在公开数据库上与SVO、ORB-SLAM2相比都得到了优越的性能。

随着近几年深度学习的发展与成熟，现在SLAM技术框架的各个模块正在应用深度学习[37]，SLAM的发展也迸发出新的活力，同时未来实现增强现实系统的高精度三维注册跟踪也有了更好、更新的解决方案。

2.3 显示和交互技术

显示技术和交互技术也是增强现实维修引导系统的重要组成部分。目前增强现实的显示设备可分为头戴式显示设备、移动手持显示设备和空间增强设备3种[38]。头戴式显示设备由于其较强的沉浸感和便携性，是目前增强维修引导系统采用的主要显示设备，主要分为光学穿透式和视频穿透式两种设备，前者是通过将虚拟物体放置到现实场景中来进行增强显示的，而后者是将虚拟景象叠加到现实场景的视频中，将视频呈现用户眼前以达到增强的效果，目前已经有多家公司推出多种产品。Microsoft公司于2015年发布了HoloLens[39]，此眼镜属于光学穿透式设备，它使用全息技术，将虚拟信息投射成全息影像，实现具有较好沉浸感的虚实融合，并且集成了CPU和GPU，可以独立地实现与现实世界的交互，2019年它的升级版HoloLens2也成功发布。国内的影创公司在2016年也发布了类似的Halo mini全息光学穿透式头盔，但效果与HoloLens相比还存在一定的距离。芬兰的Varjo公司则开发了XR-1视频穿透式头盔，它集成了眼动追踪控制技术并且超低延迟，是目前较好的视频穿透式眼镜设备。除此之外，Google公司、Meta公司、Magic Leap公司都发布了各具特色的增强现实眼镜，为增强现实的显示问题提供了多样的可行性方案。

近年来，增强现实维修系统的人机交互方式也有了很大变化，涌现出了大量的模型、算法和工具，已经实现了从键盘、鼠标等单一通道交互转向一些更贴近用户习惯的基于语音、触控、眼动、手势和实物的多通道混合交互方式[50]。Microsoft公司的HoloLens、Meta公司的Meta2等产品都能够获取用户的手势信息，允许用户使用手势进行交互，Magic Leap公司的推出的Magic Leap One专门在眼镜内安装了可以追踪眼球的传感器，利用眼动技术达到控制计算机的目的。这些新兴的交互方式具有成本低、简单、自然，贴近人类自然习惯的特点，是目前人机交互研究的重点和热点。

2.4 交互式电子手册技术

快速准确的维修信息是增强现实维修引导系统实现的前提，交互式电子技术手册(IETM)能够将维修所需的技术资料按照统一的标准格式存储在数据库中，将杂乱的信息管理起来，具有较好的智能性和交互能力[51]。当维修人员或增强现实维修引导系统进行信息检索时，能够保证以最优的方式将维修所需的诸如文字、图像、视频和技术图纸等多种样式的信息数据呈现出来。目前对此技术的研究已经相对成熟，用户可直接对此技术的研究成果进行应用。

2.5 故障辅助推理技术

故障辅助推理技术是连接故障现象和装备信息数据库的纽带，是实现正确提取的关键，是维修工作的首要任务。故障推理技术的发展主要可以分为以下3个阶段[52]。第一阶段产生于19世纪末，主要依靠专家和维修人员的经验和极其简单的仪表进行故障推理工作；第二阶段产生于20世纪60年代的美国，是以传感器技术为手段，以信号分析为基础的系统输入输出信号处理推理法；始于20世纪80年代的智能推理方法是以专家系统、神经网络、模糊逻辑、遗传算法等智能算法为基础的，其中专家系统作为基于知识的智能推理领域的一个重要分支深受研究者的追捧，现形成了基于规则产生式、基于神经网络、基于故障树、基于模糊推理分析以及融合多个不同专家系统推理结果等多种形式的故障推理专家系统。不同的专家系统具有不同的特点，例如产生式规则表现形式简单，推理速度快，但存在对多故障问题诊断效果不好的问题；而基于神经网络的专家系统虽然诊断速度快、精度高，但对样本的依赖大，在工程运用中困难较大。所以未来的推理技术发展需要重视多种信息的融合和多域敏感特征的提取，将不同智能技术进行更深层次的融合，充分发挥混合智能故障推理技术的优势，有效解决装备故障的推理与诊断问题。

3 问题与发展趋势

增强现实维修引导系统虽然进行了近30年的研究，但仍然在系统普适性、实时性、鲁棒性和交互性这四大方面存在很多问题，并且随着包括光学、图像学等技术的发展，系统的性能还有很大的提升空间。

1) 实时性

实时性是AR维修系统的关键评价指标，维修开始的关键是知道故障在哪，然后调出维修所需的相关信息，在这个过程中想要用AR来进行辅助，帮助缺乏经验的维修人员更快更安全地进行维修，所以影响AR维修系统实时性的因素主要分为两方面，一个是故障诊断推理，另一个是增强“显示”的跟踪注册。采用专家系统进行故障推理能够快速定位故障位置，实时性和准确性效果较好，而视觉SLAM的跟踪方法大都采用并行的系统框架，系统的实时性得到了很大的改善，但实时性仍有很大提升空间，主要提升点在位姿估计的BA优化和重定位，BA优化将所有的状态点地图点在一起进行优化，随着时间的累积计算量越来越大，怎么充分地利用局部优化和全局优化可以保证既不损失精度又能节省时间，或者探索新的优化方法(例如章国锋研究团队提出的分段BA优化)是未来提升跟踪注册实时性的关键之一。而增强现实系统的用户会经常快速移动或旋转头部，从而导致跟踪极易丢失，重定位模块频繁启动，所以怎么在建好的地图库中进行图像的快速搜索匹配是提升实时性的又一关键之处，近年来，深度学习在图像检测和匹配中发挥了极大作用，所以结合深度学习进行特征提取匹配图像是未来重定位技术发展的重要方向，也是提升实时性的关键所在。

2) 鲁棒性

系统鲁棒性的主要影响因素是增强现实模块中的跟踪注册技术，现有的视觉SLAM最大的局限在于过于依赖图像特征，本质上是采用了过于底层的局部特征(点特征)，在特征不够丰富的情况下，仅从图像无法恢复出相机运动，而直接法恢复相机位姿虽然不需要提取特征，但构建稠密地图带来的大量计算量对系统的实时性带来了很大影响。所以未来希望利用边缘、平面甚至是物体等更为高层的图像信息，缓解特征点依赖的问题，提高系统鲁棒性，或者结合特征法和直接法来进行优势互补，同时也希望通过融合其他传感器来得到缓解。由于各类传感器既有优势又有其自身固有的局限性(例如低成本的IMU很容易造成误差累积，深度传感器容易受太阳光的影响但包含深度信息)。因此，如何将各种传感器有机融合起来，是实现鲁棒跟踪定位的一个发展趋势。

3) 交互性

尽管增强现实系统的人机交互近年来取得了很大的进步，但仍存在着交互通道少、真实度不高、用户接受度低等问题，目前AR系统的交互信息获取主要是通过跟踪头部和手部，忽略了其他感知信息的获取通道；并且现在的交互工具(AR眼镜)重量较大，需要经过繁琐的校准流程，使用起来较为困难。这些都制约了AR系统的发展和应用，在未来，要使得增强现实系统变得更为高效易用，必须解决好上述问题。在交互技术方面，必须提高虚拟物体在真实世界的位置、大小和运动匹配的精确度，必须提高显示呈现系统的分辨率、对比度，增加可视范围；必须拓展增强现实交互通道，利用肢体运动感知、生理计算、脑机接口等新型感知技术扩宽系统对用户状态和行为的感知能力，必须提高系统在不同交互场景、用户、上下文和多通道信息融合中交互意图的理解能力，实现增强现实系统的自然交互。

4) 普适性

目前的增强现实维修引导系统大多功能单一，有的只能进行维修引导，有的只能进行操作训练和知识培训，有的系统缺乏开放性，不能进行实时更新和完善且不能进行远程实时交互。因此未来的的增强现实引导维修系统在整体上必须采用模块化和开放性的设计思路，维修流程升级和更新只需要修改相关的维修模块，而不修改整个系统框架和维修流程；维修系统不仅仅是被动的“只读”系统，操作人员也不再是传统的信息接收者，系统可以将虚拟维修信息的内容与操作人员的专业水平和实际场景中的维修状态结合起来，允许操作人员根据实际维修场景对系统的维修内容进行修改，使系统的交互性和可操作性更加突出。总而言之，未来的增强现实维修引导系统将综合运用诸如HoloLens眼镜、手势交互和VSLAM等技术和设备，将同时具有离线维修引导、远程实时交互指导、操作培训以及用户实时更新系统等功能，使此系统能够从事更加复杂的维修任务，能够应用于更多的场景和任务。

4 结论

增强现实维修引导系统已经成为目前大型复杂机电装备维修的主流方式，我国对于增强现实的研究还处于起步阶段，随着相应的硬件设备、软件平台的不断出现和理论体系的建立发展，增强现实技术在装备维修领域的广泛应用会成为必然趋势。本文对基于增强现实的智能维修系统相关技术及最新发展趋势进行了分析介绍，未来的增强现实维修引导系统关键技术的发展空间很大，需要进行不断的研究和创新。