增强现实技术用于无人机维修保障的优势

张群亮 籍家亮 芦海利 褚超 张然

随着无人机技术的不断创新与人工智能技术的迅速发展，无人机航程更远、飞行高度更高，可执行多样化任务。但是，无人机分系统愈发复杂，对无人机维修保障提出了更高要求。对此，技术人员正在研究增强现实技术如何辅助无人机维修，以满足维修保障的需求。

增强现实技术的概念

国际上一般将介于真实环境和虚拟环境之间的部分看成是一个虚拟连续体（见图1），即真实环境和虚拟环境分别处于虚拟连续体的两端。随着机器视觉技术的发展，增强现实技术在游戏娱乐、地图导航等领域广泛应用。增强现实技术是一种能把虚拟世界的信息和真实世界的信息进行无缝连接的新技术，其最终目标是将虚拟世界与现实世界在屏幕上进行叠加，实现虚拟与现实之间的互动。

虚拟现实技术的概念

虚拟现实（VR）技术是一种包含计算机、电子信息、仿真等技术在内的全新实用技术。在虚拟连续体的虚拟环境端，虚拟现实技术在沉浸式游戏中广泛运用，通过计算机技术对虚拟环境进行模拟，带给人们一种沉浸式环境感受。

AR和VR技术在医疗、军事、娱乐、教育等领域广泛应用，极大丰富了人们的生活，同时也深刻影响着生活。

无人机维修保障的机制

近年来，大中型无人机已广泛应用于军事与民用领域。传统无人机维修保障过度依赖于技术手册、维护说明书等纸质资料、维修人员的经验。大中型无人机是一种技术含量高、组成复杂的新装备，较高的维修成本和维修差错之间的不可逆性要求维修工作必须达到错误零容忍。机载设备的电气线路错综复杂、信息化程度极高，其维修仅依靠纸质资料、人员经验，维修效率、效果难以得到保障。

目前，国内外无人机主要采用二级维修制，即基层级维修和基地级维修。其中，基层级维修负责日常维护性检查任务，以确保无人机随时处于能正常起飞的完好状态。当无人机出现故障时，维修人员通过排查对故障进行定位，确定故障部件，排除故障的方法主要以换件为主。

当基层级维修出现相关维修设备缺乏或人员维修能力不足时，无人机须要进行基地级维修。相较于基层级维修，基地级维修对维修人员的能力和素质提出了更高要求，维修人员应借助更加专业的设备进行精准维修。

在维修过程中，为防止人为差错，基层级维修和基地级维修须要对故障问题进行精确定位，并对维修过程进行精准监控和实时监督，这就要求维修人员必须持证上岗，相关单位应建立统一的维修标准。

国外增强现实技术的发展现状

随着智能化装备、机器视觉技术的迅速发展，AR技术已能把计算机生成的虚拟图像与真实环境进行完美叠加，同时用户在叠加的虚拟对象基础上可继续实现叠加。AR技术采用了虚实结合、实时交互和三维注册三大核心技术。当前，基于增强现实技术的方案主要有两种，一是视频透视式手持设备；二是可将数字图像生成于半透明镜片上的光学透视式智能眼镜。图2和图3分别展示了视频透视式增强现实技术和光学透视式增强现实技术。

两种方案各有优缺点。基于视频透视式增强现实技术的图像匹配准确、同步程度高，但计算量大，实现难度大；光学透视式眼镜显示更真实的影像虽不须要二次成像，但受信息采集输入过程中人为晃动因素的影响，特征点重复采集、计算量因此会激增。近年来，市场出现了诸多封装，这些封装集成了计算机视觉、图像处理、人机交互等关键技术，以及优秀算法工具包、开源代码，为增强现实产品开发节约了时间、人力等成本，拓宽了增强现实技术的应用领域和封装的运用范围。目前，较为实用且常用的软件主要有日本于1999年发布的增强现实应用软件库ARTooKit、国内自主研发的EasyAR软件，以及专门用于美国苹果公司IOS平台框架的ARKit软件等。

增强现实技术应用于无人机维修保障的优势

质轻、体小、使用灵活

无人机机体及机载设备从设计、研发、制造到出厂的整个过程将产生数量庞大的技术资料以及信息量巨大的维修规程，这些技术资料和维修规程分散于少则几十、多则成百上千的手册中。如何全面准确整合各种零散信息，给传统无人机维修任务带来了巨大挑战。图纸不能完全直观呈现形象，对维修人员的空间想象能力提出了更高要求。而增强现实技术应用于无人机维修保障领域，能全面整合诸多资料和数据，包括但不限于交互式电子技术出版物（IETM）、三维影像、安装拆卸注意事项等技术资料，以及维修引导图像、文字等数据信息。基于增强现实技术的辅助维修系统将诸多资料数据整合至一个移动式便携设备中，不仅解决了繁重纸质资料不易携带和保存的问题，而且有效防止了因内容繁多导致的遗忘或丢失等情况。

标准统一，成本低

随着无人机应用领域的不断拓展，大中型无人机的维修保障工作量日益增加，这须要更多的维修人员来保障无人机时刻处于良好的技术状态。培訓人员数量不断增大，可能造成人员技能参差不齐。由于维修人员的技能有高低之分，无人机的维修工作会出现不一致的维修效果。但是，增强现实技术应用于无人机维修导引后，不仅能大幅缩短维修人员的培训周期，还能提升人员的装备维修经验，最大限度节约维修成本，在技术层面，可避免人为维修差错导致的资源浪费和经济损失。在维修保障系统建立初期，规范化维修标准就应存储到系统中。维修人员在维修过程中可实时调取数据，保证按照统一标准进行维修引导。由于维修过程被实时记录，工作人员完成工作后进行复查时，可以做前后对比，检查工作更加高效便捷，确保无遗漏发生。

交互灵活、协作便捷

传统交互须借助人体与实物的接触或鼠标、键盘等输入设备来实现信息采集与输入。随着增强现实技术的发展，交互方式趋于多样化。手势和体感交互不再须要传统意义上的操作设备，解放了双手，语音交互融合大幅提升并丰富了用户的使用体验。如果语音交互也能融入无人机维修保障，维修人员完成任务所需时间将大幅缩短，效率更高效。

在运用增强现实技术时，当多个用户同时使用集成了社交交互、共享交互等功能的三维可视化系统共享同一个场景时，由于每个用户擅长的知识领域不同，多个用户可协同交互来交流相关知识，此时便捷式协作交互功将成为提升研究和分析效率的助推器。

技术难点

为更好地保证维修系统的稳定性和最大限度发挥维修引导作用，基于增强现实技术的维修系统应包括但不限于图像采集、图像处理、虚实配准、消息处理、虚实图像融合显示等子系统，其中涉及的三维跟踪注册技术、真实感绘制技术、交互和显示技术三种增强现实技术与交互式电子技术出版物以及故障辅助推理等技术相互影响、相互支撑。这些技术如何应用于快速识别、精准匹配、智能输出，是业界重点研究的方向之一。然而，计算机视觉毕竟不是人眼，机器缺少人类大脑具有的快速联想、思考、随机应变能力。若要实现增强现实技术与无人机维修保障的无缝连接，我们应对三维注册跟踪、真实感绘制以及交互等技术展开更加深入而广泛的研究。

三维跟踪注册技术

三维跟踪注册技术是指计算机系统产生的虚拟图像与用户所处的真实世界进行精准匹配和完美叠加，可分为硬件注册、计算机视觉注册和混合注册三类技术。在无人机维修保障中，增强现实技术如果为操作人员提供无缝衔接的工作便利，采集设备必须具有事先精确采集和处理特征点的能力。根据注册场景有无标志物，计算机视觉注册技术可分为基于平面标识物的跟踪定位注册和基于图像自然特征的跟踪定位注册两类。快速响应码牌（Quick Response Code，QR）即二维码是一种基于标识物的注册方法（见图4）。操作人员扫描二维码，便能调用与二维码相对应的算法，算法可生成子装配体和零部件的虚拟图像，虚拟图像再叠加到现实环境中，从而帮助操作人员完成复杂的装配任务。

基于图像自然特征的注册方法也称无标识注册法，如图5所示。这种跟踪定位注册方法可对图像采集设备所采集的二维影像进行处理，对二维影像的特征点、线、面以及纹理等自然特征进行匹配，从而实现三维跟踪定位。基于图像自然特征的注册方法抛弃了专用硬件的支撑，破除了使用环境的限制，但是特征点提取过程中的准确性以及匹配鲁棒性提升是增强现实技术应用道路上的一大难题。

真实感绘制技术

真实感绘制技术主要研究如何將计算机定义的几何模型生成具有真实感的可视化图形，是计算机图形学不可或缺的组成部分，该技术在提升增强现实中的虚拟信息表现力方面发挥着重要作用。叠加到真实环境中的虚拟图像若获得真实感，关键要充分全面考虑颜色、亮度等因素对物体所呈现图像的影响。因此，光照模型、虚拟图像绘制方程、绘制算法构建须考虑物体尺寸、颜色、光照、实时性等因素。由于产品使用场景受所处环境的影响较大，虚拟图像绘制受光照条件的影响明显，所以操作人员在户内外使用基于增强现实技术的无人机辅助维修产品时，成像效果存在显著差异。光照模型和深度融合模型等技术研究有待进一步加强。

同时，虚拟物体叠加须处理好虚实遮挡关系。因为所绘图像呈现的真实感是衡量真实感绘制技术水平高低的一个重要指标，而虚实物体之间的正确遮挡效果是实现真实感融合的另一重要指标。因此，技术人员须要解决遮挡物大小计算、虚实相对位置关系确定、虚拟物体遮挡部分呈现等技术难题，这些问题的解决方案须要算法和代码不断改进和升级。

人机交互技术

除了三维跟踪注册技术和真实感图形绘制技术，人机交互技术是另一个尤为关键的技术。目前，人机交互式桌面设备一般通过鼠标点击或键盘热键输入信息，便携式移动设备终端则采用手指触摸点击或滑动等交互手势来实现信息输入和终端控制。当增强现实技术应用于维修工作时，维修人员须随时携带大量输入设备或器材。增强现实技术辅助无人机维修，随时随地为维修人员提供帮助，复杂的程序输入、繁琐复杂的信息录入等不再是提高维修人员工作效率等方面的“拦路虎”。为使用户的操作更加方便，人机交互技术须不断更新，集手势交互、语音交互以及眼球追踪等交互方式于一体的新型多样化人机交互方案将是未来增强现实产品的选择。具有更强人机交互能力的增强现实系统追求以人为本的理念，将增强人的思考或人的感知能力，为新的人-机-环关系创建指明发展方向。

未来展望

目前，AR系统仍处于实验室研究阶段，基于AR技术的无人机辅助维修研究刚刚起步，未来还有很长的路要走。但作为智能化与便捷化技术相结合的产物，人工智能、机器视觉等诸多领域的研究成果都将成为增强现实技术发展的助推器。未来，我们须深入研究系统开发框架、人机交互、基于网络的多用户协同增强现实等技术，不断完善系统功能，使系统具有更良好的适用性，相信AR技术应用于军事维修领域是必然趋势。 ■