基于AR技术的飞机维修可视化远程协助系统研究

孙武 王力 崔海涛 王进

（1.广州飞机维修工程有限公司 广东省广州市 510470 2.谷东科技有限公司 广东省深圳市 518000）

随着飞机性能的不断提高，飞机维修工作中故障的种类多样化，原因不限于机械结构和材料损失。在现代飞机维修工作中，如果继续使用传统的检查和维护方法，确保飞机的安全性显然是困难的。因此，为了检测和修复飞机故障，需要现代的科学技术手段。包括飞机故障监测系统、监控网络、计算机辅助维护技术和过程。在实际的维护工作中，信息通道不流畅，飞机维修工程的数字化不高，维护技术，维护工程，故障对策等成为问题。这不能得到强有力的支持和维护工作。

1 飞机维修技术现状及维修常见问题

AR在飞机维修中的应用主要分为两个方面，包括技术数据和各种维护记录在内的维护数据的数字化。其次是生产工序的数字化。维护、生产企业的数字化是MRO企业的课题。系统设计是通过AR虚拟化技术的支持来提高维护生产的数字度，实现维护技术，维护工程，故障排除经验的维持和支援，以及其他维护生产相关信息。数字技术手册广泛用于维护工作，其特征是可以通过各种信道获取信息和数据。虽然飞机维修实现了多媒体的维护，但是音频视频等多媒体之间缺乏交互功能，而且使用的平板电脑或平板电脑更大。而且，维护方面非常不方便，而且维护人员的手不能被释放。目前，一般由机车保养使用的远程支援方法大部分是基于以手机和移动计算机为主体的移动终端，通过4G网络与后方支援人员连接进行通信。然而，由于许多现场设备和长距离的原因，易于降低维护性；维护效率低，缺少人员储备和专业的培训；以上问题导致人，物质，财源的快速消费，企业的高营业成本。因此开发AR技术可以有效的避免上述问题，间接减少维修成本和失误率，提高飞机的维修效率。基于AR智能眼镜，分析AR眼镜收集的数据，通过后援处理，提供前视觉信息支持。它可以取代复杂的工作手册、流程图、等工作设备，实现自主性的维修，降低相关的维修成本。AR技术通过信息的实时交换，帮助初学者积累相关的维修经验。AR技术与主服务器之间的视频连接，不仅可以实现多方的协同操作，而且可以丰富维修数据库，为未来维修奠定良好基础。

2 系统总体设计

2.1 系统的主要功能

（1）远程视频连接：相关人员佩戴AR仿真眼镜，并利用网络通讯设备与专家建立起互动，为在场的相关人员提供技术支持和援助，并对现场的维修人员实现监督和指导。

（2）语音通话：前场负责人可以与后场技术人员、专家进行语音通讯，更好的进行飞机现场维护和问题处理。

（3）AR仿真增强显示器：通过仿真增强显示器，将现场所需要的数据和信息将现场所需要的数据和信息投影到AR显示器中，后台专家和技术人员利用后台专家和技术人员利用AR仿真进行相关操作和指导。AR仿真技术既实现了数据的交互体验，也可以结合实际场景。

（4）远程技术支持：不仅可以实现后期的数据资源，而且可以对前台的技术人员进行指导，提供必要的维修信息。后台维修人员可以在批准连接后聚焦、变焦、其他操作可以指示维修人员的AR眼镜。MCC还可以通过系统实现远程监视和支援。远程监视和支持如图1所示。

图1：远程监视和支持

（5）多方会谈：如果后援遇到困难问题，可以吸引其他国家的援助。

（6）桌面同步：后续支持可以通过计算机桌面的指定区域与前端AR眼镜的虚拟屏幕同步。

（7）视频存储：视频、音频、照片、两侧的其他数据将自动存储，以便他们可以商量并随时排序。

2.2 基于AR资源的获取和管理

（1）由于视频形式是YUV420，所以视频量大，不到网络传输，传输延迟长，需要H264编码。其次，收集相关的视频音频，并对相关信息进行AAC，然后对信息系统进行RTMP.SO库打包。另外，被打败后的信息资源进行排列，并依据信息资源中的RTMP协议进行多线传输。同时，多线模式被用于向NGNX服务器发送。到目前为止，资源的收集和发送已经完成。

（2）构建相关服务器：可以利用AI仿真技术可以利用Linux系统进行相关模块的构建，火就利用服务器接收网络中的视频音频资源，将相关资源通过RTMP协议进行传输。使用该技术的便携式终端装置（包括AR玻璃）的带宽是有限的，因为不能要求同时对多个视频传输资源进行分析，找到符合问题解决的数据，并利用远程终端服务器来传输信息。AR仿真技术可以有效的节约视频资源，最大程度的发挥远程操作功能，并支持局域网、广域网等网络通讯。在信息传输过程中，开发仿真技术对相关信息进行加密和解密，你保证数据的安全。

（3）资源信息的读取：海尔仿真技术通过远程终端可以对网络中的视频、音频和解决方法进行搜索，找到符合实际要求的资源。同时，还有仿真技术可以利用RTMP协议，实时获得后勤人员的支持和专家的辅助，以此实时观察前场人员的技术问题和飞机系统故障。

3 系统设计创新点

（1）实现技术人员的解放：这是就是相关系统可以实现远程的操作和维护，现在并在多方面专家的指导下实现不让排除、问题解决，把焦点放在他们自己的工作上。

（2）视觉演示文稿：借助AR眼镜系统的帮助，可以显示各种形式的图形信息、三维动画模拟、视频仿真等技术。AR仿真技术可以通过远程操纵进行现场维护，相关人员无需到场即可以实现远程指导，轻松完成相关设备的维护，并及时排除较为复杂的故障。

（3）信息交换：借助系统的帮助，可以将前维护过程和后支持信息存储在数据库中，与维护基础的支持人员共享数据。同时，可以收集、优化、分析和处理数据。

（4）专业性监督：借助相关的辅助系统，实现远程专家的1对1指导，减少前场人员的人事、时间成本、训练成本等可以根据工作需要进行选择性的人事调整。

4 案例

2020年11月9日（全球新闻）-MOBIUS趋势研究报告书发表了“用飞机维护全息AR黑技术应用”。HNA航空技术有限公司将结合5G和AR技术，以支持中国移动电话支持和飞机维修的公司，计划将其扩展到9个基地。在下一步，HNA技术将继续促进5G技术在产业资源共享、专家后端技术服务互助、前端服务共享等多个方面的应用。

由于5G的高带宽、低延迟和大连接的特点，5G+AR技术可以用于航空维护。在4G的透射图像中，显示图像被严重冻结，根据场景的状况，所有的派对都不能实时通信。但是，在5G状态下，画面清晰、流畅，前后人员可以实现“无缝对接”。

同时，维修技术专家可以从电脑和手机上的使用者的角度看同一个角度，语音、照片、文件、文本、以及通过其他信息引导它们完成每个维护步骤以确保故障排除。借助AR智能眼镜的帮助，专家标记了红色箱子，可以锁定远程画面上的可疑故障点，并实时反馈给维修人员的智能眼镜。维护人员即使在视觉领域工作，也会动态跟踪并锁定标记的可疑故障点，现场维护人员可以迅速锁定处理组件的位置。标记的可疑故障点也被记录在检查列表中。系统会自动生成检查列表，并确认整个故障排除过程的重要要点，以确保维护安全。同时，“远程咨询”可以作为维护数据的备份，以视频的形式记录下来，用于维护案例分析或教育。

从2015年到2016年，VR/AR成为家电产品的亮点。但是，根据实际经验，头晕，低分辨率，大规模，高价格的缺点使AR/VR产品不受欢迎。年后，AR/VR继续开发芯片、显示技术、通信手段、算法等技术，在2020年再次成为热门话题。5G时代，AR/VR将是最受期待的应用程序方案。

AR/VR应用方案和相互作用方法之间存在一些差异。VR纯虚拟场景更注重娱乐和游戏经验，而AR则可能成为下一代的信息平台。

在5G时代，云计算可以用来处理边缘云。对于这样的处理使用高的CPU/GPU不消耗很多功率。通过5G的高速连接，它可以立即发送本地支持用户VR/AR产品经验的改进。5G比4G更频繁使用。通过扩展频带，能够大幅增加单位传输容量，导致超高速传输率的增加。

作为全息视觉领域的领先公司，WIMI将重点放在计算机视觉全息云服务上。WIMI的业务涵盖了全息计算机视觉的AI合成、全息视觉演示、全息交互软件开发、全息AR在线和离线广告。商业应用方案主要集中在家庭娱乐、光场电影、性能系统、商业发布系统和广告显示系统等5个专业领域。

5 总结

近年来，AR技术成为变态过程中的重要技术之一。在AR技术中，用户不需要头戴式取景器，手机上的应用也足够了。这种情况表明AR技术在不久的将来会在制造业中使用。

（1）使机器的维护更加方便。对于制造企业来说，确保机器的稳定运行是非常重要的。随着装置的集成化、复杂化和非经验的增加，设备的维护变得越来越困难。使用AR技术可以使复杂的机器直观透明，从而改变设备维护的原方法，提高效率，保证质量。

（2）更方便、更准确的指导产品制造工序。AR技术可以直观地显示操作步骤和过程，它不仅适用于维护，也适用于企业的生产和制造过程。

（3）使产品市场营销更加尖锐。在企业产品营销方面，AR技术逐渐成为促进企业产品销售的利索工具，可以让消费者获得更直观的经验。在现实世界中，以前的品牌和产品的宣传逐渐减少，相互作用和服务逐渐增加。

（4）产品设计阶段产品模型的模拟，分析和评价。不管设计图有多正确，都无法正确地表现出影响与客户交流的设计师的设计理念。AR技术可以将设计师的创造性迅速和现实的融合到一个真实的场景中，从而使设计师对最终产品的直观和个人感情有助于最终的设计改进。同时，通过使用AR技术，可以将虚拟模型与实际场景相结合，在设计结束前进行组装模拟、分析、产品模型评价。

基于AR技术的飞机整备的视觉远程支援系统的设计和开发，拥有独立知识产权的飞机整备的可移动型视觉远程支援系统，具有便携性、远程操纵性和交互性。其中，AI技术的核心是保持通讯的顺畅，以及相关功能的拓展和升级。通过本人的相关案例研究，可以改善飞机维修工程的数字化。应用于实际工作后，可以提高维护效率，减少由于人的因素导致的维护错误概率，可以创造更大的经济效益。