基于AR技术的南航维修新模式研究与应用

■ 李欣/中国南方航空股份有限公司工程技术分公司（机务工程部）

0 引言

国家“十四五”规划和2035 年远景目标纲要将数字化转型提高到了国民经济的高度。民航局提出智慧民航建设，以新一代信息技术为引领，对民航运行管理全流程进行数字化智能化发展。中南地区管理局同样成立了民航维修新技术应用研究项目组，南航作为核心成员单位参与其中，旨在充分利用现有科技发展成果，研究推动新技术在民航维修业的应用。

基于上述要求，南航编制了数字化三年滚动规划，打造以精细化构型管理为支撑的数字化维修工程管理平台。通过研究和探索，南航选择以增强现实（AR）作为数字化的“慧眼”，实现构型数据的实时采集与更新，同时达到增强维修品质，降低安全风险与维修成本的目的。

1 机务维修与AR 技术融合性发展分析

AR 技术是近年来热门的新型技术手段，它可以将虚拟内容与现实世界相叠加，达到超越现实的感官体验与应用效果。如何将AR 技术的独特优势，融合进传统的机务维修场景，并与其高度契合是本节需要阐述的问题。

1.1 传统机务维修局限性简述

南航丰富的机型和广布的站点，给公司带来了很多的地缘优势和技术储备，但也同时带来巨大的挑战，安全保障要求高、维修对象复杂度高、资源调度难度大、人员技能要求高等问题一直伴随着机务维修工作。具体到机务维修的某些场景中，会存在如下典型问题：

1） 工卡执行方面，很难做到完全的“看一步，做一步，签一步”，存在工作中断的风险，且发生过因人为因素方面的错、忘、漏现象，给飞机带来了安全隐患。

2） 飞机排故方面，经验不足或技能欠佳的工作者时有发生排故质量不高的现象，在增加维修成本的同时还有可能造成飞机延误，给公司带来极大的损失。

3） 航空器损伤检测方面，此项工作对人员和仪器设备要求较高，如何采用更加有效的技术手段确保精准探测航空器损伤是需要解决的难题。

4） 人员培训方面，通过培训可提高员工技能水平，激发员工的工作热情，从而增强飞机的维修品质。如何采用更加高效合理的培训手段是机务培训部门需要持续考虑的问题。

南航一直在创新性采用更先进的管理理念与技术手段来解决上述问题，其中对于AR 技术的应用则有显而易见的改善效果。

1.2 人+AR 新模式探索

人+AR 的模式是维修业发展史上一个革命性的变革。AR 的引入打通了人与机器连接的最后一米，结合多种主体数字化后，将会实现针对不同场景下多个数字化主体协同合作，实现基于全新人机交互的维修方式变革。随着智能维修的不断发展，维修现场将由以人为主的“单兵作战”，慢慢向以“人+AR眼镜”为主转变，实现完全的数据互联互通，以及“轻装备，重场域” 的数字化智能维修方式。

“骆都督胆子其实不大，但是他也不蠢，今日司礼监为阁老出面，是犯了锦衣卫的大忌——锦衣卫绝不会放任内阁与司礼监联手的。”方从云苦笑一声，“而且锦衣卫监视朝臣这种事……也算是驾轻就熟了，我敢保证，他们派出的监视人手，绝对让你抓不到任何把柄！所以阁老，千万要暂且忍耐，不能轻举妄动！”

2 AR 技术环境设备搭建研究

如何能将AR 技术的优势最大化地赋能传统维修方式，直接的“拿来主义”并不可取，南航对此做了一系列充分的准备，研究出适合南航的环境需求及设备规范，并采取针对性方案措施。

2.1 5G 环境搭建

AR 眼镜系统能否顺畅运行，高速率低时延的网络环境搭建是重中之重的基础工作。今年南航与中国电信在广州正式签约“智慧机务”5G 专网，标志着全国首个民航维修领域5G 专网正式启动。中国电信充分发挥“云-网-安”高度融合的数字化能力优势，为南航提供了一张广域接入、云边协同、安全可信的全国5G 定制专网，并且部署了1 万多台终端设备，将5G 网络信号全面覆盖南航22 家维修单位。

2.2 硬件标准

AR 眼镜系统最核心的就是显示及相关技术，包括透过率、透视偏差、亮度对比度、分辨率显示角度等需要满足工作者对于现有工作场景的需求；结构设计规范方面，安全性、舒适性和扩展性都是需要考虑的指标；高扩展性，可以快速连接如测距模组、雷达模组、测温模组、便携探头等多种设备，适应不同的维修检查环境；电源要求对AR 眼镜同样非常重要，通过优化芯片、显示等提升续航能力，确保可以足够完成一定的作业量；嘈杂的航空维修现场需要设备有噪声抑制和后声音还原能力；头戴式摄像头必须要解决防抖、防眩晕的问题，降低晕动症等。

2.3 软件标准

软件是AR 眼镜系统的核心价值点。如果没有精准的图像识别和人工智能（AI）算法，就不能给工作者提供精准有效的辅助信息，眼镜的价值就大打折扣。

图像识别一般需要包括图像采集、图像处理、特征提取和图像识别。首先采用AR 眼镜对图像进行采集，然后通过图像增强、降噪、图像分割、边缘检测等手段处理图像识别过程中的关键步骤，然后将关键的信息利用计算机图像信息进行特征提取，最后针对飞机上的每个维修项目建立开发识别模型，形成一套完整的飞机维修智能图像识别算法。

图像识别之后，就需要通过后台的AI 算法进行分析，自动给出辅助建议提示。构建AI 算法的核心则是构建面向飞机维修的知识图谱。首先要进行知识库的构建，通过样本数据学习建立关系抽取模型；然后进行知识库的存储，抽取和存储各故障信息及关系，逐步构建飞机维修知识图谱，并通过可视化方式展示；最后利用构建的故障维修智能化平台进行维修信息智能查询和知识问答，根据查询到的信息辅助故障原因分析和维修决策，与AR 眼镜相结合，直接为AR 眼镜提供决策信息支持。

3 基于AR 的工作新方式

完成了AR 技术环境设备搭建的准备工作后，就可以使用AR 眼镜改善机务维修四个方面的典型问题。

3.1 AR 工卡

执行AR 工卡的步骤大致如下，首先从结构化系统中获取工卡信息，按照需要下载执行的工卡，在智能眼镜和手持终端上显示并引导完成相关任务，然后针对关键流程（滑油口盖等）进行AI识别，最后作业执行完成后进行电子签名确认，将作业全程产生的资料上传到系统。在工卡下载和执行时，以消息形式通知到平台或相关人员，对执行过程中的视频添加水印，例如时间、航班号、执行人等，将工卡执行情况、视频等形成一份简单报告。重点流程示意图如图1 所示。

图1 AR 工卡执行示意图

使用AR 工卡还具备如下亮点特色，例如工作程序中的风险点梳理嵌入到了AR 眼镜的使用中，实现工作中的即时提醒。通过建立模型算法，还能够对重要安全节点的场景进行AI 识别训练，辅助人的检查，将安全关口前移。当状态异常时会发出提醒，并拒绝后续步骤的继续执行。例如识别飞机滑油口盖状态，当滑油口盖未正确盖好时发出提醒，经过南航多次测试验证，目前识别率可以达到98%以上，AI 识别过程达到毫秒级。工作者还可以自行对施工中的疑似点进行标记，所有的风险点和疑似点都会被记录并列入复查清单，确保维修安全。施工中的文字、图片或视频多种信息流也会被实时记录，提供更加丰富的维修记录形式，或生成多维综合性施工报告。

现如今，南航的AR 工卡项目已经在南航河南维修厂完成了三百余次的使用，完全满足正常的航线业务需求。

3.2 AR 排故

AR 排故，可分为个人排故与后台支援两部分。个人排故是利用AR 眼镜识别飞机故障信息，后台同步调用知识库，推送排故指导方案，辅助工作者进行高质量的排故。后台支援则是建立机务AR 远程协助平台，通过AR 眼镜把现场人员的视觉传达给远程专家，同时把远程专家的专业知识带到现场，让远在千里之外的专业指导近在眼前，很好地解决了企业需求痛点。

现在南航AR 远程协助平台已经与商飞进行了密切的合作，这是南航AR技术平台初次尝试开放接口与飞机制造厂商合作，将系统嵌入商飞全科急诊室远程会诊系统。借助AR 眼镜实现ARJ21 飞机厂家以第一视角介入排故工作，以三方实时协作的方式大大降低了沟通的时间，缩短了飞机停场时间。与商飞合作服务平台示意图如图2 所示。

图2 南航与商飞合作服务平台工作流程示意图

3.3 AR 航空器损伤检测

通过AR 眼镜系统可实现飞机表面缺陷的检测，并将缺陷的位置进行标记；将缺陷结果上传到数据中心，并按缺陷类别存储，按需推送至AR 终端，飞机检修人员根据缺陷数据进行缺陷处理。

在飞机机库四周分为上下两层，布局若干图像采集单元。每个图像采集单元由摄像机和二维旋转台构成，二维旋转台可以改变摄像机图片拍摄的方位角和俯仰角，同时利用摄像机的电动变焦镜头，获取一个区域内的飞机表面图片，通过方位、俯仰角度和镜头变焦参数，以及事先标定得到的采集单元，确定图片拍摄空间参数。数据处理系统通过5G 网络获取测量系统的测量数据，利用图像处理方法，对飞机表面图片进行处理，对飞机表面缺陷特征，如划伤、刻痕、凹坑、腐蚀等进行提取、定位和判别，实现图片中缺陷结果输出。结合图像拍摄的图像采集单元序号以及拍摄空间参数，在飞机机身上完成缺陷特征定位。最后通过5G 网络回传判断结果至AR 终端，对飞机表面缺陷的异常结果进行人工核查。

3.4 AR 培训

谈起辅助培训的高科技手段，第一印象首先会想到VR（虚拟现实）技术。机务工程师利用该技术，逼真模拟飞机维修的现实场景，从而进行绕机检查、部件位置识别、航线例行工作和发动机维修等相关工作的交互性培训。实际上，使用AR 技术对提升一线人员教学品质同样非常明显，AR 技术重点可用于进行飞机机型的实操培训中。一般机型的实操项目会包含部件位置识别、功能测试/操作测试、拆卸/安装、模拟排故等，工作者接近真实飞机进行实操培训时，AR 眼镜可以识别含实操内容要求的飞机关键位置，并给出实操要点和注意事项，使工作者在进行实操时思路更清晰，步骤更标准，实操质量更加有保证。

4 结束语

基于AR 系统的工作方式对航空维修领域带来的提升非常明显，不仅可以显著降低飞机维修成本、提高飞机维修的质量、效率和航空安全水平，而且实时客观的数据采集存储还可作为航空公司的宝贵数据资源，用于精准化飞机构型管理、例行飞机维护与排故等多个方面。南航机务一直不断致力于打造基于AR 技术的维修新模式，并与中国电信、中国商飞、亮亮视野科技有限公司、清华大学等众多合作伙伴一起持续进行相关技术的探索研究与验证升级。因此笔者相信，在未来的民航机务维修领域的各项工作中，AR 技术将会以更广阔的专业岗位覆盖、更全面的维护应用、更深入的维护体验得以呈现，给每位航空维修机务人员带来不一样的绝妙体验。