基于深度学习的航司航空发动机智能损伤检测一体化解决方案

王锦申 黄旭 万夕里

1研究背景和意義

近年来，人们的出行需求随着国家经济的快速发展而急速增长，而航空出行也日益成为人民群众主要出行方式之一。中国民用航空局的发布的公告显示，我国民航2022年虽受新冠疫情影响，但国内航线旅客运输量预计将达到4.4亿人次。为了满足广大人民航空出行的需求，我国民航业快速发展，行业规模不断扩大，民航公司持有的飞机数量以及飞机飞行的频次随之急剧增长，这给民航飞机的飞行安全保障带来巨大的挑战。如何有效保证航空飞行安全是航空维修业最为关注的问题之一。

航空发动机作为飞机的关键部件，其故障诊断和维护是保障民航飞机飞行安全的核心任务。随着航空发动机使用时间的增加，航空发动机长期工作在高温、高压、高负荷和高转速的条件下，叶片、燃烧室等重要部件出现内部损伤的概率不断上升，如各种形式的裂纹、缺损和烧蚀等，如不能及时准确地发现并定位发动机内部损伤，则无法根据损伤情况制定相应的检查及维护措施，而继续在此状态下使用发动机，不仅会降低发动机性能，还可能会造成部件损伤超标或者突然失效，导致发动机的紧急换发，不仅对机队正常运行造成影响，甚至会威胁飞行安全，造成严重的安全事故。能否及时发现、快速评估并准确诊断航空发动机内部的各类损伤，将直接影响航班的正常运行和飞行的安全。因此，对航空发动机内部损伤故障诊断的研究已经成为当前航空业的迫切需求。

目前民航行业主要采用以孔探检测为主的无损检测技术进行航空发动机的损伤检测。孔探检测的基本原理是将连接光纤的光学镜头从小孔送入不便于观察的区域，将其观察拍摄到的图像通过光纤传输出来，最后对传输出来的图像进行分析评估。孔探检测作为无损检测技术的一个重要手段，在发动机等工业设备内部损伤检测和维护中得到了广泛的应用。在对航空发动机进行孔探检测时，专业的孔探员将航空专用孔探仪前端的孔探摄像头伸入发动机内部，获取发动机数据，再由孔探员在孔探仪拍摄和传输出图像上，人工识别和标记裂纹、缺损和烧蚀等发动机内部损伤。之后，根据发动机内部损伤检测的结果和航空发动机厂商给出的发动机生命周期管理标准，决定航空发动机的维修方式以及下一次检修的时间节点。

2深度学习在工业损伤检测的使用

近年来，基于深度学习的图像识别方法已经被用于检测各种应用中的损伤，例如地下下水道、混凝土表面以及路面等应用场景。基于深度学习的损伤检测方法主要分为图像分类、目标检测、语义分割以及进一步的语义视频分割等技术路线。这些方法从根本上改变了一些传统上困难或棘手的视觉任务的处理方式，有望辅助传统上由人工进行的现场检查，有效降低人为误差以及减少工作量。下面将分别介绍这几种技术路线：

（1）图像分类

在计算机视觉的经典上下文中，图像分类任务的目标是为图像分配正确的确定损伤类别标签。图1为发动机叶片上裂纹损伤的图像示例。2016年有学者提出了一种基于深度学习的道路裂缝检测方法，其本质是图像分类。具体是，首先通过将原始图像分割成多个小块，以生成更多的数据；其次，通过对原始图像的每个小块进行分类，以获得原始图像中裂纹的定位信息。该方法采用具有完全连通层的卷积神经网络模型（CNN），并且通常为少于10层的轻量级模型。虽然这种块级别的分类可以生成定位信息，但结果是粗糙的和块状的，因此图像分类的方法一般不用于估计损伤特征。

（2）目标检测

目标检测是在图像分类的基础上通过突出损伤的位置提供进一步的信息。这对于损伤信息定位是有益的，因为基本分类任务仅强调损伤的存在，但仍将寻找实际损伤位置的任务留给观察者，而检测任务的目的是提供某种损伤的定位。目标检测的关键是在包含损伤的区域周围生成边界框，之后再对每个生成的边界框执行损伤类型分类。如用于混凝土裂纹检测的深层卷积神经网络结构，用于飞机结构裂纹检测的YOLOv3-Lite方法等，所有这些方法都在裂纹区域周围生成边界框。具体效果如图2所示，不仅将两处裂纹用红色框标记同时还在边界框的上方标注了具体损伤的类型为裂纹。与图像分类方法相比，目标检测任务使用了边界框来标记损伤区域，可获取更直观地损伤定位信息，但该任务仍然不能准确地反映损伤的特征。

（3）语义分割

语义分割可以划分为二进制分割和多类别分割。简单的二进制分割只有两类，如有裂纹和无裂纹。在多类别分割环境中，裂纹（或缺损、烧蚀等其他损伤）与背景只是相邻的两个像素类标签。随着孔探技术的进步，孔探仪可以获得分辨率更高的2D和3D数据，语义分割的预测效果也会随之提升。因此，语义分割已成为当前损伤检测发展的主流趋势。如图3所示，由语义分割产生的精确的损伤位置和结构不仅可以用来对损伤类型进行分类，还可以用来获取重要的损伤特征。

目前最流行的语义分割模型是基于编解码器的模型，如一种针对混凝土结构的像素级检测方法，它是将深度卷积神经网络用于识别混凝土、隧道表面的裂纹损伤识别， 并且取得了较高的识别精度。对于语义分割任务，研究人员正在研究整个隐藏层保持空间分辨率的模型，以避免下采样过程导致的空间信息丢失。沿着这个方向，损伤分割使用没有池化层的模型来保持空间分辨率或者使用具有全连接层的CNN模型执行分类任务，并与其他方法相结合，如使用自适应阈值执行损伤分割等。

目前，孔探设备采用CCD摄像头，其拍摄频率大多为30 fps。使用基于深度卷积神经网络的语义分割技术预测图像中的每个像素需要大量的处理能力，将该技术应用于孔探视频时，很难匹配拍摄频率。因此，该方法无法实现孔探视频的实时损伤检测。基于上述问题，应用于视频的语义分割技术应运而生。

（4）语义视频分割

目前主流的视频检测可以分为两类，即通过降低输入图像的分辨率和采用轻量级CNN。降低分辨率可降低计算代价，而采用轻量级CNN则减少了网络的层数和复杂度。因为孔探检测的关键是损伤区域的提取，对检测精度要求很高，而这两种方法都牺牲了损伤预测的准确性，因此不能直接用于孔探损伤检测。41975B38-6E44-4844-B134-A0D14B4E2DEF

在实际应用中，孔探视频中连续损伤视频帧通常会展现出相似性。如图4所示，t时刻的图像是孔探视频中关键帧（上）及其对应的裂纹特征（下），在时刻t+5、t+10、t+15的连续视频帧具有相似的损伤特征。裂纹在连续的视频帧中移动，它的语义特征（用红色标注）在两个连续帧中仅略有不同[1]。这种特征相似性提供了沿时间维度传播语义特征的可能性，可以减少耗时的语义分割网络的使用频率。现有的方法，如使用相似关键和非关键帧样式架构的方法解决具有挑战性的语义视频分割任务，虽然大大提高了速度，但也牺牲了较多精度。基于这些观察结果，本方案研究了高层语义提取和捕捉连续帧之间的相似度，以开发高效、智能的孔探视频损伤检测。

3基于深度学习的发动机损伤检测智能解决方案

本节具体描述利用深度学习的方法对发动机内部损伤进行识别的解决方案，整体框架图如图5所示，具体的主要包括4个核心模块。

3.1特征工程模块

特征工程是指通过已有工程模型和分析工具从原始数据中提炼出数据特征，以此来提升模型的训练效果，是深度学习不可或缺的一部分。现有的发动机孔探视频图像主要有裂纹、缺损和烧蚀等多种损伤。由于这些图像来自航空发动机不同零部件的不同角度，其损伤的大小、方向、形状和位置各不相同。此外，图像的背景差异也很大，加大了检测损伤难度。为解决这些问题，需要对原图像数据做以下处理[2]：

a. 将收集的孔探视频图像转换为相同的存储格式。

b. 从数据集中剔除所有模糊的或未正确聚焦的图像。

c. 对亮度不足的图像进行预处理，通过直方图均衡技术调整其元素值，使得每个RGB通道的每个亮度级别的像素数大致相同，同时改善对比度。

3.2面向发动机孔探损伤图像的语义分割和目标检测模块

针对发动机孔探损伤图像，本模块才采用了一种上下文编码器神经网络的语义分割方法[2]。基于上下文编码器神经网络模型主要由特征提取子网和特征扩展子网两个子网组成，其结构如图6所示。

特征提取子网络通过堆叠不同尺度的空洞卷积来构建多尺度的图像上下文语义特征的提取，由密集空洞卷积和多尺度池化两部分组成。具体来说，特征提取子网络包含卷积块堆积的五个分支，其中第一个和第二个卷积分支均采用整流线性单元激活函数和一个最大池化层，后三个卷积分支中则是均包含两个整流线性单元激活函数和一个最大池化层。五个分支中四个为级联分支，一个是直联分支。每个分支中的卷积大小和扩张率各不相同，池化的尺度也不尽相同，从而增强网络多尺度特征的提取功能，也就是捕捉不同形状和大小的各种损伤特征。

特征扩张子网络主要用于从上述特征提取子网络输出的特征中恢复高级语义特征。该子网络由反卷积块组成，每个反卷积包含一个上采样操作。通过添加在特征提取子网络中的每个反卷积块与其在特征扩展子网络中对应的反卷积块之间建立对应的跳跃连接，使得上采样得到的特征向量和特征提取子网络中对应层级的卷积块的输出按照通道维度进行层叠。扩张子网络最后一层是由单元卷积核和Softmax激活函数构成的卷积层，从而提取与原始图像相同大小的损伤掩码。

因发动机孔探图像中损伤通常以小目标居多，本模块还借鉴了YOLOv5目标检测方法，以对各种损伤类型进行标注。该方法对孔探图像进行了Mosaic数据增强，即随机缩放、随机裁剪、随机排布的方式进行拼接。在主干网络中设计使用了CSP结构，以增强卷积神经网络的学习能力，在轻量化同時确保目标检测的准确性，降低计算瓶颈和内存成本。通过该方法以初步实现对发动机损伤的目标检测，定位等功能，从而为后续孔探视频损伤检测、定位、追踪和孔探报告自动生成做准备工作。

3.3面向发动机孔探损伤视频的语义分割和目标检测模块

在对孔探图像的损伤分割研究基础上，继续实现了对孔探视频中发动机损伤的精准分割和目标检测模块。本小节分别介绍孔探视频快速语义分割以及发动机损伤目标检测、追踪、在线计数和孔探报告自动生成方法。

本模块基于深度融合网络框架（DFNet），对所有视频帧快速准确语义分割的同时通过估计帧之间的光流来加速孔探视频的损伤语义分割[1]。图7展示了深度融合网络的整体框架，包含语义分割网络和空间追踪神经网络两个模块。对于视频中的每一帧，分为关键帧和非关键帧分别进行处理。若当前帧是关键帧，则只需要通过语义分割网络直接处理，否则该帧将被发送到空间追踪神经网络进行光流预测和识别。语义分割神经网络主要是用于对稀疏关键帧提取损伤语义特征以获得损伤对象，而空间追踪神经网络通过光流预测损伤的位移并将分割神经网络提取到的关键帧语义特征传播到其他非关键帧，以减少帧预测的数量从而加速损伤预测过程。空间追踪神经网络实际是充分利用孔探视频中连续帧具有高度相似的损伤结构这一特点减少语义分割的使用，从而降低计算成本并加速对视频的损伤分割计算。

光流预测是通过光流标签估算物体的相对位移，目前已在常见的监控视频追踪中得到广泛应用。但与通常的监控视频内容不同，孔探视频中因发动机内部各种部件、高温高压燃烧以及孔探过程中的抖动、光线等因素造成其视频背景极其复杂，这使得现有的光流预测方法难以直接应用于追踪神经网络模块中的光流计算。而现有的光流方法对于小数据集容易出现过拟合现象，同时目前也缺乏对具有复杂背景的孔探视频中光流标签的研究。为解决此问题，本模块提出一种光流标签变换方法，如图8所示。41975B38-6E44-4844-B134-A0D14B4E2DEF

通过观察采集的孔探视频特征发现，孔探视频中显示的损伤在连续视频帧中发生的位移幅度较小。基于此特征，本模块提出采用随机模拟变换的思路来学习该位移特征。首先，将当前帧作为关键帧以随机方式调整其亮度和对比度，然后围绕关键帧图像中心进行随机仿射变换，并通过对一定宽度范围内的图像进行水平和垂直平移、随机旋转采用以及基于横向轴的剪切的方法，产生新的图像帧作为下一帧，再计算当前帧和下一帧之间的EPE（Endpoint Error）终点误差作为损失用于神经网络训练。

为实现对发动机孔探视频中的损伤进行目标检测、追踪和在线计数等功能，本模块还提出了结合目标检测、目标追踪和深度融合网络框架的方法，其流程解析图如图9所示。

首先对发动机内部损伤进行目标检测，读取当前帧目标检测框的位置以及各检测框图像块的深度特征；然后根据置信度对检测框进行过滤；对检测框进行极大值抑制以消除同一损伤有多个检测框的现象；再使用卡尔曼滤波预测目标当前帧的位置；接着对基于外观信息的马氏距离计算轨迹信息和探测信息的代价矩阵[3]；相继进行级联匹配和IoU（Intersection over Union）匹配；最后更新卡尔曼滤波追踪器参数和特征集，进行目标消失和新目标出现的判断，同时通过深度融合网络对关键帧进行处理，判断当前计数是否需要更新。本方法利用YOLOv5方法作为检测器实时检测当前的损伤类型，使用DeepSort算法进行目标追踪，同时使用深度综合网络处理关键帧，有效地改善了发动机内部进行孔探检测时受的角度、遮挡和光线影响等问题，更加精确的对航空发动机损伤进行实时目标检测、追踪和在线计数。

其中DeepSort算法主要包括级联匹配算法和IoU与匈牙利算法匹配两个部分。级联匹配即不同优先级的匹配，针对每一个检测器都会分配一个跟踪器，每个跟踪器会设定一个参数。在级联匹配中，会根据这个参数来对跟踪器分先后顺序，参数小的先来匹配，参数大的后匹配； IoU与匈牙利算法匹配中匈牙利算法的目的在于尽量多的匹配，容易造成ID switch， 缺乏准确性与鲁棒性，因此加入IoU进行衡量，计算检测器与跟踪器的IoU，并用其判断置信度的高低。

3.4模型评估模块

4应用结果

通过对实际的孔探图像数据进行的实验，上下文编码器神经网络模型和YOLOv5不仅获得了高精度的结果，而且在检测精度上也优于其它深度学习方法。主要应用结果如下：

a. 上下文编码器神经网络模型的mIoU指标达到了81.76%，比当前最高的精度高出13.87%，有效地减少人为因素造成的潜在误差。

b. 引入了一种基于正交阵列的方法指导神经网络最优参数的快速选择。

c. 使用数据增广、Mosaic数据增强扩充训练数据集，减少潜在的过度拟合和不平衡。

为了更好地说明上下文编码器神经网络模型损伤检测的效果，这里展示一组上下文编码器神经网络对从不同角度拍摄的6张不同部位的发动机孔探图像损伤进行的自动检测的效果图[2]。图10给出了6张不同部位不同损伤的效果图，在所有图像中，带有裂缝的分割区域以红色突出显示，而带有烧伤的分割区域以绿色突出显示。6张孔探图像的背景各不相同，且有的背景模糊昏暗，损伤大小也各不相同，有的损伤相对较小，即使人工识别都相对困难。但从上下文编码器神经网络识别的结果来看，所有孔探图像中的損伤均能准确的识别和分割出来。在图10（a）中，可以看到整体裂纹能够在暗黑背景和类似于裂纹的边缘形状背景中提取出来。在图10（b）中，孔探图像存在多条裂缝，其中两条裂缝与涡轮附近的烧伤区域相连接，且背景为高温燃烧后的复杂背景。但上下文编码器神经网络依然可以准确的识别出这三条裂缝。如图10（c）和图10（d）所示，在背景受到不同的光照反射以及燃烧后的复杂背景下，微小的表面裂缝依旧可以被上下文编码器神经网络完全识别出来。图10（e）和图10（f）中分别显示了上下文编码器神经网络对不规则烧伤区域的提取。尤其是图10（e）中同时存在交叉裂纹和烧伤两种类型的混合损伤。如图所示，上下文编码器神经网络依然能够高精度识别出不同类型的混合损伤。

通过对孔探视频的实验，DFNet框架不仅减少了计算资源的消耗，加快视频损伤检测的速度，同时还保证了损伤识别的准确度[1]。基于目标检测和追踪结合深度融合网络算法不仅可以对视频中的损伤进行精准识别、定位、追踪和在线计数，还可以自动生成孔探视频损伤报告。主要的应用结果如下：

a. DFNet 可以在保持高精度的同时显着提高推理速度，在46.21 fps 时能够达到 79.01% 的准确率。

b. 与逐帧方法相比，该方法实现了较高的准确率和显着的加速，并且可以实现实时检测任务，如图11所示。

c. 在损伤视频背景切换频繁的情况下，不仅识别、匹配多种损伤对象，而且实现了对损伤的持续定位跟踪、在线计数功能。如图12中（a）、（b）、（c）、（d）所示，分别为不同时刻下损伤识别情况，其在线计数的误差仅在8%左右。

d. 与现有的目标检测追踪方法相比，本方法在加入改进的DFNet后大幅降低了损伤ID重复的情况，提高了实时计数功能的准确性。

e. 自动生成孔探视频损伤报告，包括损伤出现的时间、位置、损伤类型和当前孔探视频中各类损伤总数等。41975B38-6E44-4844-B134-A0D14B4E2DEF

南航从2018年开始孔探智能检测的研究和初步投入使用，在实际运行上效果明显如图13所示，特别是发动机的非计划换发率（包含AOG）得到显著降低，在2017-2021年，非计划换发率从57.1%降低到了19.7%，孔探原因导致的非计划换发率从39.3%降低到了12.8%，有效降低人为误差以及减少工作量，保障了机队的正常运行。

5结语

传统的孔探检测方式的准确性主要是依靠孔探员严格按照手册的操作以及对损伤模式的认知判断，因此各个航司都制定了严格的孔探检测和复审流程及标准，但是还是会因孔探员的能力差异、工作难度和强度、外部工作环境、疲劳程度等因素而导致检测结果的差異，而且检测工作的时长也会影响后续飞机的运行安排，因此在运用科学的人工智能方式进行智能维修，不仅能大幅提高发动机内部损伤检查的准确率，有效降低由于工作疲劳导致的人为误差以及减少工作量，对民航企业保障飞行安全，减少非计划维修，达到降本增效的目的有着重要的意义。

本文主要从孔探图像和孔探视频两个角度，以提高损伤检测精度、加快视频损伤检测速度、定位追踪视频损伤和自动生成损伤检测报告为目标，展示了具有上下文编码器神经网络结构的深度学习框架、深度融合网络和基于目标检测和追踪结合深度融合网络算法的智能损伤检测一体化解决方案，极大地提高了孔探 探伤检测的效率。

由于深度学习对高计算量的要求，综合以上孔探图像和孔探视频上的智能检测方法，后续将将进一步设计支撑实时损伤识别和分布式的深度学习训练平台，以实现低延时的在线神经网络系统的训练和损伤识别，最终形成以神经网络损伤识别技术为支撑，孔探过程的全自动探测、识别系统，为航空发动机内部损伤的智能检测提供一体化全自动解决方案。

参考文献

[1] Xiao， R.， Wan， X.， Li， Y.， Guan， X.， & Huang， X. （2022）. Semantic Damage Segmentation for Aircraft Engine Borescope Videos. AIAA Journal of Aerospace Information Systems， April 27， 2022， doi： 10.2514/1.I011051.

[2] Guan， X.， Jian， Z.， Wan， X.， Xiao， R.， & Li， Y. （2021）. Intelligent Damage Detection for Aircraft Engine with Context Encoder Neural Networks. AIAA Journal of Aerospace Information Systems， 18（11）， 803-812.

[3] Wojke， N.， Bewley， A.， & Paulus， D. （2017）. Simple online and realtime tracking with a deep association metric. In 2017 IEEE international conference on image processing （ICIP） （pp. 3645-3649）. IEEE.41975B38-6E44-4844-B134-A0D14B4E2DEF