采用无人机视觉的飞机蒙皮损伤智能检测方法

吴 军，石改琴，卢帅员，李 阔，桂烨涵，吴东泽，李 鑫

（1.中国民航大学航空工程学院，天津 300300; 2.中国民航大学电子信息与自动化学院，天津 300300）

0 引 言

飞机作为我们日常生活中一种常见的交通工具，它的安全性自然也备受瞩目，时而发生的飞行事故也极大的威胁着人们的生命财产安全。而大部分飞行事故的发生除了天气等自然因素的影响外，飞机自身的结构性问题也是不可忽视的。飞机蒙皮损伤是引起飞机结构性损伤的重要因素之一[1]，目前国内检测飞机蒙皮损伤主要是依靠地勤人员目视检查，但是这样检查不仅会增加飞机地面时间以及主机总体费用，而且检测结果受人为因素影响较大，常用于检测较大损伤。为改善目视检测在应用上的缺陷，研究者们逐渐发现了计算机视觉[2]检测在飞机蒙皮检测方面的优势，随着自动化技术的不断发展，深度学习神经网络结构[3]逐渐被应用在飞机蒙皮数据集的训练上。

机翼蒙皮的主要作用是平滑机翼外观，形成预设的机翼形状，使得机翼上下形成压差，为飞机提供升力。机翼上下压差的力作为剪切力作用在机翼蒙皮，蒙皮将力转移到机翼隔框和横梁，隔框和横梁再将力传导到翼根机身处，从而托举起整架飞机[4]。针对不同机型机翼的各项参数，研究者设计了针对不同机翼的无人机绕检方法，目的在于全方位清晰地采集飞机机翼蒙皮图像用于系统检测与模型测试。根据飞机结构性维修手册可以将实际维修中的机翼蒙皮损伤分为五类：划痕、掉漆、铆钉损伤、变形、腐蚀。这五类损伤中每一类的损伤维修等级根据实际情况各有不同，因此在机务实际工作过程中需要对飞机机翼进行严格的目视检查，区分各类损伤以及是否需要维修，这大大增加了飞机的地面时间也极大地增加了机务的工作量。

针对飞机蒙皮损伤特征的特殊性，需要对每一类损伤有一定的特征识别，要求检测模型输入图像后得到图像中的损伤位置及名称。本文将计算机视觉与无人机进行结合，采用无人机视觉实现飞机机翼蒙皮损伤的图像采集，再利用YOLOv4[5]算法实现输入图像只需经过一次特征提取，便能得到图像中目标物体的位置、属性以及相应的置信度概率，对图像进行处理，达到将实地拍摄的飞机蒙皮损伤图像实时检测的目的，提高了机务人员在检查飞机机翼损伤时的效率。

针对目视检测出现的检测任务量大、效率低、精度差等问题，计算机视觉检测中的YOLOv4网络结构充分显示出了其高精度高效率的检测优势，本文主要采用无人机视觉技术在飞机蒙皮损伤检测中的应用方法，将无人机检测蒙皮的过程分为三部分即无人机绕检、图像处理、损伤识别。着重提出一种新的无人机绕检机翼的路径规划方法以及实现YOLOv4算法在机翼蒙皮损伤检测中的应用，进而研究该模型在飞机蒙皮损伤数据集中的检测和分类效果[6]。

1 无人机绕检方法——基于全覆盖的无人机路径规划

1.1 双摄像头的设计

图像采集主要利用搭载双摄像头的无人机实现，双摄像头的搭载主要目的是基于飞机机翼图像采集实际情况的复杂性，机翼的向空面和向地面均要实现采集，这对无人机系统的要求较高。而无人机本身搭载的摄像头无法完成上下全方位摆动拍摄，所以设计了双摄像头的方法来全方位采集图像，双摄像头无人机结构如图1所示。

图1 无人机示意图

无人机的手动绕检必须能够实现无漏拍、高清、固定距离拍摄的条件，这就需要一定的绕检方式实现上述要求。根据民航维修要求，在能够肉眼识别损伤时判断损伤是否需要立即维修，基于这种情况，设定了无人机飞行时距离机翼的高度，在几次实验后发现距飞机机翼表面1～2 m的距离范围内无人机拍摄的图像与人眼识别相近，如表1所示。

表1 无人机拍摄距离与实际蒙皮对应面积

1.2 飞机机翼形状分析

中国民用航空飞机市场的机翼类型如表2所示（这里主要针对中国民航常用的空客型飞机），目前民用航空市场使用数量最多的是空客A320机型，因此，本文采用该机型的具体数据展开实验。

表2 民航常见空客机机翼类型

1.3 绕检路线分析

利用空客A320机型的机翼数据研究无人机全方位绕检方法。在民航领域安全性是重中之重，研究人员在全方位覆盖机翼面的基础上考虑了最优的路径规划方法。全覆盖的路径规划方法主要有三类：栅格地图法、单元分解法以及两者结合的方法。栅格地图法存在移动死区的问题且单元分解法是目前全覆盖路径规划效果最好的方法[7]。但是由于机翼本身形状相对固定，常见翼型均为凹多边形区域，对于这种相对简单的凹多边形，单元分解只会增加路径规划的复杂性，于是将整个机翼作为一块单元进行路径规划可以极大地减少路径转弯的次数，并且对于简单的凹多边形，无人机在飞行过程中不需要掉头，只有转弯会产生路径开销。

在实验测试过程中发现，当无人机保持匀速飞行时，每次转弯的时间大致相同。综合无人机采集图像所需时间，无人机的运动速度大致为0.5 m/s，选择距离机翼蒙皮为2 m同时操纵两架无人机，保持其直线飞行速度相同，其中一个有一次直角转弯，累计距离5 m，另一个无直角转弯时相同时间内飞行距离为6.2 m，在大量的实验下，对于0.5 m/s的无人机飞行时每次转弯的代价可记为1.2 m。如图2所示，对于机翼，机翼的边只有两条边是相互垂直的，在直角转弯过程中会有地面或非机翼的蒙皮图像被采集进来，为了提高采集准确度，本文利用无人机的直角转弯代价得出无人机沿机翼边飞行的转弯代价，称为沿边代价。无人机一次直角转弯的代价线性换算为系数：ct=1.2 m/次，根据机翼的形状，不同的飞行方向各沿边代价不同，计算沿边代价的函数如下：

图2 空客A320机翼各边数据

式中：ced——沿边代价系数；

θ——转弯角；

ct——转弯代价系数。

通过将转弯次数换算为距离开销，得到无人机路径规划的代价函数：

式中：Nt——转弯次数；

Lin——机翼内路径长度的总和。

转弯次数需要结合机翼边长以及转弯角，已知路径两条转弯路线之间直线距离为所拍照片实际对应蒙皮的宽即 b=1.25 m，转弯次数Nt为：

式中：Lin——机翼内路径长度的总和，与机翼边长相关；

Cost——路径转弯代价值，机翼各边的沿边代价值如表3所示。

表3 机翼各边沿边代价值

1.4 机翼的无人机绕检全覆盖路径规划

机翼形状为凹多边形，路径规划采用直接法，算法描述如下：机翼的沿边代价决定了无人机绕检机翼有两种绕检路径，由于以B或C为起点的路径与以A或E为起点的路径相同，所以两条路径分别为以A为起点、E为终点和以E为起点、A为终点。示意图如图3、图4所示。

图3 路径一：以A为起点E为终点

图4 路径二：以E为起点A为终点

已知空客A320机翼各边的边长、各个角度以及路径间的宽度，结合各边转弯角度计算各边的转弯次数如表4和表5所示，其中，路径一以A为起点E为终点，路径二以E为起点A为终点。

表4 路径一各边转弯次数的计算

表5 路径二各边转弯次数的计算

结合两条路径的转弯次数以及沿边代价值得到两种路径长度如表6所示。

表6 两种路径的总代价值

由以上数据可得，按照沿边代价的计算方法得到绕检机翼的两种路径中，路径一的路径最短，因此在保证无人机飞行速度相同的情况下，路径一的绕检效率高。

综上所述，飞机机翼图像采集流程如图5所示。

图5 无人机采集图像流程图

1.5 无人机图像采集工作环境分析

在无人机采集飞机蒙皮图像过程中会遇到不同的外部环境对图像采集产生干扰，例如：大风、大雾等恶劣天气状况、光照太强或太弱等因素会导致无人机飞行不稳定、采集到的图像不够清晰等问题进而降低模型的检测精度，无人机应争对不同的工作条件作出相应的调整。当遇到恶劣天气因素影响时通过提高无人机各硬件模块的强度以及改进无人机飞行姿态感知算法来增强无人机的稳定性；对于在图像采集过程中出现的光照太强或太弱的情况，可以调节无人机搭载像机的曝光度以及在后续图像处理单元中进行深度优化使得机翼图像更清晰，更具有实用性。

2 图像处理单元

2.1 飞机蒙皮损伤图像采集

如图6所示，飞机蒙皮数据集来源于采集到的具有蒙皮损伤的飞机视频，利用视频处理软件进行切片处理，按照不同的帧数进行切割，得到清晰的飞机蒙皮损伤图片。这样处理的好处是利用较少的数据来源得到较多的图片，充分丰富了数据量。对数据进行删除和筛选之后共得到26 038张数据图，其中包含了五类飞机蒙皮损伤。我们将飞机蒙皮损伤图像的类别划分为变形（deform）、划痕（scratch）、腐蚀（rust）、铆钉损伤（rivet damage）、掉漆（paint peel）以及无损伤飞机蒙皮图六类[8]。

图6 飞机蒙皮损伤采集现场图

变形（deform）：一种外形凹进部件原始轮廓且部件横截面积无改变的结构性损伤，变形凹坑的边缘平滑，通常由外物体碰撞引起；

划痕（scratch）：主要利用蒙皮表面出现由内向外辐射的形状或由于飞机碰撞剐蹭摩擦等因素导致的条纹来判断；

腐蚀（rust）：主要是飞机长期在各种气候条件下由于蒙皮产生化学反应而形成的腐蚀损伤；

铆钉损伤（rivet damage）：由于飞机起落或航行过程中震动或碰撞导致的铆钉松动，这里将铆钉周围出现的掉漆、腐蚀等均归类为铆钉损伤；

掉漆（paint peel）：指蒙皮外层漆层起泡，成片或粉末状脱落。

其中数据集中的各类损伤图片如图7所示，数据库各类损伤数据占比如图8所示。

图7 飞机蒙皮损伤类别

图8 飞机蒙皮损伤类型比重分布

2.2 飞机蒙皮损伤图像处理

对飞机蒙皮损伤进行分类后，利用LabelImg软件对已有的图片进行人工标定损伤框与损伤类别，生成了包含损伤信息的xml文件，该文件中包含人工标定损伤的种类、人工标定框的x轴方向与y轴方向长度范围，即长宽，也包含图片的大小以及路径信息。将所有图片中的损伤信息全部转化xml文件进行预处理，为后续模型训练提取图片信息做好准备。

3 损伤识别单元

3.1 飞机蒙皮损伤视觉检测模型训练

3.1.1 Mosaic 数据增强方式

YOLOv4 使用 Mosaic的数据[9]增强方式,图像增强[10]的主要目的是为了丰富飞机蒙皮损伤的背景，并且在计算时一次性计算4张图像的数据，这样即使是使用较少的数据集依然会得到不错的检验效果。主要思路：1）读取四张飞机蒙皮损伤图片；2）对图片进行变换：翻转、缩放、色域的变换等；3）将四张变换后的图片按不同的方位放置并组合成一张图，如图9所示。

图9 Mosaic数据增强图片拼接示意图

3.1.2 YOLOv4 模型训练

视觉检测模型训练过程如图10所示，将处理好的飞机蒙皮损伤图片以训练集∶测试集=9∶1的比例输入到YOLOv4系统中进行模型训练，由于在实验中是使用YOLOv4整体系统，所以在YOLOv4运行过程中使用的Mosaic数据增强方式得到的数据图无法在结果中体现，模型达到的目的是输入含有损伤的图片，输出图片中损伤的类别、位置以及置信度，再将人工标定的图片数据集输入到预先设定好的YOLOv4模型中进行模型训练，由于YOLOv4模型本身结合了多种模块的优势，所以训练过程中需要不断调整参数来平衡各模块对最终结果造成的影响。实验平台设置为：中央处理器（CPU）：Inter（R）Xeon（R）W-2235CPU@3.80GHz；图形处理器（GPU）：NVIDIA Quadro RTX4000；使用的开发框架为PyTorch，编程语言为Python。

图10 飞机蒙皮损伤视觉检测模型训练流程图

在此次实验中超参数的设定共进行了100个epoch迭代，并且在每一轮的数据迭代开始启动Mosaic数据增强。迭代过程分为两部分，前50次epoch训练在冻结部分参数后学习率设为0.001，样本数（Batchsize）设为4，每个epoch迭代次数为1 314次，权重衰减系数为0.000 5。解冻参数后继续进行后50次epoch迭代，学习率设为0.000 1，Batchsize设置为2，每个epoch迭代次数为2 627次。迭代100个epoch后网络已基本收敛，此时训练损失值为6.428 1。实验损失函数[11]图像如图11所示。

图11 损失函数变化曲线

3.2 飞机蒙皮损伤视觉检测模型测试

根据文献[12]提出以下定义：

正样本：置信度高于设定置信度的样本；

负样本：置信度低于设定置信度的样本；

TP（True Positive）；分类器分为正样本且实际确为正样本的数量；

TN（True Negative）：分类器分为负样本且实际确为负样本的数量；

FP（False Positive）：分类器分为正样本但实际为负样本的数量；

FN（False Negative）：分类器分为负样本但实际为正样本的数量；

准确度（Precision）和召回率（Recall）的计算公式[13]为

准确值 AP（Average Precision）：指的是利用不同的准确度和召回率组成的点的组合，用Precision和Recall曲线所围成的面积来表示，mAP是所有类别的AP值的平均值。对数据利用公式进一步处理得到的各类损伤的AP值如图12所示。

图12 各类损伤AP值和mAP值图像

根据以上数据可以得出：该模型对划痕（scratch）的检测精度比较低，主要原因是损伤中许多划痕太小，在检测过程中的特征不断迭代，许多细微的特征被忽略，需要后续进一步优化模型。根据实验测算，该模型能够检测到的飞机机翼变形损伤最小数据为长0.11 m，宽0.04 m，模型数据集中各类蒙皮损伤得到的mAP值即实验模型准确度为71.01%。

3.3 飞机蒙皮损伤视觉检测模型结果分析

由图13可知：模型检测效果与人工处理方式相比，损伤标定框已基本可以覆盖损伤全部位置，变形、划痕、腐蚀、铆钉损伤、掉漆五类损伤类型识别度已基本达到实验要求。各类损伤检测结果如图14所示。总体而言，飞机蒙皮损伤检测模型检测精度较高，与实际结果相符，该模型效果可以满足飞机蒙皮损伤日常检测需求，进而为飞机蒙皮损伤测控提供技术支持。但不足之处在于检测结果与实际结果相比，时而有漏检和错检情况发生。

图13 人工标定损伤与模型检测损伤对比图

图14 各类损伤检测结果图

其中漏检和错检情况最显著的表现在划痕损伤的检测上，飞机蒙皮表面划痕的空间深度和形状大小等特征多种多样，损伤特征变化性很大，模型进行测试时供其学习的数据集太少，从而导致部分微小划痕不能及时检测，针对该情况有如下调整方案：

1）继续丰富数据集，提高具有微小损伤的飞机蒙皮损伤图像数量，不断调整模型参数进行多次训练。

2）随着卷积神经网络层数的加深，模型的计算量和检测速度会大幅下降，在卷积过程中也会伴随着损伤图像特征的丢失，所以模型应进一步简化网络特征的提取过程，以便增强细微损伤的检测效果。

3）为提高微小损伤的检测精度，需要对损失函数进行优化，可以增加对划痕形状、大小以及分支多少的分类，进一步细化模型，以求提高划痕损伤检测精度。

4 结束语

本文从无人机全覆盖路径规划问题展开，论述了无人机路径规划中两种路径的代价计算方法，并通过对比两种路径的代价值来实现优化目的,在无人机采集到图像后对其进行数据处理，之后利用YOLOv4深度学习算法训练实验模型并测试实验效果。实验对于飞机蒙皮损伤检测提出将飞机蒙皮损伤图像输入计算机，利用YOLOv4深度学习模型进行自动检测，YOLOv4算法在视觉检测飞机蒙皮损伤方面体现出了很强的先进性，一方面它集多种网络的优势于一体，提升了飞机蒙皮损伤检测的精确度，另一方面可以灵活修改训练参数以便达到更好的检测效果。这一蒙皮损伤检测方法大大提高了飞机蒙皮损伤检测效率，为民航领域飞机蒙皮损伤维修提供了新的思路。

但是，该智能检测方法仍有不足之处，如对于一些微小损伤的检测效果不明显，针对这方面的问题，该方法需要进一步提升和优化。