基于图像分析的飞机蒙皮裂纹检测

薛倩 罗其俊 王岳

摘 要：为实现飞机蒙皮裂纹的自动检测，在通过云台搭载长焦成像系统进行扫描成像的基础上，研究蒙皮图像处理与裂纹参数提取算法。针对飞机蒙皮图像的特点，首先通过光照一致化、自适应灰度拉伸、分区大津（OTSU）法阈值分割等处理得到裂纹的二值化图像;然后利用连通域的面积、矩形度等特征剔除块噪声;在去噪的基础上，对二值化图像中的裂纹部分进行细化、去毛刺等操作，并通过去节点获取各条裂纹枝干;最后以枝干像素为索引，逐点跟踪获取各条裂纹枝干的长度、平均宽度、最大宽度、起点坐标、终点坐标、中心坐标、裂纹走向及数目等信息并由检测软件输出裂纹检测报告。实验结果表明，所提方法可有效检测宽度大于1mm的蒙皮表面裂纹，为飞机机身和机翼蒙皮表面裂纹的自动检测提供了一种可行手段。

关键词：飞机蒙皮;表面缺陷;图像处理;裂纹测量

Abstract：To realize automatic crack detection for aircraft skin， skin image processing and parameter estimation methods were studied based on scanning images obtained by pan-and-tilt long-focus camera. Firstly， considering the characteristics of aircraft skin images， light compensation， adaptive grayscale stretching， and local OTSU segmentation were carried out to obtain the binary images of cracks. Then， the characteristics like area and rectangularity of the connected domains were calculated to remove block noises in the images. After that， thinning and deburring were operated on cracks presented in the denoised binary images， and all branches of crack were separated by deleting the nodes of cracks. Finally， using the branch pixels as indexes， information of each crack branch such as the length， average width， maximum width， starting point， end point， midpoint， orientation， and number of branches were calculated by tracing pixels and the report was output by the crack detection software. The experimental results demonstrate that cracks wider than 1mm can be detected effectively by the proposed method， which provides a feasible means for automatic detection of aircraft skin cracks in fuselage and wings.

Key words： aircraft skin; surface defect; image processing; crack measurement

0 引言

飛机蒙皮是包围在骨架结构外的部件，除了长时间暴露在外界恶劣的环境下，还经常承受着一个交变的应力，导致飞机蒙皮结构出现损伤。蒙皮损伤如果没有及时被维修人员检测到，会给飞行安全带来重大隐患。目前国内航空公司的机外检查主要以人工检查方式为主，存在劳动强度大、检测周期长、漏检率高等问题[1-2]。基于机器视觉的检测方法[3-4]为蒙皮表面缺陷的智能化检测提供了一种可行途径，可在一定程度上避免目视检查过程中的漏检和疲劳等问题。

目前，基于机器视觉的缺陷检测技术多用于工业产品质量监测和混凝土、路面裂缝检测等[5-8]。飞机蒙皮检测方面，美国的Bahr等[9]研发了爬壁机器人系列，用于搭载传感器和视觉系统，实现飞机蒙皮的自动监测，其后，其他单位和国家也纷纷开展了飞机蒙皮检测爬壁机器人的研究。国内，中国民航大学也针对蒙皮表面爬壁机器人系统展开研究，提出了对蒙皮磁光图像裂纹的自动检测方法[10]。

图像处理算法是蒙皮视觉检测系统的重要组成部分，由于不同的检测对象具有不同的图像特征，检测目标也各不相同，图像处理方法应针对特定检测对象进行具体设计。本文针对飞机蒙皮裂纹图像特点设计图像处理方法：首先对图像进行光照一致化处理以排除光照不均对图像分割的影响;然后利用自适应窗口进行灰度拉伸，在此基础上分区进行OTSU阈值分割获得裂纹二值化图像，根据噪声特点进行去噪，提取裂纹参数（包括裂纹数目、长度、平均宽度、最大宽度、起点、中点、终点和走向）。利用自动扫描系统拍摄蒙皮裂纹图像进行裂纹自动检测实验，以验证本文方法的有效性。

1 蒙皮图像预处理

1.1 光照一致化

为降低计算量，首先用加权平均法对CCD（Charge Coupled Device）相机采集的蒙皮图像进行灰度化处理：

其中： f（i， j）为图像坐标（i， j）处像素灰度值，R、G、B分别为彩色图像的R、G、B三个通道分量的值。

由于光源条件有限，采集到的蒙皮图像存在光照不均、对比度低、存在大量无规则噪声等问题，严重影响常规图像分割的效果[11]，为此，对灰度图进行光照一致化处理，光照一致化的流程如图1，效果如图2。可以看出，经过光照补偿，原图中光线的不均衡、裂纹处蒙皮凸起产生的阴影都得到了改善，同时较好地保留了裂纹纹理细节。

1.2 自适应窗口灰度拉伸

一般情况下，蒙皮裂纹图像中大部分面积为正常蒙皮，裂纹只占少量像素，且不可避免地存在灰尘、雨渍等干扰。分析蒙皮裂纹图像直方图可知，其灰度分布较集中，峰值附近灰度值应对应图像中的正常蒙皮区域，而裂纹像素在灰度值上应小于蒙皮像素，且在数目上远少于蒙皮像素。针对上述特点，为改善图像分割效果，宜采用窗口灰度拉伸算法进行图像增强处理[12]，方法如下：

1，r（i， j）≥T2（2）三个条件存在交叉情形，在=T1和=T2时，分别属于哪个约束条件，需明确。回复：原公式并无矛盾，在=T1或T2时不管用哪个公式都会得到相同结果。若感觉不妥，可将第二行公式中两个≤都改成<

其中：T1为窗底，T2为窗顶，r（i， j）和s（i， j）分别灰度拉伸前后图像坐标（i， j）处的像素灰度值。为保证图像增强的效果，不同的裂纹图像应设置不同的窗底和窗顶值。根据蒙皮裂纹图像的特点，数目过少的像素灰度值一般对应散点噪声，而像素数目处于峰值附近的灰度值对应正常蒙皮区域，因此，为自动根据图像选取合适的T1和T2，本文在图像直方图计算的基础上，取像素数目大于一定阈值的灰度值作为窗底，取像素数目比峰值略少的灰度值作为窗顶，进行自适应的窗口灰度拉伸。

1.3 分区OTSU阈值分割

由于蒙皮裂纹图像中大部分区域为灰度分布较均匀的正常蒙皮，为减少计算量，同时进一步改善阈值分割效果，将灰度拉伸后的图像分成K个大小为h×w的子块，取方差大于整图方差的子块为感兴趣区域（认为方差小于整图方差的区域为正常蒙皮），进行分区OTSU阈值分割[13]。具体步骤如下：

1）令k=1，计算灰度拉伸后的图像矩阵S的方差T0。

2）取S中的第k个h×w的子矩阵Sc，计算子矩阵方差t0。

3）若t0>T0，则对Sc用大津（OTSU）法[14-15]进行分割（即用遍历法选取使前景与背景图像的类间方差最大的阈值进行图像分割）;否则将Sc置零。

4）若k=N，则停止;否则k=k+1，回到步骤2）。

图3对比了直接对灰度一致化后的蒙皮图像进行OTSU阈值分割，和基于窗口灰度拉伸的分区OTSU阈值分割的效果。由于裂纹在图像中所占像素远小于背景蒙皮，直接使用OTSU阈值分割效果很差，在窗口灰度拉伸的基础上进行分区OTSU阈值分割，可有效分离出裂纹与背景，同时由于算法只对个别感兴趣区域计算OTSU阈值，对于大像素图像可显著提高图像处理速度，从而缩短大面积蒙皮检测的周期。

1.4 二值化裂纹图像去噪

图像分割后的二值化裂纹图像仍不可避免地包含噪声，影响裂纹的识别与测量[16]（如图3（c））。噪声来源复杂（CCD器件噪声、蒙皮表面影响或其他信号干扰），且灰度值与裂纹相近，但从形态上看多为散点噪声和块状噪声，因此可取连通域面积和矩形度为特征参数，将噪声与裂纹相区分。

首先，利用形态学膨胀弥合裂纹中的个别断点，使邻近的小区域连通，防止被当成散点噪声消除;然后依次计算二值化图像B中各连通域面积和矩形度，面积定义为连通域的像素总和，矩形度定義为：

其中：A代表连通域面积，rmax、rmin分别为连通域的所有像素行标的最大、最小值，cmax、cmin分别为连通域的所有像素列标的最大、最小值。若连通域面积小于阈值（本文取500，若裂纹尺寸偏小应相应减小此阈值）或矩形度高于阈值（本文取0.2）则视为噪声，将该连通域像素置零。最后对去噪后的图像进行形态学腐蚀，以修正形态学膨胀改变的裂缝尺寸。

2 裂纹参数测量

2.1 获取裂纹骨架分支

由于实际裂纹形态各异，要计算二值化图像中裂纹的长度、宽度、特征点等参数，首先要通过细化获得裂纹骨架（细化或骨架化，是将图像的线条从多像素宽度减少到单位像素宽度的过程）。对于含有多条分支的复杂裂纹（如图2），需分离出各条分支依次计算。获取裂纹骨架分支的流程如图4，首先利用区域标记法标记出二值图中的连通区域，然后依次对各连通区域进行细化操作，Matlab中轮流使用8个方向的模板，先算出所有要削去的像素，再削去一层像素，迭代执行，直到获得骨架[11]。这样得到的骨架枝干上存在多处毛刺，严重影响裂纹参数计算精度。本文通过跟踪端点去除毛刺，设毛刺长度阈值为Nth，将骨架上小于该阈值的分支去除，具体做法如下：

1）为减少计算量，先取出二值图中所有值为1的K个像素。

2）从上述K个像素中取一点pk判断是否为端点：先将该像素置零，然后求其8邻域像素之和N8，若N8（k）=0则说明此点为孤立点，应擦除;若N8（k）>1则重新取点;若N8（k）=1则说明此点为端点，将其坐标（xk，yk）存入Nth×2维的矩阵P，再将该点置零，令该点所在分支长度N=N+1，取出与其唯一相连的点pk+1。

3）求pk+1的邻域像素和，若N8（k+1）=1则说明pk+1为消除pk后产生的新端点，将其坐标（xk+2，yk+2）存入矩阵P，再将该点置零，令N=N+1，取出与其唯一相连的点pk+2，依此循环直至N>Nth;若N8（k+1）≠1则回步骤2），找下一个端点进行跟踪。

4）若N>Nth则说明该分支不是毛刺，将矩阵P中保存的坐标点像素值复原为1。循环至K个值为1的像素处理完毕，即处理完所有毛刺。

为方便测量含有多条分支的复杂裂纹，本文通过删除骨架中的节点来实现各分支的分离。节点的主要特征是与其相连的像素超过两个，即其8邻域像素之和大于2，而满足这一条件的除节点外，还有骨架图中个别直角结构中的点，如图5中的点p。为准确识别节点，应首先找出骨架图中的直角，并删除其顶点;否则p点被误判为节点而删除，将导致裂纹分支被截断。直角顶点p0应满足：

其中，（x1，y1）、（x2，y2）分别为p0的8邻域中与其相连的两个点p1、p2的坐标，若满足上式则p0、p1、p2三点构成直角。从骨架图中所有值为1的像素中搜索满足式（4）的点，将其置零，即去掉了所有直角结构的顶点，然后搜索邻域像素之和大于2的点，即为节点，删除节点即可获得裂纹骨架的各条分支。注意上述处理方法可能会产生个别新的孤立点，即邻域像素为零的点，应删除。

2.2 测量裂纹参数

在获取裂纹骨架分支的基础上，可通过跟踪各分支上的像素来测量裂纹的各几何参数。本文采用裂纹数目、长度、平均宽度、最大宽度、起点、终点、中点和走向共8个字段描述裂纹特征并输出裂纹检测报告。

1）数目N。上一步获得的裂纹骨架分支图中，连通域的个数即裂纹或裂纹分支数目。

2）长度L。从端点开始跟踪骨架分支，取8邻域像素和为1的为端点，先保存端点坐标至矩阵Q，令L=L+1，将端点置零，再找到8邻域中与其相连的点，作为新的端点，执行上述步骤，依此循环直至8邻域像素和不为1，即累计完了一条分支。为了进一步消除噪声，若分支长度小于一定阈值（本文取为5），则删除，取下一端点依此计算下一条分支长度。

3）起点。矩阵Q中存储的第一行的像素坐标。

4）中点。矩阵Q中存储的中间行的像素坐标。

5）终点。矩阵Q中存储的最后一行的像素坐标。

6）平均宽度Wav。依次计算裂纹骨架各分支点处的宽度，再求平均值。要计算第k点（xk，yk）的宽度，取第k+t和第k-t点（本文取t=2）之间的连线的垂线为第k点处的法线斜率，在（xk，yk）处按此斜率作直线（设直线方程为y=nkx+bk此处是否遗漏了公式？），与裂纹的二值化图像边缘交于两点（xu，yu）、（xd，yd），则第k点处的裂纹宽度为：

按式（6）和（7）追踪直至下一点的像素值为0，则当前点坐标即（xu，yu），同理可得另一方向的交点坐标（xd，yd）。

7）最大宽度WM。依次计算裂纹骨架各分支点处的宽度，求其中的最大值。

8）走向θ。用裂纹枝干分支上的各点拟合一条直线，由拟合直线的斜率计算裂纹方向。

3 蒙皮裂纹检测实验

3.1 实验设置

利用扫描成像系统（如图6）拍摄飞机蒙皮表面裂纹图像进行检测实验。扫描成像系统包括转台、转台控制器以及长焦镜头和CCD相机组成的成像系统。二维转台在转台控制器的驱动和控制下，搭载成像系统，通过设定扫描路径，获取检查区域内各子區域蒙皮表面的高分辨率图像，然后通过USB接口传送给上位机，由裂纹检测软件进行检测并输出裂纹报表。CCD透镜口径17.5mm，拍摄距离8m时，可计算理论物理分辨极限为0.31mm，考虑相机镜头镜片加工和装配误差，最终物理分辨率可控制在1mm。考虑光照条件限制和噪声影响，将实验目标确定为长度大于10mm、宽度大于1mm的蒙皮表面裂纹。

3.2 实验结果

对不同尺寸和形状的5幅蒙皮裂纹图像（如图7），用第2章所述方法进行处理和测量，得到裂纹的二值化图像（如图8）及其8项几何参数（如表1）。

为便于观察结果，在图7中，根据算法结果，用黑色矩形框标出了各图中检测到的裂纹的编号;在图8中，将计算的裂纹起点和终点用圆圈标记，将中点用菱形标记。对比图7和图8可知，对于图7的蒙皮图像中肉眼可见的裂纹a1-e5，在蒙皮表面灰尘、雨渍、轻微划痕等影响下，图8的二值化检测结果中，均在相应位置对裂纹形态和尺寸有较准确的显示：图7（a）中可见单条横向裂纹a1，图8（a）检出裂纹数为1条，走向接近水平，由检测结果估算的角度为0.29°（如表1），尺寸、特征点均与目测相符;图7（b）中可见单条曲线形裂纹b1，图8（b）中检出裂纹数为1条，起点、终点和中间的拐点与目测相符，由检测结果估算的走向角度为-50.25°（如表1）;图7（c）可见两条斜线形裂纹，其中斜率为负者标为c1，斜率为正者标为c2，图8（c）中检出裂纹数为2条，起点、终点和中点与目测相符，由检测结果估算的c1和c2裂纹走向角度分别为-75.26°和77.63°（如表1）;图7（d）为包含多条分支的复杂裂纹，图8（d）中通过跟踪节点将其分割为d1-d6共6条分支，分别标记其特征点并计算其特征参数，d1-d6裂纹长度依次为195、88、468、428、729和500像素，走向依次为-22.57°、57.06°、-2.37°、-68.50°、85.67°和-1.26°（如表1），除裂纹d4较弯曲难以用一个角度描述外，其他裂纹参数均与目测相符;图7（e）粗看之下有两条裂纹，放大图像仔细辨识可见上方裂纹中间位置附近存在一处断点，下方裂纹中间和末端附近各存在一处断点，且在接近末端时出现一条较短分支，共计6条裂纹分支，但由于其中两条分支分离处间距较小，算法未能将其分开，而合为一条裂纹进行计算，故本文算法将此图判断为e1-e5共5条裂纹，分别计算了各段裂纹或裂纹分支的几何参数（如表1）。由此可知，对于不同尺寸和形状的裂纹图像，本文方法检测到的裂纹数目和特征点均较为准确。

表1列出了图7中各裂纹的几何参数，包括裂纹长度、平均宽度、最大宽度和走向（特征点已标记在图8中）。表中的长度和宽度均以像素为单位，可根据镜头参数与拍摄距离折算成毫米单位。由于裂纹形状不规则，难以用直尺准确测量，但由前述计算过程可知，只要算法对裂纹特征点定位准确，算法检测结果将优于人工直尺测量结果，基于图像进行自动裂纹检测可辅助飞机蒙皮表面缺陷检查。由于每像素约对应实际尺寸0.3mm，在裂纹图像正确分割的前提下，理论上本文方法计算的参数误差可控制在1mm以内。

4 结语

民用航空器维修中对飞机蒙皮检测提出的要求是能够及时发现使用过程产生的缺陷，疲劳裂纹是其中的典型缺陷。针对人工检查劳动强度大、漏检率高等问题，本文设计基于图像的飞机蒙皮裂纹检测算法，为蒙皮裂纹的自动检测提供参考思路和理论依据。实验结果表明，本文方法可有效识别宽度大于1mm的、不同数目与形态的蒙皮表面裂纹，估算的裂纹数目、长度、宽度、走向和特征点等参数与目视检查结果相符。空客A320一般目视检查可见裂纹尺寸最小为8mm，因此本文方法在日常绕机目视检查与定期的无损检测之间，可用于辅助飞机蒙皮表面缺陷检查，从而降低机务人员疲劳度，提高飞机结构的可靠性。

参考文献 （References）

[1] WANG C Q， WANG X F， ZHOU X， et al. The aircraft skin crack inspection based on different-source sensors and support vector machines[J]. Journal of Nondestructive Evaluation， 2016， 35（3）：46.

[2] MUMTAZ R， MUMTAZ M， MANSOOR A B， et al. Computer aided visual inspection of aircraft surfaces[J]. International Journal of Image Processing.2012， 6（1）： 38-53.

[3] LIU M B， LI B B， LI J T， et al. Smart coating sensor applied in crack detection for aircraft[J]. Applied Mechanics and Materials， 2013， 330（6）： 383-388.

[4] DENG Y， LIU X， UDPA L. Magneto-optic imaging for aircraft skins inspection： a probability of detection study of simulated and experimental image data[J]. IEEE Transactions on Reliability， 2012， 61（4）： 901-908.

[5] HASNI H， ALAVI A H， JIAO P C， et al. Detection of fatigue cracking in steel bridge girders： a support vector machine approach[J]. Archives of Civil and Mechanical Engineering， 2017（17）： 609-622.

[6] CHA Y J， CHOI W， BYKZTRK O. Deep learning-based crack damage detection using convolutional neural networks[J]. Computer-Aided Civil and Infrastructure Engineering， 2017， 32（5）： 361-378.

[7] 陈瑶.基于图像分析的桥梁裂缝检测方法研究[D].合肥：中国科学技术大学，2016：1-8.（CHEN Y. Research on the bridge crack detection method based on image analysis[D]. Hefei： University of Science and Technology of China， 2016： 1-8.）

[8] 姜吉荣.基于图像分析的路面裂缝检测方法与识别研究[D].南京：南京邮电大学，2016：1-10.（JIANG J R. Research on pavement crack detection and recognition methods based on image analysis[D]. Nanjing： Nanjing University of Posts and Telecommunications， 2016： 1-10.）

[9] BAHR B， MAARI S. Robotic-aided system for inspection of aging aircraft： national institute for aviation research[J]. NDT and E International，1992， 25（1）： 41-42.

[10] 高庆吉，胡丹丹，牛国臣，等.基于磁光图像的飞机铆钉缺陷识别[J].中国图象图形学报，2007，12（12）：2179-2183.（GAO Q J， HU D D， NIU G C， et al. Defect recognition of aircraft rivet based on magento-optic image[J]. Journal of Image and Graphics， 2007， 12（12）： 2179-2183.）

[11] 王耀东，余祖俊，白彪，等.基于图像处理的地铁隧道裂缝识别算法研究[J].仪器仪表学报，2014，35（7）：1489-1496.（WANG Y D， YU Z J， BAI B， et al. Research on image processing based subway tunnel crack identification algorithm[J]. Chinese Journal of Scientific Instrument， 2014， 35（7）： 1489-1496.）

[12] 吴秀永，徐科，徐金梧.基于Gabor小波和核保局投影算法的表面缺陷自动识别方法[J].自动化学报，2010，36（3）：438-441.（WU X Y， XU K， XU J W. Automatic recognition method of surface defects based on Gabor wavelet and kernel locality preserving projections[J]. Acta Automatica Sinica， 2010， 36（3）： 438-441.）

[13] JIN L S， TIAN L， WANG R B， et al. An improved Otsu image segmentation algorithm for path mark detection under variable illumination[C]// IV2005： Proceedings of the 2005 IEEE Intelligent Vehicles Symposium. Piscataway， NJ： IEEE， 2005： 840-844.

[14] MOHAMED H M， MAHMOUD E. Efficient solution of Otsu multilevel image thresholding： a comparative study[J]. Expert Systems with Applications， 2019， 116： 299-309.

[15] GOH T Y， BASAH S N， YAZID H， et al. Performance analysis of image thresholding： Otsu technique[J]. Measurement， 2018， 114： 298-307.

[16] 薛倩，楊程屹，王化祥.去除椒盐噪声的交替方向法[J].自动化学报，2013，39（12）：2071-2076.（XUE Q， YANG C Y， WANG H X. Alternating direction method for salt-and-pepper denoising[J]. Acta Automatica Sinica， 2013， 39（12）： 2071-2076.）