基于机器视觉的飞机故障检查系统

袁忠大，程秀全，王大伟

(1.广州民航职业技术学院飞机维修工程学院，广东广州 510403；2.中国民航大学航空工程学院，天津 300300)

0 前言

随着飞机飞行安全水平的提高，飞机机械原因所导致的事故比例减少，而人为差错导致的航空安全事故比例则不断上升。因此，如何充分考虑与识别民航维修中的人为因素[1-3]，是科技工作者的重要课题。

近年来，国内外学者针对机器视觉在产品缺陷或设备故障检测中的应用进行了大量研究。徐立青[4]基于机器视觉对汽车精密零件表面缺陷展开了自动检测研究。姚金宝[5]基于机器视觉对拉挤生产线断纱缺陷检测进行了研究。张良安等[6]基于机器视觉与深度学习对飞机防护栅裂纹检测系统进行了深度研究。邵先鑫[7]基于机器视觉技术，对金属表面缺陷检测进行了设计与研究。王清晨[8]基于机器视觉对飞机板件裂纹测量系统进行了研究。魏秀琨等[9]系统地研究了机器视觉在轨道交通系统状态检测中的应用。WEI等[10]基于计算机视觉技术对钢轨波纹进行了识别与评价。WEI等[11]基于图像识别及机器深度学习技术对受电弓载玻片进行了缺陷检测。YU等[12]基于由粗到精的卷积神经网络模型对钢轨表面缺陷进行检测。

为运用机器视觉技术辅助飞机外观检查，本文作者通过收集飞机维修一线的飞机检查图片，并运用图像处理与特征提取、光学、传感器、计算机硬件等技术，设计一套自主化的基于机器视觉的飞机部件表面无损检测模型。

1 机器视觉技术的工作流程

机器视觉是代替人类的视觉和视觉判断能力，采用相机和计算机完成检测并执行巡检任务；它对图像进行自动采集和分析，以获得控制所需的数据，评价一个特定的部分。

典型的基于PC的机器视觉系统由图像采集系统、图像处理系统、动作执行系统组成，如图1所示。

图1 机器视觉的一般模式

图像采集系统由相机、镜头、光源等硬件组成，图像采集是将物体的光信号转换为电信号，进而得出所需要的数字图像。

处理系统首先会对此图像进行预处理，例如照明校正、二进制转换、过滤和颜色提取等，最终对提取出的特征进行识别、测量、判断等；得出的信息传输给动作执行系统，它会对得到的信息执行相应的动作，例如若判断一个部件上面有瑕疵，则需要将它剔除出来。

综上，机器视觉检测的步骤[13-15]一般是：首先由CCD等图像采集装置获取被测部件的数字化图像，传输到计算机中；再由程序对图像进行分析处理得到相应的检测信息，并形成对被测部件的判断决策，该决策信息最终将被发送到执行装置，完成对被测部件的检测。

2 硬件简介

2.1 CCD相机

CCD相机以体积小、数据传输速度快、性能稳定、分辨率清晰等优点[16]得到越来越广泛的应用。CCD相机根据扫描方式的不同可以分为线阵相机和面阵相机。线阵相机的单帧只能获得一行像素的图像信息，所有被拍摄的物体需在采集时间内，从感光芯片前方向前直线运动才能拼凑成一张完整的图像；面阵相机单帧可以获得整个图像信息。

CCD厂商一般会提供丰富的函数SDK库，可以对相机进行二次开发，将它应用到软件中。如果不需要在机器视觉软件里控制工业相机，也可以用厂商提供的软件进行设置。

2.2 工业镜头

镜头的主要作用是将目标物体的光线汇聚，成像到相机传感器所在的平面上。镜头的质量直接影响图像质量，从而影响机器视觉系统的整体性能。所以，在机器视觉系统设计的环节中，合理地选择和安装镜头非常重要。

无损系统的检测相机采用德国工业相机Basler4096-80 km+200 mm接圈Schneider Makro-Symmar5.6/80，检测光源采用CCS LNSP 100BL-DFSL4。

3 系统开发与应用

光照射到飞机部件表面会产生反射，反射光会被镜头捕捉。图2所示为镜头捕捉的飞机部件表面反射图像，包括机身划痕、油漆起皮、铆钉脱落、雷击点及发动机进气道划痕。

图2 镜头获取的飞机部件表面图像

将图2中的图像传送至主机，通过主机中运行的软件对图像进行分析，机器视觉软件界面如图3所示。

图3 机器视觉软件界面

软件界面左侧为工具箱，具体为图像、定位、测量、检测、识别等子工具箱。其中图像子工具箱中有导入图像、图像预处理、图像平移等功能；定位子工具箱中有找点、找直线、找圆等功能；测量子工具箱中有卡尺、间隙测量、颜色提取等功能；检测子工具箱中有Blob分析、划痕检测、边缘缺陷等；识别子工具箱中有条码识别、二维码识别、分类器等。界面中部为流程图及UI设计器、UI脚本编辑器；界面右侧为算子块属性。

用机器视觉对飞机部件进行无损检测的具体过程为：导入飞机维修员在一线维修工作中所拍摄图片，并对它进行预处理；对图片中的目标区域进行特征提取；利用统计信息量对飞机部件图片进行识别和分析。

3.1 导入图像

导入图像界面(以机身划痕为例)如图4所示。

图4 导入图像界面

界面左侧为导入图像显示，右侧上部为导入路径，具体有现场拍照及本地上传2种方式；右侧下部为图片循环加载、畸变校正及坐标系3种功能。其中，图片循环加载可利用相机实时拍摄图像或对本地文件夹图像进行连续处理，完全实现自动化机器视觉检测。

3.2 图像预处理

由于拍摄环境噪声等的影响，图片质量通常并不理想，直接影响后续算法对图像的特征提取等，因而需要先对图像进行预处理，这是整个机器视觉过程的重要组成部分。

以机身划痕为例，此系统对拍摄图片进行了以下预处理。

3.2.1 通道提取

在处理彩色图像前需进行降维处理，常用的方法有图像灰度化处理和图像通道拆分。为保证图像处理精度，采用HSV颜色模型。用以下公式[17]将常用的RGB颜色模型转成HSV颜色模型：

(1)

(2)

V=Imax

(3)

将RGB图像转换为HSV图像后，图像颜色由彩色变为黑白，其区域特征更明显，为下一步的特征提取及系统分析打好基础，处理结果如图5所示。

3.2.2 Sobel滤波处理

Sobel算子主要用作边缘检测，它是以离散性差分算子计算凸显两素函数的灰度之近似值。在图像的任何一点使用Sobel算子，将会产生对应的灰度矢量或法矢量。

该算子包含2组3×3的矩阵，分别为横向和纵向，将其与图像做平面卷积，即可分别得出横向及纵向的亮度差分近似值，若以A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：

(4)

(5)

图像每一像素的横向以及纵向灰度值通过以下公式计算该点灰度的大小：

(6)

Sobel滤波处理结果如图6所示。

图6 Sobel滤波处理结果

3.2.3 二值化处理

利用OpenCV中的函数cvThreshold(dst，dst，230，255，CV_THRESH_BINARY_INV)实现图片的二值化，可手动指定一个阈值，以此阈值进行二值化处理。

处理结果如图7所示。可知：经过二值化处理后，图片中的机身划痕特征更加明显。

图7 二值化处理结果

3.3 特征提取及系统分析

采用周期法和局部二值化法对预处理后的图像进行分析[18]。通过周期法对图像相邻周期的像素进行比较，得到差异图像，再将差异图像二值化，利用二值图的Blob分析法对图像中相同像素的连通域进行分析，得到相关的特征量，如图像中斑点的数量、位置、形状和方向，还可提供相关斑点间的拓扑结构，从而检出缺陷。

上述局部二值化法可以把灰度图像转换成二值图像。把大于某个临界灰度值的像素灰度设为灰度极大值，把小于这个值的像素灰度设为灰度极小值，将灰度图像变换成二值图像，再利用二值图的Blob分析法得到相关的特征量，从而检出缺陷。

定位单个Blob的方法是计算此连通区域的面积和重心，区域面积计算是像素累加的过程，计算公式如下所示[19]：

(7)

式中：D为连通区域像素的集合。

重心坐标计算将当前像素点的灰度值作为参考值，具体计算过程为

(8)

基于Blob分析，编写图像处理代码并对预处理后的图像进行分析。由图8可知：通过对Blob的检测，图像中的缺陷均能得到精确检测及定位。

系统针对不同图像可自动重复上述步骤，利用上位机统计软件得到表1数据，可知：基于机器视觉的飞机部件表面无损检测模型的检测准确率为100%，完全能够满足航空公司对安全效益和经济效益的要求，同时符合民航业内对智慧民航的发展需求，具有极其重要的行业应用和推广价值。

表1 缺陷检测结果

4 结论

(1)航空公司的航线和定检检查工作量较大，需要人工不断进行目视检查，由于人为因素的影响，经常导致不必要的事故隐患。文中基于机器视觉技术开发了飞机部件表面无损检测系统，有效避免了人为因素在飞机维修目视检查中的负面影响，大大提高了航空公司的安全效益和经济效益；同时也为国产大飞机的使用和维护奠定了可靠的检修技术基础。

(2)未来项目团队将借助无人机自动飞行对飞机相关部件表面进行图像提取，同时可借助无人机飞行控制系统的升级实现整个飞机检修任务在无人干预的情况下全自动执行。最终则是经过数据的采集、分析处理，通过人工智能检测缺陷，提升民航维修的自动化和智能化程度，从而切实提高航空公司的安全和经济效益。