基于图像差分及邻域特性的航空磁环缺陷检测

陈琳琳，邓华军，张殿喜，陈召松，杜传红

（安顺学院，贵州 安顺 561000）

航空设备结构非常复杂，涉及到的零器件众多，零器件的质量是保障安全飞行的前提。因零器件失效导致的安全事故是航空失事的主要因素之一，为了保证航空设备的正常运行及飞行员的安全，设计生产环境对航空零器件进行质量监控是必不可少的，而缺陷检测是其重要的手段。综上所述，如何在航空零器件生产线的终端环境实现高精度的检测是航空制造业中极其重要的环节，也是保证飞行安全的前提条件。

随着自动图像处理技术的不断发展，基于计算机视觉的表面缺陷检测已经成为航空磁性零件品质控制及过程监控环节的主流技术手段。该方法可以克服人工检测的诸多缺点，包括准确性低、实时性能差、主观性强和劳动强度过高。李鑫等[1]针对目前航空发动机表面缺陷检测效果差的问题，提出了一种基于改进的YOLOv5 的检测方法，相较于原始的YOLOv5 网络，该方法在检测效率不变的情况下将平均检测精度提升了1.2%。唐嘉鸿等[2]采用深度学习方法，基于改进的Faster R-CNN 网络研究航空发动机制件的表面缺陷检测，该方法检测速度快的同时还具有较高的检测精度。Huang 等[3]研究了磁砖的表面缺陷检测，提出了一种实时的多模块神经网络模型MCuePush UNet，实验表明该模型能够显著降低算法时间成本，并提高了表面缺陷检测的显著性精度。Qiu 等[4]提出了一种基于深度学习的逐像素点的表面缺陷分割算法，该方法在DAGM 2007 数据集上取得了较好的表现。Li 等[5]基于改进的YOLOv4 对钢带的表面缺陷进行了检测研究，将注意力机制嵌入到核心网络结构中，将路径聚合网络修改为定制化的感受野图像块结构，增强了网络模型的特征提取功能。相较于原本的YOLOv4 算法，该方法的平均精度有了明显提高。

国内外的研究者们基于计算机视觉对飞机发动机、金属、钢带和丝织物等的表面缺陷检测进行了探索，并在理论研究及实际工业生产中都取得了很多成果。但目前国内对于航空磁性材料的研究并不多，且目前的相关研究仍然存在一些问题和难点：①受环境光照、成像噪声等的影响，原始图像的信噪比较低，如何构建鲁棒性强、不易受外界干扰的稳健算法仍然是一个难题；②由于缺陷检测对象多样，表面缺陷种类复杂，缺陷特征的提取难以精准表征缺陷特性，从而导致缺陷目标分割困难；③航空领域对零器件的品控要求极其严苛，如何自动化地实现磁性零件的高精度检测是急需解决的问题，但目前航空磁性零件的自动化缺陷检测仍然处于起步阶段，技术发展并不成熟。基于此，本文通过计算机视觉方法对航空磁环的表面缺陷检测问题进行研究，利用BM3D[6]（Block-matching and 3D filtering，3 维块匹配滤波）进行噪声去除，然后基于灰度阈值及梯度阈值进行边缘检测。进一步地，基于图像差分提取边缘及缺陷区域，最后通过邻域均值特性检测出缺陷区域。该方法对于外环、内环及表层的磁环图像均有较好的检测效果。

1 基于图像差分及邻域特性的表面缺陷检测

考虑到航空磁环结构相对复杂、表面缺陷通常较为细小、图像对比度差且原始图像尺寸大等特点，本文提出了一种基于图像差分及邻域特性的缺陷检测方法，实现对内外环及表层磁环图像的自动缺陷检测。该方法分为预处理及检测2 个部分，其中预处理部分，通过适当地下采样缩小图像尺寸，并通过BM3D 算法进行噪声去除，提高图像信噪比，减少噪声干扰。在检测阶段，联合灰度及梯度进行阈值分割，提取出边缘及缺陷区域。对阈值分割图与预处理结果图进行差分运算，提取出边缘及缺陷特征，得到差分图像。基于邻域均值的差异性，逐像素点地从差分图中提取缺陷点，最后基于缺陷点的集中性进行缺陷块判定并输出缺陷检测结果。

1.1 预处理

通过超高清工业相机拍摄的磁环图像数据分辨率高且尺寸大。为了能够满足实时性要求，在预处理阶段首先去除感兴趣区域外围的白色背景部分，提取感兴趣区域，并采用适度地下采样操作来缩小图像尺寸，以便提升后续算法的处理速度。

工业成像环境较为复杂，受环境光照、成像噪声等因素影响，磁环图像易受到噪声干扰。为了避免噪声分布干扰后续差分图像对表面缺陷的表达，在预处理阶段还需进行去噪操作。本文采用BM3D 算法进行噪声去除，BM3D 是目前效果最好的去噪算法之一，其在充分抑制噪声的同时又能够保留图像的边缘及细节。BM3D 算法由Dabov 等于2007 年提出，该算法基于变换域进行增强稀疏表示，分为初始估计和最终估计2 个阶段，初始估计阶段搜索相似图像块，进行3D 块匹配及3D 变换，然后进行协同硬阈值滤波，最后通过聚合得到初始估计结果。最终估计阶段，基于初始估计阶段的相似块位置信息构造原始噪声图像的3D 相似块组并进行3D 变换，然后对其进行协同维纳滤波，协同维纳滤波的能量谱采用初始估计的能量谱，最后通过加权平均聚合经3D 逆变换后的估计块，得到最终的去噪结果。

1.2 联合阈值分割

灰度及梯度阈值分割实现简单且计算量小，是常用的分割方法。航空磁环的边缘与缺陷区域呈现为暗区，像素值较小且梯度较大，具有相似的灰度及梯度分布情况，因此联合灰度及梯度阈值可以快速分割出磁环边缘及缺陷区域。输入图像f（x，y）是离散二维函数，其像素点（x，y）在X 方向及Y 方向上的梯度为

式中：gx和gy分别表示X 方向和Y 方向的梯度。联合灰度及梯度阈值进行图像分割的变换函数为

式中：T 为设定的灰度阈值，G 为设定的梯度阈值。经阈值分割后，只有图像边缘及缺陷区域被保留了下来，其余区域的像素值均为255。若要提取缺陷区域，只需将边缘与缺陷区域进行有效区分即可。

1.3 图像差分运算

差分运算能够削弱图像间的相似部分，突出显示差异部分。本文将经BM3D 去噪后的图像与阈值分割后的图像进行差分运算，去噪图与阈值分割图中的相似部分，即边缘与缺陷区域经差分运算后灰度值变为0，其他部分的灰度值不为0。内外环图像与表层图像的结构差异较大，且因环境光照不均匀造成对比度过大，为了避免因对比度过大而无法利用邻域的均值特性，内外环图像在差分运算的同时将不为0 的所有像素值固定为一个常量。表层图像按照公式（3）进行差分运算，内外环按照公式（4）进行差分运算。

式中：d（x，y）为差分图，e（x，y）为阈值分割结果，n（x，y）为经BM3D 去噪后的图像，const 为设定的常量，该值可设定在[50，100]之间。

1.4 基于邻域特性的缺陷区域检测

像素的邻域性是指当前像素与周边像素的邻接关系，反映了像素的空间分布关系。分析差分图可知，缺陷点邻域的灰度平均值与边缘区域的灰度平均值存在较大差异，根据邻域均值的差异性即可区分边缘像素点与缺陷点。设像素点P（x，y）的m×m 邻域为Nm（P），计算该邻域内所有像素的平均值

式中：sum（Nm（P））表示对像素点P（x，y）的m×m 邻域中所有的像素值求和。对于表层图像，设定阈值AveT1，若AveP＜AveT1，则将像素点P（x，y）判定为缺陷点。对于内外环图像，设定阈值AveT2，若AveP＞AveT2，则将像素点P（x，y）判定为缺陷点。逐点扫描差分图，即可提取并标定所有缺陷点。最后，根据缺陷点的集中性原则，即可根据缺陷点的集中性，检测并标定完整的缺陷区域。图1 的磁环局部图展示了用星号（灰色区块）标示的缺陷点。

图1 磁环局部图

2 实验结果及分析

本文实验仿真的软件环境为MATLAB R2017a，所采用的磁环数据集来自于合作企业，将工业相机安装在工控机上，从不同角度对磁环图像进行拍摄，可获取外环、内环及表层图像，如图2 所示。内外环图像均有1 000 张，表层图像50 张，图像尺寸均为2 452×2 056。

图2 磁环图像类型

本文通过准确率accuracy、精确率precision，以及召回率recall 这3 个指标对磁环表面缺陷检测方法进行指标评估。

式中：TP 表示实际有缺陷且被检测为缺陷图像的样本数，FN 表示实际有缺陷但未被检测为缺陷图像的样本数，FP 表示实际无缺陷但被检测为缺陷图像的样本数，TN 表示为实际无缺陷且被检测为无缺陷图像的样本数。外环、内环及表层图像的准确率、精确率，以及召回率见表1。

表1 本文算法的性能指标 %

由表1 给出的性能指标可以看出，本文基于图像差分及邻域特性的磁环缺陷检测算法对外环、内环及表层图像均取得了较好的检测效果，说明了该方法检测精度较高的同时还具有较强的鲁棒性。由精确率可以看出该方法的误检率非常小，当然召回率也反应了本文的检测方法对于内外环及表层图像存在少量漏检情况，部分漏检样本的缺陷局部图如图3 所示。观察可以发现，绝大部分漏检的缺陷为黏连了极细微白色异物的区域。黏连了极细微白色异物的区域虽然被定义为缺陷区域，但其对磁环整体性能的影响较小，此类缺陷的漏检在大部分实际工业应用中是能够被允许的。

图3 部分漏检样本的缺陷局部图

3 结论

针对航空磁环的内外环及表层图像，本文提出了一种基于图像差分及邻域特征的表面缺陷检测方法。该方法通过BM3D 进行图像去噪，联合灰度及梯度进行阈值分割，对去噪图像及阈值分割图像进行差分运算，提取图像边缘及缺陷区域。基于边缘像素与缺陷像素的邻域差异性，检测并标定缺陷像素点。最后根据缺陷点的集中性原则，即可检测出缺陷区域。大量样本数据的实验仿真结果说明了该方法在航空磁环表面缺陷检测中的鲁棒性及有效性。当然，该方法对内外环及表层图像的极细微缺陷均存在漏检情况，后续工作将进一步研究极细微缺陷的检测问题。