基于增强型YOLO网络的射线探伤钢管焊缝缺陷实时检测模型

于子金，李乐榕，阮龙

（上海宝山钢铁股份有限公司设备部，上海 201900）

0 引言

由于原材料、焊接工艺、焊接过程控制等因素的影响，宝钢UOE焊管区域在钢管焊接过程中会产生诸如搭焊、夹珠、未融合、夹渣、气孔、咬边、焊瘤、烧穿、密气、焊偏等一系列缺陷,这些缺陷不仅影响钢管的外观，还会损害成品,管的质量和机械性能。因此，有效的检测出钢管焊缝位置缺陷对提高钢管产品质量具有重要意义。然而，有很多因素使得基于射线探伤图像的钢管焊缝缺陷实时检测特别困难，如射线探伤图像噪音大、图像存在拖影现象、缺陷种类多、位置随机不固定、高速生产节奏等。

1 研究背景

现有的基于射线探伤图像的钢管焊缝缺陷检测方法主要采用经典的机器学习算法，大致分为三个主要阶段:图像预处理、特征提取和分类。然而，这些算法需要手工设计特征提取模型，然而手工制作的特征严重依赖现场工艺专家的知识，需要消耗大量的人力。文献[1]提出了一种自适应分割算法，根据射线探伤图像的灰度特征，自适应分割缺陷区域，但无法区分缺陷类型。文献[2]提出了在提取表面缺陷在不同尺度和方向上的特征后，采用支持向量机分类器对不同类型的表面缺陷进行分类。然而，在测试过程中，从单一缺陷图像中提取特征的时间为1.1044秒，太长，无法满足实时检测的要求。

多层次的卷积神经网络架构能够提取的信息量更全面，相比于手工制作的特征更有效，所有的特征都是通过使用自适应回归算法，从训练数据中自动提取的多层次卷积网络，提供了从原始缺陷图像到预测结果的端到端的解决方案，从而减轻了手动提取特征的需求。此外，通过卷积检测网络可以在毫秒内检测到目标，并获得目标的种类、准确位置以及大小等信息。

2 基于增强型yolo的网络模型

2.1 检测原理

YOLO的CNN网络将输入图片分割成S×S网格，通过设计的卷积层来提取缺陷特征。对于每个网格，模型判断是否有缺陷的中心点落在了格子内，并根据提取的缺陷特征识别缺陷类别，如图1所示，可以看到搭焊这个缺陷的中心落在了单元格内，那么这个单元格负责预测这个搭焊缺陷。

图1 YOLO网络检测流程图

YOLO检测网络模型可以被分解为回归和分类两部分，回归用于确定目标对象的位置和尺寸，分类用于确定目标所属类别。YOLO网络中的每个单元格将预测B个边界框（bounding box）和每个边界框的置信度（confidence）。边界框的准确度可以用预测框与实际框（ground truth）的IOU（intersection over union，交并比）来表征，记为IOU，IOU表示预测框与真实框的重叠率，采用非极大值抑制NMS（Non-Maximum Suppression）方法去除冗余边界框。网络为每个边界框预测5个值：（x,y,w,h,c）。（x,y）坐标表示缺陷中心，（w,h）表示每个框的高度和宽度,c表示置信度。在测试时，改进了置信度的计算方式，我们将类别置信度与边界框置信度相乘，具体如定公式（1）所示，为每个框提供类别特有的置信值。

2.2 增强型的yolo网络

我们构建了一个包含29个卷积层的全卷积YOLO网络。前27个卷积层用于提取焊缝缺陷特征，后2个卷积层用于预测缺陷类别和尺寸。我们的网络使用连续的3×3卷积层，然后是1×1池化层。连续的3×3卷积层从输入图像中提取缺陷特征，使用1×1核来减少前一个特征映射的特征空间。在几个图像识别基准上，最大池化层可以被步幅为2的卷积层取代，而不会损失精度。此外，卷积层允许网络学习自己的空间下采样，而不是确定性的空间下采样。在本文中，我们用3×3（stride=2）卷积函数替换了原网络的max-pooling函数，精度略有提高0.6%。

2.3 钢管焊缝缺陷图像收集

本课题共收集了近2万张X射线探伤图像，从中筛选出有缺陷的图像2000多张作为分析对象，将缺陷分为16类，缺陷如下图所示，对焊缝图片有无缺陷以及缺陷类型进行标识。数据集共计打标了5067个缺陷，根据缺陷数量越多，越不重要的原则，为每个缺陷类型分配权重，后续将缺陷类型权重和数据集划分以及模型Loss计算相结合。

图2 UOE钢管焊缝缺陷图

2.4 模型训练

为了便于优化，YOLO检测网络在损耗函数中使用了和平方误差。然而，和平误差将定位误差和分类误差同等权重，并不能完全符合平均精度最大化的目标。在每个图像中，许多网格单元不包含任何缺陷。这使得无缺陷单元格的置信度分数接近于零，通常会压倒那些有缺陷网格单元的梯度，这会导致模型不稳定。为了弥补这一点，YOLO网络增加了边界框坐标预测的损失，并减少了无缺陷框的置信度预测的损失。为了提高对小尺度缺陷的检测效果，YOLO网络通过增加损失函数中bounding box宽度和高度的方差信息，来增加小尺度缺陷bounding box中误差的比例。优化后的损失函数如下：

表示是否有任意一种缺陷出现在i中， 表示第j个预测框。

为了提高缺陷检测的准确性和速度，在训练过程中采用了一些训练策略。

多尺度的输入：在低分辨率图像上训练的网络测试速度快但精度低，而在高分辨率图像上训练的网络测试精度高但速度不满足要求。在训练我们的网络时，我们将固定的416 × 416输入分辨率改为可变的输入分辨率。我们设置了一组可选择的输入分辨率{224,256 416, 448}，网络每10次迭代改变输入大小。

数据增强：当训练数据不够充分时，数据增强可以扩展数据集，增加训练数据的多样性。数据增强也可以减少过拟合。在对网络进行训练之前，我们对部分缺陷图像进行了锐度增强和对比度增强。在训练过程中，我们随机缩放和裁剪缺陷图像。

3 实验结果与分析

3.1 实验设计

我们在16种类型的缺陷图像上训练改进的YOLO网络，迭代次数设为50000。在整个训练过程中，我们使用批大小为16、动量为0.9、衰减为0.0005的随机梯度下降法。初始学习率为0.01,每重复12000次，学习率下降10倍，设置有EarlyStop条件。在1个NVIDIA GTX 1080Ti gpu上训练花费了40多小时。

3.2 结果及分析

对训练过程数据进行处理，得到损失衰减曲线和召回曲线，如图3和图4所示。

图3 损失函数曲线

图4 recal衰减曲线

利用训练好的网络对测试缺陷图像进行检测，在26秒内完成2000幅图像的检测，达到97.55%的mAP和95.86%的召回率。检测结果见图5。传统算法主要集中在缺陷分类问题上，通常不能解决缺陷定位和预测缺陷大小的问题。改进后的YOLO检测网络不仅能对缺陷图像进行分类，还能准确获取缺陷的位置和大小信息。

图5 6种射线探伤图像中焊缝缺陷检测结果

在只需要检测缺陷而不进行类别分类的情况下，我们的网络达到99%的检测率，仅遗漏1%的缺陷。同时，根据在线实验测试，我们的网络可以检测出1毫米大小的缺陷。

深度学习是一种数据驱动的学习方法，数据集的数量直接影响学习结果[3]。如果有更多数量和种类的缺陷图像来训练网络，该网络将有更好的性能和更高的精度。同时，对缺陷的位置和尺寸的识别也会更加准确。

4 结语

文中建立了包含16种焊管射线探伤图像中焊缝缺陷数据库。我们通过构建全卷积YOLO检测网络来检测焊缝缺陷。结果表明，该网络的mAP达到97.55%，召回率达到95.86%，检出率达到99%。该网络提供了端到端的焊管射线探伤图像中焊缝缺陷检测解决方案，并实现了76FPS的检测速度，使在线钢管焊缝射线探伤缺陷图像的实时检测更加有效。