基于改进ResNet50的石油管道焊缝缺陷分类

张立，王卫华，王靖然，杨逸轩

（1.广东白云学院，机电工程学院，广州510450；2.广东工业大学，机电工程学院，广州510006）

0 引言

石油管道的焊接质量影响到焊接结构的使用性能和寿命。由于生产工艺和焊接环境的不同会产生各类焊接缺陷，依照焊缝位置的不同可分为外部缺陷（咬边、焊瘤、塌陷、烧边等）和内部缺陷（裂纹、未熔合、未焊透、圆形缺陷等）[1]。外部缺陷可以通过肉眼直接观察辨别缺陷类型，而内部缺陷需要无损检测技术来辨别。常用的无损检测技术有：超声波检测[2]、红外热像仪[3]、涡流检测、磁悬浮检测[4]、X射线检测[5]等。由于X射线检测技术可以将缺陷的形状、位置、大小准确地反映在灰度图片上等优点得到了广泛的应用[6]。X射线所得图像，它需要检验员凭借经验进行判断，这种方法存在一定的弊端：检验员的专业水平等主观因素会造成漏检或者错检等情况，使不合格产品进入市场，从而造成不可估计的损失。近几年机器视觉应用在工业检测中越来越普遍，应用形态学滤波和分水岭算法对数据缺陷轮廓的提取，实现对X射线图片缺陷的检测[7]。通过CCD相机与辅助光源对焊接图像进行采集，使用GrabCut算法进行前景与背景的分割，以QT为平台搭建基于机器视觉的焊缝表面实时监测系统[8]；在中值滤波算法的基础上计算局部数据点的均值和方差作为阈值选择的范围，既可以去除图像噪声，又能保留图像的边缘信息，降低提取特征点的难度[9]。但是传统的机器视觉算法受到光照、背景差异、形变等因素影响到算法的鲁棒性。卷积神经网络具有因为对光照不敏感、泛化能力强等优点，被广泛应用于图像识别领域。采用渐进式卷积神经网络对焊缝识别，使用较少的数据和较简单的网络避免了过拟合，得到98%的识别率[10]。此次实验改进ResNet50，结合可变形卷积、深度可分离等方法，提升了管道焊缝的识别率。

1 相关理论和研究方案

1.1 可变形卷积

标准卷积核几何形状大小固定，导致对未知形状的权限检测能力受到限制。可变形卷积对不同位置、不同尺度的特征具有自适应精确定位，对不同尺寸的缺陷具有良好的鲁棒性。可变形卷积对输入特征图的采样点学习两个偏移量（x，y），而不局限于规则的卷积核形状，使得提取的特征集中在感兴趣区域。可变形卷积与标准卷积，操作过程都是在同一通道的二维结构上。标准卷积操作分为两部分：①在输入的特征图上使用网格R进行采样；②然后权值相乘运算。其中网格R定义了3×3的感受野。

每个特征层的每个位置p0的变化按依照公式（1）计算:

式中：p0为特征层中的元素；pn为枚举R中的数值；w为各个位置的权重；

可变形卷积中，对标准的网格R增加了偏移量进行扩张，特征图中p0计算公式如公式（2）：

式中：Δpn为偏移量，通常是浮点值。对Δpn进行取整，通过线性插值进行实现，如公式（3）：

式中：p为任意浮点的位置；q为枚举特征图x的所有积分空间位置；G(q,p)为双线性插值核函数。

G(q,p)是二维数据，被分为两个一维内核，如公式（4）示：

式中：g(a,b)=max(0,1-|a-b|)，取最大值；x,y为偏移方向。

对同一特征图进行卷积获得偏移量，卷积核具有与当前层相同的分辨率以及膨胀度。经过卷积通道数目扩充为2N，对应2维的偏移输出，通过可变形卷积在训练过程中学习缺陷特征偏移量的数值。学习出来的偏移量与特征层一起作为可变形卷积的输入，对缺陷区域的训练集中在感兴趣区域。可变性卷积如图1所示。

图1 可变形卷积

1.2 Inception模块

如图4所示，金属管道焊缝数据集中的缺陷区域大小不一，因此需要的感受野也不同。Inception网络设置不同大小的卷积核对应不同尺寸的缺陷，连续堆叠卷积核，使相同的感受野条件下产生更少的计算量。

在卷积神经网络中，尺寸大较大的卷积核有利于提取全局特征，尺寸小的卷积核有利于提取局部特征，并且堆叠较深的网络容易产生梯度消失和梯度弥散等问题，浪费计算资源。如图2所示，Inception模块融合不同尺寸的卷积核[11]，大小各异的卷积核适应不同大小的目标的分类任务，最后叠加特征层的通道数目来进行特征提取。模块中包含大量的1×1卷积层，以较少的计算量增加非线性映射函数，加强网络的表达能力。Inception结构中的Block模块以密集成分近似计算最优的局部稀疏解。

图2 Block网络结构

1.3 深度可分离卷积

实验中为了适应形状不同的缺陷特征，增加了可变形卷积，然而可变形卷积会产生额外的训练参数，增加了模型的时间复杂度，为此引入深度可分离卷积来减少训练的时间。深度可分离卷积把卷积核分成两个单独的卷积：深度卷积和逐点卷积。深度可分离卷积视通道和维度空间是可分的，分别进行3×3卷积和1×1卷积，最后在特征层上逐点相加，融合特征层的位置信息。

图像大小为128×128，经过3×3大小的卷积核，filter为4，每个filter中包含3个卷积核，产生参数Nstd=4×3×3×3=108；深度可分离卷积产生的参数Ndepthwise=3×3×3×1=27；经 过 逐 点 卷 积 后 参 数Npointsize=1×1×3×4=12，整个深度可分离卷积产生的参数为39，是常规卷积产生参数的33.33%。通过深度可分离卷积，网络的参数量和计算量大幅降低，深度可分离卷积如图3所示。

图3 深度可分离卷积

1.4 迁移学习

在机器学习领域中，效果表现表现好的模型通常需要大量的标注数据集进行训练，学习识别的参数。迁移学习[12]作为机器学习的一个重要分支，由已知领域学习参数作为下一个任务需要的初始参数，从而节省网络训练的时间。实验中的石油管道焊缝数据量远不能满足卷积神经网络的需求，因此采用参数迁移学习，利用任务之间的相似性，减少过拟合的现象。

式中：D（s）为源领域，D（t）为目标域，x为域的特征空间，P（x）为特征空间对应的边缘概率分布。

2 网络结构设计与结果分析

2.1 实验数据集

实验数据中共有4类石油管道焊缝缺陷图片，分别是：烧穿、裂纹、气孔以及无缺陷图片，如图4所示。

图4 管道焊缝缺陷

数据分为训练集和测试集，如表1所示。训练集用来训练模型，模型对此提取重要的分类信息；测试集用来验证当前模型学习语义信息的能力，实验中根据训练集和测试集的精度曲线进行调节超参数。

表1 数据集的分布

2.2 网络结构设计

对实验数据的分析，焊缝缺陷的特征主要是线、圆等形状，特征比较明显，形状规则。借鉴ResNet50残差网络的结构[13]，搭建50层神经网络网络模型对焊缝缺陷数据集进行分类识别，模型结合了多尺度卷积核、深度可分离卷积和可变形卷积等算法，模型结构如图5所示。

图5 网络结构

改进后的ResNet50第一个卷积层采用可变形卷积，后续卷积层为标准卷积，减少可变形卷积产生的额外参数，并且网络的第一层表现出的特征最为明显；结构中添加3个Block模块，每个模块包含两种尺寸卷积核，对不同大小卷积核之间的通道进行融合；模型最后添加可分离卷积卷积核数量为1024。Block模块的结构如图6所示。

图6 Block模块

2.3 实验结果与分析

实验中使用NVIDIA GeForce GTX1650显卡，Intel Core i5-10200H处理器。损失函数优化方法选择Py-Torch中的随机梯度下降算法，batch size为32，200个epoch，momentum为0.9。图7中（a）所示模型训练次数为2000时，验证集的损失近乎水平，此后的损失函数保持水平，达到稳定的状态；训练集的损失函数小于0.2。（b）为精度曲线，训练集和验证集的训练精度在1000次时，平均分类精度达到98%，其中训练集的精度曲线偶尔出现跳动，验证集的精度曲线保持不变。

图7 训练精度和损失函数

改进后的网络通过参数迁移学习，使得模型以较快的速度达到最优。分析训练集的损失函数和精度曲线发生跳动的原因，主要由各类型数据分布不一致从而导致模型参数学习发生变化，反向传播过程中梯度幅值发生较大的变化。虽然网络中添加了BN层缓解此现象，但是输入输出不一致的问题仍然无法完全避免。

保存训练好的模型文件，然后加载此模型文件测试单张缺陷数据。如图8所示，在数据集中任意选择12张数据，包括无缺陷数据、烧穿、气孔、裂纹，训练好的模型对缺陷数据均能正确分类，达到良好的识别效果。

图8 测试效果

3 结语

焊缝缺陷数据具有特征明显、缺陷尺寸差异大的特点，针对此类数据集提出参数迁移学习与卷积神经网络联合的方式对焊缝缺陷数据进行识别。充分利用卷积神经网络对特征的旋转不变性以及对光照变化的适应能力，提升对缺陷分类的精度和鲁棒性；融入参数迁移学习，减少训练数据集的时间。根据任务需求，选择性的添加深度可分离卷积和多分支结构，使模型的分类精度达到99%，函数损失值低于0.2。对比传统图像分类方法，卷积神经网络模型对数据集的鲁棒性及识别精度均高于同类型的识别方法，为后续焊缝等金属缺陷分类识别提供有力的科学工具。