基于改进SSD网络的管道漏磁缺陷图像识别算法

2019-07-29王竹筠杨理践高松巍

沈阳航空航天大学学报 2019年3期

王竹筠，杨理践，高松巍

(沈阳工业大学信息科学与工程学院，沈阳 110187)

管道漏磁检测技术在长输油气管道中发挥着重要作用。由于腐蚀、磨损、意外损伤等原因导致管线泄漏事故频发，造成财产损失和环境污染。因此，需要利用管道内检测技术对管道进行定期检测，找出管道中潜在缺陷进而及时修复。

目标检测是计算机视觉领域的重要研究方向之一，传统目标检测方法是通过构建特征描述子提取特征后利用分类器对其进行分类实现检测，在特征提取阶段需要人工干预来获取原始图像输入中与目标相关的特征信息。此种算法严重地依赖于特征设计人员的先验知识，错误率高。由于传统检测方法的不足，基于深度学习的目标检测算法在计算机视觉领域成为一个新的方向。

Jian等人通过在卷积神经网络中加入局部归一化从而提高识别精度[1]；Sa等人提出使用卷积神经网络对杂草多光谱图像进行检测[2]；Relja等人提出一种新的NetVLAD网络，通过端到端的方式识别给定查询照片的位置[3]；余春艳等人引入去卷积模块与注意力残差模块,构建了面向多显著性目标检测的DAR-SSD模型[4]；唐聪等人将SSD模型与颜色直方图特征、HOG特征进行融合，实现多尺度的目标检测[5]；Tang等人提出了端到端的单卷积神经网络，对图像中的目标特征进行定位[6]；Deng等人采用Concatenated ReLU和Inception模块改进特征提取器，可以同时检测具有大尺度变异性的遥感图像中的多类物体[7]；Z.H Wang 等人通过构建一种树结构来学习细粒度特征从而提高检测精度[8]；Yang等人利用上下文信息使网络具有提取多尺度特征的能力[9]；Wang 等人提出一种基于粒子滤波的颜色引导目标跟踪算法解决复杂环境中目标丢失等问题[10]；Liu等人提出了一种卷积神经网络有效载荷分类方法用于攻击检测[11];Jiao等人利用多变量编码器信息卷积神经网络进行智能检测[12];Gao等人利用CNN的多分支融合性，快速地提取出高速信息系统的特征[13];Song等人建立新的位置卷积神经匹配模型，在文本匹配的多视角中具有位置影响和交互作用[14];Wang等人将卷积神经网络和隐马尔可夫模型进行融合[15];Xu等人提出了一种新的基于深度学习的半监督多概念语义图像检索方法[16];Akcay等人使用深度卷积神经网络和传输学习来解决X射线行李安全图像背景下的图像分类和检测问题[17]。

SSD网络模型可以精确、快速地检测出多个不同尺度的目标对象，本文采用此模型对管道漏磁图像进行检测，利用含有多孔卷积核的SSD网络提取目标更加丰富的底层与高层语义信息特征，再通过特征进行融合有效地学习图像细节信息和上下文语义信息，进而提高对目标的检测精度。

1 管道漏磁信号成像

1.1 管道漏磁内检测原理

管道中的漏磁信号通过漏磁检测器采集获得，通过伪彩色处理技术将漏磁信号生成伪彩色图像，从而利用彩色来显示完整的漏磁信号数据，具有更好的视觉效果。

管道漏磁内检测是利用永磁体通过钢刷对铁磁性管道进行充分磁化，使其达到饱和或近饱和状态，通过磁感应线的变化来判断管道是否有缺陷。图1为管道漏磁内检测原理图。

图1 管道漏磁内检测原理图

如果管壁无缺陷，则磁感应线平行于管道内部；如果管壁有缺陷，则磁感应线会漏出管道表面，产生漏磁通。将磁敏元件采集到的漏磁信号进行成像从而判断缺陷的特征和位置。

1.2 管道漏磁伪彩色图像

漏磁数据可视化的方法主要有三种:曲线图显示、灰度图显示和伪彩色图显示。但是漏磁信号是三维信号，因此曲线图和灰度图无法完整显示出全部数据信息。伪彩色处理技术是一种有效的图像增强的图像处理方法，它能提高对图像细节的分辨能力，得到看起来清晰、自然的图像。彩色值可以作为漏磁信号的第三维特征，从而利用彩色来显示完整的漏磁信号数据，如图2所示。

图2 管道漏磁信号图像和伪彩色图像

密度分割法是伪彩色增强最简单的方法之一，其工作原理是将图像的灰度级从0到M0分成N个区间Ii(i=1，2，…，N)，给每个区间指定一种彩色Ci，这样就可以生成一幅伪彩色图像。设原灰度图像的灰度范围0≤f(x,y)≤L，用k+1灰度等级把该灰度范围分为k段，(I0，I1，…，Ik)，I0=0，Ik=L映射每一段灰度成一种颜色，映射关系如式(1)所示。

(1)

其中，I(i,j)为输出的伪彩色图像；Ci为映射颜色。

管道漏磁特征主要分为焊缝和缺陷，其中焊缝包括螺旋焊缝和环焊缝。在长输油气管道中，管子之间的焊接处便会产生焊缝。焊缝是管道中最主要的特征，一般分为螺旋焊缝和环焊缝。由于受到管道、磁场以及探头等因素的影响，每个焊缝之间都存在较大差异，这都为最后的检测带来了一定困难。管道缺陷是指随着服役时间的增长，因天气、误操作、管道材质、外力等问题造成的损伤，使管道出现缺陷。管道缺陷大致有凹陷、裂纹、补疤、腐蚀、外接金属物等类型。

2 改进SSD网络模型

2.1 SSD网络模型

SSD网络属于单步目标检测算法，通过使用整幅图像各个位置的多尺度区域特征进行回归，得到目标的类别置信度和候选框与真实框间的偏差从而进行定位，网络结构如图3所示。

SSD网络由VGG-16网络的前五层和额外添加的四个卷积层组成[18]。分别包含2，2，3，3，4，2，2，2个卷积，其中第4，6，7，8，9个卷积层同时输出用于不同的预测模块。不同层的特征图都有相对于目标默认框的偏移量以及不同类别的置信度，预测模块使用一组3*3的卷积核，对特征图中目标的位置进行置信度预测。最后通过NMS(Non maximum suppression)得到目标在图像中的位置以及具体类别。

输出特征图O大小计算如式(2)所示。

(2)

其中，步长为s，填充像素数为p。

目标默认框定义如式(3)所示。

(3)

图3 SSD模型结构图

2.2 多孔卷积

多孔卷积又称逆卷积，即为卷积神经网络中相对于卷积的逆过程。将特征图展为一维向量，卷积核展为稀疏矩阵，多孔卷积运算即为矩阵乘法。

多孔卷积在原始卷积的基础上增加了一个r参数(rate)，通过控制rate的大小得到不同大小的卷积视野。它将卷积核扩张到膨胀系数所约束的尺度中，并将原卷积核中未被占用的区域填充0。其中r代表卷积核的膨胀系数，r-1为加入的空格数，这样得到的有效卷积核高为fh+(fh-1.)(r-1)，宽为fw+(fhw-1.)(r-1)，其中fh代表原始卷积的高，Jw为原始卷积核的宽。假定标准卷积核大小为k，那么多孔卷积的卷积核大小如式(4) 所示。

kn=k+(k-1)×(r-1)

(4)

多孔卷积可以在同一个卷积核内使用不同的膨胀系数，如图4所示。

图4 卷积核工作示意图

图4(a)为标准卷积核，感受野大小为3*3；图4(b)为膨胀系数rate=2时的3*3多孔卷积，此时感受野大小增大到7*7；膨胀系数为1和2时的多孔卷积与7*7和15*15的卷积核的作用是相同的。因此使用多孔卷积可减少网络参数，改进网络通过4种不同rate的卷积作用于同一输入能够感受不同视野的特征。感受野大小计算公式如式(5) 所示。

v=((ksize+1)×(rrate-1)+ksize)2

(5)

为避免引入过多多孔卷积而增加计算量，只针对低层特征图进行改进。当输入图像分辨率为300*300时，将75*75高分辨率低语义信息特征图添加进检测层，分别将分辨率为19*19与38*38的特征图做多孔卷积，特征提取能力较原先的7层卷积和10层卷积层分别提升至16层卷积层和17层卷积层。

对低分辨率特征做多孔卷积后，其特征图分辨率需与高分辨率特征图保持一致才能完成特征图合并。对19*19分辨率的特征图采用卷积核为2*2，步长为2的多孔卷积参数，对38*38分辨率的特征图的多孔卷积参数为3*3卷积核，步长为2，扩充边缘为1，多孔卷积后特征图分辨率计算公式如式(6) 所示。

O=S×(L-1)+H-2×P

(6)

其中，O为多孔卷积输出特征图分辨率；S为步长；L表示输入特征图分辨率；H表示卷积核尺寸；P表示边缘补充尺寸。

3 管道漏磁图像的改进SSD网络检测算法

3.1 网络算法流程

将改进模型在SSD网络中的 Conv4_3层加入多孔卷积，将其改为多尺度多孔卷积层，从dilation为1,2和4 三个尺度对图像进行卷积，同时利用conv3_ 3和conv4_ 3提取图像的低层特征，设置conv3_3层stride为4，conv4_3层stride为8，然后将两个卷积层产生的特征图经过注意力残差模块增强目标显著性；加入crop层以适应输入任意大小，使多孔卷积后的特征图与前一层特征图尺寸相同，将两张特征图逐像素相乘，得到底层和高层语义信息的融合特征图。算法处理流程如图5所示。

图5 算法处理流程

3.2 网络计算方法

对训练集m组标记样本{(x(1),y(1)),…(x(m),y(m)) }，有y(i)∈{(1,2,…,k})，权值向量w∈Rn通过与输入特征向量x(i)∈Rn做向量内积，将特征向量映射到类别标签空间，计算公式如式(1) 所示。

(7)

给定输入图像I(i,j)，训练网络f1参数θ1，其中θ1=(W,b)，W代表网络权重矩阵，b代表网络偏置向量，Wm和Hm-1为矩阵，计算公式如式(8) 所示。

f1(I(i,j);θ1)=WmHm-1

(8)

第m隐藏层输出计算公式如式(9) 所示。

Hm=max(0,(pool(WmHm-1+bm)))

(9)

其中m=2，H0=I(i,j)，bm为第m层偏置向量，Wm是权重矩阵。Pool(.)是最大池化操作，max(.)是激活函数。

网络捕获图像的特征表示为f2(I(i,j),θ2)，将其与低层特征网络的输出相结合，计算公式如(10) 所示。

Fc=[fl(I(i,j),θ1),f2(I(i,j),θ2)]

(10)

将特征Fc传递到后续网络中，然后利用多孔卷积和修正线性激活函数有效地融合多尺度特征图的视觉特征信息。融合后的特征图大小计算公式如式(11) 所示。

(11)

在多尺度网络中获取输出特征向量，网络训练转换特征向量Fc到条件概率，利用softmax回归函数计算每个类别c归一化预测的条件概率分布如式(12)所示。

(12)

利用随机梯度下降算法和反向传导迭代更新误差，学习最优参数计算如式(13)所示。

(13)

改进SSD网络在训练时采用SmoothLl损失函数进行位置回归，计算公式如式(14)所示。

(14)

置信度损失为多个类别的softmax损失，计算公式如式(15)所示。

(15)

目标损失函数为置信度损失与定位损失的加权和，因此得到目标损失函数，计算公式如式(16)所示。

(16)

因此，通过公式(15)和(16)得到最终检测目标的类别和位置。

4 实验与结果分析

4.1 实验

实验数据来自于实际项目中真实的管道漏磁检测数据,数据里程根据检测探头单位时间采集数据点数乘以采样时间得到。本文用于实验和测试的数据集共包括2000张560*420和300*300的漏磁图像样本，其中包含环焊缝1800个，螺旋焊缝600个，缺陷700个，非目标样本500个。图6为部分实验样本集图像。

图6 实验样本集

训练过程中，算法需要标定分类的正负样本。正负样本由已标注图片(ground truth)的目标边框与预测的目标边框决定。如果两者的IOU(Intersection Over Union)闭值为0.6，就设定为正样本，否则设定为负样本。

实验采用caffe框架进行训练。训练模型基于改进SSD算法模型，采用带动量因子的小批量随机梯度下降法对网络进行训练。输入图像大小为500*500，初始学习率为0.01，迭代次数设为60000次，激活函数均采用Relu，根据显卡性能和mini-batch特性，将Batch size分别设置为64,128和256。设定初始学习率为0.001，动量因子为0.9，权重衰减为0.005，批大小为32，正则化系数设为0.0005，置信度阈值为0.6，NMS阈值为0.6。

4.2 膨胀系数对准确率的影响

卷积核采用不同膨胀系数会导致感受野不同，其初层特征提取能力相同，表1为模型参数设置与测试准确率。实验将多孔卷积的膨胀系数分别设定为2和4。

表1 模型参数设置与测试准确率

综合表1可知，当膨胀系数为4、图像大小为500*500、学习率为0.0001和Batch Size为256时，网络的配置参数最优，此时模型检测准确率最高。由表1可知，膨胀系数为4的模型e比膨胀系数为2的模型c在实验数据集上的准确率分别高出4.05%，膨胀系数为4的模型f比膨胀系数为2的模型d的准确率分别高出5.35%。说明膨胀系数为4的卷积核提取特征能力最优，能较好地将原图感兴趣的信息提取出来，去除冗余特征信息。

4.3 改进模型平均检测准确率分析

为了验证本文最优模型的实际预测效果，随机选择验证集中3张目标图像分别输入到改进模型和原始模型中，对管道环焊缝、螺旋焊缝和小目标缺陷进行测试，检测结果如图7所示。

图7 SSD与改进SSD模型检测结果

图7为SSD模型和改进SSD模型的检测结果。从图中可以看出，SSD模型对三幅测试图像的检测有漏检和误检的情况，对小缺陷的预测值只有0.54和0.72，且平均检测精度较低。改进SSD模型无漏检、误检，对小缺陷的预测值整体高于SSD模型，平均检测精度高于0.9。通过两种模型检测结果的对比发现，改进SSD模型的检测能力高于SSD，尤其是在小目标缺陷检测上。

为了提高实验结果的准确性，选择800张漏磁图像输入到两种模型中进行验证，得到了螺旋焊缝、环焊缝、小缺陷的误分率和漏检率，如表2所示。

表2 误检率与漏检率对比结果 (%)

从表2中可看出，改进模型对环焊缝的误检率和漏检率分别为1.18%、0.52%，比原始模型对应减少了4.45%、2.65%，螺旋焊缝的误检率和漏检率对应减少了5.75%、5.55%，小缺陷的误检率和漏检率对应减少了9.16%、10.16%。可以看出，改进模型大大减少了误检率和漏检率，大大提高了对小目标缺陷的检测能力。

为了测试改进模型收敛性和平均识别准确率，对改进模型在训练集和测试集上进行检测精度和迭代次数的关系进行比较，如图8所示。并对单幅图像中环焊缝、螺旋焊缝、小缺陷数量与检测精度的关系进行对比分析，如图9所示。

图8 检测精度与迭代次数关系

由图8可以看出，改进模型在迭代到15 000次时，训练集和测试集检测精度都高于90%，说明改进模型收敛快，检测精度较高。从图9中可看出，单幅图像中目标对象数量越少，误检和漏检的概率就越低，因此检测准确度越高。单幅图像焊缝数量对检测准确率的影响较低，小目标缺陷数量对其检测准确率影响较大。当单幅图像小目标缺陷不超过4个时检测效果较好。为了达到最优的检测效果，需要对单幅漏磁图像中的采样点数量进行限定。