基于深度学习的管道焊缝超声检测缺陷识别方法

余泽禹, 袁洪强, 卫小龙, 杜国锋*

(1.长江大学电子信息学院， 荆州 434023; 2.长江大学城市建设学院， 荆州 434023; 3.长江大学石油工程学院， 武汉 430100)

随着油气资源需求量的日益增长，管道运输扮演着越来越重要的角色。在管道服役的过程中，焊缝作为管道结构中最薄弱环节，是油气管道缺陷产生的高发部位。为保证管道的安全运行，管道安全检测已成为管道建设整体中的重要研究方向。现阶段工业中对于油气管道焊缝内部检测使用最多的方法是超声无损检测和射线检测法[1-2]。超声无损检测相对于射线检测来说，对人体无害，设备更加轻便，也更利于野外环境下在役管道的检测[3]。但是现阶段超声无损检测完全依赖经验丰富的从业人员主观判断缺陷。

目前，大多数研究都是基于图像的管道缺陷智能识别或者是传统机器学习缺陷分类，如李忠虎等[4]利用管道内表面腐蚀图像研究了一种基于BP神经网络的管道内表面腐蚀图像边缘检测。刘涵等[5]根据射线检测图像利用深度学习网络自动识别管道焊缝缺陷，所设计的系统可以自动学习射线焊缝缺陷图像中复杂的深度特征。Zhang等[6]基于局部图像增强技术的管道焊接缺陷检测，对不同类型缺陷的图像进行了测试，使得多个弱分类器组合成一个级联强分类器,可以大幅度地提高检测准确率。桑宏强[7]等基于改进的卷积神经网络的管道视频缺陷检测技术的研究，采用多尺度卷积核和分割卷积核，充分提取管道图像特征，实现准确的图像分类。Mohamed等[8]研究了一种基于决策树的油气管道缺陷检测与分类方法，利用漏磁检测数据的分类作为一种可行的油气管道监测工具。Shaik等[9]使用支撑向量机(support vector machines, SVM)进行油气管道故障分类。侯怀书等[10]在管道焊缝上制作人工缺陷,利用高频数据采集卡采集缺陷信号,最后通过短时傅里叶变换处理缺陷信号以识别出金属管道焊缝中的4种缺陷类型，这种人工制作数据集的方法不仅成本高、时间消耗大而且能够制作的样本数也十分有限最终也使得识别模型泛化能力不足。王向宇等[11]通过观察超声导波在焊缝缺陷前后的传播特征,以入射波与透射波峰值点之比作为损伤指标识别出焊缝缺陷的位置与大小，但这种方法无法实现焊缝缺陷类型的识别。

这些问题的出现主要是由于超声无损检测方法训练数据集匮乏和数据的复杂性(步长大、多模态、多峰分布等)导致。对于深度学习的训练依赖大量的训练数据，而油气管道检测数据库国家是特定机密资产，不能像其他应用一样使用公开数据集进行训练，而自建大量数据集也是非常昂贵和不可实现的。

综上所述，现提出一种超声无损检测数据增强方法和缺陷智能识别方法，通过改进生成对抗网络(generative adversarial network, GAN)数据增强生成虚拟FMC数据，扩充训练数据集，利用LSTM-FCN网络识别真实检测数据中的缺陷类型。

1 管道焊缝超声无损检测数据

现阶段针对管道焊缝缺陷超声无损检测设备多数使用全矩阵捕获(full matrix capture, FMC)数据。使用超声阵列探头的FMC 特定数据采集过程，其中阵列中的每个阵元依次作为发射器，而所有阵元作为每个发射脉冲的接收器。相控阵换能器的N个阵元依次激发，当其中一个阵元被激发时，所有阵元都接收超声回波信号并储存。将发射阵元的序号记为i，接收阵元的信序号为j，接收的超声回波时域信号记为Sij，每个具体的Sij其实就是一个 A 扫信号[11]。待N个阵元都激发完成后，便可得到一个包含了检测物体全部信息的N×N矩阵集[11]，如表1所示。

表1 全矩阵捕获的数据表

在FMC数据中，对每一个收发组合，计算该像素点到对应收发阵元的声传播时间，最后全部叠加得到像素的成像幅值以实现缺陷检测的目的。

2 数据增强

为了解决训练样本严重不足的问题，采用一种改进的生成对抗网络(generative adversarial network, GAN) 数据增强方法生成虚拟FMC数据，扩充训练数据集。传统的GAN包含生成器和判别器两个部分，生成网络使用一个从标准多元正态分布中采样的向量，通过与判别器或鉴别神经网络一起训练，最终得到一个确定性转换，将标准多元正态分布映射到数据的分布中[12]。但是FMC数据不是服从标准多元正态分布的，传统的训练生成器方法并没有考虑到分类列中的不平衡，所以传统的GAN方法不能适用于FMC数据的训练。

为了克服这些问题，构建一种适合FMC数据生成方法FMC-GAN。FMC-GAN包括以下几个部分。

(1)

(2)全连接隐含层。由于FMC数据中每一列列没有局部结构，所以在生成器和判别器中使用全连接的网络来捕获列之间的所有可能的相关性。在生成器和判别器中都使用了两个完全连接的隐含层[13]。

(3)生成器。使用批标准化(batch-normalization,BN)和激活函数Relu。接两个全连接隐含之后，使用混合激活函数生成合成数据。其中标量值αi,j由tanh生成，热独向量βi,j由gumbel softmax生成。

(4)判别器。对于每一个全连接隐含层使用leaky relu函数和dropout函数。

综上，FMC-GAN生成器表示为

(2)

FMC-GAN判别器表示为

(3)

使用WGAN损失和梯度来训练模型，用Adam优化器，学习率为2×10-4。

利用FMC-GAN模型，基于原始检测数据集生成了30 000个对应于气孔、未焊透、裂纹、未熔合、夹渣等五种焊接常见缺陷的合成数据样本。然后将生成的数据与原始数据一起用于进一步处理。

3 缺陷识别

长短期记忆网络(long short-term memory, LSTM)[13]已经很好地被应用于时间序列数据分析。但是对于超声无损检测数据步长往往大于2 000，这对于LSTM是很难训练的，会出现梯度消失或梯度爆炸的问题。

为了克服这个问题，使用一种改进的LSTM-FCN模型[14-15]，LSTM-FCN引入门函数[16-18]，模型中每一个单元包含1个隐藏向量h和1个记忆向量m。在每个时间步长，记忆向量调节状态更新和输出，计算公式为

(4)

式(4)中：gu、gf、go、gc分别为输入门、遗忘门、输出门和状态门的激活向量；Wu、Wf、Wo、Wc分别为相应的循环权重矩阵；Iu、If、Io、Ic为投影矩阵；σ为函数logistic sigmoid；mt为第t个时间步长的状态更新向量；ht为第t个时间步长的隐藏状态向量。

图1给出了LSTM-FCN模型的结构。从图1可以看出，该模型由两个分支组成，分别为时序卷积分支(fully convolutional neural networks，FCNs)和长短时记忆(long short term memory,LSTM)分支。其中，FCN网络模型部分包含三个卷积块，每一块都由一个一维卷积层、批归一化和线性整流函数组成，滤波器的数量定义为128、256和128最后一层由全局平均池化取代全连接层以减少模型参数长短时记忆分支使用了一层LSTM网络，同时加入随机丢弃机制Dropout缓解模型的过拟合情况。最后拼接两个分支的输出，并使用Softmax分类器对得到的特征进行分类。

图1 LSTM-FCN网络模型Fig.1 The network model of LSTM-FCN

4 实验及结果分析

4.1 实验过程

首先，利用超声检测设备CTS-PA22T采集真实管道焊缝缺陷检测数据。管道为45#钢管对焊件，焊接方法为氩弧焊打底加手工焊盖面，打磨表面，由丹东佰汇达检测设备有限公司定制缺陷，其中包括气孔、未焊透、裂纹、未熔合、夹渣5种焊接常见缺陷。

再利用数据增强方法FMC-GAN生成数据，构建虚拟数据集，虚拟数据集用于管道焊缝缺陷识别模型训练，真实数据作为模型的验证集，最后LSTM-FCN对比现有分类方法。具体数据集如表2所示。

表2 数据集划分

所有模型都使用Adam优化器通过梯度下降进行训练。初始学习率被设置为0.002，迭代250次，并进行超参数优化。

4.2 实验结果及分析

为了更好地比较LSTM-FCN在管道焊缝缺陷识别能力，选取常用于缺陷分类的MLP和RestNet50网络模型与之比较。在模型训练过程中，记录模型的损失和超参数变化曲线以观察模型是否会出现梯度消失或爆炸，如图2和图3所示。

图2 各轮模型训练过程中损失变化情况Fig.2 Loss variation in each epoch during model training

图3 超参数对应曲线Fig.3 Hyperparametric corresponding curve

如图2所示，在利用FMC数据对3种模型进行训练时，MLP模型训练中模型损失始终高于2.3，出现了梯度无法下降的情况；ResNet50模型在训练到48步时出现梯度消失，使得模型无法收敛；LSTM-FCN模型损失随着训练步数的增加逐渐收敛，在迭代250次后将损失降低到0.18。证明LSTM-FCN模型很好地克服了FMC数据步长大、多模态、多峰分布等特性导致的梯度问题。

在图3中，对LSTM-FCN模型进行超参数优化，绘制学习率、L1正则化对应损失曲线。实验证明初始学习率为0.002、L1正则化尺度为64得到最优损失为0.02，以此得到最优的模型性能。

所有模型在虚拟数据集下训练，用真实数据做验证，同时比较各缺陷识别率和漏检率。漏检率是一个工业上特别关注的指标，因为在实际生产环境下是不允许有缺陷是未被检测到的。

构建的虚拟数据集很好地模拟了真实的超声无损检测数据，使得模型能够在真实数据下仍具有良好的泛化能力，如表3所示。表明了LSTM-FCN对于管道焊缝缺陷识别率高于95%、召回率和F1达到96%，且漏检率为0，对超声无损检测数据具有很好的适应性，克服了其数据复杂性，可以达到工业检测的要求。而MLP和RestNet50模型由于在训练中出现梯度问题最终导致模型在缺陷识别上精度只有34%和64%，很难达到使用条件。

表3 各模型在验证集上的评估结果

图4 LSTM-FCN模型验证结果混淆矩阵Fig.4 Confusion matrix of model verification results

混淆矩阵如图4所示，在图4中，纵坐标表示真实的缺陷类型，横坐标表示模型识别的缺陷类型，所有正确地识别结构都记录在矩阵的对角线单元中。对于各种类型的缺陷，LSTM-FCN模型没有漏检，并且平均正确识别率高于95%，误判率低于5%。证实了FMC-GAN数据增强的有效性和LSTM-FCN模型的缺陷识别能力。

5 结论

针对管道焊缝超声检测，为了实现泛化能力强的深度学习模型，首先构造了一种超声无损检测数据方法FMC-GAN，并构建了虚拟超声检测数据集。通过该虚拟数据集训练出的模型在真实检测数据的验证下仍然具有良好的泛化能力。LSTM-FCN网络识别真实检测数据中的缺陷类型漏检率为0，综合正确识别率高于95.6%，可以达到工业检测的要求，为超声无损检测智能化发展提供重要研究基础。