基于深度学习神经网络的油气管道漏磁检测缺陷诊断*

张力凡，魏航信

（西安石油大学 机械工程学院，西安 710000）

0 引言

石油、天然气通常会用油气管道运输，但随着使用时间的增加，由于磨损、腐蚀、意外损伤等原因会导致管道 产 生 缺 陷［1］。漏 磁 检 测（Magnetic Flux Leakage，MFL）［2－5］是一种被广泛的应用于检测长输油管道缺陷的无损检测方式，通过对管道缺陷进行漏磁检测试验采集数据，从而为管道的缺陷识别、检修、维护等提供可靠参考。

目前，管道缺陷尺寸的预测方式主要通过管道漏磁检测数据中的径向漏磁分量和轴向漏磁分量进行数据图像可视化，根据漏磁一维图像特征对管道缺陷尺寸进行预测。由于直接通过人工来进行管道缺陷尺寸识别，非常费时费力，且管道缺陷识别准确率大多依靠工程师的经验而定，所以智能检测管道缺陷方法应运而生。国内对于管道缺陷的智能检测［6］，主要应用的神经网络方法有BP神经网络、RBF神经网络、支持向量机［7－9］等。国外对于焊接缺陷数据进行训练和识别主要应用的方法为多层感知器神经网络［10］。这些方法大都建立在一维的漏磁信号特征基础上，缺少其他维度的特征信息，且信号特征提取信息有限，导致缺陷预测结果误差较大，且精度不高。据此，本文提出一种基于改进的迁移学习［11－12］的Lenet卷积神经网络模型TB－CNN，并且将此模型进行贝叶斯优化［13］，最终得到最优的TB－CNN模型对管道漏磁图像进行训练，通过向最优TB－CNN模型输入仿真和实验数据进行训练，建立管道漏磁缺陷尺寸预测系统，从而提升管道缺陷尺寸预测效率以及准确性。

1 TB－CNN神经网络结构研究

1.1 漏磁曲线的特点

本实验所涉及到的管道漏磁信号［14］包括两种：径向漏磁信号和轴向漏磁信号。如图1、2所示，通过改变缺陷的尺寸，得出管道缺陷在不同尺寸下的漏磁场分布规律。在相同宽度的条件下，随着缺陷深度增加，缺陷的径向漏磁分量、轴向漏磁分量的峰值明显增大；在相同深度下，缺陷的径向漏磁分量的正负极值间距随着宽度增加而增大，轴向漏磁分量谷间距随着宽度增加而增大［15］。图1、2中，控制长度、宽度不变，只改变缺陷深度时，径向和轴向漏磁分量的变化规律。

图1 径向漏磁曲线

图2 轴向漏磁曲线

1.2 基于迁移学习改进的卷积神经网络模型

考虑深度学习模型从零开始训练需要大量数据、相当大的计算成本和时间成本，而实际仿真模型的漏磁数据较少，应用实验数据很难训练出实际可行的网络模型。迁移学习能减少神经网络模型对数据量的依赖。因此，采用已经训练好的Lenet网络模型，通过迁移学习将预训练模型的网络结构、模型参数转移到改进的神经网络模型上，从而实现对管道漏磁缺陷尺寸的预测。

在迁移学习过程中，对Lenet卷积神经网络模型进一步优化，主要包括：（1）添加批量归一化层［16］，可以加速卷积神经网络的训练；（2）添加Dropout层，有效地改变了迭代之间的底层网络架构，有助于防止网络过度拟合；（3）将原ReLU激活函数改进成leaky ReLU函数。再向卷积层导入已经训练好的权重与参数，然后用新设计的全连接层代替原本的全连接层，组成新的卷积网络模型TB－CNN，最后用仿真和实验数据训练新模型。改进的TB－CNN模型如图3所示。

图3 迁移学习并改进的TB－CNN神经网络结构图

改进的卷积神经网络的具体结构主要包括1个输入层，3个卷积层、3个批量归一化层、2个池化层、1个Dropout层、1个全连接回归层和1个输出层。采用Leaky ReLU函数作为网络层级之间的激活函数。

（1）卷积层

假设其位于网络的第l层，则其输出为：

式中：Zlj为第l层中第j个特征映射，j∈［1，n］；Xl－1i为从l－1层获取的第i个输入特征；Mj为第l－1层中的第j个卷积区域；“*”代表式子做卷积运算；Klij为第l层在生成第j个生成特征映射时应用在第l－1层第i个特征输入特征上的卷积核；blj为第l层输出第j个特征映射时的偏置。

（2）批量归一化层

为了加速网络训练速度并提高网络泛化能力，在卷积计算之后进行批量归一化处理：一个由m个样本组成的小批量，仿射变换的输出为Zlj。对小批量求均值和方差：

由此可推出批量归一化的公式如下：

式中：μB为上一层输出数据的均值；σ2B为上一层输出数据的标准差；⊙为γ中的每个元素与归一化之后的x按元素做乘法；γ和β是两个需要学习的参数；Ylj为第l层的重构结果。

（3）LeakyReLU函数

激活函数采用LeakyReLU，可以使神经元不激活时仍会输出一个小梯度的非零值，来防止ReLU可能出现的神经元“死亡”现象。ReLU函数、LeakyReLU函数为：

其中a是一个很小的常数，这样保留了一些负轴的值，使负轴的信息不会全部丢失。

（4）池化层

池化层对卷积层的输出进行压缩：

式中：Xli＋3为第l＋3层中输出的特征映射；ylj（r）为第i层第j个特征映射中第r个神经元的值。

（5）Dropout层

Dropout的直接作用是减少中间特征的数量，从而减少冗余，即增加每层各个特征之间的正交性。在每个训练批次中，通过忽略一半数量的特征检测器（让一半的隐层节点值为0），可以明显地减少过拟合现象。

（6）目标函数

选取均方根误差（Root Mean Squared Error，RMSE）作为回归预测模型的结果精度指标，如式（9）所示。将其作进一步改进：添加L2正则化项优化。它在保证训练误差尽量小的同时自动调节参数，优化网络结构，同时尽量减小有效权值，提高网络的泛化能力，如式（10）所示。式

中：yi为缺陷的真实尺寸；f（xi）为缺陷的预测尺寸；λ是正则化系数；ωj为网络层待学习的参数。

（7）训练算法

采用SGDM训练网络，每次从训练集中随机选择一个样本进行学习，计算梯度的指数加权平均数，并利用该梯度更新所取样本的Kij、bj：

式中：η为CNN的学习率；vK()t、vb()t为第t次学习时两个参数的动量；monentum为动量，它的取值范围为monentum∈［0，1］。

2 TB－CNN贝叶斯优化的算法

2.1 优化算法

具体流程包括：数据预处理、迁移学习和贝叶斯超参数优化［17－20］。算法整体框架如图4所示。通过ANSYS仿真和实验平台收集漏磁数据。对数据进行预处理主要包括：将数据叠加合理大小的噪声，来对数据集进行扩充。用格拉姆角场（GAF）算法将一维漏磁数据变换成二维图像，并且将径向漏磁分量和轴向漏磁分量的图像进行特征融合。然后将Lenet模型进行迁移改进为TBCNN。考虑TB－CNN模型的超参数对管道缺陷识别预测结果的影响，使用贝叶斯优化对TB－CNN的学习率、SGDM的动量以及正则化强度进行超参数优化。

图4 算法整体流程图

2.2 训练过程的贝叶斯优化

TB－CNN模型的学习率η和SGDM的动量monentum的选取影响网络训练速度；合适的正则化系数λ可以很好解决过拟合问题。若采用手动调参，过程复杂，且难以得到最优模型。因此本文使用了贝叶斯优化算法优化TB－CNN的超参数。贝叶斯优化算法只需要经过有限次参数寻优就可以获得较优的网络模型。其流程如图5所示。

图5 贝叶斯优化算法流程

2.2.1 贝叶斯优化原理

贝叶斯优化算法根据贝叶斯定理来估计目标函数的后验分布式，然后通过对未知的目标函数过去评估结果建立替代函数，寻找下一个最小化目标函数值的超参数组合。将网络的学习率η和SGDM的动量monentum以及正则化系数λ设为超参数x1、x2、x3。令x1、x2、x3在各自不同范围内形成的超参数组合为X＝｛x1，x2，…，xn｝，对每个超参数组合进行评估，其评估结果设为f（xn），从而寻找最优超参数：

式中：x*为最优参数；f为目标函数等同于式（10）中的E；Dt－1为观测集合，D＝｛（x1，f（x1）），（x2，f（x2）），…，（xt－1，f（xt－1））｝；xt－1为观测到的参数；yt－1为观测值，yt－1＝f（xt－1）＋δ2，δ2为噪声；p（f｜D1：t－1）为f的后验概率；p（f）为f的先验概率，即对f状态的假设；为y的似然分布；p（D1：t－1）为f的边际似然分布。

2.2.2 概率代理模型

贝叶斯优化的概率代理模型采用高斯过程（Gaussian Processes，GPs）。假设待优化的超参数的组合是X＝｛x1，x2，…，xn｝。贝叶斯优化算法的目标函数是式（10）中的E，将其表示为f（x）。高斯过程可表现成如下形式：

式中：GP为高斯分布；μ为均值；k＝（x，x′）为协方差函数。

在贝叶斯优化的第t－1次迭代后获得一组数据（xt－1，f（xt－1）），此时有数据集D1：t－1＝｛（x1，f（x1）），（x2，f（x2）），…，（xt－1，f（xt－1））｝，接下来需要预测点xt处的观测值f（xt），一般认为这t个观测点是某个t维高斯分布的一个样本，即：

式中：K为协方差矩阵，

由此可得ft的分布：

式 中：u x()t＝k K－1f1：t－1，u x()t为 预 测 均 值；δ2x()t＝k xt，x( )t－k K－1kT，δ2x()t为 预测协方差。

由此可得第t个观测点的数据(xt，f（xt））。

2.2.3 采集函数

采集函数的作用是确定下一个需要评价的点xt。使用EI（Expected Improvement）来确定下一次迭代的超参数xt。在第t次迭代中，EI的定义域是未遍历的区域的集合以及目前已观测到的所有目标函数中最优结果对应的xt的集合。最大化采集函数EI（x）的x就是被选取的下一个超参数取值：

式中：函数α是由决策空间、观测空间和超参数空间映射到实数空间得到的。

3 仿真及实验

3.1 数据采集

使用ANSYSMAXWELL有限元仿真软件搭建管道缺陷漏磁检测模型，为后面基于深度学习神经网络管道缺陷检测系统的设计与缺陷尺寸的预测提供数据。为进一步验证本文提出的方法在实际工程中的有效性，利用管道缺陷漏磁检测实验平台得到现场缺陷漏磁数据。选取直径203 mm、壁厚10 mm、长1 m的管道，采用人工方式制作管道缺陷，利用霍尔传感器来检测漏磁数据，并搭建实验台框架。最终收集到长度10～40 mm，宽度10～40 mm，深度2～10 mm范围的缺陷尺寸数据。

3.2 数据预处理

对漏磁数据添加各类噪声，将数据集进行数据增强操作，将漏磁数据扩充至10 000份。用格拉姆角场（GAF）算法将一维漏磁数据进行二维变换。由于需要径向和轴向漏磁数据同时输入，为了提升训练效率，将径向和轴向漏磁数据的二维图像进行特征融合，并设置大小为32*32像素，如图6所示。

图6 二维图像转换流程图

建立基于卷积神经网络的管道漏磁曲线图像数据集，每种缺陷的特征图像素大小为32*32。将数据集按照9∶1的比例随机划分成训练集和测试集。图7为随机选取不同特征图所对应缺陷的尺寸。

图7 不同缺陷尺寸对应的特征图

3.3 贝叶斯优化过程

（1）选取适当网络的初始学习率LR。

（2）选取合适的随机梯度下降的动量MT。

（3）选取合适的L2正则化系数λ。

上述3个参数相互影响，任意一个参数的变动都会导致其余参数对TB－CNN的最终效果产生变化，因此需要找到全局最优的参数组合。将数据集输入TB－CNN模型，并使用贝叶斯优化算法对超参数进行选择，设置最大迭代次数为30，在参数范围的设置上，根据文献［21］和经验确定优化变量的搜索区间，具体各项变量范围如表2所示。由表3可知，经过30次的迭代，第12次优化模型得到的RMSE最低，为0.069 1。最终确定网络的初始学习率LR＝0.000 8，随机梯度下降的动量MT＝0.822 4，L2正则化系数λ＝0.009。

表2 优化变量的搜索区间

表3 贝叶斯超参数优化结果

图8～10为贝叶斯优化过程中所搜索的参数曲线。图11为贝叶斯优化结果曲线，从图中可以看出当迭代至12次之后曲线逐渐收敛，此时表明贝叶斯已迭代至最佳，接下来的计算已经无法再改善目标函数，说明全局最优已经找到。

图8 迭代搜索的学习率

图11 最小目标函数值

3.4 优化后的性能比较

为了验证贝叶斯优化算法对TB－CNN模型结果的影响，设立未优化的模型，其结构与经过贝叶斯优化的TB－CNN的结构保持相同，选择默认的神经网络超参数，即LR＝0.01，MT＝0.8，λ＝0.000 1。得到的RMSE对比结果如表4所示。从表中可以看出，与无贝叶斯优化的TB－CNN相比，经过贝叶斯优化的TB－CNN预测更为精准。

表4 有无贝叶斯优化的模型性能对比

图9 迭代搜索的动量

图10 迭代搜索的正则化系数

3.5 实验结果

将经过贝叶斯优化之后的最优TB－CNN模型保存，并输入测试集进行测试，其损失值曲线和RMSE曲线如图12和13所示。从图中可以明显观察到，当迭代到300次后，网络的损失值和RMSE趋于稳定。如图14～16所示为最终预测管道缺陷的长度、宽度、深度结果。

图12 最优TB－CNN的损失曲线

图13 最优TB－CNN的RMSE曲线

图14 缺陷宽度量化结果

图15 缺陷长度量化结果

图16 缺陷深度量化结果

为验证本文算法的有效性，将优化模型和传统神经网络进行对比，如表5所示。由表可知，未优化的CNN缺陷尺寸预测误差大，因此对其进行优化具有必要性。经过利用贝叶斯优化算法优化迁移学习改进的神经网络结构对于管道缺陷的预测更为精确，明显优于未优化的CNN模型。

表5 不同网络模型之间均方误差的对比

4 结束语

针对人工判定管道缺陷效率低，和浅层网络对于管道缺陷尺寸预测精度不高等问题，提出利用一种基于迁移学习的改进卷积神经网络模型：TB－CNN。改进的TB－CNN模型中利用批量归一化来提高模型训练速度，添加dropout层来防止过拟合，且为了避免可能出现的神经元“死亡”现象，将激活函数ReLU改进为Leaky ReLU。

并且由于人工搜索超参数难以找到最优组合，提出利用贝叶斯优化算法自动寻找最优超参数组合的方法。利用贝叶斯优化算法在30次迭代中成功地找到了最优的网络结构和超参数组合：网络的初始学习率为0.000 8；随机梯度下降的动量为0.822 4；L2正则化系数λ＝0.009。

相比于传统卷积神经网络，TB－CNN方法具有更加精准的管道缺陷尺寸预测能力以及训练效率，其综合预测均方根误差低至0.0691。结果表明，本文提出的方法为油气管道漏磁检测缺陷预测提供了一种综合性能更好的思路。