基于MSCNN-LSTM的注意力机制U型管道缺陷识别模型

朱雪峰, 冯 早, 马 军, 范玉刚

(1.昆明理工大学 民航与航空学院,昆明 650500; 2.昆明理工大学 信息工程与自动化学院,昆明 650500)

随着“智慧城市”、“海绵城市”建设的提出,排水管道系统呈现大型化、复杂化、智能化的发展趋势,管道排水系统是现代城市不可或缺的基础设施[1]。为了避免管道与地面大型建筑物如高楼、铁路、高速公路等产生共振造成物理性损伤,在大型建筑物下方多采用下沉式U型管道设计。U型管道由2段弯头和3段直管组合而成,采用焊缝的方式将弯头和直管进行连接。由于U型管道深埋地下,其水平部分的直管比常规管道承受更大压力,管壁易出现裂缝,直管和弯头连接处更易发生破损形成泄漏。同时,管道内充满介质水平部分的直管水流速度慢易形成堵塞,降低管道使用寿命,影响管道安全运行[2]。因此,埋地U型管道的缺陷识别是城市基础设施维护的重点和难点,对保证管道正常运行的高效性与可靠性具有重要意义。

目前,低频主动声波被广泛应用于流体管道缺陷检测领域,其优点是成本低、操作简单、检测效率高且由于声波在管道表面和内部均有质点振动,声场遍及整个管道,对管道内部、表面缺陷以及边缘位置能够实现有效检测[3-4]。然而,U型管道的缺陷呈现多源和多征兆的特点,并且声波在液体U型管道中传播,沿传播路径的能量分布受管道内外介质类型、传播速度、管内几何环境和管道运行条件等多因素影响,因此,导致采集得到的声学振动信号成分复杂,具有非平稳、非线性和强衰减等特性。管道缺陷识别多采用“信号预处理+特征提取+构造分类器”的技术路线[5-7],常用机器学习算法准确性依赖于特征的有效提取程度,无法提取有效非线性特征以及模型鲁棒性不足都将导致识别模型的准确率下降。

近年来,深度学习在人工智能领域实现了重大突破,已广泛运用于缺陷识别中,其通过堆叠多个非线性隐藏层的方式,实现了特征自提取与状态分类一体化,避免了对信号处理技术和人工特征选择的依赖[8-9]。卷积神经网络(convolutional neural network,CNN)具有独特的卷积结构、局部感受野、权值共享等特点,对特征有强大的学习能力和较高的泛化能力,因此成为深度学习中应用最广的网络架构,在缺陷识别中也应用广泛[10-12]。孙洁娣等[13]提出一种优化卷积改进稠密块的轻量化神经网络用于管道泄漏孔径识别。温江涛等[14]采用压缩感知与深度卷积神经网络相结合的实现管道泄漏孔径识别。宁方立等[15]将泄漏信号短时稳定的窄带线谱图作为AlexNet网络的输入,实现输气管道阀门泄漏的识别。周倩倩等[16]利用CNN实现管道6种常见的状态识别(裂缝、错口、障碍物、残墙坝根、树根和正常类别),建立自动检测和评估排水管道缺陷的智能系统。李哲等[17]使用短时傅里叶变换计算去噪声信号的时频图,将声信号识别问题转化为图像识别问题,采样卷积神经网络对管道泄漏声学信号识别。聂维等[18]提出一种基于一维CNN和长短期记忆(long short-term memory,LSTM)相结合的管道泄漏识别方法,实现对管道泄漏的检测与识别。

上述的方法虽然功能强大且多样化,但仍存在两个不可忽视的弊端。一方面,将一维时域输入信号转换成图片,转换时会有更多的细节数据丢失,且模型训练耗时较长,且管道缺陷的特征从单一尺度中无法充分提取。声学传感器采集的管道运行状态振动信号为时序性数据,基于CNN的缺陷识别模型不能充分挖掘时序性数据的上下文相关性特征。基于LSTM神经网络在缺陷识别任务中取得显著成就,但同时忽略了训练时间长。与此同时,当前模型未考虑不同特征的重要程度,在计算资源有限的条件下,如果网络对所有特征视为同等重要可能造成资源的浪费,对分类贡献较大的特征被忽视,将会严重影响网络的分类性能。另一方面,经过神经网络训练后的识别模型具有优异的自动特征提取和预测功能,能实现U型管道端到端的缺陷识别。然而,深度神经网络模型由于其内在的黑盒原理,缺乏工程上的物理解释性,对其内部工作机制的解释仍然面临巨大挑战,可解释性问题已成为了研究界和工业界的前沿性热点研究课题。

因此,提出一种多尺度卷积神经网络-长短期记忆(multi-scale convolution neural network-long short-term memory,MSCNN-LSTM)和注意力机制的模型(MCLA)用于U型管道缺陷识别。通过MSCNN-LSTM特征提取层不仅能捕获局部细粒度特征,而且能有效提取时间依赖性的粗粒度上下文特征,实现粗细粒度特征融合,全面刻画U型管道缺陷的声学特征。在此基础之上引入注意力机制,根据不同特征对分类结果影响的大小赋予不同的权重,达到提高分类效果的目的。对于深度神经网络模型存在“黑箱”的问题,采用Grad-CAM类激活映射并结合管道结构和声学信号,对其模型机理进行了深入的研究和解释。

1 理论与方法

1.1 MSCNN-LSTM特征提取层

CNN通过局部连接和共享权值的方式对输入数据进行卷积、池化运算来提取局部特征。多尺度卷积神经网络是在卷积运算中采用多种不同尺度的卷积核,实现对振动信号多尺度特征的提取,融合更丰富的局部信息,充分利用信号内部隐含信息[19]。

采用MSCNN神经网络对时序信号进行卷积操作。卷积的运算过程为

(1)

池化层通过池化核对卷积层的输出进行降采样操作,在保留原有主要特征的基础上实现了降维参,同时使网络结构不易出现过拟合。池化层采用最大池化层,其数学表达式为

(2)

式中:ah(m,t)为第h层中第m个特征图的第t个神经元的激活值;g为池化区域的宽度;n为第n个池化核;ph(m,n)为相应池化层的输出。

将池化层输出的特征输入到特征联合层进行特征融合。为了提高模型的性能和鲁棒性,使用批标准化层(batch normalization layer, BN)和使用线性整流激活函数(rectified linear unit, ReLU)作为激活函数,其优点是能够增强网络的非线性表示关系,产生较为稀疏的学习参数矩阵,在一定程度上降低网络的计算复杂度。因此,MSCNN特征提取模块的输出由式(3)计算得到

Y=f{g[c(bshort,bmidum,blong)]}

(3)

式中:卷积步长等于d1,d2,d3的卷积核提取到的特征图,经过最大池化之后提取的特征分别使用bshort,bmidum,blong,表示对应时间序列的短、中、长期特征;c(·)为特征连接操作;g(·)为批量标准化操作;f(·)为使用ReLU激活函数计算的激活值。

利用MSCNN提取局部特征,状态只能由前向后传播,信息单向流动,MSCNN只考虑当前输入,忽略之前的信息。U型管道缺陷的形成通常是一个累积的过程(例如堵塞和泄漏形成),当前时刻缺陷的发生一定程度上取决于前一时刻系统状态的变化,捕获时滞信息能提高对缺陷识别的性能。LSTM神经网络是一类适用于处理时序信号的模型,能够保留对输入模式的记忆,解决循环神经网络(recurrent neural network,RNN)结构存在的梯度消失问题[20]。

信息数据的传递如下:由上一时刻的外部状态Ht-1和当前时刻的输入xt开始,根据式(4)～式(6)计算3个门状态,代入式(7)中得到候选状态。再经过遗忘门ft和输入门i,更新记忆单元Ct。最后输出门o结合更新后的记忆单元,代入式(8)得到外部状态Ht的最终的输出。

it=σ(Wi·[Ht-1,xt]+bi)

(4)

ft=σ(Wf·[Ht-1,xt]+bf)

(5)

ot=σ(Wo·[Ht-1,xt]+bo)

(6)

ot=σ(Wo·[Ht-1,xt]+bo)

(7)

Ct=ft⊗Ct-1+it⊗tanh(Wc·[Ht-1,xt]+bc)

(8)

Ht=ot⊗tanh(Ct)

(9)

式中:Wi,Wf,Wo,Wc分别为隐藏层到输入门、遗忘门、输出门与细胞状态的权重矩阵;bi,bf,bo,bc分别为输入门、遗忘门、输出门与细胞状态的偏置量;σ(·)为Sigmoid激活函数;tanh(·)为双曲正切函数;⊗为两个同矩阵中对应元素相乘的运算,称为Hadamard乘积。

1.2 注意力机制特征优化层

当U型管道存在缺陷时,泄漏或堵塞对声学信号反映在其传播路径和声场分布上的变化呈现不同的特性,使得同种特征对管道不同类型缺陷识别的价值并非完全相同。为了能从大量特征中筛选出更多需要关注的细节信息,忽略无关信息,引入注意力机制衡量特征的重要程度,通过赋予不同特征不同权重值的方式,改变模型对输入特征的关注度,关注更具有判别力、更关键和更重要的特征,提高模型的识别准确率,实现计算资源的高效分配[21]。

当经过LSTM提取的上下文向量为Ht,全局注意力每个时间步对应的权重向量为at(s),其计算公式为

(10)

函数score计算每个特征向量与整个特征向量匹配得分为

(11)

式中,WT为可训练的权重矩阵。

(12)

ht=tanh(Wc[Ht;ht])

(13)

注意力机制特征优化层主要实现对特征矩阵进行权重参数优化,得到更重要的特征矩阵将其输入至分类层,分类层包括1个对注意力机制模块的输出结果进行展平操作,成为一维序列形式的全连接层和1个实现预测目标类别输出的Softmax分类层。

1.3 Grad-CAM类激活映射

为了能以视觉的方式呈现深度学习模型学习到的特征,寻找输入变量、特征编码及输出结果之间的相关性,快速获取对神经网络内部特征和决策的理解,表征可视化是一种较为直接的理解深度神经网络的解释方法。如图1所示,采用类激活图来可视化神经网络重点激活区域与目标类别之间的联系,通过对特征图进行通道级加权调整,生成与特定类别最相关的区域类激活图,与特定类别最相关的区域级特征用高亮的方式突出。采用基于梯度的Grad-CAM的类激活映射(class activation mapping, CAM)[22],使用反向传播求通道梯度均值作为通道权重,建立输出与输入的联系,生成细粒度的、含有类别区分性热力图。

图1 类激活图角度的可解释性Fig.1 Interpretability of the perspective of class activation map

其过程如下:

步骤1定义第k特征图Ak对应目标类别c的权重为

(14)

式中:求和元素为通道k内部每个神经元值的梯度;z为归一化因子。

步骤2在求得目标类别对应的特征图权重后,将权重与对应的特征图进行加权求和。通过ReLU激活函数获得通过该神经网络的输入样本的类激活图,以消除其他类别的影响。即

(15)

由于不同维度的信号经过多层卷积后已经和输入信号的维度不一致,通过插值的方法使其维度和输入信号的维度一致,作为热力图直接标注在原始信号上,实现以视觉的方式标注输入与输出的相关关系。

2 MSCNN-LSTM和注意力机制的U型管道缺陷模型

由于U型管道结构复杂导致缺陷多源和多征兆,难以有效识别缺陷的问题,提出一种基于MSCNN-LSTM和注意力机制的缺陷识别方法。该框架主要包括4个步骤:输入层、MSCNN-LSTM特征提取层、注意力机制的特征优化层、全连接和Softmax的缺陷识别层。具体描述如图2所示。

图2 MCLA识别模型框架结构Fig.2 MCLA recognition model framework structure

输入层:为了进一步缩短网络的训练时间,更快的收敛到最优解,对每段一维的时域信号做线性归一化处理,结果映射到[0,1],数据集划分为训练集和测试集。

MSCNN-LSTM特征提取层:该部分由2个模块组成,MSCNN模块和LSTM模块。其中,MSCNN模块由3个一维卷积层、最大池化层、BN层组成。采用并行的方式,设置3种大小分别为5×5,3×3,1×1的卷积核,拓宽网络的宽度,产生多个感受域提取时序信号在不同尺度的特征,形成多尺度特征。利用最大池化层降低数据复杂度,加快网络的处理速度。将池化层输出的特征输入至BN层,提高模型的鲁棒性。将并行的多尺度特征融合为一个向量作为LSTM的输入。LSTM模块由2层LSTM网络构成,由于LSTM独特的网络结构,通过遗忘门、输入门、输出门的选择过滤操作进一步提取上下文特征。

注意力机制特征优化层:将经过MSCNN和LSTM层输出的特征矩阵输入到Softmax函数中,计算不同特征维度的各自权重系数,将得到的权重系数与输入特征进行对应元素相乘得到新的经过权重分配的特征。特征越重要,其对应的注意力机制模块输出值越接近1。通过数值的高低来体现特征的重要程度,完成更关键、更具判别性的特征辨别。

全连接和Softmax分类层:该层通过1个全连接层和Softmax多分类器实现管道缺陷识别的结果输出该模型主要由3个卷积-最大池化-BN对、2个LSTM层、1个注意力机制层和1个全连接层组成。该模型的其他参数如表1所示。

表1 MCLA模型参数Tab.1 The details of MCLA

3 试验验证

3.1 声学信号采集

试验平台如图3所示[23]。U型管道被安装在一个由厚度12 mm胶合板制成的顶部开口箱中,底部铺设0.5 m细沙层固定管道。管道水平部分长为4.2 m,高为2.0 m,直径为0.45 m。在所有的试验过程中,U型管道周围均有沙子掩埋,且管道中充满清水,水位高为1.1 m。

图3 U型管道试验平台Fig.3 Experimental siphon constructed

声学信号的数据采集平台如图4所示,试验员使用安装WinMLS软件的电脑控制声卡产生频率范围为100～6 000 Hz正弦扫描信号,驱动安装在管道的左侧安装了一个50 mm的K50WP扬声器,发射到U型管道中。并且,管道的左侧安装了一个水听器,其目的是检测发射到管道中声学信号的有效性。声学信号在管道中传播,被安装在管道右侧的3个不等距的25 mm的水听器组接收,采样频率为22 050 Hz。通过数据采集卡采集能够反映管道相关运行状态的声学信号,通过8通道的高通滤波器,用于去除水听器H1～H3接收的信号中不必要的低频机械噪声,将采集的相关声学信号上传至计算机中存储。

图4 试验数据采集平台简图Fig.4 Schematic diagram of experimental data acquisition platform

3.2 数据说明

为了模拟真实的试验,共设计10种管道运行状态,包括正常运行状态,连接处破损状态,不同程度堵塞状态和不同程度泄漏状态。其中,管道泄漏的发展是循序渐进,首先出现细小裂纹,管壁上出现单一线性泄漏。当管道承受的压力增大且泄漏造成管道承载能力下降,单一泄漏发展为多个泄漏,管道内部材料开始出现起皮掉落。随着外部压力的持续增大,管道承载能力下载,管道材料出现大面积掉落,形成孔洞泄漏。

因此,如图5(a)和图5(b)所示,管壁泄漏试验设置为在U型管道水平部分的顶部进行了人工切割,形成了4种不同的泄漏缺陷:①50 mm沿轴向泄漏;②100 mm沿轴向泄漏;③200mm沿轴向泄漏+150 mm横向泄漏;④200 mm沿轴向泄漏+孔洞泄漏120 mm×70 mm。管道堵塞物质的累积是一个渐进的过程,如图5(c)所示,为模拟管道堵塞状态制备了10个5 kg的吸声透明袋,并用细沙填充。1个沙袋的最大横截面尺寸约为管道横截面的20%,10个沙袋依次绑在一根9 m长的绳子上,中间相隔300 mm,模拟沿轴向产生的不同程度的堵塞。试验设定1～3个沙袋为轻度堵塞状态,4～6个沙袋为中度堵塞状态,7～10个沙袋为重度堵塞状态。U型管道由2段弯头和3段直管组合而成,弯头和直管的部分采用焊缝进行连接。由于管道周围土壤应地形地质影响容易出现疏松或湿陷等缺陷,造成直管和弯头部分的接口处应力增加,导致排水阻力加大增加泄漏风险。因此,如图5(d)所示,管道焊接处破损试验设置为:管道焊接处人工切割出现裂缝。

图5 U型管道4种典型缺陷Fig.5 Four typical defects of siphon

试验在U型管道充满水的运行状态下对每种典型状态的声学信号进行采集,包含正常运行、管道焊缝处破损、堵塞和泄漏等10种类别,如表2所示。每种典型状态样本数量为200组,每组22 050个数据点,截取样本长度为2 205点,采样频率为22 050 Hz,对应声波在管内传播时间为0.1s,按8∶2的比例将样本集划分为训练集和测试集。

表2 U型管道典型缺陷运行状态Tab.2 Typical defects in siphon

4 结果与分析

4.1 声压信号

分别选取管道4类运行状态的一组样本绘制声压图,即正常运行状态、弯管焊接处出现裂缝、管内包含1个堵塞物和管壁有50 mm轴向泄漏,其声压图如6所示。

由图6(a)可知,U型管道正常运行的声压振幅明显低于其他3类运行状态,且波形相对简单。由图6(b)可知,U型管道焊缝处破损的振动信号表现出近似周期性的特点并伴随衰减。由图6(c)和图6(d)可知,管道堵塞和管道泄漏的振动信号存在明显的非线性,衰减特性,但声压波形在时域内未体现明显差异,无法区分管道是否出现堵塞或泄露的缺陷。因此,需要对声压信号进行进一步的分析与处理。

图6 U型管道时域波形图Fig.6 Time domain waveform of siphon

4.2 识别准确率

在训练过程中,设置迭代次数为200,批次大小为32,将学习速率为0.001的RMSProp优化器用于更新网络参数。为验证提出的MCLA模型的识别效果,在同等试验环境下与以下基准模型进行8组对比试验:模型9(MSCNN-LSTM-Attention)是提出的方法。对比方法包括:模型1～模型8,模型2、模型5和模型6是消融试验。模型1～模型8分别是CNN、MSCNN、MSCNN+GRU、MSCNN+RNN、MSCNN+LSTM、MSCNN+Attention、MSCNN+GRU+Attention、MSCNN+RNN+Attention。由于单独用LSTM识别时间较长。因此,消融试验没有设计单独使用LSTM。对每个模型的训练过程进行探究,得出9种对比模型的识别准确率图和损失函数图,如图7所示。

图7 不同模型的识别准确率和损失值变化曲线Fig.7 Variation curve of accuracy and loss for different models

由图7可知,随着迭代次数增加,每个模型的准确率逐渐上升,损失率平滑下降。相比较而言,提出的模型9不仅收敛速度更快,且曲线整体相对平缓,训练过程稳定且准确率高,且在后续的训练过程中一直处于领先优势。而MSCNN模型、MSCNN-Attention模型和MSCNN-LSTM曲线波动较大,在第80个Epoch才开始收敛。每种模型均进行10次试验,10次试验的平均准确率和模型运行时间如表3所示。

表3 不同模型的识别准确率和运行时间Tab.3 Accuracy and running time of different models

由表3可知,模型9的表现最优,识别准确率高达98.44%,训练时间为266.92 s。其中,模型1和模型2是为了验证MSCNN提取局部特征的能力,对比模型1和模型2可知,模型2的识别准确率高于模型1的识别准确率,训练时间最短,说明MSCNN采用并行的多尺度卷积模块,产生多个感受域,不仅能更加有效提取信号的局部特征,还可以充分地利用计算机性能进行加速运算。为了验证LSTM更能有效捕获时延信息,提取上下文特征,设置了RNN和GRU两种算法的对比,模型3、模型4、模型5是一组对比试验。模型5的识别准确率均高于模型3、模型4。试验结果表明:LSTM通过独有的门控机制有效缓解梯度爆炸或消失的问题,能有效地挖掘隐藏在不同位置的时序信号中上下文特征。为了验证注意力机制模块的有效性,设置了模型6、模型7、模型8的对比试验。分别对比模型2和模型6、模型3和模型7以及模型4和模型8可知,在模型2、模型3、和模型4的基础上增加注意力机制,模型的识别准确率均提高,说明注意力机制能有效优化特征。

消融试验为模型2、模型5、模型6,模型2只使用MSCNN提取局部特征,既不使用LSTM也不使用注意力机制时,10次试验的平均准确度仅为87.55%。模型6是MSCNN+Attention的组合,在提取特征时只考虑了局部的关键信息,未考虑上下文信息,但是考虑了重要特征的贡献,识别准确率提高至92.22%。模型5是MSCNN+LSTM组合提取特征,准确率提高到94.22%。这是因为MSCNN能有效提取局部关键信息,LSTM能有效提取上下文信息,但进行分类时认为每个特征对最终的缺陷识别结果影响相同,没有将注意力集中在更重要的缺陷特征上。而模型9在模型5的基础上引入了注意力机制,通过计算注意力分值赋予每个缺陷特征不同权重,有效识别对分类结果影响较大的缺陷特征。并且,未加入注意力机制,训练时间为254.11 s,仅仅只减少12.81 s,相对于精度提高而训练时间的增加是可以接受的。

综上所示,模型9首先经过前端MSCNN层,实现对管道缺陷重要细粒度局部特征的有效提取,再输入至LSTM层中完成隐藏在时序规律的粗粒度序列特征挖掘,赋予每个缺陷特征不同权重,关注于具有判别力的特征,滤除冗余特征,提高模型的缺陷识别准确率,实现计算资源的高效分配。

4.3 TSNE降维特征可视化

通过t-分布邻域嵌入(t-distributed stochastic neighbor embedding, t-SNE)算法对模型在测试集上的预测进行降维和可视化,使输出的多维预测数据展现在二维空间上,其可视化图如图8所示。

图8 U型管道10类样本的t-SNE降维可视化图Fig.8 Visualization results of siphon ten types of samples by t-SNE

如图8(a)～图8(c)是不同卷积核的卷积层提取局部特征输出可视化,经过模型中MSCNN卷积层训练,特征已经初步具有了一定的分布规律,且具有互补性。管道正常运行,焊缝处连接破损和泄漏的特征基本已经分离,不同类型的缺陷已明显可分。但是,不同程度的堵塞却难以分离,如图8中虚线圈所示,正常状态和轻度堵塞状态的特征比较相似。如图8(d)～图8(f)经过LSTM层之后的特征输出,不同程度地堵塞特征能实现基本分类。这是因为U型管道堵塞状态的变化是一个渐进的过程,LSTM层能充分挖掘时序性数据的上下文相关性,对时序性特征进行充分提取。如图8(g)所示,经过注意力机制输出层特征进一步分离,并呈一定的流形分布。综上,构建的MCLA模型能够从原始一维振动声学信号中提取出重要缺陷特征信息,并实现U型管道缺陷的准确识别。

4.4 可解释性探讨

为探讨MCLA模型在管道缺陷识别领域中对于一维振动信号的可解释性,采用Grad-CAM类激活映射对其内部机理进行了深入的研究,并结合管道结构进行解释。分别从网络结构和样本角度展开分析,其中从网络角度即利用Grad-CAM标出MSCNN、LSTM和Attention分别作用于振动信号的哪些部分让作出当前的判断。以热力图的形式对原始信号经过MSCNN,LSTM和Attention后的激活情况进行标注,形成类激活图,描述该神经网络对于原始输入样本不同位置处的取值的激活程度。通过插值的方法将激活图尺寸变换到原输入图像的尺寸大小,热力图的值对应着神经网络不同层对此位置的激活程度,热力图直接标注在原始信号上,实现以视觉的方式标注输入与输出的相关关系。可视化结果如图9所示,选取U型管道中有10个堵塞的样本为例,其中图中黑色曲线代表管道运行状态的时域信号,竖向的阴影部分代表神经网络不同层对此位置的激活程度。

图9 CAM不同层的可视化Fig.9 Visualization of different layers of CAM

由图9(a)可知,MSCNN主要关注每个波峰和波谷的信号,且都较为分散,说明MSCNN通过设置不同大小的卷积核能有效地提取局部关键信息。然而,这些主要特征之间缺乏关联使得仅基于MSCNN无法获得对模型决策的有效解释。由图9(b)可知,LSTM从数据不同位置学习样本隐藏特征,提取上下文语义信息。由图9(c)可知,注意力机制通过设置不同的权重可以将注意力放到对最终结果影响较大的缺陷。综上,提出的MCLA模型充分利用了MSCNN和LSTM提取特征的优点,采用LSTM从MSCNN提取出的显著细粒度特征中,提取粗粒度特征,精细化处理各个维度特征的同时,避免由于步长过长导致的记忆丢失和梯度弥散问题。在此基础之上引入注意力机制,根据不同特征对分类结果影响的大小赋予不同的权重,特征在分类任务中起到不同的作用,达到提高分类效果的目的。这种体系结构能够捕获提取有效特征的时间依赖性,实现粗细粒度特征融合,全面刻画U型管道缺陷的特征。

从管道运行状态的信号样本分析,选择测试集中不同缺陷类型的U型管道声学信号,通过Grad-CAM方法达到的缺陷可视化效果,图10的结果展示了所提模型在识别U型管道不同类缺陷的声学信号时重点关注的位置信息。其中,类激活图采用COLORMAP_JET作为颜色映射,高激活区域颜色为深色,颜色越深代表了声学信号重要的鉴别性特征的位置区域,如图10所示。

图10 不同缺陷的可视化图Fig.10 Visualization of different defects

图10(a)对应管道正常运行状态,波形相对简单,没有明显的冲击峰值,网络模型的关注区域分散在输入样本时域波形的大部分片段上,表明信号序列对于输出的贡献程度大部分基本相同,表明MCLA模型从振动数据的整体信号中学习正常运行状态的特征。如图10(b)所示,对于管道焊缝处的连接破损,MCLA模型对于输入样本激活程度较大的部分集中在信号采样点数的250～750的强衰减区域间,该部分的信息对于网络的分类结果具有较高的权重,说明该区域含有管道焊缝处连接破损特征较多的信息。对于该类缺陷识别,模型重点关注信号的强衰减区域。如图10(c)所示,MCLA模型的激活程度主要集中在采样点数为1 250～2 000,说明在信号冲击峰值区域,则是管道泄漏状态的重点关注区域。对于管道堵塞,图10(d)显示由于波形中后期的冲击成分分布更为复杂,更难诊断,各个范围的激活程度差异较大,难以直观地解释。但在采样点数为1 000～1 200具有较大的激活程度,认为该位置含有冲击成分的可能性较大。综上,MCLA模型在U型管道缺陷识别领域中对于样本的分类识别与人类的认知规律之间存在基本相似性,MCLA模型在缺陷识别应用的工程合理性提供了参考和借鉴意义。

5 结 论

针对U型管道结构复杂导致缺陷多源多征兆难以有效识别的问题,提出一种基于MSCNN-LSTM的注意力机制U型管道缺陷识别方法。利用U型管道4类运行状态的不同缺陷程度进行多方面验证与测试,试验结果表明:

(1)该模型直接输入原始振动声学信号,实现U型管道“端到端”的缺陷识别,在保证识别精度的同时节省大量特征提取成本。MSCNN能有效提取声学信号的重要细粒度局部特征,挖掘数据相互关联的多维信息并从中剔除噪声和不稳定成分,将提取的多尺度局部特征输入至LSTM网络中,LSTM能有效提取信号中粗粒度的上下文特征,实现细粒度局部特征和粗粒度上下文特征的融合,全面刻画U型管道缺陷的声学特征。

(2)通过引入注意力机制,赋予提取特征不同的权重,滤除冗余特征,提高模型识别缺陷的能力,使模型更关注于最具类别区分度的特征。

(3)通过t-SNE和Grad-CAM类激活可视化方法分析了该模型的特征学习过程和缺陷分类机理,进一步解释内部特征的学习过程,研究决策与特征之间的关联关系,中间层的知识与输出预测之间关系,解释输入-输出的关系。

目前,所提模型能有效识别U型管道的堵塞、泄漏及焊缝破损等缺陷。然而,该模型仅采用单一模态的声信号特征进行识别,所提模型的网络结构与参数均依人工选取或网格搜索技术的方式来确定。随着自动机器学习技术的兴起,提供了一个可行的解决方案和思路。下一步将关注并深入研究基于自动机器学习的智能缺陷网络结构与参数选取方法。