图谱数据深度学习融合模型及焊缝缺陷识别方法

支泽林,姜洪权,杨得焱,程志翔,高建民,王泉生,王晓桥,王景人,石养鑫

(1.西安交通大学机械制造系统工程国家重点实验室,710049,西安;2.陕西省特种设备检验检测 研究院,710048,西安;3.西安优耐特容器制造有限公司,710201,西安)

能源动力、航空航天、船舶等领域大型装备制造过程中大量采用焊接工艺,焊缝缺陷的检测与评价是保证装备在服役过程中安全可靠运行的重要手段。超声衍射时差法(TOFD)具有检测信息丰富、抗噪声强、效率高、定位定量准确等优势,已成为最为广泛的焊缝无损检测方法之一[1-2]。例如,陕西省特检院在特种设备焊缝检验检测过程中采用了TOFD检测技术,2020年全年的TOFD检测焊缝图谱数据累计已达5万余米。目前在利用数据进行缺陷识别时主要采用人工评判方式,受成像机理、焊缝组织、检测环境的影响,TOFD检测图谱数据易产生噪声及条纹干扰[3],缺陷识别效率低下、主观性大、误判率高。因此,开展以TOFD检测图谱数据为对象的焊缝缺陷类型识别方法,对提升缺陷检测能力及装备质量管控能力具有重要意义。

随着TOFD检测技术逐步应用和检测数据的积累,如何利用图像处理及模式识别技术提高缺陷识别效率、减少人工识别不一致性已经成为重点关注问题[4]。文献[5]利用傅里叶变换对TOFD衍射信号(A扫波形信息)的频率进行分段特征分析,并结合神经网络进行缺陷检测;文献[6]利用TOFD-D扫图像数据,首先提出一种基于分水岭的缺陷区域分割技术,再利用人工识别以提高缺陷识别的准确性;文献[7]通过对TOFD直通波信息进行分析与特征提取,并采用BP神经网络对近表面缺陷进行识别分类;文献[8]利用TOFD-B扫图像转化成波信号,通过分析波的传播时间、振幅大小等特征实现厚壁构件进行表面缺陷的分析。以上主要是以区域分割—特征提取—类型识别的串联式思路进行研究,且主要关注近表面缺陷分析。显然,串联式方法每个环节的准确与否对于最终识别精度和效率有着重要影响。随着深度学习等理论的发展,以无损检测图像数据为对象开展端对端识别方法的研究逐步引起关注[9],但在以TOFD检测图像数据为对象的缺陷识别技术研究还不多见。文献[10]首先探讨了TOFD-D扫描图像缺陷轮廓与图像特征的关系,然后利用快速卷积神经网络(Faster RCNN)对缺陷进行分类,该方法可以克服传统串联式方法的不足,但容易对TOFD数据中的界面波及噪声造成缺陷误判。

综上所述,传统串联式技术思路已经不能满足当前具有海量数据特征的TOFD检测数据的分析与应用,以深度学习理论为基础的端到端方法将是未来研究重点之一[11-12]。虽然TOFD检测图谱的波形数据和图像数据分别蕴含有重要的缺陷信息,但现有方法主要分别以A扫、B扫、D扫产生的波形数据或者图像数据单独进行分析,缺乏两种数据的综合分析,制约了缺陷的识别效率和精度。

针对以上问题,本文提出了一种可实现图像特征、波形特征融合分析的TOFD焊缝缺陷类型识别技术。首先,结合TOFD图谱成像特点,提出了一种综合考虑图像和波形的缺陷数据集构建方法;然后,构建了一种可分别对TOFD图像数据和波形数据进行分析的多模块深度学习网络模型,并在全连接层采用特征自适应融合方法实现缺陷类型的识别。最后,本文以企业实际TOFD检测数据对所提方法进行了验证。

1 TOFD焊缝缺陷表征及数据集构建

1.1 TOFD检测技术概述

TOFD检测是一种可利用从待检试件内部缺陷的“端角”和“端点”处得到的衍射能量来检测缺陷的方法[1,13]。TOFD检测技术及图谱成像原理如图1所示,TOFD检测过程中采用双探头一发一收模式,两个探头具有相同频率、角度及晶片尺寸,可将探头横跨焊缝两侧进行非平行及平行扫查。如图1a所示,当发射纵波遇到缺陷后,将在缺陷上、下端点产生衍射波2和3,接收探头在接收A扫描信号的同时,同步产生相对应的D扫二维图像,图像中会在直通波1和底面反射波4之间出现缺陷波。通过一系列A扫描信号构成一幅TOFD检测图像,如图1b所示,接收衍射波A扫信号经过处理形成不同的灰度图像,利用灰阶度表示波幅大小,例如当波形向正半周期变化时,灰度向白色渐变;当波形向负半周期变化时,灰度向黑色渐变。

1—直通波;2—上端点衍射波;3—下端点衍射波;4—底面反射波。

1.2 综合图像与波形特征的缺陷表征及数据集构建

TOFD图谱数据实际上包含了图像和波形两种数据,即缺陷的特征信息应该从图像数据和波形数据两个方面来考虑。实际上,当前TOFD技术人员在分析缺陷时,既要观察图像数据,也要结合波形数据进行分析。

在TOFD检测图像数据中截取可以完整包含缺陷的区域,TOFD检测焊缝缺陷类型如图2所示。一般的,TOFD检测缺陷类型可分为表面开口型缺陷和内部埋藏型缺陷。本文主要关注内部埋藏型缺陷的识别问题,可以分为4种类型:①点状缺陷一般为气孔和点状夹渣,危害程度小,缺陷呈双曲线弧状,缺陷图像尾部向底面坠落,不具有长度和高度;②线状缺陷一般为裂纹缺陷,缺陷的上下端点衍射信号混叠,两端曲线接近水平,不具有明显高度;③条状缺陷一般为夹渣、未熔合、未焊透等缺陷,显示为长条状,上下两个端点产生的衍射信号,且靠近底面处产生的衍射信号相位与直通波相位相同,靠近扫查面处端点产生的衍射信号相位与直通波相位;④无缺陷是在焊缝中不会有衍射信号,在图像没有明显的灰度变化。

图2 TOFD检测焊缝缺陷类型示意图Fig.2 Weld defect types detected by TOFD

图3 缺陷区域及其A扫波位置示意图Fig.3 Defect region and A-scan position

(a)缺陷左端点处波形图

(b)缺陷d/2处波形图

(c)缺陷右端点处波形图图4 缺陷图谱中不同位置点对应的A扫波形图Fig.4 A-scan waveforms corresponding to different positions in defect spectrum

由图1b可知,缺陷图谱中每一列即对应着不同的波形数据,尤其是在缺陷区域两个端点处,波形将会有明显的区别。假设获取缺陷长度为d,缺陷区域及其A扫波位置如图3中的虚线框及垂直线段所示,则可分别在缺陷左端点、d/2处、右端点3个位置处获取对应的A扫波形数据。图4给出了缺陷图谱中不同位置点对应的波形图。可以看出,获得的3个波形数据具有不同的形式,且可以明确表达缺陷灰度变化情况。因此,依据缺陷图像数据和波形数据可以更加完整地表征该类缺陷,可以用来作为缺陷类型识别的数据基础。

2 基于深度学习融合模型的缺陷类型识别方法

2.1 基于卷积神经网络与时间卷积网络的深度学习融合模型构建

针对缺陷类型的识别需要综合考虑TOFD图像数据和波形数据需求,本文以深度学习理论中卷积神经网络(CNN)和时间卷积神经网络(TCN)[14-17]为基础,提出一种可综合考虑两种类型数据的深度学习融合模型(DLFM),如图5所示。DLFM包括3个部分,即用于分析缺陷二维图像数据特征的CNN模块、用于分析一维波形数据特征的TCN模块以及用于特征自适应融合分类模块。

在CNN模块中,本文采用7层的卷积神经网络实现缺陷二维图像特征分析。CNN[14]是当前图像识别领域应用最广泛的图像特征提取方法,它的本质是一种能够学习输入到输出的映射关系,而不需要任何输入和输出之间的精确数学表达式,只要用已知的模式对卷积网络加以训练,网络就具有输入输出对之间的映射能力。本文采用的CNN模块结构如表1所示,输入层为Input,卷积层为Conv;池化层为全局最大池化层MaxPooling,使用全0填充,激活函数使用线性整流函数ReLu;展开层为Flatten;全连接层为Dense;s和c分别代表卷积核的移动步长和个数;n代表全连接层神经元的个数。Input层中(N,64,64,1)的4个量分别代表图像个数、图像宽、高以及图像通道数。本文输入图像宽×高为64×64,图像通道数为1,即为灰度图像;输出为长度32的一维图像特征向量;同时,也将输出32个特征对应的重要性系数αi(i=0,1,…,31)。

表1图像特征提取的CNN模块结构

2.2 基于TCN的缺陷波形数据特征分析

在用于分析缺陷波形数据特征的TCN模块,考虑到A扫波形遇到缺陷信号会发生衍射现象,将产生明显的幅值波动,而反映到图谱中则是具有明显的灰度变化,因此,可采用反应数据波动变化的方差作为衡量波形幅值波动程度的指标,其计算公式如下

(1)

例如,设缺陷图像高91、宽103,图像的超声信号波动分布如图6所示,则利用式(1)对其响应A扫波的波动程度计算结果为

S=(s1,…,s102,s103)=(8.56,83.8,…,9.79)

(2)

图5 基于CNN和TCN的缺陷识别双通道深度学习模型Fig.5 A dual-channel deep learning model for defect recognition based on CNN and TCN

图6图像的超声信号波动分布图Fig.6 Distribution of ultrasonic signal fluctuation in image

表2所示为本文所用TCN模块的结构。其中,输入层Input中的(N,64,3)分别代表波形数据组的个数、波形长度和一个波形组含有3段超声波序列。其中dccn为TCN的基本模块,dccn中的卷积核大小指的是残差连接中两个非1×1卷积核的大小,卷积核的滑动步长设置为1,网络中用到的激活函数为ReLu。

表2 波形特征提取的TCN模块结构参数

图7 基于时间卷积神经网络(TCN)的波形特征分析模型Fig.7 Analysis model of waveform features based on time convolution neural network (TCN)

通过利用TCN深度学习网络,可以捕捉缺陷TOFD检测波形数据在时序上的依赖关系,同时也可以捕捉到波形数据局部变化特征信息。

2.3 CNN与TCN模型的特征自适应融合策略

由于不同的特征对缺陷类型分析具有不同的重要程度,因此在融合CNN模块和TCN模块特征时需要重点解决特征的重要性问题[19-20]。对于获得的32个图像特征及其32个特征对应的重要性系数αi(i=0,1,…,31),和32个波形特征及其32个特征对应的重要性系数βi(i=0,1,…,31),在融合模块中增加以下约束关系

αi+βi=1,i=0,1,…,31

(3)

上述αi(i=0,1,…,31)和βi(i=0,1,…,31)可以作为对应特征重要性系数进行融合分析。

图8 缺陷的图像特征与波形特征自适应融合Fig.8 Adaptive fusion of image features and waveform features of defects

具体的,在CNN模块和TCN模块基础上构建一个特征自适应融合分类模块,如图8所示,CNN图像处理模块提取的特征向量会输入到共享全连接层1,在输出32个图像特征向量的同时,会输出同样维度的图像特征重要性向量;TCN波形处理模块提取的特征向量输入到共享全连接层2,在输出32个波形特征的同时,会输出同样维度的波形特征重要性向量。两种特征的重要性向量通过一个Sigmoid函数进行归一化,使得两者之和为1,计算出图像特征重要性系数和波形特征重要性系数,再与图像特征和波形特征相乘之后相加,即可获得自适应融合特征。需要指出的是,CNN模块和TCN模块获得的高维特征(如fpic-0,…,fpic-31等)是对输入图数据或者波数据的特征提取结果,不包括重要度信息。其计算过程如下

fpic=FCNN(Dimage)

(4)

fwav=FTCN(Dwaves)

(5)

ffu-i=fpic-iαi+fwav-iβi

(i=0,1,…,31)

(6)

式中:FCNN、FTCN分别是CNN模块和TCN模块所代表的变换函数。

最后,利用Softmax层进行缺陷类型的分类。Softmax层作为分类器相当于多层感知机,如图5所示,输入TOFD检测焊缝缺陷的融合特征后,即输入长度32的一维特征向量,输出为每个类别对应的概率大小,概率最大的即为缺陷分类结果。此外,本文所述模型的损失函数选择交叉熵损失函数如下式

(7)

式中:L为损失值,yi为真实值,ai为预测值;网络参数的自适应学习使用Adam优化器,Adam可以替代传统随机梯度下降过程,它能基于训练数据迭代地更新神经网络权重,具有很强的鲁棒性。

综上所述,对于待分析缺陷的TOFD检测图谱,通过CNN模块、TCN模块及特征自适应融合分类模块,可以综合考虑图像特征和波形特征进行缺陷类型分类。

3 实例说明

本文利用某企业在2020年检测压力球罐的TOFD数据进行验证。数据集包括1 432例TOFD缺陷检测图谱数据划分,如表3所示,数据集类型分为无缺陷、点状缺陷、线状缺陷、条状缺陷4类;并按照8∶1∶1的比例,将数据集随机划分为训练集、验证集、测试集,其中训练集1 143例,验证集147例,测试集142例。训练集用来训练所提模型参数,验证集则是在训练的过程中调整模型参数,测试集用来评价模型识别结果。

表3 TOFD焊缝缺陷数据划分

为验证本文所提基于DLFM方法的有效性,将基于DLFM与传统TCN、CNN、CNN-TCN的方法进行对比分析。基于TCN的方法是依据本文2.2节所述仅采用TOFD波形数据进行缺陷识别分析,基于CNN的方法是依据本文2.1节所述仅对TOFD图像数据进行缺陷识别分析,基于CNN-TCN的方法是在无重要性系数时图像特征与波形特征融合进行缺陷识别分析。4种方法共同采用表3所述的数据进行训练、验证和测试,迭代次数均为500。为避免实验过程的随机性影响,按照表3所示训练集、验证集及测试集划分比例对整个数据集进行随机选取,重复进行9次实验,并计算实验平均值及上下偏差作为该方法的最终识别结果。

表4所示为分别采用基于TCN、CNN、CNN-TCN以及本文所提方法实现缺陷类型识别的结果。可以看出,相对于基于CNN、DLFM、CNN-TCN的方法,基于TCN的方法在验证集和测试集上识别率都是最低的,且识别率与其他方法相差较大。这是因为TCN主要关注的是一维序列的波形特征,这类特征显然不足以有效刻画不同缺陷模式的区别;而基于CNN、CNN-TCN和DLFM的方法都包含对图像特征的分析,由图2可以看出,不同缺陷模式的图像特征是很明显的,因此,包含图像特征的缺陷类型识别方法将明显提高识别率。同时,表4也表明基于DLFM的方法由于结合了TOFD检测数据的波形特征和图像特征并且考虑了重要性系数,因此在测试集上具有最好的缺陷识别率((88.028±0.70)%)。

表4 不同方法对不同种类缺陷分类测试结果对比

表5所示为基于TCN、CNN、CNN-TCN及本文所提方法DLFM 4种方法对于不同缺陷种类的分类结果。首先,可以看出对无缺陷模式,4种方法在测试集上都可达到100%的识别精度,即利用TOFD检测数据对产品缺陷检测率非常高。实际上,TOFD作为一种先进无损检测方法,其检测数据中的无缺陷模式与有缺陷模式具有很强的区别(如图4所示),在图谱上很容易判别无缺陷模式,因而相对无损射线检测等其他检测方法,TOFD检测技术在检测产品内部缺陷时具有较高的灵敏度和可靠性。

由表5可以看出,不同方法对于不同缺陷类型具有不同的识别率。其中,基于TCN的方法不但对所有缺陷类型识别率低,尤其是对线状缺陷识别率最低,即将37.14%线状缺陷错分为条状缺陷。由图7所示的TCN模型可知,由于线状缺陷与条状缺陷主要在缺陷高度上存在较小差异,仅依据贯穿于缺陷区域的3条波形特征很难表现这种差异性,因此基于TCN的方法对线状缺陷产生较大的误判率。基于CNN的方法对于3种缺陷模式的识别率有了很大提高,但却将20%的线状缺陷误判为点状缺陷。由图2所示的缺陷形貌特征可看出,线状缺陷与点状缺陷在高度上较为相似,在长度上有较大差异;但由于基于CNN的方法仅仅采用缺陷图像特征进行分析,因此CNN网络在池化及网络参数学习过程中体现该两类缺陷长度上差异,因此对线状缺陷产生较高的误判。基于CNN-TCN的方法对点状缺陷和线状缺陷的识别率反而低于基于CNN的方法,这是因为波形特征和图像特征的重要程度不一,简单特征融合无法计算出两者重要度信息,导致识别精度反而降低。

表5 不同方法对不同种类缺陷分类结果对比

由表5不难看出,本文所提基于DLFM的方法在点状缺陷和线状缺陷类型识别上表现出最好的识别率,尤其对其他方法时误判率较高的线状缺陷取得了最大的识别率(85.71%)。这是由于DLFM方法包含TCN模块,且基于TCN的方法对线状缺陷和点状缺陷具有较好的区分能力(例如,仅采用基于TCN的方法时,只有8.57%的线状缺陷误判为点状缺陷)。因此DLFM方法对线状缺陷与点状缺陷具有较强的区分能力,即没有1例线状缺陷误判为点状缺陷。DLFM方法对线状缺陷与条状缺陷类型的区分能力(14.29%误判率)高于TCN的方法(37.14%的误判率),而低于CNN的方法(5.71%的误判率),即将14.29%的线状缺陷误判为条状缺陷;并且,DLFM的方法识别条状缺陷类型正确率(72.22%),略低于CNN对条状缺陷的识别率(75.00%),表明DLFM中TCN模块的影响比重较大,降低了对线状缺陷与条状缺陷的区分能力。

总体而言,本文所提DLFM方法在保证3种缺陷类型高识别率基础上,对实际TOFD检测过程中最难区分的线状缺陷具有较高识别率,表明了本文所述DLFM方法的有效性。

4 结 论

本文提出了一种图谱数据深度学习融合模型及焊缝缺陷识别方法,并通过缺陷识别实例验证了本文方法的有效性,主要结论如下:

(1)本文以焊缝缺陷TOFD检测数据为对象,构建了一种综合TOFD检测波形特征与图像特征的缺陷数据集表征方法,克服了传统超声检测缺陷仅依据波形或仅依据图像表征缺陷类型方法的不足。

(2)基于传统CNN与TCN方法,提出了一种可进行缺陷图像特征和波形特征综合分析的深度学习融合模型(DLFM)及自适应特征融合策略,扩展了现有深度学习模型构建方法,实现了波形序列与图像两类数据的综合分析,提高了深度学习模型的模式识别能力。

(3)以企业实际TOFD检测焊缝缺陷数据对所提方法进行了验证,结果表明所提DLFM方法比传统CNN、TCN和CNN-TCN方法具有更高的识别率,尤其对于难以识别线状缺陷具有较高识别准确率,为当前TOFD检测数据的深层分析与应用提供技术途径。同时,本文方法具有一定普适性,在技术上可以推广应用到常规超声、相控阵、太赫兹等具有波和图特征的检测数据分析领域;在应用上也可以推广到医学影像等其他领域。