基于深度学习的材料超声回波衰减预测方法

刘 骁 沙正骁 梁 菁

(1 中国航发北京航空材料研究院 北京 100095)

(2 航空材料检测与评价北京市重点实验室 北京 100095)

(3 中国航空发动机集团材料检测与评价重点实验室 北京 100095)

0 引言

航空发动机盘件因其高温、高速、高负荷的恶劣工作环境，导致其在制造过程中产生的夹杂等缺陷严重威胁航空发动机的安全运行[1−2]。因此对盘件质量进行超声无损评价至关重要。为保证航空发动机的安全运行，近年来关于航空发动机盘件的超声检测研究越来越多。

材料超声波衰减是超声波通过材料传播过程中出现声压或声能随距离的增大逐渐减小的现象。材料超声衰减蕴含着丰富的信息。因此在实际检测工作中，常会利用材料超声衰减来评价材料的均匀一致性，也会依据底面回波衰减调整缺陷检测的增益补偿。材料超声波衰减在材料检测研究多个方面都得到了广泛的研究和应用，但零件复杂结构常导致无法通过底面回波衰减评价。因此如何在不利用零件底面回波的情况下，实现对材料超声波衰减进行评价，已成为工程应用中材料无损检测研究的热点和难点。

近年来，国内外学者对材料超声波衰减和背散射波进行了深入的研究。Willems 等[3]利用衰减系数实现了使用背散射技术的超声衰减测量。Thompson 等[4]引入了基于从晶粒到晶粒的各向同性速度波动的二维模型，以说明晶粒散射在具有双相微观结构的钛合金中一系列复杂波传播现象中的作用。Li等[5]建立了具有一般椭圆体形状的非等轴晶粒的多晶超声波衰减和背散射模型。现有的背散射波-材料超声衰减之间关系的研究，主要是通过对原始超声背散射波进行预处理、特征提取和特征评价3 个步骤完成的。其中，预处理是将背散射信号调整至特定的延迟、范围以及增益；特征提取是指通过傅里叶变换、小波变换等手段提取背散射波信号中的特征；特征评价是利用支持向量机、神经网络等手段研究提取所得到的特征与材料超声衰减之间的关系。在这个系列过程中，背散射波中何种特征被提取得到并被选择应用于最终的特征评价阶段将直接影响评估的准确性及其泛化能力。因此，特征提取以及特征评价的质量将直接决定最终评估质量。同时，由于特征提取和特征评价需要大量具有专业知识的人员来实现，其效率往往不能得到保证。

如何减少特征提取和特征评价对于评估精度、可靠性以及效率的影响，从而提高最终评价的准确性和效率，是背散射波-材料超声衰减评价中亟需解决的问题。但目前关于直接使用超声背散射波信号对材料超声衰减进行评估的研究很少。如果能利用超声背散射波进行直接评估，而无需额外由人工进行特征提取和特征评价，那么，利用背散射波进行复杂形状的材料超声衰减评估的能力、效率和可靠性都将得到显著提升。

近年来基于表示学习的深度学习技术的发展为材料超声衰减评估提供了新方法。表示学习是一种机器通过输入数据自动发现检测或分类所需表示的方法。深度学习是具有多层级的表示学习，通过组合非线性的层将原始数据表示转换为更抽象的数据表示。深度学习模型中靠近输入的层表示数据的低级特征，靠近输出的更高层表示更抽象的特征。对于分类任务，更高层表示放大了输入数据中对区分重要的特征表示，并抑制不相关的变化。传统的人工特征与深度神经网络区别在于，传统的特征是由人工根据相关领域专业知识设计特征函数实现数据特征提取；而深度学习是利用反向传播算法从数据中学习得到特征提取器从而实现数据特征提取，通过学习得到的特征提取器在具有更强的提取能力的同时通常难以进行解释。相比于由人工设计的特征工程方法，利用深度学习技术在牺牲可解释性的同时可以得到更精确的模型[6]。因此本文以高温合金超声背散射波和超声底面回波衰减作为研究对象，构建了不同超声衰减的高温合金超声波样本数据库，并建立基于深度学习的超声背散射波-超声波衰减预测网络框架。提出一种基于深度学习通过直接利用背散射波信号预测材料超声衰减的方法，其中所采用的模型具有直接从超声背散射波中提取信号幅度及相位特征而不需要由人工进行特征提取并分析的特点，模型中用于特征提取及分析的参数是通过反向传播算法直接从背散射波信号中学习得到的。使用时仅需将背散射波信号输入到训练好的模型便可直接得到材料超声衰减的预测结果。

1 实验材料与方法

1.1 构建样本数据库

1.1.1 超声检测数据采集

具有不均匀组织的镍基高温合金试样是本研究的实验对象。样品是230 mm×60 mm×50 mm矩形块，样品的入射面和底面平行。样品表面粗糙度小于Ra 0.8 µm。

实验采用PAC-UPK-T24 超声水浸C 扫描系统进行。水浸超声探头为TLC IS1010GA点聚焦探头，频率为10 MHz。扫描水距为50 mm，扫描采样间距为0.2 mm，全波采集频率为100 MHz，采集超声背散射波信号为射频(Radio frequency,RF)信号形式。图1 为镍基高温合金试样超声C扫描结果，其中图1(a)为以增益38 dB 采集的底面回波衰减C扫描成像结果，图1(b)为以增益80 dB 采集的背散射波C扫描成像结果。

1.1.2 背散射波-回波衰减数据集建立

原始采集数据为包含243×52个点位的超声背散射波和底面回波衰减数据。背散射波-回波衰减数据集由部分区域的原始采集数据选取制作，其中包含有衰减数据集和背散射波数据集。其中衰减数据集作为训练标签，背散射数据集作为输入的训练样本。同时利用RF 波格式的超声背散射波信号得到了正全波信号格式的超声背散射波信号。最终形成高温合金超声背散射波-回波衰减(RF 信号)数据集和高温合金超声背散射波-回波衰减(正全波信号)数据集。

图2(a)为衰减数据集的选取位置，根据回波幅度衰减不同选取典型的6 个区域，其中实线区域为训练集和验证集的选取区域，虚线区域为测试集的验证区域。图2(b)为所选取区域的典型波形，底面回波幅度分别为75%、65%、55%、45%、35%、15%，被分别定义为5 类(黄色)、4 类(绿色)、3 类(红色)、2 类(蓝色)、1 类(黑色)、0 类(灰色)。每类回波包含160 组数据。回波幅度衰减分布的多样性意味着材料微观结构存在差异。

背散射数据集的选取位置与衰减数据集相对应，其中训练集有864个训练数据、96个验证数以及960个测试数据。测试数据在实验开始时是分开的，不用于任何模型训练。散射数据集的横截面选择在衰减数据集的同一区域，散射数据集的每个数据点都是一个时间序列数据，包含1250个时间步长。如图2(c)和图2(d)所示，分别为背散射波(RF 波)和背散射波(正全波)数据集的典型背散射波形图，其中的黑色虚线位置为输入网络进行模型训练的背散射波数据。图3 为衰减数据集和背散射波数据集的核密度估计(Kernel density estimation,KDE)。散射幅度分布有很大的重叠范围。对于几乎所有类别，背散射波幅度分布几乎完全重叠，但回波幅度衰减分布可以清楚地区分。数据集的KDE所示，仅依靠背散射波幅度不能直接评估多晶材料中的超声衰减。

图3 衰减数据集和背散射波数据集的KDEFig.3 The KDE of attenuation data set and backscattered wave data set

数据增强技术通过对训练数据进行一系列随机更改来生成相似但不同的训练示例，从而扩大了训练数据集的规模。随机改变训练样例可以减少模型对某些属性的依赖，从而提高其泛化能力。本文中，数据增强包括以下操作：在−8 到+8 时间步长范围内的随机值时移。数据增强后的训练集数据样本数为7602。

1.1.3 编程和训练机器学习模型环境

在本文中，所有编程都在Python 中完成，机器学习方面使用Scikit-learn 和PyTorch 框架实现[7−8]。本研究中所采用的神经网络模型采用Adam 优化器进行优化[9]，采用交叉熵作为损失函数，在每个卷积层之后都使用ReLU 激活[10]。在最终输出层将softmax 应用于模型输出以进行结果预测。

1.2 超声衰减分类识别网络框架搭建

1.2.1 分类识别网络的选择

近年来随着计算机算力、深度学习框架以及数据采集能力的飞速发展，深度学习作为一种多级表示学习在面对各类表示学习问题时显示了强大的处理能力。各类深度学习神经网络模型在相关领域也取得了令人瞩目的成果，如前馈神经网络(Artificial neural network,ANN)[11]、递归神经网络[12]、卷积神经网络(Convolutional neural network,CNN)[6]以及近年热门的基于注意力机制(Transformer)[13]等。其中CNN 因其能利用卷积核进行多通道的互相关运算，从图像中直接提取特征图，实现高效利用模型内参数，使得其在计算机视觉及自然语言处理领域均取得优异的表现[14−15]。

典型的CNN 由多个神经网络层所组成，包含卷积层、池化层、全连接层等，各层中的参数通过反向传播算法学习得到。卷积层利用其内部的多个卷积核进行互相关运算(cross-correlation)，输入张量和卷积核张量通过互相关运算得到输出张量，卷积层的作用多为检测步进维度上的特征。池化层的作用则是降低位置的敏感性、降低对空间降采样的敏感性以及正则化。全连接层实现最终分类识别概率的计算。因此，卷积层与池化层往往组合使用。最终利用全连接层将所提取得到的特征转换为分类识别的结果。采用CNN 作为材料超声背散射波识别模型有着诸多优势。首先，CNN 通过参数共享，仅采用较小的参数量也能够有效地提取各个时域范围内超声背散射波的特征；其次，CNN 不需要人工设计的特征提取器来进行数据特征的提取，而是采用学习算法直接从训练数据集中学习得到。

处理图像数据的二维CNN 所具有的局部性和平移不变性在一维CNN 对序列数据进行处理时也同样有效[16]。时间可以被视作为一个空间维度，类比于二维图像中的高度和宽度。图4为一维CNN中卷积层的工作原理图。一维CNN 中的一维卷积层通过一维卷积核从序列中提取局部一维序列段(即子序列)。这种一维卷积层可以识别序列中的局部模式。因为对每个序列段执行相同的输入变换，所以在背散射波中某个位置学到的波形特征可以在其他位置被识别，这使得一维CNN 具有平移不变性(对于时间平移而言)。由一维卷积层叠加组成的一维CNN 可以学习到特征的时间层次结构。模型所具有的层次结构使CNN 能够有效地学习数据中更复杂和抽象的特征。

图4 一维CNN 中卷积层单步处理输入序列段Fig.4 The convolutional layer of 1D CNN processes the input sequence segments in a single step

超声波在金属材料中的传播衰减是超声波传播路径上每个局部区域的衰减之和。已有的研究表明，当弹性波在复杂的微结构介质中传播时，会出现许多复杂的波传播现象。弹性波的振幅和相位被调制[4]。因此，为了实现利用背散射波预测材料的超声衰减，需要声束传播路径中每个局部区域内背散射波幅度和相位变化都被检测到。

本文中设计的CNN 最浅层只关注局部区域的背散射波幅度及相位变化，而不考虑远端区域的背散射波变化。卷积层的局部性原理确保可以聚合局部区域的背散射波幅度及相位变化，以对超声波在的整个传播路径的衰减进行预测。卷积层的平移不变性可以检测传播路径内任何区域的低级背散射模式。其他更高层的卷积层可以学习背散射波信号的高层次表示。卷积层中输入和输出的通道允许模型在传播路径的每个空间位置捕获背散射波信号中多种类型的幅度及相位变化。最后，将卷积网络得到的高层次表示输入到全连接神经网络中，以搜索更高层次背散射波的幅度及相位特征与衰减特性之间的关系。

1.2.2 背散射波分类识别网络模型

本文针对超声背散射波检测时的实际情况，在序列数据分类检测研究中常用的一维CNN 基础上，提出一种通过材料超声背散射波检测材料超声波衰减的算法。

图5 和表1 为网络架构图以及超参数设置。模型的层数设置需要考虑输入数据维度及训练数据集体量，本文中输入数据为1250×1，训练数据864条。考虑到本文中所采用的数据集体量较小，为有效对训练数据进行学习的同时尽量减少模型过拟合，模型构架采用7 个学习层组成——4 个一维CNN层(每两个CNN层后跟一个池化层，通过1×2最大池化进行下采样)和2 个全连接层，由1346622个可训练参数组成。将原始背散射波作为输入数据输入网络。第一CNN 层对原始序列数据进行初步的特征提取，对于CNN 层来说卷积核的尺寸影响其空间维度上提取特征的范围，过小的卷积核尺寸会导致其无法有效提取空间维度上的特征变化，而过大的卷积核尺寸则可能会导致一些微小的特征变化被忽视，因此将第一CNN 层卷积核大小设置为1×8；同时为尽量提取底层特征将卷积核通道数与卷积核尺寸相等，通道数为8，第一CNN 层输出数据维度为622×8。第二CNN 层进行更深层次的特征提取，为提取时间维度上更大范围内的特征组合，将这层的卷积核尺寸仍设置为1×8，通道数为2，第二CNN层输出数据维数为308×16。第三和第四CNN 层对序列进行更深层次的特征提取，随着模型深度的增加需要相应减少单个卷积核提取特征的时间范围，因此将卷积核的尺寸设置为1×4。在第二CNN 层和第四CNN 层后分别设置池化层进行下采样，池化核大小为1×2，步长为2，通过降低时间维度上的分辨率来获得空间不变性和正则化，同时减少运算量。在池化层后设置一个dropout层，之后使用展平层展平输入至2层全连接(FC)层，每个层具有1152和1152个隐藏单元，依次到达6 个单元的最终softmax 输出(预测)层。整流线性单元(ReLU)函数用作每个卷积层和密集(FC)层的激活函数。为了解决过拟合问题，在卷积层和全连接层之间添加了dropout 层。使用的dropout 百分比为50%。

图5 背散射波分类识别网络结构Fig.5 Classification and recognition network structure of backscattering waves

2 结果与分析

为验证本文所提出的材料超声波衰减分类识别方法的可行性与准确性，从2 方面进行了实验验证：(1) 基于一维CNN 的材料超声波衰减分类识别检测算法与实际检测结果的对比；(2) 采用不同形式背散射波进行超声波衰减分类识别的性能验证。

2.1 基于一维CNN 的材料超声波衰减分类识别模型的训练及评价

利用高温合金超声波衰减-背散射(RF 信号)数据集的训练集总共7602 个样本对材料超声波衰减分类识别网络模型进行训练。学习率从0.0001开始。单个批量包含8 个样本，每轮训练批量数量为300 个。图6 为模型训练的损失和准确率的曲线图，至第10轮时模型训练的损失及准确率已无明显变化。训练曲线图中验证损失低于训练损失，验证准确率优于训练准确率。两个因素导致这一现象：(1) 在验证时dropout层是关闭的，因此验证精度提高；(2) 训练准确率是在每个批量后产生，验证准确率则是在每个训练轮数后产生，时间上存在滞后性，因此验证精度相对要提高。经过10 轮训练，最终在训练集上准确率达到0.941。

图6 RF 波模型分类识别网络训练曲线图Fig.6 RF wave model classification recognition network training curve

本文研究的高温合金超声波衰减-背散射样本数据集数量相对较小，因此最后训练所得的模型可能会是过拟合的；同时，在量化评价一个模型的预测性能时，训练过程中的所记录的准确率及损失函数仅能作为参考，主要用于训练过程中监测的训练情况，而通过训练过程发现泛化模式才是机器学习的根本问题。因此需要确定模型真正发现了一种泛化模式，而不是简单记住进行训练时所用到的数据。通常会利用未被用于训练的数据集作为测试集，通过网络模型在测试集上的准确率来验证网络模型的泛化能力，测试集在模型上的准确率越高，意味着实际任务中可以取得更好的效果。

为验证采用RF 信号形式训练数据集进行训练所得模型的泛化能力，本文利用RF 信号形式测试数据集对模型泛化能力进行实验。常用于量化基于分类的机器学习框架泛化性能的标准方法是通过混淆矩阵。图7 为RF 波测试数据集(总共960 个样本)的混淆矩阵。测试数据集的整体识别准确率为0.919，其中0类的准确率为0.86，1类的准确率为0.92，2类的准确率为0.90，3类的准确率为0.96，4类的准确率为0.90，5 类的准确率为0.98。从混淆矩阵中可以清楚地看出，大部分分类是正确的，而那些预测错误的通常只差一个类。因此，类别的边缘有可能被错误分类。

图7 RF 波数据集测试集进行预测所得的混淆矩阵Fig.7 Confusion matrix obtained from prediction of RF wave data set and test set

2.2 不同格式背散射波信号进行超声波衰减分类识别的性能验证

在实际无损检测过程中，除了RF 波形式的超声波信号外，还经常利用正全波形式的超声波信号进行检测。因此本文利用正全波形式的高温合金超声波衰减-背散射数据集对材料超声波衰减分类识别网络模型进行训练。利用背散射(正全波信号)数据集的训练集总共7602 个样本对材料超声波衰减分类识别网络模型进行训练。学习率从0.0001 开始。单个批量中包含8个样本，每轮训练批量数量为300个，总共进行10轮训练，最终在训练集上准确率达到0.845。图8为正全波模型训练的损失和准确率的曲线图，训练至第10轮时模型损失和准确率已相对稳定。

图8 正全波模型分类识别网络训练曲线图Fig.8 Positive full-wave model classification recognition network training curve

为验证采用正全波形式训练数据集进行训练所得模型的泛化能力，本文利用正全波形式测试数据集对模型泛化能力进行实验。图9 为正全波形式测试数据集(总共960 个样本)的混淆矩阵。测试数据集的整体识别准确率为0.808，0 类的准确率为0.51，1类的准确率为0.93，2类的准确率为0.85，3类的准确率为0.82，4 类的准确率为0.79，5 类的准确率为0.96。相比于采用RF信号进行训练的模型，在采用相同超参数进行训练的情况下，利用正全波信号进行的测试结果无论是整体识别准确率还是单类别识别准确率均明显劣于采用RF 波信号的测试结果，预测错误最多可以达到两个类。特别是0 类(底面回波幅度15%)，识别准确率仅0.51，有49%的0类背散射波信号被错误的分类识别为1类。

图9 正全波数据集测试集进行预测所得的混淆矩阵Fig.9 Confusion matrix obtained from prediction of positive full wave data set and test set

为验证训练所得模型对于实际检测数据的分类识别表现，利用训练所得的模型对于1.1.1节中所采集的背散射波进行分类识别，得到图10所示的结果。图11 为提取图8 中第40 行数据的背散射波分类识别结果、实际底面回波幅度衰减以及背散射波幅度对比结果，其中黑色曲线为该行背散射波幅度，红色曲线为该行底面回拨幅度，灰色为该行扫描结果的实际超声波衰减分类结果，蓝色曲线为利用分类识别模型得到的超声波衰减分类识别结果。采用模型进行的分类识别结果与实际检测所得的底面回波衰减变化趋势有较好的一致性，利用RF 信号模型所得到的分类识别结果更接近实际底面回波衰减情况。从图11 的对比曲线结果中也可以看到，采用正全波信号模型的分类识别结果在类别上出现明显的震荡，而利用RF 信号模型所得的分类识别结果和真实的分类结果有更好的一致性。

图10 预测结果与实际底波衰减C 扫对比Fig.10 Comparison between predicted results and actual bottom wave attenuation C-scan

图11 第40 行数据的背散射波分类识别结果、实际底面回波幅度衰减以及背散射波幅度的曲线对比图Fig.11 Curve comparison of backscattered wave classification and recognition results,actual bottom echo amplitude attenuation and backscattered wave amplitude of line 40 data

3 讨论

实验表明，利用高温合金超声波衰减-背散射(RF 信号)数据集训练的材料超声波衰减分类识别网络可以实现利用背散射波信号分类识别得到材料超声波衰减情况分类。说明了基于深度学习的材料超声波衰减分类识别方法的可行性。作为对比实验，利用正全波信号数据集训练得到的材料超声波衰减分类识别网络的分类识别准确率出现了较大幅度的下降。采用相同训练超参数和相同的网络结构，可排除训练超参数以及网络结构差异所带来的影响。因此可确定导致其分类识别准确率差异的主要因素来自其所采用训练数据集。

图12 为材料中超声波传播模型示意图。超声波探头发射超声波进入材料，超声波在材料中的传播路径可以细分为n个区域，其中区域i代表这n个区域中的其中之一(i=1,2,···,n)。超声波在通过区域i后相应的会有Bi(t)超声波背散射信号被超声波探头接收。如果超声波传播路径区域i的材料组织存在差异，相应的材料声阻抗会发生变化，超声波信号的幅度和相位特征也相应会发生变化。材料中的超声波衰减是受到整个传播路径区域影响的，时域信号中的幅度及相位变化都会最终在超声波回波幅度衰减上体现。材料超声波衰减分类识别网络模型利用底层的卷积层实现对于超声波传播路径上的幅度及相位变化进行监测。之后利用池化层降低局部区域敏感性，提高模型的泛化能力。最后利用全连接层实现材料背散射波特征映射到材料超声波回波衰减。正全波信号因缺失相位特征，使得在分类识别的准确率上劣于RF信号。

4 结论

本研究以高温合金材料的超声波衰减以及超声背散射信号作为研究对象，结合了CNN 等方面的知识，提出了一种基于深度学习的材料超声衰减识别网络检测算法，经实验验证主要得出以下结论：

(1) 利用所建立的高温合金超声波衰减-背散射(RF 信号)数据集进行实验，利用训练后的材料超声波衰减分类识别网络在训练集上分类识别准确率可达0.941，在与训练集同源的测试集上的识别准确率可以达到0.919，说明本文的材料超声波衰减分类识别方法具有良好的泛化能力。

(2) 利用高温合金超声波衰减-背散射(正全波信号)数据集进行对比实验，发现通过利用具有相同结构的深度学习模型训练，采用正全波信号形式的数据集在其对应的测试集上的分类识别准确率为0.808，相比于RF 信号训练所得的模型识别准确率出现了较明显的下降。正全波信号缺失相位信息是导致二者在分类识别准确率上存在差异的重要原因。

(3) 通过实验论证了基于深度学习的材料超声波衰减分类识别方法的可行性。所采用的方法无需额外由人工进行特征提取和特征评价，而可以直接实现对于材料超声衰减的分类识别。该方法为复杂结构航空发动机盘件的底面超声回波衰减评价提供了一种可行的技术解决方案。