焊缝缺陷图像智能分类研究*

2022-06-29刘文婧张二清王建国王少锋黄顺舟

组合机床与自动化加工技术 2022年6期

刘文婧，张二清，王建国，王少锋，黄顺舟

(1.内蒙古科技大学a.机械工程学院;b.内蒙古自治区机电系统智能诊断与控制重点实验室;c.矿业研究院，包头 014010；2.上海航天设备制造总厂有限公司，上海 200000)

0 引言

焊接的失效在很大程度上降低工件的力学性能和缩短工件的使用寿命，重者可能导致危及生命财产安全的灾难性事故发生[1]。超声相控阵[2]在工业检测中已经获得了广泛的应用，特别是在金属焊缝上，超声相控阵技术有很好的检测结果。传统方法更多依赖于人工视觉观测不同类型缺陷所引起的超声相控阵检测图谱差异，但往往检出的一致性较差，特别在检查量较大时，这种差异性会放大，所以迫切需要一种可靠性较高的智能化检测方法[3]。

目前，智能分类方法可以分为基于传统机器学习人工提取特征的分类方法和基于计算机自动提取高维特征的卷积神经网络(CNN)分类方法。

通过传统机器学习人工提取特征时，重点应放在寻找具有显著分类能力的特征上。如POLIKAR等[4]使用小波离散变换提取特征；ATABY等[5]使用小波包与灰度共生矩阵提取相关特征；THERESA等[6]提取了平均值、标准差、能量、偏度和峰度特征。这些特征均属于图像的低级特征，因而分类结果并不理想。MUNIR等[7]提出了一种降噪自编码器与卷积神经网络相结合的网络模型用于对焊缝缺陷进行分类。但用到的缺陷试块较少，不具有说服力。樊丁等[8]使用ELU激活函数代替了传统卷积神经网络中的RELU激活函数，分类焊缝X射线图像获得了一个好的结果，但其获得的缺陷图像形态显著，基本没有噪声，人眼完全能够进行准确识别；并且该网络迭代了10 000次，训练时间漫长，在实际应用中，随着数据集增多，必然需要重新训练，时间成本过高。卷积神经网络的实质也是在寻找合适及独特的特征表示，因此，能否提取到准确合适的特征表示是智能分类网络成功与否的关键。

针对提取合适特征困难的问题，本文提出了一种改进的稀疏自编码器网络模型，依据Relief-F算法计算各特征对V型焊缝内部缺陷类型的敏感度，并将敏感度组成的矩阵分配为RSAE的初始权重参数，并以训练样本数据重构误差最小、同类样本数据偏离最小化、类间样本数据差异最大化为优化目标，实现对样本数据的重新表达。对获得的内在特征数据进行分类。研究该特征提取方法在V型焊缝内部微小缺陷超声相控阵图像智能分类中对准确率的影响。

1 相关方法

1.1 缺陷图像数据的采集

为了评估上述方法的性能，本文开发了超声缺陷图像数据库。超声缺陷图像是从焊缝标准试块与较多的自然缺陷试块中采集的。采集场景如图1所示，焊缝内部缺陷的类型包括夹渣、裂纹、气孔、未焊透和未熔合。

(a) 焊缝标准试块 (b) 自然缺陷试块采集

超声缺陷图像采集所用的仪器为法国M2M台式相控阵，成像方法为全聚焦成像，选用10 MHz探头和5 MHz通过改变扫查角度采集了2124张超声缺陷图谱，各缺陷数量如表1所示，部分焊缝内部缺陷超声图像如图2所示。

表1 缺陷类型及其数量

图2 焊缝内部缺陷超声图像

1.2 缺陷图像预处理

全聚焦成像中耦合界面回波与底面回波出现在超声图像底部与顶部，本文通过裁剪操作去除耦合界面回波与底面回波，保留完整缺陷信息。

1.3 缺陷图像感兴趣区域提取

由图2可知，常规的图像去噪方法并不适用于此图像，因此本文提取缺陷图像中感兴趣的区域。首先对预处理后的缺陷图像进行二值化处理，然后寻找图像中存在的轮廓并计算各个轮廓的大小最大轮廓外接最小矩形，获得矩形的坐标信息，以此坐标信息提取缺陷图像中感兴趣的区域并做归一化处理。提取前后变化如图3所示。

(a) 预处理后图像 (b) 感兴趣区域

1.4 缺陷特征提取

选用灰度共生矩阵、灰度游程长度、灰度差分统计、高斯马尔科夫随机场模型和Hu不变矩5种特征提取方法提取了35个特征参数。各种特征提取方法提取的特征如下：

灰度共生矩阵：(1)能量均值、(2)能量标准差、(3)熵均值、(4)熵标准差、(5)惯性矩均值、(6)惯性矩标准差、(7)相关性均值、(8)相关性标准差。

灰度游程长度[9]：(9)游程总数、(10)游程总数百分比、(11)短游程优势、(12)长游程优势、(13)灰度分布不均匀性。

灰度差分统计：(14)平均值、(15)对比度、(16)熵。

高斯马尔科夫随机场模型：(17)～(28)12个4阶GMRF参数。

Hu不变矩：(29)～(35)7种不变矩。

1.5 Relief-F算法原理

使用离差标准化方法对所有特征进行归一化处理，对样本Xi的第j个特征归一化计算式为：

(1)

Relief-F算法[9]计算特征和缺陷类别相关性的方法如下：

设样本的抽样次数为K，最近邻样本个数为T，各个特征与缺陷类别的相关性初始化为0，一次抽样更新敏感度算法如下：

(1)从样本集Q中随机抽取一个样本X，X的类别为Y。

(2)从X的同类样本中找到X的T个最近样本集D，Di表示同类样本集的第g(g=1,2,…,T)个样本；同时从R的各个不同类样本中分别找到T个最近邻样本构成不同类样本集E，Eh,n表示第h个非同类样本集的第n(n=1,2,…,T)个样本。

(3)计算一次抽样下特征与缺陷类别相关性W的更新，第j个特征与缺陷类别的相关性计算方式如式(2)所示。

(2)

式中，diff(j,X,Di)是样本X和Di在第j个特征上的距离；diff(j,X,Eh,n)是样本X和Eh,n在第j个特征上的距离；PL表示样本L所属类在样本集Q中出现的概率；Ph表示第h类样本在样本集Q中出现的概率。

由以上步骤可以计算出一次抽样下各个特征与缺陷类别的相关性，K次抽样下，将所有特征与缺陷类别的相关性更新K次。

1.6 初始权重参数生成。

确定性的初始权重会导致神经网络训练获得一个最好的或最坏的结果，但在复杂问题中，很大可能会获得最坏的结果；同时使用随机权重的神经网络训练多次结果波动很大，不利于网络模型的性能评估。基于上诉原因，本文并不直接使用特征与缺陷类别的相关性参数作为RSAE的初始特征权重，而是给定一个小区间，使特征与缺陷类别的相关性参数位于这个小区间。方法如下：

首先将特征与缺陷类别的相关性参数从小到大排序；然后以0为起点，相关性参数的最大值增加0.2为终点确定一个大区间；若特征间对应的相关性参数相差小于等于0.2，则将这些特征视为同一组，若无则将单个特征作为一组；将每组中最大相关性系数增加0.2为划分点，将大区间划分成的多个小区间，各特征对应的小区间如表2所示。

表2 各特征对应的小区间

将表2中的小区间乘以千分之一作为特征和V型焊缝缺陷类型的敏感度参数区间，分配敏感度参数区间中随机数为RSAE的初始权重参数，使各特征与其对应的敏感度参数相乘。

2 改进的稀疏自编码器网络模型

自编码器[10]是一种单隐含层神经网络，属于无监督学习，使输出近似等于输入，获得图像数据的良好表达形式。稀疏自编码器[11]在自编码器的基础上加入了正则化约束，此方法是模拟人脑，仅让隐藏层中的部分神经元受特定的特征刺激做出反应，获得高效的数据表示。

本文在稀疏自编码器的基础上做了改进。设计了单层稀疏自编码器，使用特定的初始权重参数aj代替传统稀疏自编码器的随机初始权重，并给与网络3种约束获取更高层次的抽象特征及其关联，最终实现对样本数据的优异表达，网络模型如图4所示。

图4 改进的稀疏自编码网络模型

构建显著响应焊缝内部缺陷类型的灰度图纹理特征集监督式特征编码学习目标函数。

(1)训练样本数据重构误差最小：

(3)

(2)类内样本数据差异最小化约束：

(4)

式中，f(xi)=xiβT,i=1,…,N；wij表示样本间的相似性，若xi和xj属于同类，则wij=1；否则，wij=0。

(3)类间样本数据差异最大化约束：

(5)

式中，mij表示样本间的差异性，若xi和xj属于同类，则mij=0；否则，mij=1。

实现输入训练数据的重构误差最小、高阶特征空间中样本数据特征类内距离最小化、类间距离最大化的学习目标，其综合目标函数如下：

min:L=L0+L1-L2

(6)

依据关于输出权重参数β的梯度下降策略，对式(6)进行求解，当β=0时：

(I+HTH)β+β(XTLwX-XTLmX)=HTX

(7)

式(7)属于Sylvester等式，故利用MATLAB软件中的sylvester()函数进行求解，输出权重参数β的最优解为：

β=sylvester(I+HTH,XTLwX-XTLmX,HTX)

(8)

训练样本数据的重新表达：

Xnew=XβT

(9)

3 实验与结果分析

3.1 实验设置

本次实验在windows7系统下进行，编程环境为MATLAB2015b，pytho3.7，硬件环境为CPU inter(R) Core(TM) i3-4150。内存32 GB，64位操作系统。

图5是本实验的全部过程，①比较了是否提取感兴趣区域对分类准确率的影响；②对比了改进的稀疏自编码网络编码的特征与原始特征在分类器上分类准确率与速率；③针对V型焊缝内部缺陷超声相控阵图像分类问题选择了最佳性能参数。

图5 实验流程

本实验在缺陷图像数据中随机抽取60%的数据作为训练集，40%的数据作为测试集。极限学习机随机设置连接权值，通过解方程的方式直接计算出结果；支持向量机寻找最大间隔平面分类；Resnet-34网络通过使用残差结构，降低了深层网络训练的难度。核极限学习机(KELM)，核支持向量机(KSVM)用到的核函数均为高斯核函数。以下实验结果为Resnet-34迭代20次的最高准确率，KELM和KSVM训练20次的平均准确率。

3.2 实验结果分析

试验V型焊缝内部缺陷超声相控阵图谱噪声中是否含有显著响应分类任务的特征。

如图6所示，提取感兴趣区域后，Resnet-34网络、KELM和KSVM分类结果均不理想，且明显低于未提取感兴趣区域时的分类结果，因此V型焊缝内部缺陷超声相控阵图谱噪声中含有显著响应分类任务的特征。

图6 是否提取感兴趣区域对分类结果的影响

比较原始特征与改进的稀疏自编码器编码特征分类结果的不同。

如图7所示，使用原始特征作为KELM、KSVM的输入，准确率为87.2%、82.3%；反之使用改进的稀疏自编码器编码的特征作为KELM、KSVM的输入，准确率为96.5%、93.2%，准确率分别提高了9.3%、10.9%。编码后的特征为图像的高级特征，更利于分类网络识别。

图7 使用编码特征对分类结果的影响

表3中效率为Resnet-34迭代20次所需的时间与KELM和KSVM训练20次所需的时间(KELM和KSVM训练和测试所需时间中加入了RSAE编码所用的时间)。

表3 各网络分类效率

如表3所示，KELM训练与测试所花费的时间远低于Resnet-34网络训练与测试所需的时间。在工程实际应用中，随着标准图像数据量越来越多，网络模型必须重新训练，因Resnet-34网络要想获得最优解，模型迭代次数应达到1000次以上，训练时间达到116 h以上(不考虑数据量增加模型训练时间增加)。KELM与KSVM训练与测试所需的时间相差不大，但KSVM在多分类任务中需要确定多个分割平面，导致分类错误累计，分类准确率下降。

设置隐藏层神经元数和输入特征个数的比率为0.1,0.3,0.5,0.7,0.9,1.1,1.3,1.5,2,10。测试比率为多少时，RSAE的性能最优。

如图8所示，当隐藏层神经元数与输入特征数的比率达到0.9时，KELM的分类准确率达到了97.8%。当比率继续增大时，KELM的分类准确率基本稳定，神经元数增加使模型训练时间变长，因此RSAE隐藏层神经元元数设置为32。