激光-MIG 复合焊根部驼峰缺陷预测

刘秀航 叶广文 黄宇辉 张艳喜 冯桑 高向东

摘要：激光-熔化极惰性气体（Melt inert gas，MIG）复合焊过程中容易出现根部驼峰缺陷，为了实现焊接过程根部驼峰缺陷的同步预测，研究根部驼峰缺陷预测的算法并对其预测结果进行分析。采用高速摄像机进行复合焊接过程的实时视觉传感采集，提取焊接过程的正面熔池和匙孔的时序特征信息，并对这些特征信号进行小波包分解（Wavelet packet decomposition，WPD）与重构。应用激光扫描仪获得背部焊缝余高，以此作为驼峰状态标记的依据。再通过长短期记忆（Long short-term memory，LSTM）神经网络对焊接过程中根部驼峰状态进行预测。结果表明，WPD-LSTM算法对根部驼峰预测的准确率达到97.85%。相比其它算法，基于焊接过程正面视觉传感时序特征信息的WPD-LSTM算法预测准确率更高，且预测结果具有较高的连续性，有利于实现对焊接过程根部驼峰缺陷的同步检测与控制。

关键词：根部驼峰；视觉检测；长短期记忆神经网络；小波包分解

中图分类号： TG 409

Root hump defect prediction for laser-MIG hybrid welding

Liu Xiuhang， Ye Guangwen， Huang Yuhui， Zhang Yanxi， Feng Sang， Gao Xiangdong

（Guangdong Provincial Welding Engineering Technology Research Center， Guangdong University of Technology， Guangzhou 510006， Guangdong， China）

Abstract： The root hump defect is easy to appear in the laser-MIG composite welding process. In order to realize the simultaneous prediction of the root hump defect in the welding process， this paper studies the algorithm of root hump defect prediction and analyzes the prediction results of different algorithm. The real-time visual sensing information of composite welding process is carried out by a high-speed camera， the time series characteristic information of the front weld pool and the keyhole in the welding process is extracted， and the characteristics signals are decomposed and reconstructed by wavelet packet decomposition （WPD）. Then， the residual height of the back weld is obtained by a laser scanner， which is used as the basis for marking the hump status. Long short-term memory （LSTM） neural network was used to predict the status of root hump in the welding process. Experimental results show that the accuracy of WPD-LSTM algorithm for root hump prediction is 97.85%. Compared with other algorithms， the prediction accuracy of WPD-LSTM algorithm based on the temporal feature information of the front visual sensing in the welding process is higher， and the prediction results have higher continuity， which is conducive to realize the synchronous detection and control of root hump defects in welding process.

Key words： root hump; visual inspection; long short-term memory neural networks; wavelet packet decomposition

0前言

激光焊和激光-電弧复合焊两种焊接方式易出现根部驼峰缺陷，国内外学者对激光焊接根部驼峰及熔池和匙孔的状态进行了大量研究。激光-电弧复合焊过程中，电弧热源的加入有可能是导致根部驼峰出现概率提高的原因［1］。Jan［2］通过焊接过程高速摄像机实时检测来阐述了驼峰的形成是匙孔内部压力、熔池流动和熔体表面张力综合作用的结果，研究了应对驼峰缺陷的工艺解决方案。驼峰是由于受力不稳定所导致的熔融金属从上到下转移和溢出，驼峰的出现会改变焊缝正面熔池和匙孔的状态。经过多次试验得出，当激光功率不足以完全熔透焊缝时，熔池内部流动熔融金属从焊根部溢出，此时出现根部驼峰缺陷，因此驼峰的形成与焊接热输入不足时出现的临界熔透状态有关。

在焊接熔透状态检测方面，国内外学者进行了许多深入的研究。焊接的熔透状态可以通过背部焊缝的熔宽来表征，提取焊接过程的正面视觉特征，通过模式识别和神经网络技术对焊接熔透状态进行分类的研究已有许多成果。高向东等人［3］提出了用于熔透状态预测的模糊聚类方法。采用可视范围为960～ 990 nm 的近红外滤光片进行焊接过程的图像采集，并提取焊接过程匙孔和熔池的相关特征对熔透与未熔透两种状态进行分类。杨嘉佳等人［4］利用近红外视觉传感方法获取双丝焊过程熔池图像，提取熔池几何特征参数输入到反向传播（Back propagation，BP）神经网络进行熔透识别。冯宝等人［5］利用L1/L2极限学习机（L1/L2-Extreme Learning Machine，L1/L2-ELM）算法来训练电弧焊熔透识别模型，与传统ELM 算法相比，具有更强的泛化能力和更高的准确率。刘天元等人［6］针对激光焊接过程的熔池匙孔图像，采用卷积神经网络对熔池和匙孔图像特征进行提取，再将特征输入LSTM 神经网络，对激光焊接过程的熔透状态进行识别。陈子琴等人［7］通过高速摄像机分别拍摄激光焊接正面和侧面的焊接过程，提取金属蒸气、飞溅和熔池等特征信息，再利用神经网络对背部熔宽预测。

利用焊接过程状态的传感监测可以识别焊接缺陷，对焊接过程稳定性进行评价。高速焊接过程图像中的飞溅、金属蒸气、电弧光和底面熔池流动信息能有效反映焊接成形和焊接过程状态稳定性［8-9］。通过多传感监测平台对激光焊接过程的特征信息进行提取，利用相关分类算法和模型，对焊接无缺陷情况和不同的焊接缺陷的情况进行准确分类［10-11］。

在焊接领域中有学者采集焊件正面及背面图像，并将经验模态分解处理后的特征作为预测模型输入实现焊缝根部驼峰缺陷检测［12］。但该方法需要采集焊件背部信息，不适用无法观察焊件背部的場合。而所提出的方法仅需要采集焊接表面图像特征，通过WPD 对图像的时序特征分解和重构，使输入维度得以扩增，从而防止模型欠拟合。以焊接过程熔池和匙孔的时序特征信息作为LSTM 神经网络模型输入输出，可准确预测激光-MIG 复合焊根部驼峰缺陷。

1激光-MIG 复合焊特征信息采集

1.1试验系统

激光-MIG复合焊过程中的检测系统，如图1所示。光纤激光器的激光波长为1.07μm， 最大输出功率为4 kW。高速摄像机采集图像的像索为640×480 pixel，采样帧率为2000帧/s，采用950 nm窄带近红外滤光片滤除焊接过程中的干扰，提取熔池和匙孔的特征信息。高速摄像机距离焊件表面300 mm，与焊接工作台成30的夹角。保护气成分为98%Ar+2%CO2，进行焊后熔池保护。选用的焊件材质为SUS304不锈钢，尺寸为200 mm×100 mm×3 mm，焊丝为φ1 mm ER308不锈钢焊丝。采用电弧辅助激光焊接的形式，激光在前， MIG焊枪在后，具体焊接工艺参数如表1所示。此外，采用装配有激光扫描仪的关节臂测量仪对焊缝进行扫描，采集焊缝的成形轮廓，并对焊缝轮廓曲线进行相应的结构光图像处理以获得背部焊缝的余高。

1.2图像分割与特征提取

由于复合焊过程热输入较大，产生大量金属蒸气，加之MIG焊枪同轴吹出的混合保护气体导致焊接过程熔融金属被蒸发产生的大量金属蒸气覆盖在熔池和匙孔区域的正上方，对熔池和匙孔区域形成遮挡，因此同步高速摄像机难以直接集成或置于焊件上方对焊接过程中的熔池和匙孔进行拍摄，而是采用侧拍的方式。

对复合焊过程图像进行处理以及特征提取，如图2所示。其中熔池区域主要采用了自动标定的分水岭算法来进行分割并特征提取，而匙孔部分则主要采用阈值分割的方法来进行图像分割并提取特征。最终得到熔池和匙孔的区域图像，取熔池区域横向最大长度为熔池长度WL，纵向最大宽度为熔池宽度WW，熔池长度和宽度之比为熔池长宽比WR，熔池和匙孔区域像素点之和分别为熔池面积WA和匙孔面积KA，所提取的时序特征曲线如图3所示。

图4为带有根部驼峰缺陷的焊缝成形。对于出现根部驼峰的位置，对应的正面焊缝成形呈现宽度收缩和表面下凹的形态，这与焊接过程熔融金属的向下转移有关。焊缝的正面成形状态出现周期性的变化，根部驼峰缺陷也相应周期性出现，焊接过程中熔池和匙孔在稳定与失稳两种状态下周期性地切换。

2小波包时序特征信号处理

焊接过程中熔池和匙孔的时序特征富含焊接过程状态信息。为扩增预测模型的输入维度，解决欠拟合问题，提高预测模型的准确率，通过小波包分解对焊接过程时序特征进行分解和重构，实现预测模型输入维度的扩增，从而解决预测模型欠拟合问题，并提高预测模型的准确率。小波包分解通过使代价函数最小化，得出对原始信号最优的分解路径，并以此进行分解[13]。

小波包分解与重构算法设gnj（t）∈Unj，

小波包分解是可以通过{dj+1，nl（t）}求{dj，2nl（t）}和{dj，2n+1l（t）}获得。

式中：j为尺度系数；l为位置系数；n为采样帧率；dj，2nl（t）和{dj，2n+1l（t）}为下一层小波分解的结果；{dj+1，nl（t）}为上层分解结果；a和b为正交共轭低通和高通滤波器。

小波包的重构过程是通过{dj，2nl（t）}求解{dj+1，nl（t）}和{dj，2n+1l（t）}。

式中：h和g为小波包重构滤波器组。由式（1）～式（4）可知，小波包变换将原始信号分解成高频部分和低频部分。以熔池宽度的时序特征为例，选取Daubechies1（db1）作为小波基函数，采用香农熵进行3层小波包分解。最终分解出P（3，0），P（3，1），P（3，2），P（3，3），P（3，4），P（3，5），P（3，6），P（3，7）共8个小波包节点，对这些小波包节点的进行重构，如图5所示。这些重构节点的信号包含了熔池宽度特征的众多有效信息。小波包节点经过重构后的数据为熔池宽度特征的低频主体部分，其与熔池宽度变化的大致趋势一致。将分解后的信号输入神经网络中进行相应的预测和分类。

3根部驼峰缺陷预测

3.1长短期记忆神经网络

循环神经网络能够联系和储存上下时刻输入的特征信息，对具有时序联系的数据进行学习和预测[14]。 LSTM神经网络是循环神经网络的一种，同样具有时序结构，LSTM神经网络解决了经典RNN反向传播过程中容易出现梯度消失和梯度爆炸的问题，其神经元结构如图6所示。LSTM神经网络是在RNN的基础上在神经元结构中加入记忆单元和调节门构成，包括输入门、输出门和遗忘门[15-16]。

xt为当前状态下数据的输入，Ct-1，ht-1分别表示上一状态的长时记忆和短时记忆特征。

遗忘门可对当前时刻的输入进行有选择地遗忘，可以清除无效信息对神经元状态的影响，其计算公式[17]为

式中：σ为激活函数Sigmoid；Wf和bf为输入门的加权和偏置，输入门的作用是对当前时刻的输入数据进行有选择的输入，它决定了神经元细胞状态中需要更新的信息，具体计算式为

式中：Wi，Wc和bi，bc为遗忘门的加权和偏置。神经元细胞状态的更新是通过结合之前细胞状态经过、遗忘门的选择结果和通过输入门的所需要更新的新的信息来实现，即

输出门是用来控制神经元的输出，并将输出数据分别传输到下一层的神经元和同层的下一神经元中，即

式中：Wo和bo为输出门的加权和偏置。上述公式中的输入门、输出门和遗忘门中的参数Wi，Wo，Wf和Bi，Bo，Bf可以通过学习来不断更新。

通过图像分割算法提取的熔池和匙孔时序特征信息存在一定的噪声，会影响实际的预测效果。通过门结构，LSTM 神经网络的神经元可对焊接过程熔池和匙孔的时序特征信息有选择地判断是进行传递或是将其清除，把这些焊接过程的特征数据储存在记忆单元中以保留到焊接过程的下一时序，有利于降低噪声对根部驼峰缺陷预测的干扰。

3.2预测试验设计及结果分析

通过提取熔池和匙孔时序特征预测背面焊缝的高度，进而识别焊缝根部驼峰缺陷。首先，对背部焊缝成形进行标定，将背部焊缝余高于1 mm 部分视为根部驼峰缺陷区域，标记为状态2，若背部焊缝余高低于或等于1 mm 则表明未出现根部驼峰缺陷，标记为状态1。然后，采用LSTM 神经网络以焊缝正面的视觉传感采集的时序特征对焊缝根部的驼峰状态进行实时预测。其中，神经网络模型的5个输入特征分别为熔池长度WL、熔池宽度WW、熔池长宽比WR、熔池面积WA 和匙孔面积KA。LSTM神经网络模型中隐藏层神经元个数为200个，全连接层设置为50个神经元，学习率设置为0.005，随机失活（dropout）值是0.7。训练的周期设置为3000。采用Adam算法来进行梯度下降优化。提取出连续14000帧图像，其中连续的12000帧作为预测的训练集，剩余的连续的2000帧作为测试集，采用训练集数据按时序依次输入模型进行训练，训练完成后将测试集时序特征也按时序输入到训练好模型中，得到根部驼峰状态的预测结果，将其与标记的结果进行对比，如图7所示。表2为采用不同预测算法进行根部驼峰状态预测的准确率对比。

从表2可知，经过小波包对正面视觉提取的特征进行分解与重构后，再输入到LSTM 神经网络进行预测的准确率最高，达到97.85%，而直接将提取的时序特征用于LSTM 神经网络的方式准确率为86.25%，相较WPD-LSTM 算法稍低。通过对比预测结果和准确率发现，得益于LSTM 神经网络对时序特征信息的记忆和遗忘上面存在的优势，LSTM 与WPD-LSTM预测算法的预测结果如图7c和图7d所示，相对BP神经网络算法和SVM 支持向量机不仅在预测准确性上存在优势，在预测的连续性方面相对后两者也存在明显优势[18-19]。经过以上分析得出，对激光-MIG复合焊进行正面的视觉采集，并将提取到的特征进行小波包分解并重构，然后将重构后的特征向量作为长短期记忆神经网络的输入进行根部驼峰缺陷的预测。此方法的预测准确率较高，能够满足驼峰缺陷预测的要求。

4结论

（1）提出了一种利用焊接过程正面视觉图像中的熔池和匙孔时序特征信息来预测根部驼峰缺陷的方法，建立了基于焊接过程时序特征信息的根部驼峰缺陷预测模型。首先采集焊接过程图像，通过图像分割提取出焊接过程熔池和匙孔的时序特征，对提取的时序特征进行小波包分解与重构后再输入LSTM神经网络预测模型，对根部驼峰缺陷状态进行预测识别。

（2）WPD-LSTM算法对背部驼峰缺陷的预测效果较好，准确率达到97.85%。相比未利用时序信息的支持向量机和BP 神经网络分类算法，其预测的准确率和连续性都更具有优势。

参考文献

［1］ Blecher J J， Palmer T A， Debroy T. Mitigation of root defect in laser and hybrid laser-arc welding[J]. Welding Journal， 2015， 94：73-82.

[2] Jan F. Factors affecting weld root morphology in laser keyhole welding[J]. Optics and Lasers in Engineering， 2018， 101：89-98.

[3]高向东， 梁剑斌， 刘桂谦， 等.大功率光纤激光焊熔透状态模糊聚类识别方法[J].焊接学报， 2017， 38（5）：22-25.

[4]杨嘉佳， 王克鸿， 吳统立， 等.基于熔池视觉特征的铝合金双丝焊熔透识别[J].焊接学报， 2017， 38（3）：49-52.

[5]冯宝， 覃科， 蒋志勇.基于L1/L2极限学习机的熔池熔透状态识别[J].焊接学报， 2018， 39（9）：31-35.

[6]刘天元， 鲍劲松， 汪俊亮， 等.融合时序信息的激光焊接熔透状态识别方法[J].中国激光， 2021， 48（6）：228-238.

[7]陈子琴， 高向东， 王琳.大功率盘形激光焊焊缝背面宽度预测[J].光学精密工程， 2017， 25（9）：2524-2531.

[8] Chang Y F， Lei Z， Wang X Y， et al. Characteristic of laser-MIG hybrid welding with filling additional cold wire for aluminum alloy[J]. China Welding， 2018， 27（3）：35-41.

[9] Gao X D， Zhang Y X. Monitoring of welding status by molten pool morphology during high-power disk laser welding[J]. Optik-International Journal for Light and Electron Optics， 2015，126（19）：1797-1802.

[10] Zhang Y X， Han S W， Cheon J， et al. Effect of joint gap on bead formation in laser butt welding of stainless steel[J]. Journal of Materials Processing Technology， 2017， 249：274-284.

[11] Wang T， Gao X D， Katayama S， et al. Study of dynamic features of surface plasma in high-power disk laser welding[J]. Plasma Science and Technology， 2012， 14（3）：245-251.

[12] Fan X A， Gao X D， Zhang Y X， et al. Monitoring of 304 austenitic stainless-steel laser-MIG hybrid welding process based on EMD-SVM[J]. Journal of Manufacturing Processes， 2022， 73：736-741.

[13]王藝蒙， 李蔚， 韩纪龙， 等.基于小波包变换码的新型无源光网络上行信号复用和传输方法[J].中国激光， 2014， 41（6）：0605001.

[14]周旭峰， 王醒策， 武仲科， 等.基于组合RNN 网络的EMG 信号手势识别[J].光学精密工程， 2020， 28（2）：424-442.

[15]李清亮， 蔡凯旋， 耿庆田， 等.极限梯度提升和长短期记忆网络相融合的土壤温度预测[J].光学精密工程， 2020， 28（10）：2337-2348.

[16]冯泽斌， 周翊， 江锐， 等.门控循环网络辨识准分子激光器能量模型[J].中国激光， 2021， 48（9）：34-43.

[17] Liu T Y， Bao J S， Wang J L， et al. A hybrid CNN-LSTM algorithm for online defect recognition of CO2 welding[J]. Sensors，2018， 18（12）：4369.

[18] You D Y， Gao X D， Katayama S. Multisensor fusion system for monitoring high-power disk laser welding using support vector machine[J]. IEEE Transactions on Industrial Informatics， 2014，10（2）：1285-1295.

[19] Zhang Y X， Gao X D， Katayama S. Weld appearance prediction with BP neural network improved by genetic algorithm during disk laser welding[J]. Journal of Manufacturing Systems， 2015，34：53-59

刘秀航简介： 硕士；主要从事焊接自动化研究；liuxiuhang17@163.com。

高向东简介：通信作者，博士，教授，博士研究生导师；gaoxd@gdut.edu.cn。