基于熔池图像特征的焊缝质量指标设计与分析

徐梓惠，姚屏，宾坤，陈晔，何剑朋，陈飞昕

基于熔池图像特征的焊缝质量指标设计与分析

徐梓惠，姚屏，宾坤，陈晔，何剑朋，陈飞昕

（广东技术师范大学，广州 510630）

熔池是焊缝形貌的动态成形特征，建立熔池图像质量与焊缝形貌之间的映射关系能促进焊接质量实时智能检测。采用暗通道处理法进行滤波降噪，差分融合算法融合暗通道图和直方均衡化图。利用所述算法对5种焊缝缺陷对应的熔池图像进行处理能有效滤除点状噪声，并且图像的清晰度和对比度较原图增大了两倍及以上。设计融合图像及焊缝形貌评分指标，建立熔池–焊缝评分方程，验证了熔池图像预测焊缝缺陷等级的可行性。

熔池图像；焊缝形貌；暗通道处理法；差分融合算法；评分方程

熔池是焊接工艺综合作用的结果，是判断焊接质量优劣的指标之一。焊缝形貌是焊接质量的重要表征，熔池反映了焊缝成形过程的动态变化，熔池图像与焊缝缺陷特征密切相关[1-3]。目前，采集和检测焊缝缺陷比较有效的方法是焊接过程声信号检测，该方法已经广泛应用于识别和预测焊接缺陷、熔滴过渡形式、熔透状态以及电弧燃烧状态等[4-7]。然而，该方法适用于焊后检测，还不能满足焊接质量在线监控的要求。若能通过监控焊接过程中熔池的变化预测出潜在的焊缝缺陷，进而实现焊接质量在线智能监控，就能实现焊接输入参数的实时调整，保证焊缝质量优良。

现有的机器人焊接大部分按照设定的程序完成焊接任务，缺乏对焊接质量的监控。Dong等[8]提出了高斯回归建模，对自动焊接过程进行了监控； Hu等[9]研究了熔池在复杂表面上的行为和成形情况，建立了熔池计算流体力学模型；Lu 等[10]提出了一种基于深度预测网络的熔池在线监控模型，利用熔池分类网络判断预测熔池是否有驼峰形成或焊穿趋势。监控焊接过程熔池动态变化特征以分析判断焊缝潜在的缺陷已受到越来越多学者的关注,裴莹蕾等[11]提出了使用非负矩阵分解法提取熔池图像的特征矩阵，完成了对原始图像的整体性和部分性描述，实现了焊接缺陷的识别；沈莹吉等[12]研究了MAG中表面气孔、焊塌、焊穿等缺陷对应的熔池图像特征，建立了基于视觉的焊接缺陷自动预测系统。然而，熔池图像的研究离不开图像处理算法准确性和快速性的支撑。在熔池图像的分割以及图像质量评价指标领域，方吉米等[13]提出了熔池图像质量评价参数，分析出990 nm的透红外滤光片能获取到最大的熔池信息量；还提出了一种基于C–均值聚类协作主动轮廓模型的熔池图像分割方法，实现了驼峰焊道的监控[14]。

经过深入学习和分析前人的工作，文中分析机器人弧焊过程中熔池图像的质量，利用差分融合法对图像进行融合，提高了图像的清晰度和对比度，还探索出熔池–焊缝评分方程以划分焊接质量缺陷等级，旨在为研发焊接实时在线监控系统作前期探索，验证通过监控焊接过程中熔池的特征以预测焊缝潜在缺陷的可行性。文中研究的熔池图像质量评价指标可作为自动化焊接反馈控制系统的反馈信号，以便对输入信号作出动态调整，从而实现焊缝质量的在线调整，保证焊缝成形良好。

1 试验平台

试验平台由弧焊工业机器人焊接控制系统、送丝装置、焊接工作台、电弧监控相机以及计算机等设备组成，如图1所示。试验所用的材料为316L不锈钢，焊接母材尺寸为250 mm×100 mm×2 mm（长×宽×厚）。

图1 焊接试验平台

为了设计出合理的图像质量评价指标，建立焊接质量与熔池图像的映射关系，将装有滤波保护镜片的电弧焊监控相机安装在焊枪的侧面，确保采集到完整的熔池图像。电弧监控相机与焊枪形成一定的夹角，夹角大小根据实际情况而定。试验中相机的帧率为60 fps，图像分辨率为1024×512。焊接工艺采用双脉冲平板堆焊的方式，焊接保护气体采用98%Ar+ 2%CO2，气体流速为15 L/min。焊丝选用直径为1.2 mm的ER316L不锈钢，干伸长量为12 mm，焊枪垂直于焊接工作台。试验通过改变单个参数的方法采集熔池图像，通过控制焊接速度，探索焊缝所产生的缺陷对应的熔池成像特点。

在弧焊过程中，熔池形状、焊缝都与热输入量有关，当热输入量较大，即焊接电流大而焊接速度较慢时，母材受热熔化量增加，熔融的液态金属在重力的作用下逐渐下塌，由此焊缝出现焊塌现象，若液态金属持续往下滴，就会烧穿母材，形成烧穿缺陷[15]。过熔透是焊接电流与焊接速度不匹配导致电弧能量大，焊缝正面熔宽过大，热影响区过宽，焊缝正面受到电弧吹力作用的结果[16]；欠熔透是由于焊接速度太快，使得单位时间内母材金属与焊丝熔化量少，焊接电弧能量较少，而导致焊缝成形细小，焊缝余高较小，与母材融合不够充分造成的[17]。焊接过程中熔池受到热、力、流的耦合作用，其液态金属的流动行为发生变化，从而引起金属凝固产生变形[18]。驼峰焊道是由于熔池中央产生凹陷，而尾部金属未及时回流填充而形成的中间凹陷，尾部凸起的焊缝[19]。图2为试验采集的优良焊缝和5种有缺陷的焊缝及其对应的熔池图像。对采集到的5种熔池图像进行去噪以及增强处理，以分析熔池与焊缝成形的联系。

2 图像处理

2.1 处理流程

分析图2中各熔池图像可知，焊接过程存在烟尘和飞溅干扰，对其进行滤波降噪处理以减少对研究结果的干扰。为此，对熔池图像进行暗通道处理以及直方图均衡化，从而突出熔池区域特征，图像处理流程如图3所示。

2.2 算法分析

He等[20]统计了大量的无雾图像，发现每幅RGB图像中总是存在一个灰度值很低的通道，该通道灰度值几乎趋于0。基于这一规律，提出了基于暗通道先验的去雾算法。暗通道图像提取过程如下：首先统计3个通道灰度值，比较其对应像素的数值，选取最小值组合成新的灰度图；然后以新灰度图中每个像素为中心形成具有适当大小的矩形窗口，统计出窗口中的最小值来取代中心像素值，由此得到目标图像对应的暗通道图像。暗通道数学表达式见式（1）。

图2 熔池–焊缝原始图像

图3 图像处理流程

式中：c()为其中一个通道的图像；()为以像素为中心的窗口。

直方图均衡化处理后，不同灰度值的像素点数量差值减小，对比度处于最大值[21]。其中，最重要的是变换函数()，()需要满足式（2）中的两个条件。式（3）表示用变换函数表达均衡化后的图像灰度值。

式中：为灰度级，256。

式中：=256；(x)为直方图中每个灰度级像素的个数；和分别为图像的宽和高。

提出一种图像差分融合算法，由于暗通道图像与直方图均衡化图像之间相似度很高，没有产生形变，因此，当暗通道图像减去直方图均衡化图像得到差分融合图像时，两幅图像对应位置的像素点差值趋于零。作为科研人员的研究热点，像素级融合算法极大程度地降低了原始图像中的像素损失。在空域中对每个像素点作减法运算，实现图像差分融合，其融合公式如式（4）所示。

式中：dark(,)为坐标(,)处暗通道图像的像素值；(,)为直方图均衡化图像的像素值；(,)为坐标(,)处差分融合后图像的像素值；表示两个图像进行差分运算，取值为2；k为尺度窗口的尺寸，取值为1；α为尺度所占权值，取值为{0.7,0.2}。

以图2a中的图像为例，对上述算法进行试验分析。熔池图像经过暗通道处理后可以有效地分离出其中的暗通道灰度图，所生成的图像不存在点状的飞溅噪声。暗通道处理法处理前后对比图如图4a、b所示。分析可知，暗通道处理法对于像素值小于250的像素点滤除作用不明显，却能有效滤除像素值为255的像素点，从图4a的10 000多点减少到图4b的5 000多点，充分证明了暗通道处理法可以有效去除熔池图像中的飞溅干扰。

图4 直方图对比

暗通道处理法在一定程度上损失了图像细节特征，直方图均衡化在一定程度上能抑制图像细节的损失，提高对比度[22-24]。图5为图4a经过均衡化处理后所得的直方图，对比分析两图可以得知，图像灰度值的分布范围从原来的50～100过渡到0～225，呈现出由窄到宽的变化趋势。

图5 直方图均衡化处理

将两种通道图像进行图像差分计算后所得的新熔池图像如图6所示，熔池区域与弧光区灰度差异明显，这种方法既保留了暗通道图像去除飞溅的优点又保持了均衡化的增强效果，而且算法简单易实现、运算速度快。

图6 新熔池图像

3 焊接质量与熔池图像的映射关系

3.1 熔池图像质量评价

为了定量评价熔池图像处理算法的作用，从清晰度、对比度两方面进行对比分析。模糊图像中每个像素差值小，整体灰度均匀，乘法计算后值更小；反之，清晰图像中像素点间差值大，乘积值更大。因此，选用灰度方差乘积（2）作为评价图像清晰度的指标，其计算公式如式（5）所示。

式中：(,)为像素点灰度值；(,)为水平方向相邻像素点灰度值；(,)为竖直方向相邻像素点灰度值。

熔池图像中存在弧光区、熔池区及焊缝区，3个区之间的对比度也逐渐减小，故选用对比度作为评价熔池图像质量的另一指标。通过式（6）计算对比度。

式中：(,)为相邻像素间的灰度差；P(,)为相邻像素间灰度差为的像素分布概率。

图7和图8显示了5种缺陷图像用前述算法处理后得到的对比度和清晰度的变化情况。暗通道处理后图像的两个指标呈小幅度下降，与原图相比，直方图均衡化处理后，驼峰熔池图像变化最明显，其对比度提高了22倍，清晰度提高了36倍，其他熔池图像的指标较原图也有不同程度的提高。但直方图均衡化处理后图像容易产生过曝现象，差分融合法对这种现象具有抑制作用，观察图7和图8发现，两个指标值均有下降，其值介于暗通道图和直方图均衡化图之间，且高于原图像对应的值。由此可以验证，直方图均衡化可以有效提高熔池图像的清晰度和对比度，而差分融合法可以防止均衡化后的过曝现象，对于改善熔池图像的质量是有效的。

图7 对比度变化情况

图8 清晰度变化情况

3.2 熔池与焊接质量评价指标设计

经验丰富的焊工通过焊缝的外观判断焊接工艺参数选取是否得当，因此，焊缝外观是评价焊接质量最直接的方法，文献[25]采用模糊综合评价方法对焊缝质量进行评价，通过对焊缝外观、晶粒尺寸及焊缝质量进行评分，实现了焊接质量的定量评价。参考该评价方法，对图2b—f中焊缝的形貌进行评分，获得5种焊缝缺陷得分，分别为烧穿5分，焊塌20分，过熔透45分，欠熔透55分，驼峰50分。

清晰度反映出熔池边缘的清晰程度，对边缘灰度变化敏感，清晰度越高，捕捉熔池边缘变化的能力越强，而熔池边缘变化与焊缝宽度相关，因此，清晰度是反映焊接质量的重要指标之一。对比度可以有效辨别背景与目标区域，对比度越大，越能有效分离出背景，减少背景区域对熔池区域的影响。经过文献查阅以及试验结果分析，综合考虑熔池的清晰度和对比度指标对焊缝成形质量的影响程度，取清晰度权重为0.6，对比度权重为0.4。设熔池图像的清晰度和对比度分别为和，评分为，则熔池评分指标由式（7）计算得到。

根据公式（7）计算出图2b—f中5种熔池原图及经过差分融合法得到的新熔池图像的得分情况，如表1所示。从表1中分析可知，差分融合法计算得到的熔池图像评分比原图高2倍及以上，由此可以推断，所提出的差分融合算法可以有效提高图像的质量。

表1 熔池图像得分表

Tab.1 Score sheet of molten pool image

最后，建立熔池–焊缝评分方程，对熔池与焊缝进行综合评分，以获取不同焊缝缺陷对应的等级，如式（8）所示。

式中：1为新熔池图像得分；0为原熔池图像得分；为焊缝得分。经过计算得到缺陷实际得分及其对应的得分范围和等级分布，如表2所示。分析表2可以确定烧穿、焊塌、过熔透、欠熔透、驼峰5种熔池缺陷的实际得分均落入该种缺陷对应等级的得分范围内。

表2 熔池缺陷等级划分表

Tab.2 Grade classification table of molten pool defects

采用图9所示单脉冲工艺的焊塌和烧穿熔池图像以及图2a所示双脉冲工艺优良焊缝熔池图像来验证熔池–焊缝评分方程的可靠性。根据文献[16]得到双脉冲优良焊缝评分为85分，从表3中观察到，当优良焊缝分数大于10分，记其等级为G；而对于单脉冲工艺，焊塌和烧穿熔池得分分别落入了该缺陷得分范围，验证了所提出的熔池–焊缝评分方程也适用于单脉冲焊接工艺。因此，通过建立熔池–焊缝评分方程划分焊接缺陷等级的方法是可靠的，能指导焊接质量预测研究。

表3 验证试验评分等级分布

Tab.3 Grade distribution table in validation test

4 结论

1）暗通道处理法可以有效滤除熔池图像中的飞溅干扰，但是会降低原图像的对比度和清晰度，损失细节特征。

2）提出了差分融合算法，将降噪图像与增强图像进行差分运算，既减少了输入图像的像素损失，又提高了原图的清晰度和对比度。

3）建立熔池–焊缝评分方程对焊缝缺陷进行评分，并划分5种缺陷等级及其得分范围，试验结果表明，熔池图像质量与焊缝形貌存在映射关系。因此，所提的熔池–焊缝评分方程对通过监控熔池图像质量变化以预测焊缝潜在缺陷作出了探索性的试验研究。

[1] 盛洁, 朱俊杰, 蔡艳, 等. 基于熔池图像的熔化极气体保护焊焊接过程质量监测方法[J]. 上海交通大学学报, 2015, 49(10): 1477-1481.

SHENG Jie, ZHU Jun-jie, CAI Yan, et al. GMAW Welding Process Monitoring Method Based on Welding Pool Image[J]. Journal of Shanghai Jiao Tong University, 2015, 49(10): 1477-1481.

[2] 夏卫生, 龚福建, 杨荣国, 等. 基于红外视觉的熔化极气体保护焊外观缺陷识别[J]. 焊接学报, 2020, 41(3): 69-73.

XIA Wei-sheng, GONG Fu-jian, YANG Rong-guo, et al. Apparent Defect Recognition of Gas Metal Arc Welding Based on Infrared Vision[J]. Transactions of the China Welding Institution, 2020, 41(3): 69-73.

[3] 朱彦军, 吴志生, 王安红, 等. 基于被动视觉的焊缝错边研究[J]. 热加工工艺, 2019, 48(9): 220-223.

ZHU Yan-jun, WU Zhi-sheng, WANG An-hong, et al. Research on Weld Seam Misalignment Based on Passive Vision[J]. Hot Working Technology, 2019, 48(9): 220-223.

[4] 房海基, 吕波, 张艳喜, 等. 焊接过程声信号在线检测技术现状与展望[J]. 精密成形工程, 2022, 14(1): 165-172.

FANG Hai-ji, LYU Bo, ZHANG Yan-xi, et al. Status and Prospect of On-Line Acoustic Signal Detection Technology in Welding[J]. Journal of Netshape Forming Engineering, 2022, 14(1): 165-172.

[5] 李志刚, 黄卫, 徐翔, 等. 基于气泡声信号的水下湿法焊接电弧特性分析[J]. 热加工工艺, 2021, 50(21): 129-132.

LI Zhi-gang, HUANG Wei, XU Xiang, et al. Analysis of Arc Characteristics of Underwater Wet Welding Based on Bubble Acoustic Signal[J]. Hot Working Technology, 2021, 50(21): 129-132.

[6] 金伟, 赵红霞, 郭于明. 熔透状态识别预测与控制技术研究现状[J]. 中国工程机械学报, 2021, 19(3): 217-221.

JIN Wei, ZHAO Hong-xia, GUO Yu-ming. Research Status of Identification and Prediction and Control of Weld Penetration Modes[J]. Chinese Journal of Construction Machinery, 2021, 19(3): 217-221.

[7] 黄林然, 高延峰, 王齐胜, 等. 不同保护气下电弧声信号的短时能量与共振峰分析[J]. 焊接技术, 2019, 48(1): 5-10.

HUANG Lin-ran, GAO Yan-feng, WANG Qi-sheng, et al. Analysis of Short-Time Energy and Formant of Arc Acoustic Signals under a Different Shielding Gases[J]. Welding Technology, 2019, 48(1): 5-10.

[8] DONG Hang, CONG Ming, ZHANG Yu-ming, et al. Modeling and Real-Time Prediction for Complex Welding Process Based on Weld Pool[J]. The International Journal of Advanced Manufacturing Technology, 2018, 96(5): 2495-2508.

[9] HU Ze-qi, HUA Lin, QIN Xun-peng, et al. Molten Pool Behaviors and Forming Appearance of Robotic GMAW on Complex Surface with Various Welding Positions[J]. Journal of Manufacturing Processes, 2021, 64: 1359-1376.

[10] LU Jun, XIE Hou-sen, CHEN Xiao-yu, et al. Online Welding Quality Diagnosis Based on Molten Pool Behavior Prediction[J]. Optics & Laser Technology, 2020, 126: 106126.

[11] 裴莹蕾, 王克鸿. 基于非负矩阵分解的熔池图像识别方法[J]. 计算机集成制造系统, 2022(3): 1-12.

PEI Ying-lei, WANG Ke-hong. Image Recognition Method of Molten Pool Based on Non-negative Matrix Decomposition[J]. Computer Integrated Manufacturing Systems, 2022(3): 1-12.

[12] 沈莹吉, 王克鸿, 潘明财, 等. 基于视觉的焊接缺陷熔池图像特征探讨[J]. 焊接学报, 2012, 33(1): 105-108.

SHEN Ying-ji, WANG Ke-hong, PAN Ming-cai, et al. Prelimimary about Pool Image Character of Welding Defect Based on Vision Sensing[J]. Transactions of the China Welding Institution, 2012, 33(1): 105-108.

[13] 方吉米, 王克鸿, 黄勇. 基于透红外视觉传感的GMA-AM熔池图像质量评价[J]. 焊接学报, 2018, 39(12): 89-94.

FANG Ji-mi, WANG Ke-hong, HUANG Yong. Weld Pool Image Quality Evaluation of Gas Metal Arc Additive Manufacturing Based on Infrared Visual Sensing[J]. Transactions of the China Welding Institution, 2018, 39(12): 89-94.

[14] 方吉米, 王克鸿, 黄勇. 高速GMAW驼峰焊道形成过程熔池图像识别[J]. 焊接学报, 2019, 40(2): 42-46.

FANG Ji-mi, WANG Ke-hong, HUANG Yong. Weld Pool Image Recognition of Humping Formation Process in High Speed GMAW[J]. Transactions of the China Welding Institution, 2019, 40(2): 42-46.

[15] 朱彦军, 吴志生, 王安红, 等. 基于GMAW熔池轮廓特征的焊接缺陷研究[J]. 电焊机, 2018, 48(11): 13-18.

ZHU Yan-jun, WU Zhi-sheng, WANG An-hong, et al. Research on Welding Defects Based on the Features of GMAW Molten Pool Contour[J]. Electric Welding Machine, 2018, 48(11): 13-18.

[16] 马可. 基于GMAW不同条件下的熔透特征研究[D]. 北京: 北京石油化工学院, 2018.

MA Ke. Research Welding Penetration Characteristics Base on Different Conditions of GMAW[D]. Beijing: Beijing Institute of Petrochemical Technology, 2018.

[17] 吕娜. 基于电弧声信号的铝合金脉冲GTAW熔透特征识别及其实时控制研究[D]. 上海: 上海交通大学, 2014: 40-42.

LYU Na. Recognition and Realtime Control of Penetration Characteristics of Al Alloy Pulsed GTAW Process Based on the Arc Audio Information[D]. Shanghai: Shanghai Jiao Tong University, 2014: 40-42.

[18] 黄健康, 潘伟, 于永龙, 等. 基于示踪粒子的GTAW驼峰焊道形成机制数值分析[J]. 兰州理工大学学报, 2019, 45(6): 11-16.

HUANG Jian-kang, PAN Wei, YU Yong-long, et al. Numerical Analysis of Formation Mechanism of GTAW Hump Welding Bead Based on Tracing Particles[J]. Journal of Lanzhou University of Technology, 2019, 45(6): 11-16.

[19] 武传松, 王林, 陈姬, 等. 高速GMAW驼峰焊道的产生机理与抑制技术[J]. 焊接, 2016(7): 4-13.

WU Chuan-song, WANG Lin, CHEN Ji, et al. Occurrence Mechanism and Suppression Technology of Humping Bead in High-Speed GMAW[J]. Welding & Joining, 2016(7): 4-13.

[20] HE Kai-ming, SUN Jian, TANG Xiao-ou. Single Image Haze Removal Using Dark Channel Prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[21] 任艳斐. 直方图均衡化在图像处理中的应用[J]. 科技信息, 2007(4): 37-38.

REN Yan-fei. Application of Histogram Equalization in Image Processing[J]. Science Information, 2007(4): 37-38.

[22] 陈书贞, 任占广, 练秋生. 基于改进暗通道和导向滤波的单幅图像去雾算法[J]. 自动化学报, 2016, 42(3): 455-465.

CHEN Shu-zhen, REN Zhan-guang, LIAN Qiu-sheng. Single Image Dehazing Algorithm Based on Improved Dark Channel Prior and Guided Filter[J]. Acta Automatica Sinica, 2016, 42(3): 455-465.

[23] 胡伟, 袁国栋, 董朝, 等. 基于暗通道优先的单幅图像去雾新方法[J]. 计算机研究与发展, 2010, 47(12): 2132-2140.

HU Wei, YUAN Guo-dong, DONG Zhao, et al. Improved Single Image Dehazing Using Dark Channel Prior[J]. Journal of Computer Research and Development, 2010, 47(12): 2132-2140.

[24] 刘楠, 程咏梅, 赵永强. 基于加权暗通道的图像去雾方法[J]. 光子学报, 2012, 41(3): 320-325.

LIU Nan, CHENG Yong-mei, ZHAO Yong-qiang. An Image Dehazing Method Based on Weighted Dark Channel Prior[J]. Acta Photonica Sinica, 2012, 41(3): 320-325.

[25] YAO Ping, ZHOU Kang, HUANG Shu-wei. Process and Parameter Optimization of the Double-Pulsed GMAW Process[J]. Metals, 2019, 9(9): 1009.

Design and Analysis of Weld Quality Index Based on Image Features of Molten Pool

XU Zi-hui, YAO Ping, BIN Kun, CHEN Ye, HE Jian-peng, CHEN Fei-xin

(Guangdong Polytechnic Normal University, Guangzhou 510630, China)

Weld pool is a dynamic forming feature of weld appearance. Establishing the mapping relationship between molten pool image quality and weld appearance can promote real-time intelligent detection of welding quality. In this paper, dark channel processing methodwas used for filtering and noise reduction, and differential fusion algorithm was used to fuse the dark channel map and the straight square equalization map. Using the algorithm to process the molten pool images corresponding to five kinds of weld defects can effectively filter the point noise, and the sharpness and contrast of image are increased by more than two times compared with the original image. In addition, the evaluation index of fusion image and weld appearance was designed, and the scoring equation of molten pool-weld seam was established, so as to verify the feasibility of predicting weld defect grade by molten pool image.

molten pool image; weld appearance; dark channel processing method; differential fusion algorithm; scoring equation

10.3969/j.issn.1674-6457.2022.10.014

TP391.4

A

1674-6457(2022)10-0098-07

2022–02–19

国家自然科学基金（51805099）；2021年省科技创新专项资金（SDZX2021020）；广东省普通高校重点领域专项(2020ZDZX2019)；广东省教育厅特色创新项目（2019KTSCX086）

徐梓惠（1996—），女，硕士生，主要研究方向为图像处理与计算机视觉。

姚屏（1978—），女，博士，教授，主要研究方向为智能制造、制造过程检测与控制及工业机器人。