熔滴—焊缝同步视觉焊接偏差测定方法

王小刚，王中任，刘海生

(1.武汉科技大学 机械自动化学院，湖北 武汉 430081；2.湖北文理学院 机械工程学院，湖北 襄阳 441053；3.智能制造与机器视觉襄阳市重点实验室,湖北 襄阳 441053)

0 引言

焊接过程中让焊接机器人自主感知焊接环境并实时调整焊枪位置进行焊缝跟踪是焊接自动化的发展方向[1]。焊缝视觉跟踪具有无接触、跟踪精度高等优势，已成为自动化焊接行业研究的热点，一般可分为主动视觉传感和被动视觉传感两大类[2-3]。以激光视觉为主的主动视觉传感方法在机床式、手臂式等固定焊接机器人上有广泛且成熟的应用[4-6]，该方法采用超前监测方式，即视觉监测位置与焊接位置存在着一定的前视距离。超前监测的优势在于通过采集焊缝图像，能够有效避免焊接过程中电弧光和焊渣飞溅的干扰，焊缝图像质量得到明显提高，其缺点是为焊缝视觉跟踪系统引入了超前监测误差。对于固定式焊接机器人，机器人坐标系相对位置固定，在任意时刻自身坐标已知，因此可以通过补偿或路径规划方式消除超前监测误差[7-8]，提高焊缝跟踪精度。被动视觉传感方法是利用焊接过程中熔池的高亮状态或对电弧光的反射来获得焊缝图像[9-11]，具有实时监测熔池和观测焊丝位置的优势，并且不存在超前监测误差，但焊接过程中电弧光和焊渣飞溅非常强烈，需要采用专业熔池相机来降低弧光干扰。

在石油化工、建筑等行业施工现场中，大型工件较多，且这些工件无法移动翻转，焊接位置特殊。固定式焊接机器人存在工作范围较小的局限性，大且重的机构也无法来回搬动，不能满足施工现场需求。无轨爬行式焊接机器人尺寸小、重量轻，来回搬运方便，能够较好地适应于各种施工现场，是研究的热点[12-14]。目前，视觉焊缝跟踪在无轨爬行式焊接机器人上的应用主要存在以下两个问题：

(1) 在焊接过程中，无轨爬行式焊接机器人不受约束自由爬行，在重力和缆线牵引下会产生偏移，且偏移量和偏移角度无法确定，因此主动视觉传感引入的超前监测误差无法通过补偿或路径规划方式消除，导致跟踪精度较低。

(2) 被动视觉传感无超前监测误差，焊缝跟踪精度较高，但需采用昂贵的专业熔池相机，其价格是普通相机的10倍以上，这会导致自动焊接设备成本增加，不利于自动焊接设备推广应用。

为解决以上问题，在提高无轨爬行式焊接机器人焊缝跟踪精度的同时不增加设备成本，本文采用普通CCD摄像机采集熔池图像。但普通CCD摄像机经过滤光片、减光片等光学器件过滤弧光干扰后，依旧难以同时稳定地采集到熔滴和焊缝清晰图像，因此提出一种双摄像机分离同步采集熔滴和焊缝图像的方法。左相机采集熔滴图像，右相机采集焊缝图像，提取熔滴、焊缝轮廓信息，并融合到同一图像坐标系中，同时建立焊接偏差量测定模型，利用熔滴和焊缝的位置关系测定焊接偏差量。该双视觉系统采集方法能够实时在线监测熔滴和焊缝的位置，既提高了焊缝跟踪精度，又控制了自动焊接设备成本，对被动视觉传感方法在无轨爬行式焊接机器人上的应用具有借鉴意义。

1 系统组成

1.1 系统结构

以焊接大型钢板V型坡口为例，如图1所示为本文采用的熔滴—焊缝同步视觉测控系统，系统主要由无轨爬行式焊接机器人、焊机系统、PLC控制系统、熔滴—焊缝同步视觉系统组成。无轨爬行式焊接机器人由4个磁轮吸附，通过步进电机驱动爬行、横摆、上下3个方向运动，利用爬行和横摆的联动实现对焊缝跟踪扫描。为保证左、右视觉系统采图的同步性，将双相机与焊枪连接在同一个结构件上，使运动方式保持一致，这样在同一时刻下触发左、右相机采集到的图像是同步的。PLC控制系统通过485总线与焊机系统通讯来控制焊枪起弧，同时与工控机通讯实现图像采集指令的发送与焊接偏差量的接收。在焊接过程中，熔滴—焊缝同步视觉系统测出焊枪位置偏差量和焊枪摆幅偏差量，并将偏差量发送给PLC控制系统，PLC控制系统调整焊枪的位置和摆幅大小，实现自主焊接。

1.2 视觉传感系统

如图2所示，左、右视觉采集系统结构和组成基本一致，不同之处在于熔滴监测相机镜头前增加了焊接减光片。在熔化极活性气体保护焊(Metal Active Gas welding,MAG)焊接过程中，弧光和焊渣的飞溅对图像采集影响很大，需要将光学器件组合使用才能有效削弱弧光和焊渣飞溅的影响。左视觉系统负责监测熔滴，熔滴是焊接过程中弧光的中心点且亮度最大，受干扰也最为严重，因此需要增加减光能力较强的焊接减光片来削弱弧光。经试验发现，7号焊接减光片最适合熔滴图像采集，在削弱弧光的同时能够保留熔滴轮廓信息。右视觉系统负责监测焊缝，焊缝轮廓信息是利用弧光在V型坡口上反射产生的，则削弱弧光的同时要保留少量弧光，因此采取了滤光片和偏振片的组合方法。再调整左、右视觉系统镜头光圈和相机曝光参数，以适应不同监测任务，达到各自能够采集到稳定图像的效果。本文视觉采集系统由CCD摄像机、12 mm镜头、中心波长650 nm(±30 nm)的窄带滤光片、焊接减光片、偏振片以及玻璃片组成，玻璃片的作用是阻挡焊渣飞溅，以免损坏偏振片。

2 图像校正与融合

如图2所示，左、右相机与焊枪安装夹角在45°左右，因此采集的是熔滴和焊缝倾斜图像，这会导致焊缝上、下边缘呈喇叭形状，影响焊接偏差量测定精度，因此需要进行图像校正。如图3所示，熔滴和焊缝信息在不同像素坐标系下，需要将两者信息进行融合，统一到新的图像像素坐标系下，才能进行偏差量测定。

2.1 图像校正方法

本文采用一块自制精密加工矩形陶瓷板作为标定板，其大小为60 mm×60 mm。 将矩形标定板平行放置在左、右相机的公共成像区域，且标定板需包含熔滴和焊缝成像区域。首先计算标定板4个角点坐标，建立4个角点坐标的齐次投影变换矩阵，再通过投影变换来校正图像。

齐次投影变换矩阵公式为：

(1)

其中：M为待计算的3×3投影变换矩阵，Q为投影图像对应点，P为原图中对应点，即4个角点坐标。由于标定板大小为60 mm×60 mm，不妨将投影图像的大小设置成600×600，则矩阵

(2)

在标定图像中，已知P、Q矩阵，则

M=QP-1。

(3)

在目标图像校正中，为提高目标图像校正精度，采用的是亚像素投影变换，其投影变换公式为：

(4)

2.2 图像校正与融合结果

通过式(3)计算出MLeft、MRight分别为：

(5)

如图4所示为图像校正与融合处理结果显示图，标定板校正后的图像和熔滴—焊缝融合后的新图像像素坐标系大小均为600×600。 从图中可以看出，熔滴、焊缝图像经校正后，边缘轮廓特征更加清晰，有利于熔滴和焊缝特征提取。从融合后的图像上可以看出，熔滴融合到焊缝图像上的位置与实际位置几乎重合，从而证明采取的融合方法较好。

3 焊接偏差量测定

3.1 焊接偏差量测定原理

从石油化工施工现场调研发现，不管采用坡口机还是人工加工坡口，加工后的焊缝坡口形状多变，宽窄不一。在实际焊接过程中，如果焊枪的摆幅是固定值，则在焊接宽度不一致的焊缝时会出现咬边、成型不良等缺陷。因此，在焊缝跟踪过程中既要保证焊枪位置不偏离焊道，又要使焊枪摆幅适应焊缝宽度变化。目前，焊接偏差测定方法有很多种，包括标定法、帧差法、标记法等，不同方法选择采图点的位置也各不相同，因此对相机帧率和运动控制精度的要求也不相同。本文结合图像采集和焊接工艺要求采取了基准比对法，该方法操作简单，对相机帧率和运动控制精度要求相对较低。

图5所示为焊枪运动轨迹示意图，焊枪在直线导轨驱动下左右摆动。根据焊接工艺要求，焊枪在运动到焊缝两侧边缘时，需停顿300 ms～350 ms以充分熔透管壁，故焊枪在左右摆动方向呈加减速运动状态。为了避免相机在运动状态下采集图像会导致物体存在拖影的现象，利用焊枪在焊缝两侧边缘需停顿的运动特性，将停顿点同时设定为采图点，使采集的熔滴与焊缝轮廓图像较为清晰。为了区分采图点位置，将焊枪运动到焊缝内侧停顿点时标记为采图点1，焊枪运动到焊缝外侧停顿点时标记为采图点2，根据采图点位置计算焊接偏差量。

如图6所示，将熔滴和焊缝信息融合到新的图像像素坐标系下后，可以求解焊缝边缘与熔滴图像中焊丝尖端的位置关系。首先建立焊缝边缘直线方程:

(6)

然后将提取的焊丝尖端设为(x0,y0)，则可根据焊丝尖端距离焊缝边缘直线的距离计算出焊接偏差量。

如图6中第i帧图像所示，当焊枪运动到采图点1位置时，计算出Di和Wi。

则焊枪位置像素偏差量Dp(单位：pixels)为：

Dp=Di-Db1。

(7)

焊枪摆幅像素偏差量Wp(单位：pixels)为：

Wp=Di+Wi-Wb。

(8)

如图6中第j帧图像所示，当焊枪运动到采图点2位置时，计算出Dj和Wj。

则焊枪位置像素偏差量Dp(单位：pixels)为：

Dp=Dj-Db2。

(9)

焊枪摆幅像素偏差量Wp(单位：pixels)为：

Wp=Dj+Wj-Wb。

(10)

由上文可知，标定板的大小为60 mm×60 mm，新图像像素大小为600×600，由此可得：

(11)

因此，可由像素偏差量求出实际偏差量。

焊枪位置偏差量D(单位：mm)为

D=Dp×0.1 mm。

(12)

焊枪摆幅偏差量W(单位：mm)为

W=Wp×0.1 mm。

(13)

3.2 焊丝尖端与焊缝边缘提取

通过分析焊接试验采集的熔滴图像可以发现，由于焊丝的遮挡，熔滴图像出现峰形残缺，该残缺部分即为焊丝轮廓。如图7所示，熔滴图像经校正后，焊丝轮廓特征更加明显，因此可以通过提取熔滴图像中的焊丝尖端来进行焊接偏差量测定。

焊丝尖端提取可以采用凹点区域检测方法[15]，其基本步骤为：首先，提取熔滴的亚像素边缘轮廓，将亚像素轮廓视作多边形，并将轮廓描述为有序的坐标点集；然后，判断坐标点集中各点的凹凸性，将轮廓上所有凹点构成新的多边形，对新的多边形再判断凹点并提取凹点集，经过多次迭代搜索，直到找到焊丝尖端的可疑凹点区域；最后，利用焊丝尖端存在的范围对可疑点区域进行筛选，得到焊丝尖端真实凹点区域，再将凹点区域内的多个凹点进行加权平均，得到最终的焊丝尖端。

判断熔滴亚像素轮廓上点的凹凸性方法如下：按照顺时针方向，将轮廓点集Bk中的点依序描述为{B1,…，Bi,…,BN}，i为轮廓上像素点的索引值。则Bi=(xi,yi)与其前序点Bi-1=(xi-1,yi-1)和后序点Bi+1=(xi+1,yi+1)构成的方向向量分别为vi-1与vi+1(如图8),

根据多边形的凹凸性，在凹点和凸点处存在不同的符号函数sign(Vi),从而利于符号函数判定凹点和凸点,

(15)

Vi=(vi-1×vi+1)·n,i=1,2,…,N。 (16)

其中n为平面法向量。当sign(Vi)=1时，Bi表示多边形的凹点；当sign(Vi)=0时，Bi表示多边形的凸点。从而，熔滴图像上所有点的凹凸性均可根据式(15)判定。例如图8中，在多边形轮廓C1上，Vi=(vi-1×vi+1)·n的值大于0，表示Bi点为凹点；在多边形轮廓C2上，Vi=(vi-1×vi+1)·n的值小于0，表示Bi点为凸点。由图9所示的焊丝尖端提取结果可以看出，利用熔滴轮廓的凹凸性来定位凹点区域，能够得到焊丝尖端的位置，且定位精度较高。

焊缝边缘提取可以采用最小二乘法拟合焊缝边缘采样点，得到焊缝内外侧上边缘直线方程。对于焊缝边缘点采样，可在焊缝图像中设置矩形窗选定目标区域。计算测量区域内垂直于剖面线上单位像素间隔的灰度平均值，代表剖面线上该点的灰度值；为消除干扰，可使用高斯滤波进行光滑处理；光滑处理后对剖面线求导获得极值，导数极值大于零的是灰度值由暗到亮(正向边缘，positive)变化的边缘点，导数极值小于零的是灰度值由亮到暗(负向边缘，negative)变化的边缘点。本文选取正向边缘点作为目标轮廓的边缘采样点。

3.3 焊接偏差量的测定

在采用上述焊接偏差量测定原理和图像处理方法后，可测出焊接过程中焊枪位置偏差量D和焊枪摆幅偏差量W，图像处理结果如图10所示，焊接偏差量测定数值如表1所示。如在第i帧焊接图像中，焊枪位置偏差量为：D=(Di-Db1)×0.1=(34.604-33.781)×0.1=0.082 3 mm，焊枪摆幅偏差量为：W=(Di+Wi-Wb)×0.1=(34.604+105.574-139.722)×0.1=0.045 6 mm。 在第j+n帧图像中，焊枪位置偏差量为：D=(Di-Db2)×0.1=(35.402-37.224)×0.1=-0.182 2 mm，焊枪摆幅偏差量为：W=(Di+Wi-Wb)×0.1=(35.402+102.918-139.722)×0.1=-0.140 2 mm。

表1 焊接偏差量测定数据 pixels

4 试验结果与分析

4.1 焊接试验

本文试验搭建的熔滴—焊缝同步视觉测控系统实物图如图11所示。图中无轨爬行式焊接机器人在厚度为20 mm的钢板上完成焊接试验，V型焊缝上边缘缝宽约为14 mm。左、右相机均采用型号为MV-13MG的华睿相机，其分辨率为1 280×1 024，最高采集帧率为60 fps。运动控制器采用型号为Fx3U-48mr的三菱PLC，通过PLC来控制无轨爬行式焊接机器人的爬行、横摆和焊枪上下，这3个方向的重复定位精度可达0.1 mm。焊接设备采用的是松下YD-350GS气体保护焊机，PLC通过485串行总线协议与焊机通讯实现对焊机电流、电压等参数的控制。

焊接试验材料和工艺参数如表2所示。在表2的焊接参数下，熔滴—焊缝同步视觉测控系统能够实现平板V型焊缝的自主焊接，并且能够根据测定的焊接偏差量实现自动纠偏过程。从图12中可以看出，整体焊接效果较好，焊接表面比较细腻，焊接质量较好。

4.2 焊接精度及误差分析

为了检验熔滴—焊缝同步视觉方法对焊接偏差量测定的精度，本文采用“假说—演绎法”来进行验证。假设将焊接机器人与焊缝摆放成一定的角度，在焊接过程中不对焊接机器人和焊枪做任何纠偏操作，让焊接机器人处于一个自由运动的状态，且焊接机器人受力方向始终沿着焊接机器人前进方向，则自由运动状态下焊接机器人会逐渐向一侧偏移。若焊缝趋近于直线，则可以推断出焊丝尖端同样会向一侧偏移，且偏移方向和焊接机器人偏移方向一致。若焊缝宽度始终保持不变，则焊枪摆幅偏差量趋近于基准值，同时焊接机器人运动到采图点1时测得的焊枪位置偏差量势必与邻近采图点2测得的焊枪位置偏差量在数值上趋近于相等。

表2 MAG电弧摆动焊焊接材料和工艺参数

为验证该假设的成立，设计了满足该假设条件的试验环境，通过实际焊接试验来验证该假设。该试验的焊缝采用刨床加工，刨床加工的焊缝宽度一致且焊缝较直，属于理想的试验环境。在试验之前将焊接机器人与焊缝成3°左右的夹角摆放，且呈逐渐靠近焊缝的趋势。在焊接过程中，将送丝线和其他电线拽向焊接机器人的前进方向，保证受力方向始终沿着焊接机器人的前进方向。图13所示为该环境下不对焊接机器人和焊枪做任何纠偏操作测定的焊接偏差量变化曲线，且该数据是由焊接过程中一段连续的焊接图像处理计算产生的。在图13中虚线表示基准图像中的测定值，带圈实线表示当前图像的测定值。图13a 中Di为焊枪摆动到采图点1时测得的焊枪当前位置，图13b 中Dj为焊枪摆动到采图点2时测得的焊枪当前位置，图13c 中w为焊枪摆动到采图点时测得的焊缝宽度，摆动到采图点1时w=Di+Wi，摆动到采图点2时w=Dj+Wj，单位为pixels。在图13a中，Di的值逐渐变大，而图13b的Dj的值在逐渐变小，这说明焊丝尖端在逐渐向外侧焊缝上边缘靠近，同时也表明焊接机器人逐渐靠近焊缝。这验证了上文自由运动状态下焊丝尖端会随着焊接机器人向同一方向逐渐偏移的推断。

在上述试验环境下，焊枪位置偏差量误差值De(单位：pixels)的计算方法为：

De=|Dp|-|Dp+1|。

(17)

式中：Dp=Di-Db1为焊枪摆动到采图点1时测得的焊枪位置像素偏差量；Dp+1=Dj-Db2为采图点2测得的焊枪位置像素偏差量。从图14a可以看出，De值的波动范围在两个像素范围以内，这验证了上文焊接机器人运动到采图点1时测得的焊枪位置偏差量与邻近采图点2测得的焊枪位置偏差量在数值上趋近于相等的假设。由式(11)可知，1 pixel等于0.1 mm，说明焊枪位置偏差量的测量精度为：-0.2 mm≤De≤0.2 mm。

焊枪摆幅偏差量误差值We(单位：pixels)的计算方法为：

We=w-Wb。

(18)

由于本次焊接试验焊缝的宽度始终保持不变，即理论上w≈Wb，因此，We≈0，则We值的波动范围即为焊枪摆幅偏差量的测量精度。如图14b所示，We值的波动范围在两个像素以内，即焊枪摆幅偏差量的测量精度为：-0.2 mm≤We≤0.2 mm。

5 结束语

本文提出一种熔滴—焊缝同步视觉监测的焊接偏差测定方法，并对该方法从原理到应用进行了详细的研究说明。该方法采用双视觉系统，通过光学设计分别采集到清晰的熔滴和焊缝图像，属于被动视觉传感方法范畴。打破了采集熔滴图像需要专业熔池相机的限制，避免了主动视觉传感方法的超前误差，保留了被动视觉传感方法的焊缝跟踪精度，降低了视觉系统的成本。经试验验证和分析误差数据可以得出结论：该方法在实现上具有可行性，且焊缝跟踪精度较高。在实际工程应用中焊缝的形状复杂多变，后续研究将进一步改进光学成像系统，在焊接形状复杂焊缝时仍能稳定采集到清晰的熔滴和焊缝图像，进一步优化焊丝尖端和焊缝边缘提取算法，以适应多变的焊接环境，满足实际焊接需求。