基于单目主被动视觉结合的焊接偏差检测方法

2021-12-07柯希林王中任刘海生王小刚

激光与红外 2021年11期

柯希林,王中任,刘海生,王小刚

(1.湖北文理学院机械工程学院,湖北襄阳 441053;2.智能制造与机器视觉襄阳市重点实验室,湖北襄阳 441053 )

1 引言

近年来,随着人力成本的不断攀升和机器人焊接技术的快速发展,机器人自动焊接愈发受到现代制造企业的重视。而对管道现场焊接施工,由于人工焊接具有效率低、劳动强度大、质量得不到保证等缺点,管道全位置机器人自动焊已经成为国内外研究人员关注的重点[1-3]。潘际銮等研制的无轨导爬行式焊接机器人采用激光视觉技术自主跟踪焊缝,能够在大型结构件表面爬行并执行全位置焊接操作任务[4]。如何实施精准的焊缝跟踪是爬行式焊接人自动焊接的一个关键技术,其目的是确保焊枪沿着焊缝轨迹中心运动。为了实现焊缝跟踪,机器人焊接研究领域通常采用视觉传感器去获取熔池和焊缝坡口边缘等特征信息来识别焊接偏差[5]。邹勇等[6]基于管道全位置GMAW根焊熔池图像尖端特征,提出了一种通过提出熔池图像焊丝和熔池尖端中心位置像素值,以获得焊接偏差的方法,然而该方法并不适用于厚壁管道填充焊焊接偏差检测,原因是熔池图像无法形成熔池尖端特征。王小刚等[7]提出了一种定位焊枪中心来替代定位焊丝尖端的焊接偏差测定方法,该方法虽能快速测定偏差量,但是算法计算过程过于复杂。

视觉传感器根据是否使用辅助光源,被分为被动视觉和主动视觉两类[8]。被动视觉用相机直接对焊接区域进行拍摄,由于检测目标与焊枪在同一位置,因此不存在主动视觉超前检测误差问题,并且可实时获取电弧、熔池等信息,但是受弧光、飞溅和烟尘等噪声干扰使后续图像处理和信息提取有很大困难。相比于被动视觉,主动视觉技术发展相对成熟,并形成有成熟化产品,激光视觉传感技术可以获取焊缝尺寸和接头信息,但跟踪实时性较低。主动视觉和被动视觉结合的方法充分利用二者的优势并相互弥补,可以获得更多的焊接信息。

本文针对管道全位置机器人自动填充焊,提出了一种基于主被动视觉结合的熔化极气体保护焊(GMAW)焊接偏差检测方法。利用单目视觉图像采集装置,摄取到的焊接图像包含有焊丝、电弧、激光线等信息,其中,焊丝被电弧包围出现在图像上半部分,激光条纹出现在图像下半部分。首先,为避免盲目性图像去噪,采用基于小波域的图像噪声类型识别方法,先对图像进行小波变换得到高频子带系数直方图分析出图像能量分布服从广义高斯分布,接着,运用拉普拉斯高斯(Laplance-of-Gauss,LoG)滤波算法对图像进行去噪；然后,通过图像处理算法分别提取焊丝和坡口中心位置坐标值,获得焊丝与焊缝坡口中心的焊接偏差信息；最后,通过试验验证该偏差检测方法的有效性。

2 焊接偏差测定系统

2.1 试验系统

试验采用自行研制的磁吸式爬行焊接机器人,试验系统如图1所示。该系统由移动焊接机器人、控制系统、焊接系统(包括送丝机及焊接电源)、图像采集系统等组成。图像采集系统包括CMOS摄像机、一字线红光激光器、一套计算机图像采集软件、PC机及复合滤光系统等。CMOS摄像机架设在焊枪行走路径正前方；复合滤光系统由中心波长为(650±5)nm的窄带滤光片、偏振片以及一种特殊制作的调光玻璃组成。如图2所示,所设计的调光玻璃其左半部分和右半部分的透光率分别为100 %和4.4 %。

图1 焊接偏差检测试验系统Fig.1 Welding deviation detection test system

图2 一种特殊设计的调光玻璃Fig.2 A specially designed dimmer glass

2.2 目标成像模型与偏差测定原理

图3为目标成像模型,相机倾斜拍摄,激光器安装方向与焊枪平行,激光器与相机光轴之间夹角为30°。同一帧焊接图像中包含了焊丝尖端位置的电弧区域和投射到焊缝区域上的激光条纹。

图3 目标成像模型Fig.3 Model of target image

图4为偏差测定原理示意图,通过图像处理分别计算出坡口中心线与焊丝中心线沿x轴方向的距离Δx作为焊枪纠偏量。

图4 焊接偏差示意Fig.4 Principle diagram of weld deviation

图4中a、b、c为坡口特征点,记焊缝坡口中心坐标点列像素值为x1,x1值可由公式(1)得出:

(1)

若焊丝末端中心点列像素值记为x2,则通过比较x1、x2像素值大小可以确定焊接偏差量大小和方向,焊接偏差量由公式(2)计算得出:

Δx=|x1-x2|

(2)

3 图像分析与处理

3.1 焊接图像分析

试验采集的焊接图像见图5,图5具有如下特征:①同一帧图像中包含有电弧、焊丝末端、激光条纹等关键信息,焊丝末端被电弧包围；②图像受到多种污染,污染源包括电弧区飞出的飞溅和弥漫烟尘；③激光线亮度较高,并能反映出坡口截面信息；④图像上半部分灰度值最大区域集中在电弧区,便于快速检测。

图5 焊接图像Fig.5 Weld image

为了能简单、快速地检测焊接偏差,文中设计了如图6为焊接偏差测定流程。在图6所示的流程中,图像噪声识别最为关键,它能有助于对图像噪声类型客观描述,减少了图像去噪过程的盲目性。文中采用基于小波域分解的图像噪声识别方法,该方法利用了图像经小波变换后的高频子带的HH系数不仅能反映高斯噪声类型的大小,而且能反映出图像受干扰噪声的类型这一特点,为后续滤波算法选择提供指导。

图6 焊接偏差测定流程Fig.6 Process of weld deviation detecting

3.2 选取ROI

ROI(Region of Interset),即感兴趣区域。在图像处理过程中,对图像ROI进行处理,不仅会减少图像处理的数据量,提高处理速度,还可以去除ROI以外的干扰。由于CMOS摄相机、激光器、焊枪三者的相对位置是固定的,并随焊枪一起沿管道轴线方向做横摆运动,所以激光线和焊丝总是出现在焊接图像中固定位置,且焊丝燃烧时电弧位置在图像中也是相对固定的。根据条纹和焊丝尖端焊接图像中的位置,分别在图像中设置了两个ROI框,如图7所示。 ROI框的大小和位置可能不同,可在视觉图像处理系统软件界面上预先设置。

图7 焊接图像中选取的ROIFig.7 ROI selected in weld image

3.3 图像去噪

由于焊接过程伴随的大量飞溅、弧光及烟尘等干扰,导致图像变模糊。图像去噪的目的就是设计出合适的滤波器以降低图像噪声干扰。利用小波变换的特点分析图像的噪声是一种较好的方法[9]。根据已有研究,模糊图像经小波变换后,高频子带系数会随噪声类型的不同而变化。另外,焊接过程中产生的图像噪声主要分为高斯噪声和椒盐噪声,因此,可通过观察图像的高频子带系数直方图确定出噪声类型。通过观察图8可以确定焊接图像主要受高斯噪声影响。

LoG算子即拉普拉斯高斯算子,它对图像的处理过程包含两个环节:先用高斯函数对图像进行低通滤波,抑制噪声干扰,然后进行拉普拉斯算子二阶微分运算。由于灰度图是二维函数,这一过程的表达式如下所示:

I(x,y)=f(x,y)*2Gσ(x,y)

(3)

式中,I(x,y)为滤波后图像;f(x,y)为输入图像;σ代表高斯分布的标准差,2Gσ(x,y)为LoG滤波器,其计算表达式为:

(4)

图8 小波变换后能量分布直方图Fig.8 Energy distribution histogram after wavelet transform

LoG算子滤波除了能对图像进行平滑处理,抑制高斯噪声外,还有一个特点就是当尺度与高斯目标的尺度相等时,响应值最大,因此LoG滤波适合目标宽度恒定的图像滤波处理。从ROI1区域图像可看出,熔化的焊丝末端被电弧包围且宽度一致,利用LoG算子对ROI1区域图像滤波处理,焊丝末端位置出现亮斑区域,该区域即为响应最大位置,图9为σ=3时,ROI1区域图像的滤波处理效果图。同样,利用激光条纹宽度基本一致的特性,使用LoG算子对ROI2区域图像的滤波处理,图10为σ=10时,对ROI2区域图像滤波处理后效果图。可明显看出,焊丝末端位置和激光条纹均在图像中凸显出来。

图9 ROI1去噪结果Fig.9 Denoising result of ROI1

图10 ROI2去噪结果Fig.10 Denoising result of ROI2

3.4 焊丝尖端位置检测

为确定焊丝中心线位置，先对滤波处理后的ROI1区域图像采用OTSU算法[10]将亮斑区域从背景图像中分割出，然后直接计算出的区域中心点位置作为焊丝尖端中心点坐标,图11为焊丝尖端位置的检测结果,图11中“×”标志处为焊丝尖端中线点坐标。

图11 焊丝尖端位置检测结果Fig.11 Result of ROI1 in welding image processed

3.5 焊缝特征点提取

对于滤波处理后的ROI2图像区域,利用激光条纹的高斯特性,采用了高斯拟合法提取激光条纹中心点。高斯拟合法提取激光条纹中心主要是利用激光条纹光强分布近似服从高斯分布的特性，在激光条纹法线方向拟合高斯曲线，求出极值点位置作为条纹中心[11],图12为激光条纹中心线提取结果。

图12 激光条纹中心线Fig.12 Laser stripe centerline

接着,运用加权最小二乘法拟合出4条直线(分别为左水平线L1、左斜线L2、右斜线L3和右水平线L4),最后求取拟合直线的交点。直线拟合结果如图13所示,图13中做了标记的两点p1、p2为即为检测所得的焊缝特征点。

图13 直线拟合结果Fig.13 Result of lines fitting

4 试验结果与分析

4.1 试验条件

本文试验搭建的爬行式管道焊接机器人系统实物图如图14所示。管道焊接机器人可以吸附在管道上爬行,试验所用钢管材质为45号碳钢,规格为φ400 mm×20 mm,坡口形式为V形,坡口角度为60°。采用的工业相机的分辨率为1280×1024,最高采集帧率为30 fps；线激光器选择弧光较弱的660 nm波长,功率为16 mW,激光线距离焊枪尖端25 mm。