管道焊接激光视觉跟踪的定位方法研究

甘文龙,罗会信,王中任

(1.武汉科技大学机械自动化学院,湖北 武汉 430081；2.湖北文理学院机械与汽车工程学院,湖北 襄阳 441053)

1 引 言

随着现代工业的发展,自动化焊接技术在船体、石化管道、航空等领域的应用越来越广泛。在石化施工行业,由于大直径厚壁管对接焊工作量大且质量要求高,因此管道全位置自动焊成为国内外的研究热点,而对焊缝的识别以及精确定位是实现自动焊接过程的关键问题之一。因此,研究一种针对厚壁管道的焊缝区域位置精确定位具有重要意义[1-3]。

从国内外的文献来看[4-8],在管道焊接自动化的过程中对焊缝区域的定位、识别主要是通过在焊接过程中加入各类型传感器,例如电弧传感器、电磁传感器、超声波传感器等[5]。近年来,随着视觉技术的发展,视觉传感系统由于其丰富的视觉信息、非接触、测量精度高等优点被广泛用于焊接跟踪中。黎咸西等人[6]通过分析非规则焊缝坡口中心线的点坐标找出特征信息。霍平等[7]研究一种基于结构光的V型焊缝实时图像处理方法,该方法首先对图像进行阈值处理和边缘检测,基于斜率分析和最小二乘法相结合的检测方法获取图像的特征信息。但是该方法定位的特征点坐标精度不高,难以满足高精度的焊接要求。杨雪君等[8]也对结构光的V型坡口焊缝特征点的识别定位做了相关研究,通过模板匹配的方法提取焊缝的初始位置,然后采用分离像素法对激光条纹分成多个区域,分别拟合直线相交定位特征点。该方法提取的特征点位置坐标精度上可以满足使用要求,但是在分区域拟合直线时是靠经验划分,鲁棒性不是很强。

在实际的焊接工业环境中,焊缝图像的获得一般有主动视觉传感和被动视觉传感两大类[9-10]。主动视觉是通过外加光源照明,并附加组合滤光系统来获得焊缝图像,较被动视觉方式有更高测量精度和抗干扰性。基于此,本文提出一种以直线激光为外加光源,CCD摄像机为图像提取工具、以视觉处理系统为内核,基于几何形状的模板匹配技术实现对焊缝图像的初步识定位,然后通过角点检测的方式精确定位焊缝特征点。

2 激光视觉传感系统

采用自主研发的激光视觉传感器系统结构如图1(a)所示,该系统由三部分构成:视觉传感系统、爬行焊接机器人系统及主控一体机。其中视觉传感系统由一个数字摄像机和“一字”线激光发射器组成。本实验选用的是型号为acA640-90 gm-Basler ace的CCD摄像机,激光器中心波长为664 nm,功率为200 mW。摄像机安装于焊枪前方60 mm处,为了保证焊缝图像能较好地反映焊枪与焊缝的偏差情况,采用摄像机的光轴与管道的径向方向一致,也就是垂直于管道平面,激光发射器以一定的角度斜射在焊缝坡口上,确保摄像机可以捕获激光条纹。线激光发射器射出特定频率激光条纹打在工件表面并由工件表面特征调制成特定形状的激光条纹,如图1(b)所示。为了满足焊接工艺,保证焊接质量,厚管道焊接母材对接时必须有一定的间隙,这样可以保证焊接过程中熔透,故激光打在坡口上在根部会有两个特征点c、d。CCD摄像机用于拍摄包含激光条纹的图像传输到主控计算机,计算机通过一定的图像处理算法获得所需的焊缝特征点的图像坐标以及对机器人状态的读取,得出实际焊枪与焊缝的偏差,送给控制系统处理,最后由执行机构完成自动纠偏。

图1 激光视觉传感器和V型坡口的示意图

3 焊缝初始位置区域的定位

3.1 模板匹配提取焊缝初始位置

在实际现场焊接过程中,由于外部焊接环境的强烈弧光以及坡口的不规则性对坡口条纹产生的反射等因素的影响,对CCD摄像机在图像的获取和传输中会引入大量的噪声,这些干扰会对后续的焊缝识别定位产生不利影响,如图2(a)所示。焊接过程产生的主要是离散的噪声以及脉冲噪声等尖波干扰,通过实际分析采用中值滤波进行去噪处理[11],中值滤波是一种典型的非线性滤波方式,其基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值,可以有效地去除脉冲噪声、椒盐噪声的同时又能保留图像的边缘细节。在镜头前面放置线偏振镜,可以弱化反光的影响,综合处理得到的图像如图2(b)所示。

图2 图像对比

为了准确地识别、定位焊缝区域,本文采用基于模板匹配的方式对焊接中焊缝位置的识别。在进行模板匹配时,合适的模板选取决定着匹配精度和速度。根据激光条纹与背景区域的较大差异性选取模板图像如图3(a)所示,该区域只占原始图像面积的9.12%,可以将计算时间缩小,去除干扰。模板匹配[12]的原理是:通过模板中每个点的灰度值与模板区域移动在图像中灰度值的差值,使用归一化相关系数(NCC)相似度量来决定相似程度,即:

(1)

图3 模板匹配及阈值分割

3.2 图像阈值分割

图像由具有不同灰度集合的目标区域与背景区域组成。采用图像阈值分割的目的主要就是为了分离出背景图像(黑色)与前景图像(结构光白色),分离后针对前景图像进行系列处理获得需要的特征点。激光条纹和背景图像之间的灰度值差别较大,本文采用Otsu自适应阈值方法分割出合适的阈值,即:

(2)

式中,g(x,y)为处理后图像在点(x,y)处的灰度值；f(x,y)为原始图像的灰度值；其中T为Otsu算法分割获取的最佳分割阈值。阈值处理后结果如图3(c)所示,在阈值处理后,图像中的激光条纹区域的信息被保留下来,而无关的背景区域被很大程度的去掉。

4 焊缝特征信息提取

4.1 激光条纹边界角点检测

本文采用Shi-Tomasi角点检测法确定条纹边界线,即由阈值处理首先得到激光条纹的二值化图像；再通过边缘检测来得到边缘,如图4所示。

图4 边缘检测

边缘检测后的激光条纹的上下边界比较“平齐”,放大的局部如图中的1、2、3段所示,表现为典型的L型角点；对边缘线进行亚像素角点检测得到角点坐标。角点检测作为图像处理中的重要一步,其检测的提取方法分为两类:一是寻找图像中最大的曲率点或图像中曲率变化大的点；二是基于计算灰度图像的灰度分布来得到最大变化灰度强度值来定义为角点[13]。Shi-Tomasi检测算法工作原理是计算图像像素所在位置的梯度。以一阶导数作为像素所在位置的梯度计算,假设该像素位置的一阶导数为局部区域最大值,且在水平方向和竖直方向上均有变化,即在2个方向的梯度局部最大,则认为该像素位置为角点。设灰度图像I在点(x,y)处的灰度值为I(x,y),以该点为中心建立一个w×w的窗口,将窗口在图像上移动(Δx,Δy),计算图像中的灰度变化E。局部图像的灰度变化程度用近似的互相关函数E(x,y)表示,公式如下:

(3)

由于角点是灰度值变化最大的点,因此需要求得E(Δx,Δy)的最大值,对其进行泰勒展开:

(4)

Ix=I⊗[-1,0,1]=∂I/∂x

Iy=I⊗[-1,0,1]T=∂I/∂y

(5)

w(x,y)=g(x,y,σ)

其中,Ix和Iy为灰度图像在x和y方向的偏导数；符号⊗表示卷积；w(x,y)为高斯滤波器。定义一个2×2的矩阵T:

(6)

因此,E(Δx,Δy)可以表达为矩阵形式:

(7)

设α、β为矩阵T的两个特征值,通过特征值可以将图像区域分为三类[14],如图5所示。

(1)平滑区域:α≈0且β≈0,两个特征值都很小,因此在任何方向的强度变化都可以忽略不计；

(2)边缘区域:α≫β或β≫α,两个特征值之间的差异很大,意味着在一个方向强度显著变化；

(3)角点区域:α≈β,αβ≫0,意味着在各个方向的强度变化很大,表现出特征点性质,即角点。

定义R为两个特征值中的最小值:

R=min(α,β)

(8)

Shi-Tomasi算法将R值与预先设置的阈值进行比较,若R大于最小阈值,即β≥α且α≥kλmax,其中k为错误角点响应抑制常数,通常取0.04(Harris and Stephens,1988),λmax为图像中任意像素点较小特征值中的最大值,则判定此像素点为强角点。

图5 特征值分布

4.2 角点亚像素提取

采用Shi-Tomasi角点检测算法得到角点位置后,为了提取更精确的角点位置,需要计算亚像素的角点位置,其原理如图6(a)所示,基于向量正交法的亚像素角点定位。假设点p为像素角点,真实角点位于q,DIpi表示在q的一个邻域点pi处的图像梯度,该梯度向量与由q点和pi点组成的向量正交,由于图像像素的离散化,以误差ε表示两者的正交程度,即:εi=DIpi·(q-pi),因此,计算角点亚像素位置坐标即对以下函数求最小值:

(9)

对f 求偏导,通过将εi设为0建立系统方程如下:

(10)

(11)

计算得到q的解即为精确的角点位置。求得激光条纹边界线的角点亚像素位置及坐标如图6(c)所示。

图6 中心线及特征点提取

4.3 直线拟合及焊缝特征信息提取

本文采用中值法,以提取的边界亚像素精确角点坐标作为输入点,拟合直线,拟合方程为:

y=a0+a1x

(12)

(13)

令得到的上下边界直线方程为:

(14)

联立得到激光中心线方程为y=((k1+k2)/2)x+((b1+b2)/2),提取的中心线如图6(b)所示。以L1、L2的交点作为左焊缝的特征点坐标,L3、L4的交点作为右焊缝的特征点坐标,再以这两点作为基准取平均得到焊缝中心位置坐标P(x0,y0)。

5 实验结果与分析

为了验证提出的算法准确性与稳定性,搭建实验平台。实验所用焊接母材管道规格为Φ625×25,焊接接口坡口角度为30°,形成坡口宽度为18 mm。保证焊缝图像在摄像机视野范围内的前提下,对摄像机在同一高度下拍摄焊缝中心不同像素位置(250～450像素)的50幅图像进行检测,选取随机的5张图片将检测得到的结果坐标与人工判断的特征点坐标进行比较,得到的对比如表1所示。由表中可以看出,识别算法有较高的精度。

表1 特征点误差分析

根据拍摄的50幅图像,计算识别特征点的定位误差,得到如图7所示。打在焊材表面的特征点,即左、右坡口的提取平均误差在0.4个像素以内；打在坡口上的特征点,即左、右焊缝的提取在0.6个像素以内,其主要原因是坡口的不规则以及反光带来的精度下降,整体的平均误差在0.5个像素以内,结果证明有较高的定位精度。

图7 特征点提取误差

6 结 语

本文利用自主设计的激光视觉传感系统研究了对管道V型坡口焊缝的识别与精确定位,简单快速且定位精度高。采用模板匹配方法,基于相关性系数比较来实现目标区域的初步定位,能够准确获取焊缝初始区域位置；然后采用Shi-Tomasi算法对初步定位区域实现对特征点的精确定位。通过实验对焊接现场的50幅图像进行检测,识别定位的特征点坐标具有较高的精度为后续的实现自动跟踪焊接奠定了基础。

参考文献:

[1] U Reisgen,M Purrio,G Buchholz,et al.Machine vision system for online weld pool observation of gas metal arc welding processes[J].Weld World,2014,58(5):707-711.

[2] SUN Nongliang,CUI Hongxing,LIANG Shaohua,et al.Method for initial point positioning of micro butt welding seam[J].Optics and Precision Engineering,2017,25(3):765-771.(in Chinese)

孙农亮,崔红星,梁少华,等.微细对接焊缝初始点定位方法[J].光学 精密工程,2017,25(3):765-771.

[3] Haiyong Chen,KunLiu,GuanshengXing,et al.A robust visual servo control system for narrow seam double head welding robot[J].Int J Adv Manuf Technol,2014,71:1849-1860.

[4] Shi YH,Yoo WS,Na SJ.Mathematical modeling of rotational arc sensor in GMAW and its applications to seam tracking and endpoint detection[J].Sci Technol Weld Joining,2006,(11):723-730.

[5] Xu Y L,Zhong J Y,Ding M Y,et al.Chen SB(2013)The acquisition and processing of real-time information for height tracking of robotic GTAW process by arc sensor[J].Int J Adv Manuf Technol,2013,65:1031-1043.

[6] LI Xianxi,XIONG Zhenyu.Idetification of Image characters for multi-pass welding seam based on vision sensing[J].Journal of Nanchang Hangkong University:Natural Sciences,2011,(1):53-57.(in Chinese)

黎咸西,熊震宇.基于视觉传感的多层多道焊缝图像特征的识别[J].南昌航空大学学报:自然科学版,2011,(1):53-57.

[7] HUO Ping,LI Junmeng,ZENG Hanlin,et al.The real-time image processing V-shaped seam method based on a structure light[J].Electric Welding Machine,2014,44(12):55-60.(in Chinese)

霍平,李军萌,曾翰林,等.一种基于结构光的V型焊缝实时图像处理方法[J].电焊机,2014,44(12):55-60.

[8] YANG Xuejun,XUYanling,HUANGSeji,et al.A recognition algorithm for feature point of V-Groove welds based on structured light[J].Journal of Shanghai JiaoTong University,2016,50(10):1573-1576.(in Chinese)

杨雪君,许燕玲,黄色吉,等.一种基于结构光的V型坡口焊缝特征点识别算法[J].上海交通大学学报,2016,50(10):1573-1576.

[9] Wei Huang,RadovanKovacevic.A Laser-Based Vision System for Weld Quality Inspection[J].Sensors 2011,11,506-521.

[10] Xuewu Wang.Three-dimensional vision-based sensing of GTAW:areview[J].Int J Adv Manuf Technol,2014,72:333-345.

[12] Khalid M Hosny.Robust template matching using orthogonal legendre moment invariants[J].Journal of Computer Science,2010,6(10):1083-1087.

[13] ZHU Lijuan.Novel corner detection algorithm incorporating bilateral kernel function[J].Laser & Infrared,2013,43(5):569-572.(in Chinese)

朱丽娟.一种双边核函数的新Harris角点检测算法[J].激光与红外,2013,43(5):569-572.

[14] ZOU Zhiyuan,AN Bowen,CAO Fang,etal.Adaptive corner point detection of infrared images[J].Laser & Infrared,2015,45(10):1272-1276.(in Chinese)

邹志远,安博文,曹芳,等.一种自适应红外图像角点检测算法[J].激光与红外,2015,45(10):1272-1276.