基于视觉传感的CO2焊焊接偏差识别*

郭波　石永华

(华南理工大学 机械与汽车工程学院，广东 广州 510640)



基于视觉传感的CO2焊焊接偏差识别*

郭波石永华†

(华南理工大学 机械与汽车工程学院，广东 广州 510640)

高质量焊接图像的获取和焊接偏差信息的获取是焊接偏差检测中的两个重要步骤.文中在对CO2焊的成像特征进行分析的基础上，采用宽动态范围相机采集清晰和稳定的CO2焊实时图像，并根据焊接图像的特点，开发了一种改进的Canny算法来获得边缘信息，结合Hough变换和先验知识提取出坡口边缘；为了拟合出熔池边缘，提出一种基于条件约束的差分进化(Differential Evolution,DE)椭圆识别算法；在此基础上计算得到焊接偏差；并通过试验对焊接偏差识别算法的鲁棒性和精确性进行验证.结果表明：文中提出的算法可满足焊缝跟踪和焊接自动化的要求.

视觉传感；CO2焊；焊接偏差识别；DE算法；改进的Canny算法

焊接过程中的偏差识别是实现焊接自动化的前提.根据获取焊接偏差的传感器类型，焊接偏差识别方式可分为电弧传感式、视觉传感式、声学传感式和温度传感式等.其中，由于视觉传感方式具有结构简单、信息量丰富、精度高、抗干扰能力强等优点，成为焊接偏差识别广泛采用的方式.目前，视觉传感方式主要包括结构光视觉传感方式和直接拍摄视觉传感方式.结构光视觉传感方式在技术方面已相对成熟，并形成了商业化的产品.但由于结构光投射的位置需与电弧区保持一定距离，无法保证焊缝偏差识别的实时性；另外，该方式仅得到坡口的信息，而不能同时获取电弧和熔池的信息.直接拍摄视觉传感方式用相机直接对焊接区域进行拍摄，可实时获取电弧、熔池和坡口等信息，是近年来焊接自动化领域研究的热点.为了降低强烈的电弧光对成像的影响，众多学者采用在普通相机前添加滤光片的方式来获取焊接图像.针对非熔化极和熔化极气体保护焊，文献[1-3]和文献[4-6]分别采用该方式采集到焊接图像并对焊缝偏差识别算法进行了相关研究.然而由于焊接图像中焊丝、电弧、熔池、坡口等有用的信息分布在光谱的各个波段，当使用滤光片滤除某个波段范围内弧光时，虽然减弱了弧光对成像的干扰，但同时也丢失了一些有用的图像信息，使得图像质量下降、边缘变得模糊，从而影响到偏差识别的精度.

针对目前直接拍摄视觉传感方式存在的弊端，文中不使用任何结构光源或滤光片，仅用宽动态范围相机实时采集到较清晰的CO2焊焊接图像.在此基础上开发了一系列图像处理算法提取坡口中心线与熔池前端中心后得到焊缝偏差.

1　焊接图像的特征分析

为了提高焊接偏差识别的实时性，相机采集焊接图像时应尽量靠近电弧.然而，取像位置离电弧越近，强烈的电弧光会使相机感光芯片的像元饱和，导致采集的焊接图像丢失关键信息.为了避免上述现象，文中采用由对数特性感光芯片构成的宽动态范围工业相机作为视觉传感器[7]，采集的焊接图像见图1.图1具有如下特征：①同时获取了熔池、坡口边缘等关键信息，坡口边缘和熔池的轮廓较明显；②图像受到多种污染，污染源包括从焊接区飞出的飞溅、弥漫在电弧区周围的烟尘和短路过渡过程电磁干扰导致的横向条纹；③灰度分布有一定的特点，图像中灰度值较大的区域集中分布在电弧区.

图1　焊接图像

2　焊接图像预处理

2.1去除飞溅

图像中大量飞溅的存在严重影响ROI(Region of Interest)提取的准确性.由于在焊接图像A(见图2(a))中飞溅的主要表现形式是小颗粒状，构造半径为8像素的圆形结构元素B1，对采集的焊接图像A进行形态学腐蚀，表示为AΘB1={z|(B1)Z⊆A}.腐蚀后的图像作为标记，焊接图像A作为模板，用快速混合重建算法对图像重建后[8]，结果如图2(b)所示.可见，多数飞溅已被滤除.

图2　去除飞溅

2.2选取ROI

为了减少运算量、缩短运算时间和提高实时性，在进行焊接偏差识别前，往往先截取包含关键信息的尺寸较小的图像作为ROI.由于文中试验系统相机与焊枪位置固定，故选取长宽为90像素的方形区域作为ROI.图2(b)虚线框内的区域即为选取的ROI.

3　识别坡口边缘

焊接图像中坡口边缘和熔池边缘往往被弥漫的烟尘覆盖，表现为弱边缘.Canny算法是功能优异的弱边缘检测算法[9].然而，传统Canny算法在用于CO2焊焊接图像边缘检测时，存在如下弊端：①由于图像中干扰横条纹宽窄不一，很难用图像处理的方法滤除，在用传统Canny算法识别边缘信息时，获取的边缘信息往往包括大量的无用横条纹边缘；②传统Canny算法为了保证边缘的连续性，用双阈值的方法连接边缘.但处理文中焊接图像时，识别出大量的伪边缘，包括未滤除的飞溅、熔池周围的伪边缘和弥漫的条状烟尘等.传统 Canny算法对ROI处理后结果如图3所示.

图3　传统Canny算法的处理结果

针对传统 Canny算法处理文中焊接图像的弊端，提出一种改进的Canny算法.

构造一维高斯滤波内核函数：

(1)

对G(x)归一化到[0，1]范围内，然后分别在x和y方向对图4(a)进行一维高斯平滑滤波，得到D1和D2.两个方向上的梯度幅值分别为

(2)

(3)

将dx和dy的最大值和最小值分别映射为最大灰度值255和最小灰度值0，中间的值映射为255和0之间的灰度值，y方向幅值灰度图如图4(b)所示.用单阈值仅对y方向梯度幅值进行非极大值抑制，y方向梯度幅值仅用于计算梯度方向，从而得到边缘信息，如图4(c)所示.

在改进的Canny算法检测边缘之后，需使用边缘连接算法连接真实坡口边缘.文中选用基于图像全局特性的Hough变换连接边缘.经过Hough变换后，计算出参数空间的峰值点，即对应原图像空间的直线段.根据坡口两边缘线近似平行且距离较大的先验知识，识别出坡口两边缘线，如图4(d)中的两虚线线段.图4(e)为所识别的坡口边缘在ROI上标示，可见坡口边缘识别较准确.

图4识别坡口边缘的图像处理顺序图

Fig.4Procedure diagram of image processing for detecting groove edge

4　识别熔池边缘

由改进的Canny算法得到的边缘二值图像(见图4(c))中包括坡口边缘、熔池边缘、焊丝边缘和电弧边缘.虽然已提取坡口边缘，但在其余的边缘信息中直接识别出熔池边缘，依然存在困难.在图4(a)中，灰度值较大的区域集中分布在电弧区.焊丝的熔化端被电弧包围，与电弧区具有衔接特性.根据该衔接特性，首先分割出电弧区和焊丝区，与已提取的坡口边缘组合成掩模图像，然后用边缘二值图像与该掩模图像相减，最后得到熔池边缘二值图像.在此基础上进行小面积区域滤除，得到非连续的熔池边缘.依据熔池前端的外形类似椭圆的特点，提出一种基于条件约束的差分进化(Differential Evolution，DE)算法拟合出熔池前端边缘.

4.1生成掩模图像

为了准确地拟合出熔池前端边缘，应尽可能在边缘二值图像中滤除熔池边缘之外的信息.掩模图像包含了边缘二值图像中熔池、焊丝和坡口的边缘.掩模图像生成步骤如下：

(1)由于试验系统没有使用任何外部光源，仅靠电弧光照亮视场，焊接图像灰度值较大的区域集中在电弧区.通过ROI的灰度直方图统计所有灰度值的概率，选取统计值大于90%的像素灰度值作为阈值，分割出电弧区，如图5(a)所示.

(2)CO2焊属于熔化极气体保护焊[10]，熔化的焊丝末端被电弧包围.求取电弧区域顶端在同一行中距离最大的两个内边缘点，如图5(b)中红色星号所示.根据上文Hough变换求出的坡口边缘角度，以这两个点为起点确定线段，直到达到图像顶端，如图5(c)所示.对其进行填充操作，得到图5(d).添加已识别的坡口边缘后，如图5(e)所示.为了尽可能地使掩模图像包含除熔池边缘之外的信息，把图4(c)与图5(d)的八连通部分也添加到掩模图像中，图5(f)即为生成的掩模图像.

4.2拟合熔池边缘

改进的Canny算法得到的边缘二值图像(图6(a))减去掩模图像(图6(b))，得到熔池边缘二值图像(图6(c)).对图6(c)进行区域面积滤除，得到熔池边缘图像(图6(d)).可见熔池边缘既不闭合也不连续，这给焊接偏差识别时获取熔池前端中心造成了困难.大量有关CO2焊熔池的研究表明[11-12]，熔池前端外形具有明显的椭圆特性.利用检测椭圆的图像处理算法拟合出熔池边缘是一种可行的方法.DE算法 根据种群个体之间的差异进行随机搜索寻优，是一种新兴的进化计算技术[13-14].在医学图像处理领域，文献[15]根据白细胞具有类似椭圆的特点，采用一种DE椭圆识别算法拟合出白细胞的边缘.本研究在此基础上进行改进，提出一种基于条件约束的DE椭圆识别算法，用于拟合不连续的熔池边缘.具体步骤如下：

图5　生成掩模图像的图像处理顺序图

(1)根据先验知识确定两个已知点作为条件约束

正如两点确定一条直线，5点可确定一个椭圆.在图6(d)中，熔池边缘由4个不连续的边缘线段组成，图像下部两个边缘线段的顶端包含了少部分焊缝边缘，而图像上部两个边缘线段包含了真实的熔池边缘.为了避免拟合后的椭圆形熔池边缘受到少部分焊缝边缘的影响，文中通过搜索算法找出图像上部的两个边缘线段的末端作为已知的两个椭圆拟合点P4、P5(如图6(d)红色星号)，以此作为DE算法寻优迭代的约束条件.

(2)初始化其他3个未知点的种群

图6(d)中的边缘为单像素边缘.获取边缘的总像素数，以总像素数作为初始化种群的上限Vmax，1作为初始化种群的下限Vmin.N为种群个体的数量，Storn 等[13]指出N的大小合适范围位于5D和10D(D为未知点的个数，即为3)之间，文中选N为20，t为迭代次数，初始化种群表示如下：

xi，t=Vmin+rand(0，1)(Vmax-Vmin)

(4)

其中，i=1，2，…，N.

当初次迭代次数t=0时得到个体

(5)

其中：i=1，2，…，N.

(3)评价函数值

求出5点确定的单像素椭圆与图6(d)中的边缘之间的公共像素M，M与Vmax的比值作为个体评价函数值.

(4)变异操作

为保证所拟合的熔池边缘的精度，文中选择变异算子：

Vi，t=Xi，t+F[(Xbest，t-Xi，t)+(Xr1，t-Xr2，t)]

(6)

其中：r1，r2∈{1，2，…，20}，是互不相等的随机数，且不等于当前个体序号i；Xbest，t为当前(第t次迭代)种群的最优个体；Xi，t是当前(第t次迭代)种群的序号为i的个体；变异步长F选为0.8.

(5)交叉、选择操作

交叉操作的方式采用Binomial方式[14].选择操作过程如下：如果试验个体的评价函数值优于与之相比较的个体评价函数值，则在下一次迭代中用试验个体作为最优个体，否则当前最优个体保持不变.

(6)终止条件

由于熔池的前端外形仅类似椭圆，并不是规则的椭圆，故选择评价函数值达到0.6时，DE算法终止.

(7)拟合出熔池边界

在图6(e)中，原熔池边缘用褐色线标示，DE算法得出的最优3点用黄色星号标示，拟合出熔池前端椭圆边界用绿线标示.图6(f)为所拟合的椭圆熔池边缘在ROI上的标示，可见其与实际边界基本吻合.

图6　拟合熔池边缘的图像处理顺序图

5　计算焊接偏差

首先求取坡口两边缘线的中心线段(见图7绿色虚线)；然后求取椭圆的中心点(见图7蓝色星号)，过该点做与坡口中心线平行的虚线段(见图7中红色虚线段).最后求取红绿两虚线段在x方向差值的绝对值，即为所求焊接偏差(如图7圆形放大区所示).

图7焊接偏差

Fig.7Welddeviation

6　试验

焊接过程是多因素耦合的非线性过程[16]，通过试验对提出的识别算法的鲁棒性和精确性进行验证.

6.1试验系统

试验系统主要由视觉传感部分、PC机、焊接系统和运动执行机构组成，系统结构图如图8所示.视觉传感部分由NITMC1104宽动态范围相机、长焦距镜头和保护玻璃片组成.为了在同一帧图像中同时获取熔池和坡口边缘信息，相机与焊枪安装在机械手末端；焊枪垂直于水平放置的待焊工件；相机与待焊工件平面呈60°夹角，如图9所示.焊接系统由PanasonicYD-400GE焊机、焊枪、气瓶及配套的送丝机组成.为了减少飞溅量，试验系统使用药芯焊丝.焊接参数见表1.焊枪运动执行机构采用ABB公司的IRB140六轴机械手.

图8系统结构图

Fig.8Schematicdiagramofexperimentalsystem

图9　试验现场图

6.2试验方案

试验焊缝长度约为20cm，带有坡口斜面的两工件用夹具固定，以减小焊接过程中热变形.

试验中对机械手进行示教，使其末端焊枪首先在焊接起的始位置处沿坡口中心进行焊接，然后逐渐偏离坡口中心，在焊接结束位置设置沿焊接方向的右侧偏离坡口中心1mm，即焊枪沿逐渐偏离坡口中心的斜线运动.

示教完毕后，焊枪的运行轨迹记录在机械手控制器内.由于文中算法每帧图像的处理耗时在180ms内，考虑到焊缝偏差识别实时性的要求，宽动态范围每秒采集并处理5帧图像.在待焊工件的表面放置棋盘格标定板(方格大小为2mm×2mm)，使用Matlab标定工具箱对相机进行标定[17]，获得相机的内外参数.虽然相机与焊件呈一定的角度，但是由于ROI区域尺寸较小，每个方格所包含的像素数几乎一致，约为40像素，故图像的物理分辨率为0.05mm/像素.

焊接系统起弧焊接的同时，宽动态范围相机开始采集图像，机械手根据示教的轨迹启动运行.焊后的焊件如图10所示.

图10焊件

Fig.10Weldment

6.3焊接偏差识别算法的鲁棒性

为了验证焊接偏差识别算法的鲁棒性，选取污染较为严重的4帧图像进行处理.图11(a)为熔池前端有飞溅飞出的图像；图11(b)和图11(d)为烟尘弥漫较严重的图像；图11(c)为熔池附近存在严重电磁干扰横条纹的图像；图11(d)是焊接偏差较大的图像.图11(a)、(b)中，焊接偏差被圆形放大区域放大，右下端的图像为选取ROI后的熔池边缘识别图像.由图可见，坡口边缘均能被提取，最后焊接偏差亦均能被有效识别.

图11　试验图像的焊接偏差识别

6.4焊接偏差识别算法的精确性

焊接偏差的识别精确性是文中算法能否应用于焊缝跟踪和焊接机器人的关键.由于所使用的机械手示教重复精度(±0.03mm)可忽略不计，所以试验所得的识别精度可认为是文中算法的精度.试验共采集并处理200帧焊接图像，焊接偏差精度结果如图12所示.由图12可见，算法识别偏差均在包络线范围内，故文中算法的识别精度为±0.3mm，完全能够满足焊接过程中焊缝跟踪的要求.

图12焊接偏差识别算法的精度

Fig.12Precisionoftheweldingdeviationdetectionalgorithm

7　结语

本研究首先针对现有直接拍摄视觉传感方式存在的不足，提出了不使用结构光源或滤光片，仅采用由对数特性感光芯片构成的宽动态范围相机采集焊接图像的方案；然后根据焊接图像的特点，提出一种改进的Canny算法得到边缘信息，并结合Hough变换和先验知识，提取出坡口边缘；最后，提出一种基于条件约束的DE椭圆识别算法，拟合出熔池边缘，在此基础上计算得出焊接偏差.文中通过试验对提出的焊接偏差识别算法的鲁棒性和精确性进行了验证，结果表明：对于污染较严重的图像，算法依然能有效识别；焊缝偏差的精度可控制在±0.3mm.可见，文中焊缝偏差识别完全满足焊缝跟踪的要求，可作为焊接机器人的被控量，实现CO2焊的自动化焊接；文中的熔池边缘识别算法也可应用于焊接质量监控领域中的熔池宽度监控.

[1] GAO J Q，WU C S.Vision based measuring system for both weld pool and root gap in continuous current GTAW [J].Science and Techno-logy of Welding and Joining，2007，12(1)：50-54.

[2]XU Y，YU H，ZHONG J，et al.Real-time seam tracking control technology during welding robot GTAW process based on passive vision sensor [J].Journal of Materials Processing Technology，2012，212(8)：1654-1662.

[3]薛家祥，刘晓，朱思君，等.基于分形和数学形态学的TIG焊熔池图像分析 [J].华南理工大学学报(自然科学版)，2007，35 (8)：7-10.

XUE Jia-xiang，LIU Xiao，ZHU Si-jun，et al.Analysis of molten pool image of TIG welding based on fractal and mathematical morphology [J].Journal of South China University of Technology (Natural Science Edition)，2007，35(8)：7-10.

[4]XU Y，FANG G，CHEN S，et al.Real-time image processing for vision-based weld seam tracking in robotic GMAW [J].The International Journal of Advanced Manufacturing Technology，2014，73(9/10/11/12)：1413-1425.

[5]SHI Y H，WANG G R.Vision based seam tracking system for underwater flux cored arc welding [J].Science and Technology of Welding and Joining，2006，11(3)：271-277.

[6]LI W，GAO K，WU J，et al.SVM-based information fusion for weld deviation extraction and weld groove state identification in rotating arc narrow gap MAG welding [J].The International Journal of Advanced Manufacturing Techno-logy，2014，74(9/10/11/12)：1355-1364.

[7]NI Y，ZHU Y，ARION B.A 768x576 logarithmic image sensor with photodiode in solar cell mode [C]∥ International Image SensorWorkshop.London：IEEE，2011：215-218.

[8]VINCENT L.Morphological grayscale reconstruction in image analysis：applications and efficient algorithms [J].IEEE Transactions on Image Processing，1993，2(2)：176-201.

[9]CANNY J.A computational approach to edge detection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，10(6)：679-698.

[10]殷树言.气体保护焊工艺基础及应用 [M].北京：机械工业出版社，2012.

[11]SUN Z，CHEN Q，ZHANG W，et al.A novel visual image sensor for CO2short circuiting arc welding and its application in weld reinforcement detection [J].Measurement Science and Technology，2006，17(12)：3212-3220.

[12]曹一鹏，陈强，孙振国.CO2短路过渡焊接熔池图像传感器 [J].焊接学报，2004,25(2)：1-4.

CAO Yi-peng，CHEN Qiang，SUN Zhen-guo.Pool image sensor for CO2short circuiting arc welding [J].Tran-sactions of The China Welding Institution，2004,25(2)：1-4.

[13]STORN R，PRICE K.Differential evolution—a simple and efficient heuristic for global optimization over conti-nuous spaces [J].Journal of Global Optimization，1997，11(4)：341-359.

[14]QIN A K，HUANG V L，SUGANTHAN P N.Differential evolution algorithm with strategy adaptation for global numerical optimization [J].IEEE Transactions on Evolutionary Computation，2009，13(2)：398-417.

[15]CUEVAS E，DIAZ M，MANZANARES M，et al.An improved computer vision method for white blood cells detection [J].Computational and Mathematical Methods in Medicine，2013，2013：1-14.

[16]ZHANG Y.Real-time weld process monitoring [M].Berlin：Elsevier，2008.

[17]BOUGUET J.Camera calibration toolbox for matlab [EB/OL].(2015-10-14)[2015-11-29].http：∥www.vision.caltech.edu/bouguetj/calib_doc/.

s： Supported by the National Natural Science Foundation of China(51374111,51175185)and the Science and Technology Planning Project of Guangdong Province(2015B010919005,2013B010402005)

Vision-Based Welding Deviation Detection for CO2Arc Welding

GUOBoSHIYong-hua

(School of Mechanical and Automotive Engineering，South China University of Technology，Guangzhou 510640，Guangdong，China)

Capturing high-quality welding images and extracting deviation information are two important steps of welding deviation detection. In this paper，on the basis of imaging characteristics analysis in the process CO2arc welding，real-time welding images were acquired clearly and steadily by using a wide dynamic range camera. Then，according to the characteristics of welding images，an improved Canny algorithm was developed to detect groove edges，and both Hough transform and prior knowledge were used to connect these edges. Moreover，in order to fit out the edge of weld pool，a differential evolution ellipse detection algorithm on the basis of condition restriction was proposed，with which welding deviation can be successfully calculated. Experimental results show that the proposed algorithm possesses strong robustness and high precision，so that it meets the requirements of seam tracking and welding automation well.

vision sensing； CO2arc welding； welding deviation detection； DE algorithm； improved Canny algorithm

1000-565X(2016)07-0001-08

2015-11-29

国家自然科学基金资助项目(51374111,51175185)；广东省科技计划项目(2015B010919005，2013B010402005)

郭波(1981-)，男，博士生，讲师，主要从事焊接自动化研究.E-mail:guobo651@126.com

石永华(1973-)，男，教授，博士生导师，主要从事焊接自动化研究.E-mail:yhuashi@scut.edu.cn

TG 409doi： 10.3969/j.issn.1000-565X.2016.07.001