基于激光视觉的钢结构焊缝图像处理系统

2022-03-17王树强周游陈昊雷陈钊韩彦林

焊接学报 2022年2期

王树强，周游，陈昊雷，陈钊，韩彦林

(沈阳化工大学,沈阳,110142)

0 序言

钢结构在桥梁、箱梁、天车横臂等基础建设中得到广泛应用[1]，焊接机器人[2-4]要求焊缝轨迹具有一定规则性和重复定位精度，钢结构件难以符合要求，使焊接机器人在钢结构领域的发展受到阻碍.钢结构领域大部分采用手工焊、半自动焊等工艺完成，焊接质量难以得到保证.传统算法难以快速、准确提取到焊缝中心点[5-7]，所以设计一种高效快速的焊缝跟踪方法，用于改善焊接机器人在钢结构领域发展受阻的情况.在焊缝特征点提取方面，李篪[8]在传统的Otsu 公式上加了修正系数进行改进，使新的阈值分割处理的图像更加接近实际；马波等人[9]对系统噪声和测量噪声进行卡尔曼滤波方法处理，以得到优化的效果；尤帅等人[10]通过把二值图像距离变换后的二次阈值分割和改进的Hilditch算法对中心线进行提取，解决由飞溅造成的断点修补问题；在焊缝跟踪方面，杨国威等人[11]提出基于核相关滤波的焊缝跟踪算法，以解决焊接时的弧光干扰问题.以上研究说明焊缝自动跟踪[12]方法可以有效提高焊接性能，但目前的研究还是难以对焊缝做到精确、可靠的追踪[13-14].

文中设计了一套钢结构焊缝图像处理系统，该方法主要应用于钢结构焊缝焊接，在保证焊缝性能的同时，可以有效提高焊接速度，降低人员技能水平对焊缝质量的影响，从而提升焊接效果.文中是针对结构光焊缝图像的特点，对图片进行中值滤波，去除噪声，再利用Otsu 阈值分割得到二值化图像，由于二值化后图像中还存在连通区域和斑点，可以运用开操作除去飞溅、弧光造成的干扰，再采用形态学算子进行骨架提取，并细化去除中心线上的毛刺.最后对中心线进行Hough 变换直线检测，提取出特征点，使焊缝实时跟踪更加快速与精确.

1 图像采集系统设计

1.1 系统搭建

焊缝跟踪方法可分为两大类，即主动视觉跟踪方法和被动视觉跟踪方法，其主要的区别在于主动视觉比被动视觉多了一个辅助光源，文中构建的系统采用的是激光器作为辅助光源的主动视觉跟踪系统，系统主要硬件包括机器人、相机、滤镜、激光器、图像采集卡、焊丝机、焊丝.图像采集如图1 所示.

图1 图像采集示意图Fig.1 Schematic diagram of image acquisition

具体焊接装置硬件明细如表1 所示.利用激光视觉传感器对65°V 形坡口焊缝进行图像采集，接头形式为对接，焊接工件采用长度为380 mm，宽度为210 mm，厚度为30 mm，钢材型号为Q235 碳素结构钢.焊接机器人现场工作图如图2所示.

表1 焊接装置硬件明细表Table 1 Hardware list of welding device

图2 焊接机器人现场工作图Fig.2 On-site work drawing of welding robot

1.2 图像采集

将激光器与CCD 工业相机在空间平面里呈45°位置关系固定，激光器在工件表面上进行垂直照射，从而形成激光条带.调整相机上的光圈，让激光条带进入相机视野，采集激光条带图像.把采集到的激光条带图像传送给计算机，利用Matlab 平台对焊缝图像进行图片处理，将获得焊缝中心点的坐标信息反馈给控制系统，带动焊枪进行焊接.

在利用Matlab 平台处理焊缝图像时，具体图像处理流程图如图3 所示.

2 焊缝图像识别及处理

图像处理过程分为2 个部分：第1 部分是图像处理，第2 部分是焊缝的特征点提取.在CCD 摄像机采集图像之后，传送给计算机进行焊缝图像处理，首先除去焊缝图像中的干扰信息，保留焊缝图像特征，然后通过焊缝提取算法提取焊缝的特征信息.针对采用自适应阈值分割后产生的小连通区域问题，设计了一种有效的算法，用于去除无效的干扰信息.

2.1 焊缝图像处理

2.1.1 中值滤波去噪

CCD 视觉传感器直接采集到的原始焊缝图像是338 像素×309 像素的灰度图如图4a，在传送过程中CCD 摄像机等高频电源、烟雾和弧光对焊缝图像产生干扰信号，为了解决这一问题，使后续不影响图像处理，对焊缝图像进行中值滤波处理.

图4 中值滤波处理图像Fig.4 Median filter processing image.(a) original weld image; (b) median filtered image

中值滤波是一种空间域统计排序的滤波方法，属于一种非线性平滑技术.实现方法是设有一维序列x1,x2,···,xn，把目标像素及其领域内的所有像素组成一个以奇数单位的长度L，然后对输入序列中连续提取L个数，xi-m,···xi,···,xi+m，其所在领域内的中心值m=(L-1)/2，再把所有L个像素的灰度值进行从小到大的排序，取中值作为领域内中目标像素的原有灰度值，中值滤波的表达式为

相比于均值滤波对椒盐噪声的处理，中值滤波有很好的处理效果，在去除噪声的情况下，还很好的保护信号的边缘，使其不被模糊.所以选用中值滤波对图4a 进行处理，图4b 是采用 3×3的滤波模板进行中值滤波后的焊缝图像.

在中值滤波处理之后，焊缝图像中噪声基本除去，并且对目标边缘很好的保留.

2.1.2 Otsu 阈值分割

Otsu 算法是一种对于图像灰度自适应的阈值分割算法，它按照图像上灰度值的分布，把图像分成前景和背景两个部分，前景就是通过阈值分割出来想要的部分，如文中的激光条带，前景和背景的灰度分界值就是要求出的阈值.

将图像f(x,y)进行灰度化处理，得到图像的灰度范围为 { 0,1,···,m-1} 级，灰度值为i的像素数设为xi，则灰度图像的总像素值为

灰度值为i像素出现的概率为

选择阈值t，利用阈值t对目标图像进行分割操作，将会产生两个集合像素点，T1是像素点灰度值大于和等于阈值t的集合，T2是像素点灰度值小于阈值t的集合，以将灰度图划分为两类，即

T1，T2出现的概率为

计算T1，T2集合内的所有像素灰度值的均值分别为

灰度图像的总体灰度值为

求出T1，T2的类间方差为

计算出最大类间方差t*来选择阈值，即

用此方法对图4b 进行二值化阈值选取处理，得到图5a 二值化图像.

图5 二值化图像开操作处理Fig.5 Binary image opening operation processing.(a)binary image; (b) open operations manipulate images

2.1.3 开操作处理

在二值化图像上，相比于激光条带，图片中还存在一块连通区域和些许斑点，所以在上述处理之后，又对焊缝图像进行开运算操作，去除干扰的连通区域，保留激光条带.选取半径为7 的圆盘结构元，去除图像背景中比结构元素尺寸更小的亮度明显的细节.处理公式为

结构元素M(x,y)对图像f(x,y)的灰度膨胀记为f+M，开运算记为f·M，开运算是先腐蚀后膨胀.处理得到图5b.可以看到连通区域和噪点已经完全去除，并且很好的保留了目标元素.

2.1.4 骨架提取及细化

因激光条带有一定的宽度，对激光条带进行骨架提取，使其成单像素条纹.文中采用的是形态学操作去掉图像的内点，选取一像素0，如果该像素的四连通区域都为1，则仅仅保留边缘像素.接下来是图像的骨架提取，移除目标边缘像素，但是不允许目标发生断裂，将保留下来的像素进行组合，组成图像的骨架.得到图6a，6b.

图6 开操作处理后骨架提取图像Fig.6 Skeleton extraction image after opening operation processing.(a) morphological removal of image inliers; (b) skeleton extraction; (c) skeleton thinning

在形态学算子处理之后得到的骨架提取图像，骨架线段上存在些许毛刺，并且有很多空隙，为了后续处理不受影响，文中对物体进行细化，此操作使没有孔的物体缩为最小连通区域，而含有孔的物体收缩为一个链接的环，如图6c.

骨架图像在得到细化处理之后，毛刺全部去除，断裂区域和空隙处都得到填充解决，得到了完好的激光条带骨架，为后续直线的拟合做好基础.

2.2 特征点提取

在骨架提取之后，为确定焊缝的位置，需要对焊缝中心线进行拟合，因为中心线焊缝较为规则，无破口，故采用焊缝跟踪技术领域内最常用的Hough 变换，直线检测.

Hough 变换是建立原始图像空间中共线的点与参数空间中共点的线的对应关系，把图像空间中的直线问题转成参数空间中的点问题.

对于图像空间Oxy中任意一点 (xi,yi)，直线方程就是yi=axi+b，其中a表示斜率，b表示截距.总有两个点 (x1,y1)，(x2,y2) 对应同一斜率a，同一截距b.此式对应在参数空间Oab中b=-xia+yi，即相交于点 (a,b) 的两条直线b=-x1a+y1和b=-x2a+y2.映射关系如图7 所示.

图7 图像空间与参数空间的映射关系Fig.7 The mapping relationship between image space and parameter space.(a) image space; (b) parameter space

利用极坐标空间建立参数空间，表示原始图像空间和参数空间的关系，即

式中：x表示点在图像空间中的横坐标；y表示点在图像空间中的纵坐标；ρ 表示参数空间中的极径；θ表示参数空间中的极角，即Hough 变换.此变换法具有很强的几何性能，容易实现，并且不会被直线上的小波动和间隙所干扰，有很强的抗干扰能力，处理过后得到图8.

图8 Hough 变换直线拟合图像Fig.8 Hough transform straight line fitting image

利用Hough 变换直线拟合，很好的提取了激光条带的中心线，两条中心线的交点，即拐点就是焊缝的特征点.

3 试验结果分析

对处理之后的图像进行分析，可以得到两条拟合直线ab 和bc 的斜率、截距以及3 个特征点b，a，c 的坐标信息b(23，74)，a(205，170)，c(264,372)，其中点a 是斜率突变的两条直线的交点，即a 点就是所要提取的焊缝中心点.

为了验证算法的可靠性，在焊接试验之前，将图9a 所示焊接机器人移动到预定位置，使得焊枪进行轨迹与焊缝方向一致.在机器人运作一段时间之后，Matlab 平台利用所设计钢结构焊缝图像处理技术对焊缝图像进行处理，以起弧点为原点，沿焊缝方向每隔38 mm 标记一个中心测量点，共取11 个中心测量点.根据11 个中心点坐标信息，通过坐标系的转换，把图像坐标转换为机器人基坐标，将得到的实际中心点坐标信息反馈给控制系统，使得机器人带动焊枪沿着焊缝前进，得到实际对接焊缝如图9b 所示，并将得到的焊缝图像处理偏差与实际焊缝中心点偏差进行对比，如图10所示.