基于改进连通域的铝合金薄板对接焊缝特征点识别

2023-07-26燕煜飞杨光邹丽杨鑫华

焊接 2023年7期

燕煜飞,杨光,邹丽,杨鑫华

（1. 大连交通大学，辽宁大连 116028； 2. 辽宁省轨道交通装备焊接与可靠性重点实验室，辽宁大连 116028；3. 大连市轨道交通装备焊接结构与智能制造技术重点实验室，辽宁大连 116028）

0 前言

基于图像处理算法和计算机视觉技术，焊缝跟踪可以使焊接过程自动化，减少工人的劳动强度，提高焊接效率和质量。使用相机捕捉焊接图像会产生大量的外在噪音，如电弧光和飞溅物，掩盖了所捕捉的焊接位置的关键信息，使其难以提取焊接特征。因此，找到一种准确可靠的提取焊缝特征方法是焊缝跟踪首要任务[1-3]。

多年来随着计算机视觉的发展，国内外学者对于激光条纹中心特征点提取问题提出了许多方法。顾帆等学者[4]通过中心线拟合直线求交点和逐列对比搜索相结合的方法获取了焊接坡口轮廓的4个拐点。邹焱飚等学者[5]利用特征表达函数和深度卷积神经网络自学习能力，针对焊点检测问题，研究了基于深度分层特征的方法，该方法具有较强的干扰防护能力。Yang等学者[6]使用点云处理算法，通过重建焊缝激光条纹的三维模型，将其表面拟合到一个平面上，并将激光条纹与拟合平面之间的最大距离点作为焊缝特征点。Li等学者[7]对于提取图像预处理后的焊缝中心线问题，运用了方向模板法，再通过斜率分析和最小二乘法拟合，准确得到了焊缝的特征点。高原等学者[8]针对焊缝图像中存在的飞溅及二值化后激光条纹断裂的现象，利用形态学方法进行处理，有效的滤除因飞溅形成的小面积孤点噪声。Fang等学者[9]根据弧光和飞溅的即时性特点，将相机采集到的相邻两帧图像中对应的像素点进行“与”操作，可以很好将弧光和飞溅去除。刘少林等学者[10]采用阈值提取法进行图像二值化，在下一步对一些亮度较高的像素进行中值滤波，达到预过滤的目的，明显减少了图像滤波的计算量，大大减少了降噪的时间，对精度的影响也较小。黄维[11]基于置信度评价和结构光视觉的焊缝三维测量研究，引入了置信度去评价焊缝照片质量，通过自适应多次曝光获取较好的焊缝图片，以便下面进行特征点提取。外国学者Kiddee等学者[12]用线条拟合方法找到十字交叉激光束之间的交点，然后根据交点确定ROI区域，再提出改进的模板拟合方法来确定V形焊接元件的特征点。Carlson等学者[13]根据实时的特征模板和图像相关性，使用粒子过滤法提取特征点，实现焊接的可跟踪性。Zhang等学者[14]采用灰度图像处理提取焊缝特征，采用三次光滑样条重建空间复杂曲面焊缝模型，完成空间复杂曲面重叠焊缝特征检测。

在实际的焊接过程中，由于弧光、飞溅等大量噪声的干扰，使用传统的滤波及特征提取方法对这些图像进行处理，往往得不到理想的效果，导致焊缝跟踪精度不高。为了能够准确的识别出焊缝特征点，该文提出了一种改进连通域算法对焊缝的位置进行识别和提取。

1 连通区域法的原理

连通区域一般是由图像中前景像素点组成的图像区域，这些像素点具有相同的像素值且位置相邻。连通区域标记算法主要针对二值图像进行操作，一般来说，在矩阵中白色像素点用“1”进行表示，黑色像素点用“0”表示。连通区域最常见的2种算法包括两次遍历法（Two-pass）和种子填充法（Seed-filling），这2种方法都是对二值图像中的目标区域像素即白色像素部分用标签进行标记，最后通过像素相邻关系把被标记的像素点连接在一起。其中，像素相邻关系包括4-邻域与8-邻域。4-邻域是指以一个像素为中心遍历它周围水平垂直的4个位置，设目标像素点为(x，y)，则其4-邻域点为{(x+ 1，y)， (x- 1，y)， (x，y+1)， (x，y- 1)}；8-邻域是指以一个像素为中心遍历它周围水平垂直的4个位置及2条对角线上的4个位置，设目标像素点为(x，y)，则其8-邻域点为{(x+ 1，y)， (x-1，y)， (x，y+ 1)， (x，y- 1)， (x+ 1，y+ 1)，(x+ 1，y- 1)， (x-1，y- 1)， (x- 1，y+ 1)}。

1.1 两次遍历法

连通域的两次遍历法分为首次遍历和等价标记替换（二次遍历）2个步骤。标记是对二值图像中每一个连通区域赋予唯一的整数标签。遍历同一连通区域中的2个像素可能被赋予2个不同的非零标签，此时，认为被标记的2个标签为等价标记。

在首次遍历中，对图像进行扫描，逐行扫描含有激光条纹的焊缝二值图像P。检测每一个前景像素P(x，y)及它周围4-邻域的4个像素的值，把这5个像素所在区域称作工作面[15]。P(x，y)的值则在所在的工作面中确定，规则如下所示：①如果P(x，y- 1)是前景像素，赋P(x，y)与P(x，y- 1)相同标记；②如果P(x-1，y)是前景像素，赋P(x，y)与P(x- 1，y)相同标记；此时，如果P(x+ 1，y- 1)也是前景像素，则记P(x，y)与P(x+ 1，y- 1)为等价标记；③如果P(x- 1，y- 1)是前景像素，赋P(x，y)与P(x- 1，y- 1)相同标记；此时，如果P(x+ 1，y- 1)也是前景像素，则记P(x，y)和P(x+1，y- 1)为等价标记；④如果P(x+ 1，y- 1)是前景像素，赋P(x，y)与P(x+ 1，y- 1)相同标记；⑤否则，赋P(x，y)一个新标记。

第二次扫描包括替换等价标记。所有的等价标记都被8-邻域范围中最小的等价标记所取代，以确定哪些标记属于同一相邻范围，直到替换最后一个等价标记即完成整个标记过程。经过两次迭代，所有连通的区域都得到了相同的等价标记。

1.2 种子填充法

种子填充算法是一个递归算法，从一个给定的起点开始，在环境的各个方向逐个像素搜索，直到遇到一个边界。

在二值化的焊接图像中，像素值为255的点是前景，0是背景。坐标(x，y)处的像素值为A(x，y)，连通区域的标签被定义为不同的整数，非连通区域的标签被定义为不同的标签。初始化label = 0。遍历图像的每个像素，过程如下：①如果A(x，y) ≠ 255，则遍历下一个元素；②如果像素值为A(x，y) = 255，则label++，赋A(x，y)当前的label值，并且（a）检查其邻域关系中是否存在其他前景像素，如果存在赋予相同label值，并将其坐标压入栈；（b）依次弹出栈顶坐标，重复（a）的过程，直到堆栈为空。此时，便找到了一个有相同label标记的连通区域。

1.3 改进的连通区域算法

在采集图像过程中，由于焊机处于运动状态会出现抖动，导致采集到的图像中存在激光条纹不均匀的现象，加大了焊缝中心线的提取难度。此外，该试验为薄板对接，间隙为1 mm，因此，激光条纹不连续。现通过改进的连通域分析算法，解决了因激光条纹不均匀、不连续而导致的焊缝特征点难提取、提取精度低的问题。并依据数据结构的特点，找出数组中的极值坐标，有效地检测到焊缝特征点的位置信息。

原始的连通域分析算法只能提取到连通区域的个数、面积、高度、宽度及中心点的像素坐标。改进后的算法增加了连通区域的上下端点的像素坐标。在连通域算法标记好激光条纹的区域后，再通过遍历一次连通区域的边缘，将其激光条纹的边缘信息以数字的形式存入到数组中，并找出数组中纵轴上最大和最小的值作为索引，以此确定一个连通区域的上下端点。比较2个连通区域的上端点的纵坐标y值，判断连通区域的位置。输出上方连通区域的下端点和下方连通区域的上端点，即获得了焊缝特征点的位置信息。算法流程图如图1所示。其中，2个连通区域的上端点坐标用(x1，y1)和(x2，y2)表示，下端点坐标用和表示。

图1 改进连通域算法流程图

2 焊缝特征点提取

视觉传感系统通过工业摄像机获得的焊缝图像尺寸为1920 × 1200。其焊缝图像如图2～图5所示。图2和图3分别为焊机未工作状态下的I形和V形焊缝图像。图4和图5分别为焊机在工作状态中产生弧光和飞溅等噪声的I形和V形焊缝图像。在进行焊接试验时，2个对接的薄板中间要留有1 mm的间隙，激光照射在焊件表面，经激光照射形成的间断激光条纹。激光条纹间断的空隙就是焊缝的间隙。图像中的激光条纹是包含对接焊缝特征信息，焊枪是在间隙的正中间进行焊接，通过2个间断点可求出焊枪的位置坐标，因此图像中激光条纹间断的2个端点即为焊缝的特征点。

图2 焊机未工作状态下的I形焊缝图像

图3 焊机未工作状态下的V形焊缝图像

图4 焊机在工作状态下的I形焊缝图像

图5 焊机在工作状态中的V形焊缝图像

2.1 ROI提取

在图像处理领域，ROI是从图像中选择的一部分区域，这个区域是图像分析所关注的重点。由于包含激光线及特征点的有价值信息仅集中在整幅图像的中心区域，因此在图像进行后续处理之前，先提取焊缝的ROI区域，从焊缝的所在位置截取一块长500，宽100像素大小的矩形作为焊缝的ROI区域。这样既可以进一步降低焊缝图像的待处理区域，节省图像的处理时间，也可以消除图像边缘存在的噪声及畸变因素的影响。在截取ROI区域后，创建一个与原图像尺寸大小相同的黑色幕布，将截取的部分在幕布中替换，替换位置应与原图像位置一致，使激光与特征点的位置信息不发生任何改变，从而能够达到精准定位焊缝特征点的效果。

2.2 图像滤波

图像滤波的操作可以去除或减弱噪声的干扰，并对焊缝图像保留其信息的细节。图像滤波的效果将对后续的图像处理操作有直接的影响。

中值滤波是一种非线性滤波方法[16]，用于滤除弧线和反射造成的噪音。中值滤波的基本原理是将图像中某一点的值替换该点邻域内所有点的中值，使周围像素值更接近真实值，从而消除孤点噪声。给定一个长度或形状的点的邻域被称为窗口，通常用3 ×3或5 × 5点的过滤窗口来用中值替换二维图像的其他点。由于窗口的形状和大小在过滤中起着重要作用，不同的图像有不同的窗口要求。因此，该试验选择了5 × 5大小尺寸的滤波窗口，并有效的滤除了激光照射在工件上的反光噪声。

2.3 二值化处理

图像二值化是根据不同灰度阈值的选择来分离图像特征的过程，通常设像素的灰度值为0或255来将图像转换为黑白。图像二值化的优点是内存占用小，处理速度高，且便于图像处理运算，能精准并快速提取激光条纹的位置。

最大类间方差的方法是一种自适应阈值法。它根据图像的灰度属性将图像分为2部分，包括背景和目标。当目标的一部分被误判为背景或背景的一部分被误判为目标时，2部分之间的差异就越小。背景和目标之间的类间差异越大，图像2部分之间的差异就越大。因此，使用类间方差最大的分割法，错误分类的概率最低。最大类间方差法运算量小，分割效果明显，对提高提取激光条纹的运算效率起到明显作用，使后续提取激光条纹连通域的工作更为高效、准确。

2.4 特征点提取

原始图像中最有用的信息即中间激光照射在焊缝上的位置信息清晰且完整的显示出来，从而可以对照射在焊缝上的激光条纹进行连通域标记，然后分析被标记的区域来确定焊缝的位置信息。为了能更精准区分出激光条纹在焊缝上下的位置，在寻找连通域的过程中将激光条纹的连通区域用不同的颜色填充。方便后续通过分析连通域的信息就能够确定焊缝上面区域的最底端像素坐标和焊缝下面区域最顶端的像素坐标。由于激光条纹的亮度不均匀和飞溅等干扰，可能会出现多个面积较小的干扰区域，为此设置了最小长度和宽度为5 px。如果某一个连通区域的宽度或者长度大于设置值，则这个区域将被删除并且区域内的所属信息也被忽略。而后将有效的2部分连通区域转化为数字信号，通过遍历边缘信息得到连通区域的2个端点，再比较区分上下2个连通域的位置，得到焊缝上面激光条纹的最底端和下面激光条纹最顶端的坐标信息，即得到焊缝的特征点。再将得到的特征点信息显示在原始图像中，如图6和图7所示，以便更清晰的浏览和记录数据。

图6 I形焊缝标记特征点信息

图7 V形焊缝标记特征点信息

3 标定原理

标定的意义就是求得数字图像与实物图像之间的关系，利用标准的量具来测试所用的焊接试验设备是否满足规范，从而减少误差，提高设备的精度[17]。

为了获得焊缝位置的准确信息，要在获得图像之前，对视觉传感系统进行校准，对坐标进行整合和转换。由于摄像机成像的遵循小孔成像的原则，所以相机的成像与线性成像模型相一致。用相机成像的几何模型如图8所示，由像素坐标系oi-uv、图像坐标系o-xy、相机坐标系Oc-XcYcZc、世界坐标系Ow-XwYwZw构成。位于世界坐标系的目标点P在成像平面对称面的点为p，Pp延长线上的点Oc为相机的光学中心，三点共线。从光学中心Oc到目标成像平面距离为焦距f，从光学中心Oc到目标点距离为Zc。

图8 相机成像几何模型

像素坐标系与图像坐标系都位于图像层面上，但有不同的原点位置和单位。图像坐标系的原点位于像素坐标系中坐标点(u0，v0)，u0，v0分别代表所在的图像像素的u0行与v0列，dx和dy代表单个像素点物理尺寸，表示每一列和每一行分别代表多少mm，即1 pixel = dxmm，转换关系如式（1）所示

在图像坐标系中的点p坐标(x，y)是相机坐标系中目标点P坐标(Xc，Yc，Zc)的投影。根据三角形相似原理可知：ΔABOc∽ΔoCOc，ΔPBOc∽ΔpCOc。由此可以得出等式（2）

化为齐次矩阵，如式（3）所示

相机坐标系与世界坐标系之间符合刚体变换关系，可用旋转矩阵R和平移矢量T描述，转换关系如式（4）。矩阵R和T统称为相机的外参矩阵，设工业机器人基坐标系为世界坐标系，外参可以通过手眼标定获得。

将式（1）、式（3）和式（4）联立可以得到世界坐标系中任一点与像素坐标系对应点的转换关系，如式（5）所示

Zc为相机镜头光心到目标的距离，因工业相机可以采集深度图，直接获得Zc值代入式（5）即可。

4 试验与分析

4.1 试验平台

该试验搭建的激光视觉焊缝跟踪试验平台，由激光视觉传感器、FАNUC RobotM-10iD/12焊接机器人、R-30iB控制器、送丝机构、Fronius TPS600i焊机、焊枪及氩保护气罐等组成。

作为激光焊接检测系统中最重要的设备之一，摄像头的图像质量和传输速度直接影响到焊接图像的后续处理和焊接机器人的焊接速度。该试验采用先进合格的大恒水星CCD系列工业相机，相机型号为MER-200-14GM，相机尺寸为29 mm × 29 mm × 29 mm，感光器件为线阵CCD，像素尺寸为4.8 μm × 4.8 μm，分辨率为1628 × 1236，帧率为14 帧/s，额定电压为12 V，额定功率为3 W，接口GigE。在传统的焊缝跟踪系统中，由于弧光的存在，会极大地影响到图像的采集。弧光成像会导致焊缝的特征不清晰，从而导致对焊接中心点的提取不够精确。该试验以激光为主动光源，对焊接面进行照明，并对其进行辅助。该系统中使用的激光器为可调一字型红光，集成了激光二极管和内置棱镜，其波长是635 nm。为改善图象品质，减少图像噪音，该系统在激光器的正下方加入一种滤光片，滤光片的波长必须与激光波长相近，故选用635 nm的滤光片。

4.2 试验分析

由于激光照射在对接薄板的表面，形成一条间断的激光条纹，2个间断点即为焊缝的特征点。该试验采用连通域方法来进行焊接特征点的提取。对比和分析了在工作状态下2种焊缝类型的薄板对接焊缝图像，即I形和V形。识别了33张焊缝图像，其中，因飞溅噪声的干扰造成了1张图像的误检，粗略计算算法的误检率为3.03%。此外，将该试验获得的焊缝特征点的像素坐标，再经过标定转换特征点到世界坐标系下，并计算出焊缝宽度，将它与实际焊接时所留有的间隙宽度进行比较和误差计算，实际间隙宽度为1 mm，I形焊缝误差分析结果见表1，V形焊缝误差分析结果见表2。由数据可知，通过对激光条纹的连通域分析可准确得到焊缝的特征点及焊缝间隙的宽度，算得平均误差分别为0.056 mm和0.067 mm，证明了采用该试验改进的算法可以快速提取到焊缝特征，验证了该方法的可行性和可靠性。