基于机器视觉的弧焊机器人焊缝识别及路径生成研究*

2021-12-18刘东来崔亚飞邓子林

制造技术与机床 2021年12期

刘东来崔亚飞罗辉邓子林

(永州职业技术学院智能制造与建筑工程学院，湖南永州425100)

随着“德国工业4.0”、“中国制造2025”等[1-4]战略的出台，传统制造业正逐步进入智能制造时代，其中“中国制造2025”明确指出我国制造业要向智能化、自动化方向发展。焊接技术作为制造业中的重要一环，传统的人工焊接方式已逐渐被焊接机器人所淘汰。目前的焊接机器人系统前期准备相当繁琐，必须进行人工手动示教，然后再实现焊接机器人焊接作业。当焊接对象发生变化时，需要重新示教，对于日益复杂与多样化的焊接需求，这种焊接方式无法感知外界环境的变化，自主适应变化能力不足，智能化和自动化水平不高，生产效率较低，其实现焊接过程智能化和自动化将成为必然趋势[5-8]。近年来，机器视觉技术快速发展，已广泛应用于各个领域，将机器视觉引入焊接机器人系统可以充当焊接机器人的眼睛，提高焊接机器人感知外界环境变化的能力[9]。焊接机器人有了感知能力后，需根据焊接对象的变化自主实现焊接路径规划，以满足多样化小批量生产的要求。

针对焊缝识别及轨迹规划的问题，国内外学者开展了大量研究。Kiddee P等人[10]利用线激光和单目视觉，通过霍夫变换获得激光条纹后，采用最远点算法获得焊缝中心坐标。Dinham M等人[11]通过相机获取焊缝图像，在图像预处理后，采用Sobel算子实现焊缝的边缘检测，从而实现焊缝识别。Mulik P B等人[12]提出了一种基于进化算法的机器人最优轨迹规划算法，该方法同时进行多准则优化，采用B样条函数生成机器人运行轨迹。李宇鹏[13]等人提出采用马鞍形曲线插补与示教相结合的方式实现轨迹规划算法，该方法很好地实现了对焊枪运动轨迹的控制。陈子健等人[14]提出了一种三角网格特征提取算法实现对焊缝的识别，同时使用三次样条曲线插值获取机器人焊接轨迹。以上研究虽然解决了直线、圆等简单焊缝的问题，但对于复杂的焊缝则有一定的局限性，自主路径规划能力有待提高。

针对复杂曲线焊缝的焊接作业问题，本文设计了一种基于机器视觉的弧焊机器人系统，该系统通过视觉采集焊缝图像，之后进行图像预处理、焊缝中心线识别、焊缝轨迹生成、坐标转换等操作，实现复杂焊缝路径自主规划能力，提高弧焊机器人的智能化和自动化水平。

1 设备、材料和方法

1.1 试验设备及总体方案

工业机器人焊接实验系统如图1所示，主要由工业相机、工控机以及工业机器人3部分组成。采用Cognex工业相机采集焊缝图像，工控机用于实现焊缝识别以及路径生成算法，六轴工业机器人用于执行焊接操作，通过以太网实现各部分间的信息传递。

本文所构建的工业机器人焊接系统本质上是一个运动控制系统，主要包括了控制器、执行器、被控对象以及检测装置4部分。被控对象为工业机器人末端安装的焊枪，被控量是焊枪的位姿与速度，执行器为工业机器人，控制器即控制机器人运动的装置，检测装置则由传感器组成，用于焊缝的检测识别，如图2所示。

1.2 机器人视觉模型

焊接机器人焊接的前提是通过双目相机拍摄焊件图像，提取出焊件的三维信息坐标，才能引导末端焊抢完成焊接任务。因此，首要任务是建立像素坐标、图像坐标、相机坐标和世界坐标之间的坐标系转换关系，4个坐标系的关系如图3所示。

(1)像素坐标与图像坐标。图像坐标系u-v的原点为Op，横坐标为u表示图像所在行，纵坐标为v表示图像所在列；图像坐标系x-y的原点为Om，dx和dy分布表示每个像素在横纵坐标轴的物理尺寸，如图3所示像素点P坐标(u0,v0)，则图像坐标系与像素坐标系的关系为

(1)

(2)相机坐标与图像坐标。设相机中的点P坐标为(Xc，Yc，Zc)，则相机坐标与图像坐标的关系为：

(2)

(3)世界坐标与相机坐标。设点P的世界坐标为(Xw，Yw，Zw)，两个坐标系转换可以通过正交单位旋转矩阵R和平移向量矩阵T得到，则世界坐标与相机坐标的关系为

(3)

式中：M1为相机的外部参数。

(4)像素坐标与世界坐标。由式(1)～(3)可得像素坐标与世界坐标转换关系为

式中：M0是相机的内参数，其中kx=x/dx，ky=y/dy。

1.3 系统标定

由式(4)可知，只需要知道内参数M0和外参数M1，就可以确定像素坐标与世界坐标映射关系，获取内外参数的方法就是相机标定,将世界坐标系与机器人坐标系映射的关系是机器人标定。

(1)相机标定。本文搭建相机固定视觉系统，利用如图4所示的棋盘格标定板，每个格子大小为20 mm，改变标定板姿态和角度，对左右相机采集18张标定图像。

将采集的18张标定图像导入MATLAB的Stereo Camera Calibrator工具箱中，然后对标定板进行参数设定，通过图像灰度化和二值化等预处理后进行角点检测，最后通过角点的世界坐标与像素坐标以张正友标定法[15]求解得到左右相机的内参数矩阵。

左相机内参数矩阵为：

(5)

右相机内参数矩阵为：

(6)

每一张标定图对应一组旋转矢量和位移矢量的相机外部参数，通过上述参数可计算得到右相机到左相机的旋转矩阵：

(7)

右相机到左相机的位移矩阵：

(8)

由式(3)可得相机的外部参数M1为：

(9)

(2)机器人坐标的标定。机器人坐标的标定即是当机器人末端执行器焊枪移动到标定板左上内角点时，记录此时机器人的3个方向的坐标，即可得到世界坐标系原点。经实验测得此时的机器人的坐标为：

(10)

由式(1)～(10)可得像素坐标(u,v)与机器人坐标(Xr,Yr,Zr)的转换关系为：

(11)

2 焊缝特征识别

2.1 焊缝图像预处理

完成机器人和相机的坐标系标定以后，需要对相机采集的焊接件焊缝图像进行图像预处理和焊缝中心线提取，这是机器人焊缝自主轨迹规划的关键一步。

本文相机采集了2种类型的焊缝，如图5所示，分别包括了直线型焊缝和曲线型焊缝，这2种焊缝能很好地模拟各种类型的焊缝。采集的图像包含了各种额外信息，增大了计算量也增加了干扰信息，因此需要进行图像预处理，主要包括：图像灰度化、ROI(提取感兴趣区域)、直方图均衡化、阈值分割、膨胀腐蚀及去干扰等操作，如图6所示。

相机采集的图像是由RGB三通道组成的彩色图像，图像灰度化是将三通道转化为单通道，可以减少计算的工作量。相机和焊接区域是固定不变的，为了进一步减少计算量，通过ROI提取感兴趣的焊接件焊缝区域。直方图均衡化可以增强图像的对比度，突出焊接件的焊缝区域。阈值分割将焊接件焊缝的前景和背景二值化区分开，有利于后续焊缝特征的识别。通过图6阈值分割结果可知，焊接件之间的有空隙且不连续，因此需要通过形态学膨胀腐蚀操作使焊缝更加完整。膨胀腐蚀以后仍然有一些较小的干扰信息，通过计算各单独的连通区域面积，对小于焊缝区域面积的区域进行过滤。

2.2 焊缝中心线识别

经过焊缝图像预处理之后，需要对焊接件进行特征识别，主要包括焊缝边缘特征提取和焊缝中心线提取。

(1)焊缝边缘特征提取。获取焊缝边缘特征是获取焊缝中心线特征的基础。经过图像预处理去干扰之后，图像只剩焊缝特征区域信息，在获取焊缝中心线特征之前，首先是获取焊缝边缘特征。常用的边缘特征提取方法主要有Sobel、Roberts、Prewitt和Canny算子等，经实验发现，Canny算子对焊缝的检测效果较好，能克服一定噪声影响，因此本文采用Canny算子对焊缝进行边缘特征提取，结果如图7边缘提取所示。

(2)焊缝中心线提取。经过焊缝边缘特征提取得到2条边缘线，本文遍历2条边缘线所有像素，并记录2条边缘线像素的位置，通过同一行的所有像素的位置计算得到中心像素的坐标值，即可得到焊缝中心线，效果如图8所示。

2.3 自适应多项式焊缝路径生成

经过焊缝图在识别焊缝中心线后可以得到数百个离散的像素坐标点，理论上可以把像素坐标点直接转换机器人坐标并发给机器人，机器人根据焊接像素坐标转换的机器人坐标进行焊接作业，焊接轨迹如图9所示。

由图9可知，机器人焊接运行轨迹不够光滑，这样会导致机器人在焊接时产生抖动的问题，机器人会在过渡处出现剧烈的振动和冲击，影响焊枪的位移和速度的连续性，不符合焊接的连续性和稳定性要求，降低了焊接的质量。

为此，本文提出一种将离散的焊缝中心线像素坐标点拟合为一种连续的多项式曲线函数，以此作为机器人轨迹规划的基础。

本文多项式曲线拟合采用的线性最小二乘法求解，定义m次多项式拟合曲线函数为:

(14)

式中：r是未知系数，x是自变量，若要求解该方程，需要求建立一个超定方程组，即方程的个数大于未知量个数的方程组为：

式(15)中，令

(16)

则式(15)可以简写为：

RX=Y

(17)

一般情况下，焊缝中心线点数远远大于未知量的个数，所以式(17)一定存在解，但不是所有解都符合要求，只有使得n个点的(xi,yi)与曲线f(x)的距离达到残差模最小时，才满足条件，如式(18)：

(18)

即使R矩阵满足式(18)，使得ε的值达到最小，则该R矩阵就是超定方程的最小残差模的解。

3 实验结果与分析

3.1 仿真验证

本文采用MATLAB对焊缝轨迹规划进行仿真，仿真数据采用实验获取的真实数据，包括两条具有代表性的焊缝，分别是直线型和曲线型焊缝，其他各种复杂的焊缝可以由这两种曲线组成，实验采集的原始焊缝如图10所示的原始数据轨迹，分别是直线型和曲线型原始数据轨迹。

采用多项式拟合焊缝轨迹，多项式轨迹规划可以提高机器人的运行效率和平滑性，且次数越高，拟合精度越好。但是，次数高时轨迹容易出现龙格现象，在拟合轨迹的两端出现较大波动。故为平衡拟合精度和出现龙格现象，本文通过求解多项式拟合曲线型残差模(拟合值和实际值差的绝对值)的最小值，选出拟合曲线最优的次数，实验结果如图10所示。图10a中，直线型焊缝残差最优次数出现在48次方，图10b中，曲线型焊缝残差最优次数出现在27次方，程序可根据残差的最小值，选出最优的拟合曲线次数。

根据图10选出的最优拟合曲线次数，本实验选取5阶多项式作为和最优拟合曲线次数的对比实验，实验结果如图11所示。通过实验可以发现，图11a直线型5次和48次拟合曲线轨迹大致相同，但是48次拟合曲线更符合波动的焊缝轨迹，并且残差模小于5次的拟合曲线残差模；图11b曲线型拟合曲线，27次多项式拟合曲线轨迹明显比5次的要好，基本符合焊缝轨迹，并且两者残差模相差较大，说明27次拟合曲线更符合曲线焊缝轨迹。

3.2 实验验证及误差分析

为验证算法的正确性，选取图5所示的Q35不锈钢板曲线焊接件作为焊接实验对象，其尺寸为20 cm×20 cm，厚2 mm，其焊接面宽约8 mm。焊接技术采用氩弧焊，主要工艺参数如表1所示。

表1 焊接技术参数

工控机通过相机采集图像，使用OpenCV和VC++实现焊缝图像预处理、焊缝中心线提取及焊接路径规划，通过式(4)将轨迹规划所得路径点的像素坐标转换为机器人坐标，并通过以太网发送至机器人，引导弧焊机器人完成焊接任务，焊接效果如图12所示。

为验证焊接的精度，在进行焊接实验之前，等间距选取待焊接的6个测量坐标点，测得其实际物理坐标值，称为实测坐标。同时，测量焊枪经过6个点坐标值，称为计算坐标。最后，将实测坐标值减去计算坐标值，得到弧焊机器人在焊接过程中偏离实际焊接点的误差，称为焊接误差。弧焊机器人的焊接误差实验结果如表2所示。

从表2可以看出，通过本文设计的焊缝轨迹识别及路径生成系统得到的计算坐标值与实测坐标值，在X、Y、Z方向上的最大焊接误差值分别是0.30 mm、0.28 mm、0.21 mm，3个方向上的平均绝对值误差分别是0.247 mm、0.210 mm、0.143 mm。误差数据表明，弧焊机器人焊枪在3个方向上的最大误差值不超过0.30 mm，本文设计的焊缝轨迹识别及路径生成系统满足焊接精度要求。