基于焊缝路点局部点云的焊枪空间姿态确定

2024-04-17胡嘉成於双飞张涛管贻生朱海飞

焊接学报 2024年4期

胡嘉成，於双飞，张涛，管贻生，朱海飞

(广东工业大学,机电工程学院,广州,510006)

0 序言

为了解决传统机器人焊接无法应对工件装夹偏差以及工件热变形等问题，多种传感方法得到广泛研究与应用，尤其是视觉传感由于其获取信息丰富且精度高，获得高度关注，机器人焊接也从自动化焊接专用设备和示教-再现型机器人不断向视觉辅助型机器人方向发展[1].

焊枪的空间姿态是机器人焊接中一个非常重要的因素.一方面，它是机器人运动控制参数中必须的参数之一；另一方面，为了满足面向几何与位置信息不确定工件的机器人焊接需求，需要根据不同焊缝的形貌、走向以及周围环境对焊枪的空间姿态进行调整.目前，国内外基于三维视觉传感的机器人焊接研究主要集中在焊缝位置的提取方面，而对焊接姿态等考虑相对较少[2]，其中线结构光视觉传感是使用最广泛的视觉传感器之一，且已能较好实现对单条焊缝的焊缝跟踪[3].文献[4]使用线结构光视觉传感器扫描平面曲线焊缝,以工件点云拟合平面的法向量确定焊枪坐标系的z方向，以焊缝路点拟合曲线的切向量确定焊枪坐标系的x方向，但是该方法只能用于平面焊缝；Yu 等人[5]通过焊缝路点与两侧激光条纹上的点确定焊枪坐标系的z方向，通过考虑特征点始终在图像视野内确定焊枪坐标系的x方向，该方法能适应多种焊缝类型焊缝跟踪过程中的焊枪姿态确定，但是没有考虑前置传感器与前方障碍物的碰撞问题.

线结构光视觉传感是局部视觉传感，为了面向几何与位置信息不确定工件的机器人焊接，获取更多环境与焊缝的信息，全局三维视觉传感得到广泛研究，并应用到机器人焊接.Li 等人[6]使用V 形焊缝两侧二维图像边缘的三维数据逐步确定焊枪空间姿态，适应性差；文献[7-8]求解机器人焊枪姿态的方法是根据两侧母材点云平面的法向量逐步求解，因此只能适用于平面焊缝的焊枪姿态求解；Zhou 等人[9]使用RGB-D 相机获取工件点云并提取焊缝路点，通过焊缝路点的法向量确定焊枪坐标系的z方向，然后逐步确定焊枪姿态，由于焊缝路点的法向量受点云质量影响非常大，因此该方法存在不足.

目前基于三维视觉传感的焊缝路点处焊枪空间姿态确定方法存在着针对性强、适应性差等问题，且没有考虑前置安装在焊枪上的传感器与前进方向障碍物的碰撞问题.

为了适应多种焊缝类型焊缝路点处的焊枪空间姿态确定，并考虑前置安装的传感器与前进方向障碍物碰撞问题，提出一种基于焊缝路点局部点云的焊枪空间姿态确定方法.通过焊缝路点前进方向前后和两侧不同搜索半径的点云确定该路点处焊枪的偏摆和倾斜平面，从而确定该路点处适应工件局部环境的焊枪空间姿态.以搭接、对接、角接和复杂空间曲线的管道相贯线焊缝为对象，进行焊枪空间姿态确定试验，验证了提出方法的适应性与有效性.

1 系统组成与焊枪空间姿态参数

1.1 系统组成

基于全局三维视觉传感的机器人焊接系统能够获得更多环境和焊缝的三维信息.构建的基于RGB-D 相机的机器人焊接系统以及系统的相关坐标系如图1 所示，相机型号为RealSense D435，机器人的型号为大族Elfin 5 协作型机器人.

图1 系统坐标系Fig.1 Description of system coordinate system

机器人末端坐标系{E}相对于机器人基坐标系{B}下的变换关系可以直接通过机器人控制器得到，即；RGB-D 相机使用TSAI 手眼标定方法进行手眼标定可以得到相机相对于机器人末端的变换关系，即，因此可以直接将RGB-D 相机捕获的工件点云CP转换为机器人基坐标系下的点云BP，其中CP和BP为4 × 1的列矢量，是点的齐次坐标形式，计算式为

基于RGB-D 相机的机器人焊接系统面向几何与位置信息不确定工件焊接的工作流程如下.通过RGB-D 相机获取几何与位置信息不确定工件的三维点云与图像等数据，使用焊缝检测算法提取焊缝路点三维数据，并对提取的焊缝路点分别进行焊枪空间姿态确定，从而得到几何与位置信息不确定工件焊缝的焊缝路点三维位置和其对应的焊枪空间姿态，即可控制机器人，使焊枪以对应姿态逐步沿着焊缝路点运动，完成对几何与位置信息不确定工件的焊接.

1.2 焊枪空间姿态参数

机器人焊接过程中焊枪的空间姿态是指焊枪坐标系相对于机器人基坐标系的姿态，坐标系的描述如图1 所示，焊枪的坐标系建立在焊丝末端.为了使焊枪能适应焊缝路点处的工件局部环境，该路点处的焊枪空间姿态应由其所在位置的工件局部形貌而定.文献[10-11]阐述了焊枪的空间位姿模型，描述了焊枪在待焊工件焊缝路点处相对于工件表面的空间姿态，其中描述焊枪在一确定焊缝路点的空间姿态比较重要的两个参数为倾斜角α和偏摆角β.

倾斜角α是指焊枪轴线沿着焊接前进方向，即当前路点指向下一焊缝路点的方向前倾或后倾的角度，倾斜角一方面对具体的工艺有影响，另一方面对焊接机器人前置安装在焊枪末端的传感器与前方障碍物避免碰撞有重要影响.偏摆角β是指焊枪轴线相对于焊接前进方向两侧的待焊母材之间的偏摆角度.

对应上述的系统，焊枪空间姿态参数模型如图2 所示.焊枪坐标系的z轴和x轴所形成的偏摆平面N 相对于焊接前进方向两侧母材的角度即为偏摆角β；焊枪坐标系z轴和y轴所形成的倾斜平面M 相对于焊接前进方向前后母材的倾斜角度即为倾斜角α.确定了偏摆平面N 与倾斜平面M，即可确定焊枪在当前路点的偏摆角β与倾斜角α，即可确定焊枪在当前路点的空间姿态.

图2 焊枪空间姿态参数模型Fig.2 Space pose parameter model of welding torch

2 焊枪空间姿态确定

2.1 点云采集与预处理

通过调整机器人的位姿，使几何与位置信息不确定的待焊工件出现在RGB-D 相机视野内.通过RGB-D 相机采集现场工件的点云等图像数据，并根据式(1)将相机坐标系下的点云变换到机器人基坐标系下.利用PCL(point cloud library)对采集的点云进行处理，首先使用直通滤波将机器人工作空间外的点云滤除，然后使用统计滤波器滤除测量噪声导致的离群点.最后通过文献[6,12-14]所提出的焊缝提取方法进行焊缝路点的提取，从而获得待焊工件焊缝的三维路点信息，为机器人运动提供位置信息.

2.2 偏摆平面确定

对于一般焊接工艺，焊枪的偏摆平面多处于焊枪前进方向左右两侧母材夹角的角平分位置.确定焊枪坐标系在焊缝路点pi处的偏摆平面N的位置，即确定焊枪在pi处的偏摆角β.

焊枪在焊缝路点pi处的前进方向的单位向量ai可由焊枪下一焊缝路点pi+1(xi+1,yi+1,zi+1)与当前所在pi(xi,yi,zi)点三维坐标相减并单位化可得.为了使焊枪的姿态能够适应焊缝路点处的局部环境，在pi点处以r1为半径，使用kd-tree的最小半径搜索，获取焊缝路点pi处的局部点云数据，搜索的结果点集由psc，c∈{1,2,...,n}表示，r1取待焊板材厚度.

经过pi点且垂直于前进向量ai的平面为Mt与pi点处的局部点集psc的交集点集，能够清晰地反映出焊缝路点pi前进方向两侧待焊母材的局部形貌.

通过pi到psc的各向量与平面Mt的法向量ai的点乘为0 判断psc点集中哪些点是在平面Mt上的.由于点云严格在平面上的数量非常少，因此δ表示阈值，当其值小于阈值时即认为是在平面Mt上，从而增加数据量，pi到psc各点的向量可以由pipsc表示，即

将在Mt平面上的点集保存，计算各点到pi点的距离，通过对距离排序以及不同方向的判别，可以找到Mt平面上点集在待焊母材两侧最远的两点plm和prm.

焊缝路点pi分别到plm和prm点的向量由于式(2)所设定的阈值的原因，从而可能没有在平面Mt上.为了避免该偏差对偏摆平面的影响，piplm可投影到Mt平面上并单位化为pip′lm，同理piprm投影到Mt平面上并单位化为pip′rm.焊枪偏摆平面一般是两侧母材的角平分面，因此对投影后的向量进行单位化是为了避免向量的大小对偏摆向量pni运算结果产生较大的影响，计算式为

式中：pipm为待投影向量；n为投影平面的法向量；pip′m为向量投影到平面并单位化后的结果.

将pip′lm与pip′rm相加并单位化即得焊缝路点pi在前进方向法平面Mt上两侧母材角平分的偏摆向量pni.前进向量ai与偏摆向量pni所形成的平面即是焊枪坐标系在pi处的偏摆平面N，如图3 所示.

图3 偏摆平面求解Fig.3 Solution of deflection plane

2.3 倾斜平面确定

倾斜平面的确定文中仅考虑焊枪前进方向前后母材的角平分位置，以及前置安装在焊枪上的传感器与前方障碍物避免碰撞的问题，对于需要焊枪前倾和后倾的具体工艺可以在结果确定后进行指定倾斜角度的补偿.确定焊枪坐标系在焊缝路点pi处的倾斜平面M的位置即确定焊枪在pi处的倾斜角α.

焊缝路点pi处的偏摆平面N的法向量(nni)可以有前进向量(ai)和偏摆向量(pni)叉乘得到，即

在pi点处以r2为搜索半径使用kd-tree的最小半径搜索，搜索的结果点集使用式(2)进行判别，筛选出前进方向前后以r2为半径的局部点云在偏摆平面N 上的点云集合，反映了在焊缝路点沿前进方向前后待焊母材的相关形貌.同理计算在偏摆平面N 上的各个点到pi点的距离，分别找到距pi点前后方向最远的两点pfm和pbm.

使用式(3)将pipfm与pipbm投影到偏摆平面N 上并单位化后，结果分别为pip′fm与pip′bm.pip′fm与pip′bm相加得到的即是焊缝路点pi处偏摆平面N 上与焊接方向前后母材角平分的倾斜向量pmi.pmi与偏摆平面N的法向量nni所组成的平面即为倾斜平面M，如图4 所示.

图4 倾斜平面求解Fig.4 Solution of inclined plane

对于前置安装在焊枪上的传感器与前方障碍物之间的避免碰撞问题，主要是通过合理设置搜索半径r2来完成.r2应大于传感器相对于焊枪轴线的前置安装距离，当前方障碍物到焊缝路点的距离小于r2时使用上述的倾斜平面确定方法进行求解.倾斜平面会相对于障碍物向后倾斜，且距障碍物越近倾斜角度越大，从而使焊枪可达障碍物附近的焊缝路点，且能避免了前置安装的传感器与前方障碍物的碰撞，如图5 所示.

图5 前置安装传感器避碰示意图Fig.5 Diagram of front-mounted sensor collision avoidance

2.4 焊枪坐标系确定

确定了pi点处焊枪坐标系的偏摆平面和倾斜平面后，通过确定焊枪在焊缝路点pi处的坐标系，并对应到机器人基坐标系即可得到焊枪在焊缝路点pi处考虑局部环境信息的无碰空间姿态.焊枪坐标系的确定具体步骤如下.

(1)z轴的确定.焊枪坐标系的z轴单位向量zi与倾斜向量pmi共线，由于倾斜向量的方向受到工件点云局部形貌凹凸性的影响，因此z轴的方向判断还需根据pi点朝向视点的法向量ni判断，确保焊枪朝向正确.

(2)y轴的确定.焊枪坐标系的y轴单位向量为yi，其为前进向量ai与zi叉乘后单位化的结果，即

(3)x轴的确定.焊枪坐标系的x轴单位向量为xi，可由右手定则确定，即

得到pi点处焊枪坐标系各轴的单位向量后，可投影到机器人基坐标系xb=(1,0,0)，yb=(0,1,0)，zb=(0,0,1)下可得pi点处焊枪坐标系相对于机器人基坐标系的旋转矩阵为

从而确定了焊枪在焊缝路点pi处相对于机器人基坐标系下的无碰空间姿态.

3 试验结果与分析

采用上述提到的RGB-D 相机与大族Elfin5 组成的机器人焊接系统进行试验，使用PCL 对点云进行处理，使用Eigen 库完成向量与矩阵相关的运算.对搭接、对接、角接三种典型焊缝以及复杂空间曲线的管道相贯线焊缝进行试验，验证研究方法的适应性与有效性.

I 形对接焊缝(图6)由于其焊缝接触紧密，且没有沟槽等明显的几何特点，在三维点云层面几乎很难直接区分焊缝路点，但是焊缝的二维图像特征比较明显，因此采用文献[6,13]所提到的二维焊缝图像边缘对齐到深度图像的方法，获取焊缝路点的三维信息.然后使用所提方法确定焊枪的空间姿态，对接焊缝的焊枪空间姿态确定结果如图6(c)所示.

图6 对接焊缝Fig.6 Butt weld.(a) RGB image of workpiece; (b) point clouds and weld waypoints; (c) determination results of welding torch space pose

搭接焊缝和角接焊缝(图7 和图8)在二维图像与三维点云层面均有明显的图像与几何特征，因此不管是采用二维图像到深度图像的对齐，还是直接从三维点云层面进行检测提取都是可行的.试验中采用文献[14]的方法，直接从工件三维点云中检测提取焊缝路点的三维数据，然后使用所提方法确定焊枪空间姿态，结果分别如图7(c)和图8(c)所示.

图7 搭接焊缝Fig.7 Lap weld.(a) RGB image of workpiece; (b) point clouds and weld waypoints; (c) determination results of welding torch space pose

图8 角接焊缝Fig.8 Fillet weld.(a) RGB image of workpiece; (b) point clouds and weld waypoints; (c) determination results of welding torch space pose

管道相贯线焊缝(图9)属于复杂空间曲线焊缝，试验中可采用文献[6,13]所提到的从二维图像到深度图像对齐的方法获取单视野下管道相贯线焊缝路点三维数据，然后使用所提研究方法确定焊枪的空间姿态，姿态确定结果如图9(b)所示.

图9 管道相贯线焊缝Fig.9 Pipe weld.(a) point clouds and weld waypoints;(b) determination results of welding torch space pose; (c) robot motion process

管道相贯线类型焊缝由于其较为复杂，焊缝路点处焊枪的真实空间姿态难以确定，因此不对其作偏差分析，机器人实际运动过程如图9(c)所示.对于搭接、对接和角接三类焊缝的焊枪真实姿态可以得到，即对接为垂直向下，搭接和角接为斜45°向下，均处于焊缝路点处母材两侧与前后的角平分处.将均布的30 个焊缝路点处确定的焊枪空间姿态与真实姿态做比较，得到的偏摆平面与倾斜平面偏差如图10 和图11 所示，其中以焊枪前进方向向左偏摆为偏摆的正方向，以焊枪前进方向向前倾斜为倾斜的正方向.

图10 偏摆平面偏差Fig.10 Deflection plane deviation

图11 倾斜平面偏差Fig.11 Inclined plane deviation

上述对几种典型类型的焊缝进行了焊枪空间姿态确定试验，从试验结果可以体现基于焊缝路点局部点云的焊枪空间姿态确定方法适应性强、有效性好，对多种典型类型的焊缝均能有效确定焊枪在焊缝路点处适应工件局部环境的空间姿态.在姿态确定精度上，管道相贯线焊缝从姿态确定效果以及机器人实际运动效果观感上是满足需求的.对于三类典型焊缝由于工件点云表面凹凸不平质量一般，对接和角接焊缝的偏摆平面偏差均在±10°以内，搭接焊缝的偏摆平面偏差最大为12.4°.倾斜平面的偏差均在±10°以内，主要倾斜偏差出现在焊缝的起始与终止部分路点处，是由工件表面与工作台存在高度差导致.

姿态确定的精度与RGB-D 相机采集工件点云表面的质量关系密切.由于消费级RGB-D 相机精度有限，点云质量一般，导致在连续焊缝路点间计算得到的焊枪姿态存在一定波动.为避免这些波动造成机器人运动不平滑，一方面，可以对确定的姿态进行平滑处理，然后再用于控制机器人完成焊接任务；另一方面，可对工件的原始点云进行平滑后再进行焊枪空间姿态的确定，从而减小波动幅度.另外基于消费级RGB-D 相机数据的焊缝位置的提取精度难以满足工业精度要求，后续可以利用焊缝提取的结果和文中方法确定的焊枪空间姿态结果粗略引导机器人运动，然后借助成熟的激光视觉技术进行精确的位置纠偏[15].可有望提升基于全局三维视觉传感面向几何与位置信息不确定工件的机器人自主焊接作业水平.