基于激光视觉的薄板焊缝跟踪方法研究

周跃龙，陈新度，吴智恒，罗良传，陈启愉 ，李平

(1.广东工业大学机电工程学院，广东广州 510006；2.广东工业大学，省属共建精密电子制造技术与装备国家重点实验室，广东广州 510006；3.广东省科学院智能制造研究所，广东广州 510070)

0 前言

近年来随着计算机信息化技术和智能机器人技术的发展，示教型机器人广泛应用于汽车制造领域。薄板连续焊接技术作为汽车制造中的核心工艺技术之一，对汽车制造过程中的制造费用、制造质量和制造周期有相当大的影响。在实际焊接过程中，由于薄板构件受热不均匀发生热变形，导致焊缝与实际示教轨迹产生偏移，而示教型机器人不能自适应实时纠正焊接轨迹，造成焊接不满足质量和精度要求。因此，针对薄板件连续焊接实现焊接机器人自动轨迹纠偏十分重要。基于传统图像处理的焊缝跟踪方法在焊接时强烈弧光干扰下，对环境变化和弧光等干扰的适应性差，容易丢失跟踪目标；而基于深度学习的目标检测算法也难以兼顾焊接精度和速度。因此，针对汽车薄板件连续焊接，搭建机器人激光视觉焊缝跟踪与检测系统，提出基于目标估计准则的焊缝跟踪算法。首先，通过传统图像处理算法提取焊缝激光条纹特征点；然后，基于改进的孪生神经网络实现对焊缝激光条纹的特征提取与跟踪，提高焊接的质量和精度，满足实际焊接需求。

1 焊缝跟踪系统构成及测量原理

1.1 系统构成

焊缝跟踪系统一般分为主动视觉和被动视觉两种，区别在于人为打光或是利用焊接时的弧光。实验中采用主动视觉系统，如图1所示，系统主要包括线激光视觉传感器、六轴焊接机器人、工控机等。线激光视觉传感器结构如图2所示，安装于焊枪前方引导焊枪运动，激光模组投射激光条纹于工件表面，工业相机采集图像传输至工控机，滤光片可以过滤部分弧光，偏振片可减弱金属表面反光的影响，通过标定求解出焊缝特征点在机器人基坐标下的三维坐标，经过以太网传输至机器人控制柜，从而实现对焊接轨迹的实时纠偏。

图1 焊缝跟踪系统

图2 线激光视觉传感器结构原理

1.2 测量原理

线激光视觉传感器透射投影模型如图3所示，建立世界坐标系、相机坐标系、成像坐标系和像素坐标系。激光平面与标定平面相交产生激光条纹的点世界坐标为(,,),对应像素坐标为′(,),转换关系如式(1)所示，其中：、为相机在轴和轴的焦距;(,)为主点坐标;为3×3旋转矩阵;为3×1平移向量。

图3 相机透射投影模型

(1)

由于镜头存在畸变，造成实际成像点跟理想成像点存在偏差，应用LENZ畸变模型进行矫正,如式(2)所示，其中为畸变因子。

(2)

通过标定求解相机内参(，，，，)和外参(，)。根据激光三角法原理，对激光平面进行基于棋盘格的标定，提取相机坐标系下不同姿态的棋盘格平面上的激光条纹离散点的三维坐标，平面拟合后计算出激光平面参数，最终建立焊缝特征点在像素坐标与世界坐标的转换关系。

为验证标定的精度，将棋盘格固定于可微调装置，提取激光条纹与棋盘格的交点，计算对应空间坐标，然后调整微调装置一定距离，通过反复计算不同位置的坐标，计算相应点的位移并与实际移动进行比较，得到平均标定误差为0.12 mm，满足标定精度要求。

2 基于目标估计准则的焊缝跟踪算法

针对在弧光、烟雾和热变形等干扰下的实时准确的焊缝跟踪，提出基于目标估计准则的端到端跟踪算法。利用孪生子网络实现对模板图像和待检测图像的特征提取，经过互相关运算后再设计分类分支和回归分支，前者用于分类，后者实现对目标边框位置的优化。网络框架如图4所示。其中，★为互相关运算，⊗为分类分支与质量评估分支对应元素相乘，∧为argmax函数，为分类分支特征。

图4 焊缝跟踪示意

2.1 孪生子网络

图5 孪生神经网络原理

孪生子网络采用没有填充操作的Alexnet构建模板分支和检测分支，两个分支之间共享权值，模板分支输入初始帧目标区域图像，检测分支输入后续帧的图像，将提取的特征输入分类和回归分支,进行如式(3)所示的互相关运算，其中∈{cls,reg}。

(,)=[()]·[()]

(3)

2.2 目标状态估计准则

(4)

回归头将作为输入，采用IoU损失函数，直接回归分类中心位置到真实边框上、下、左、右四边的偏移量=(,,,)，对于位置(,)的回归可以形式化为式(5)，完成优化边框位置的预测，最后分类回归分支采用argmax函数结合。

(5)

2.3 网络训练

(6)

先使用ImageNet进行预训练，然后把实验采集的40个焊接视频制作的数据集作为训练集对焊缝跟踪神经网络进行端到端离线训练，采用0.01标准偏差的零中心高斯分布，选择随机梯度下降作为优化器， 执行50次训练，学习率从10线性增至10。

3 实验过程

焊缝视觉跟踪过程中在弧光、烟尘和热变形等强干扰下对焊缝特征点的实时准确检测与定位，是实现复杂构件焊接机器人轨迹纠偏的关键一环。以直线角搭接焊缝为对象，首先在初始帧提取焊缝特征点，结合基于目标估计准则的孪生神经网络，通过端到端离线训练实现对焊缝特征点的实时稳健跟踪。

为验证焊缝跟踪算法的可靠性，确定系统能否精确实时纠偏，采用直线角搭焊接焊缝进行实验。通过示教器完成示教编程，读取个采样点的焊枪末端三维坐标，采用最小二乘法拟合直线作为理论轨迹，利用焊接过程跟踪算法对焊缝特征点进行识别定位，根据系统标定结果转换像素坐标为机器人基坐标下的三维坐标，计算理论轨迹和跟踪轨迹个采样点间的平均误差作为评估文中跟踪算法精度的指标。

3.1 实验选材及参数设置

实验采用Q235碳钢进行研究，尺寸为200 mm×150 mm×2 mm，直线角搭接，采用川崎3BA006NAC01焊接机器人，保护气体为CO,其余焊接参数如表1所示。

表1 焊接参数

3.2 图像采集与初始帧焊缝特征点提取

将激光视觉传感器固定于焊枪前端，调试至相机视野内结构光条纹清晰，然后启动运动控制模块和图像采集模块。图像采集模块基于OpenCV进行程序开发，控制工业相机实时采集焊接图像，焊缝初始帧图像如图6(a)所示。

初始帧处于未起弧阶段，容易提取焊缝特征点并确定跟踪区域。图像滤波是为了去除图像噪声，采用中值滤波能在有效去除噪声的同时保留图像边缘信息，效果如图6(b)所示。采用大津法对激光条纹二值化处理，凸显激光条纹轮廓，效果如图6(c)所示。为处理激光条纹边缘和末端可能出现的毛刺或裂纹，采用形态学闭运算去除毛刺和弥合裂痕，效果如图6(d)所示。由于激光条纹具有一定的宽度，为进一步提高焊缝特征点的准确度，需要进行骨架提取，将激光条纹的多像素宽度减少为单位像素宽度。采用基于Hessian矩阵的方法实现激光条纹的亚像素级骨架提取，效果如图6(e)所示。最后基于霍夫变换直线检测求得焊缝特征点坐标值，如图6(f)所示。

图6 初始帧焊缝特征点提取

3.3 实验结果分析

选取三线激光的中间激光条纹作为跟踪对象，与传统图像处理方法和基于核相关滤波(KCF)的方法对比，得到如图7所示的跟踪效果。通过观察，在弧光和烟雾等强烈干扰下，传统图像处理方法会导致边界框漂移甚至跟踪失败，跟踪效果最差，平均帧率仅为20帧/s，无法满足焊接精度要求。采用KCF的方法以前一帧的检测结果作为模板，通过训练循环矩阵采集的正负样本和利用高斯核函数映射在线更新模型，在噪声干扰较小的情况下能够稳定且较精确地跟踪焊缝特征，但是在噪声干扰明显时会出现较大的跟踪偏差和跟踪目标丢失的情况，平均帧率为45帧/s，无法实现鲁棒、准确的焊缝跟踪。而基于目标估计准则的焊缝跟踪算法跟踪效果最佳，该算法仅以初始帧为模板，通过离线训练神经网络，无需在线更新模型，所以能在强烈的干扰下依据初始模板找回目标，跟踪的平均帧率达到90帧/s，既能保持跟踪的精度与稳定性，又能满足焊接实时性要求。

图7 焊缝跟踪效果

为验证提出的焊缝跟踪算法的有效性，进行薄板角搭接焊缝的视觉跟踪实验。首先通过示教器控制机器人焊枪末端沿焊缝移动完成示教编程，记录机器人示教器上个采样点的焊枪末端三维坐标(,,)(=1,2,3,…,)，通过最小二乘法将这些点拟合为直线作为理论轨迹。焊接过程中，激光视觉传感器捕获焊接图像，根据跟踪算法对焊缝特征点进行识别定位，并通过坐标转换计算机器人基坐标下的三维坐标′(,,)(=1,2,3，…,)。最后，计算理论轨迹与跟踪轨迹之间的平均误差作为算法精度评估指标，焊枪末端在平面的理论轨迹和跟踪轨迹如图8所示。薄板角搭接焊缝跟踪的理论轨迹和跟踪轨迹在轴方向上的坐标误差如图9所示。在轴的最大误差为0.92 mm，平均误差为0.48 mm，最终得到的薄板角搭接焊缝如图10所示，焊接质量较为理想,满足焊接作业要求。

图8 焊接轨迹

图9 焊缝跟踪在X轴方向误差

图10 焊接效果

利用传统图像处理方法和KCF算法进行实验，得到传统图像处理方法的平均跟踪误差为4.2 mm，而KCF算法的平均误差为1.2 mm，都无法满足焊接精度要求。

4 结束语

通过搭建基于激光视觉的薄板焊缝检测与跟踪系统，提出基于目标估计准则的端到端焊缝跟踪算法，实现对由于热变形等引起的焊缝位置变化的自动纠偏。经过系统标定后进行图像采集，采用传统图像处理方法提取初始帧焊缝特征点，建立目标模板与待检测图像作为后续网络分支的输入，进行特征提取与跟踪，并通过焊接实验对比验证所提算法的可行性。结果表明：平均跟踪误差为0.48 mm，平均帧率为90帧/s，相较于基于传统图像处理和基于核相关滤波的跟踪算法，提高了跟踪精度和速度。