一种紧凑式柔性化焊缝视觉跟踪系统*

毕齐林 蒋晓明 刘晓光 程韬波 朱玉龙

（广东省智能制造研究所）

一种紧凑式柔性化焊缝视觉跟踪系统*

毕齐林 蒋晓明 刘晓光 程韬波 朱玉龙

（广东省智能制造研究所）

针对现有焊缝视觉跟踪装置结构尺寸大及跟踪高度不可变使其应用场合受限的弊端，研究一种紧凑式柔性化焊缝视觉跟踪方法。首先，研究紧凑式柔性化焊缝视觉跟踪原理并研制实物装置；其次，结合焊缝视觉跟踪装置结构参数，研究其光路调整角度与跟踪高度之间映射关系；接着，基于图像特征参数，建立焊缝三维轨迹数学模型；最后，结合实验验证该系统在不同跟踪高度下光路调整角度、焊缝三维轨迹数学模型的精确及可靠性。该研究为焊接过程的智能化、柔性化提供了理论基础及技术支持。

焊缝视觉跟踪；紧凑式柔性化设计；光路角度调整；焊缝三维轨迹

0 引言

随着自动化焊接技术的进步及市场竞争愈加激烈，对焊接自动化水平、焊接效率、焊缝成型质量提出了更高要求，焊缝跟踪技术一直是制约其进一步发展的主要瓶颈技术之一[1-2]。焊缝跟踪可以通过探针接触式传感、电磁传感、超声波传感、电弧传感和视觉传感等方法实现，其中焊缝视觉跟踪凭借其无接触、应用范围广、跟踪精度高等优势，成为目前焊缝跟踪技术研究热点[3-5]。

目前，焊缝视觉跟踪应用较为成熟方式为：采用线结构光投影在当前焊区前一段距离处的待焊装配缝上，工业相机采集线结构光投影图像，进而获取焊缝空间轨迹并传递给运动控制器引导焊枪沿焊缝施焊[6-7]。然而，现有激光器与相机的分体式、一体式等结构尺寸均较大，在焊接过程中易与复杂待焊工件发生结构干涉[8]。此外，相机与激光器相对空间位置固定时，若焊缝跟踪装置与待焊工件的实际距离与理论值存在一定的偏差，一方面该偏差较大且相机景深难以应对时，相机将会产生对焦不准确，图像虚化等现象；另一方面，该偏差使得线结构光在图像中的实际位置偏离理论设定的位置甚至脱离视场，造成焊缝跟踪系统失效。由于现有焊缝视觉跟踪装置无法根据实际情况中的物距自动响应，即无法依据其与待焊工件的实际距离来自动调节焦距、线结构光投影线在相机视场中位置，因此焊缝跟踪装置只能采用恒定跟踪高度在结构干扰较少的环境中进行工作。然而，在轨道交通、集装箱、船舶、核电、海工装备等大构件立体焊缝焊接中，焊缝跟踪装置过大、焊缝跟踪高度不可调，可能造成视觉跟踪装置与侧板发生结构干涉，使其应用范围受到极大限制。

针对以上弊端，结合移动式焊接机器人研究一种紧凑、柔性化焊缝跟踪方法，适应复杂焊机环境中焊缝跟踪高度可变的需求。首先，采用相机与激光器轴线平行的布局方式，使得焊缝视觉跟踪装置结构紧凑；其次，研制一种光路调节装置，使焊缝跟踪高度变化时，结构光线投影始终位于视场中心；接着，研究焊缝跟踪高度与光路调整角度之间映射关系、基于图像特征的焊缝三维轨迹数学建模；最后，通过实验对上述的方法、理论模型进行验证。

1 紧凑式柔性化焊缝跟踪原理

结合移动式焊接机器人研制的紧凑式柔性化焊缝跟踪系统工作过程：首先在待焊装配缝轨迹上投射线状结构光；再通过相机采集待焊装配缝调制后的线投影图像；最后经图像处理、分析获得待焊装配缝轨迹。在结构方面，采用相机光轴与激光器光轴平行的设计，并辅助光路系统，使得整体结构紧凑。在功能方面，辅助光路调整装置，使得线结构光投射角度可调整，满足不同焊缝跟踪不同高度的柔性化需求。紧凑式柔性化焊缝跟踪装置如图1所示，由成像器件、镜头、安装底座、反射镜片、挡弧板、激光器、光路角度调整装置、挡弧镜片等组成。

图1 紧凑式柔性化焊缝跟踪装置

紧凑式柔性化焊缝跟踪系统工作原理如图2所示。首先，根据实际焊接需求，完成视觉传感器安装，确定焊缝跟踪高度参数，结合跟踪高度与光路调整角度之间映射模型，确定光路调整角度；其次，通过光路调整装置调整反射镜片角度，使得线结构光投影线在视场中位于中间位置；接着，调整激光器线结构光宽度、相机的光圈、焦距等参数，使得线结构光投影成像特征鲜明，具有较大的对比度；最后，相机实时采集线结构光投影线图像并传输给视觉系统，视觉系统经图像处理、分析，结合图像特征与焊缝空间轨迹之间映射模型，获得焊缝三维轨迹信息并传递给运动控制系统，运动控制系统控制焊枪沿着焊缝轨迹施焊。

图2 紧凑式柔性化焊缝跟踪系统工作原理图

2 光路调整角度数学模型

物距与旋转角度之间的关联关系如图3所示。图3(a)中，以工作台平面的一个角点为原点O，铅垂线方向为z轴，相机光轴与激光器光轴的垂线为x轴，建立坐标系统OXYZ。焊缝跟踪系统垂直放置在水平面时，相机光轴、激光器光轴与铅垂线平行，相机光轴与激光器光轴之间的垂线与x轴平行。假设相机光轴与激光器光轴沿x轴方向的垂直距离为Lx0，反射镜的转轴中心与挡弧镜之间沿着z方向的距离为Lz0，反射镜的转轴半径为r0，反射镜片的厚度忽略不计，反射镜与z轴之间的夹角为αz0，挡弧镜与待跟踪工件表面之间沿z轴方向的垂直距离为Lz。

以反射镜的转轴中心原点O1，铅垂线方向为y1轴，经过原点O1与x轴平行的直线为x1轴，建立坐标系统O1X1Y1Z1，如图3(b)所示。坐标系O1X1Y1Z1中，反射后激光线AB所在直线L1的方程为：x=-Lx0-Lx1；入射激光线CD所在直线L2的方程为：x=-Lx1；工件表面BG所在直线L4的方程为：y=-(Lz0+Lz)。

图3 物距与旋转角度之间的关联关系

BC为CD经过镜面反射后的光线，故

结合L1、L4直线方程，可知L1、L3、L4直线方程相交处点B的坐标为（-Lx0-Lx1,-Lz0-Lz），故可得出激光线BC所在直线L3的方程为

反射镜绕旋转轴中心点O1转动，若I为EF的中点，则IO1垂直于EF，故点I的定位坐标为(-r0cosαz0, r0sinαz0)，由此可知点E、F所在直线L5方程为

由图3可知，反射点C为直线L2、L3、L5相交处，因此满足以下关系

将式(5)化简可知转轴角度αz0与物距Lz之间满足如下函数关系

结合式(6)中转轴角度αz0与物距Lz之间的函数关系，结合该装置设计参数lx0=150mm，lx1=15mm，r0=4mm，lz0=50mm，在实验中进行现场调试，取物距Lz分别为200mm、300mm、400mm、500mm，结合式(6)在Matlab中采用以下程序进行求解。

通过Matlab程序计算，得出对应的转轴角度αz0分别为17.42°、13.16°、10.50°、8.70°，依据该参数获取的图像如图4所示。

图4 不同物距及光路调整角度下获取的图像

由图4可知，通过以上的光路调整角度αz0与跟踪高度Lz之间关联关系的研究，可以依据跟踪高度Lz计算出光路调整角度αz0，通过光路调整装置设定光路调整角度，保证激光线投影始终位于视场中心，为后续的焊缝跟踪计算提供基础。

3 焊缝3D轨迹数学模型

由图3可知，在全局坐标系OXYZ中，待焊工件位于xy平面上，焊缝跟踪装置垂直于待焊工件表面，线结构光在xz平面内与z轴呈αz0倾斜角度投射到待焊工件表面。焊缝三维轨迹获取原理图如图5所示。当弧片与待焊工件表面的距离为Lz时，激光线在待焊装配缝轨迹处调制的拐点A0、B0、M0、N0分布于视场中心，其在图像坐标系统中的定位坐标分别为(uA0,vA0)、(uB0,vB0)、(uM0,vM0)、(uN0,vN0)，如图5(b)中虚线所示。假设在t时刻，理论上相机坐标系中的点（ut,vt）在全局坐标的关系为

其中，[Δx0,Δy0,Δz0]为t时刻相机坐标系与全局坐标系OXYZ之间的平移矩阵，单位为mm；εx、εy为相机标定系数，单位为mm/pixel。

若实际获取的结构光投影线如图5(b)中实线所示，此时结构光在待焊装配缝处调制的拐点为A、B、M、N，其在图像坐标系统中的定位坐标分别为(uA,vA)、(uB,vB)、(uM,vM)、(uN,vN)，则焊缝跟踪装置相对待焊装配缝在y方向的偏离量为

由图5(c)中的空间几何关系可知，当待焊面实际位置高于或低于理论高度时，uv图像平面中，激光线在平板上的投影线实际位置相对理论位置将沿u轴方向发生左或右偏移。依据线结构光投影端点N的图像坐标(uN,vN)以及图像uv面标定系数εx可知，图像沿u向偏移量与空间坐标系OXYZ中沿x向偏移量之间满足如下关系

依据激光器、相机在坐标系OXYZ中相对待焊装配缝的空间位姿，可知待焊装配缝实际轨迹中z向坐标zN满足以下关系式

将式(7)代入式(8)，进行化简可知，焊缝跟踪高度沿z向改变量Δz的表达式为

假设移动焊接机器人沿着x方向移动的速度为vx(mm/s)，结合式(5)、式(6)、式(9)可知，待焊装配缝三维轨迹为

图5 焊缝三维轨迹获取原理图

4 实验结果及分析

在该实验中，视觉系统采用POINT GREY（BFLY-PGE-03S2C-CS）相机，Computa（rf=25mm）镜头，COHERENT（CogerentStringRay SD-450）激光器，实验平台如图6所示，焊缝跟踪采用上述研制的紧凑式柔性焊缝跟踪装置。智能焊接实验平台主要包括焊缝跟踪模块、运动功能执行模块、运动控制硬件模块、运动控制软件模块、焊接模块等。

4.1 实验过程

1)选取2块材质为Q235的平板，其尺寸均为600mm×150mm×6mm，采用对接的拼接方式，其坡口间距为3mm。拼接后的工件左端与水平工作台接触，右端抬高6mm，如图7所示。移动焊接机器人的运行速度为0.5m/min，相机采样频率为10张/s，跟踪高度为300mm。

图6 移动式焊接实验平台

图7 不同物距及对应旋转角度下获取的图像

2)定义移动焊接机器人的工作坐标系，设工件左上角点坐标为移动式焊接机器人工作原点O，工件左上角点位于视场中心，工件向水平工作面进行投影后，长度方向的投影为x轴，宽度方向的投影为y轴。

3)设定移动机器人实际运动轨迹，使其与理论轨迹存在一定误差，用于监测视觉跟踪精度。假设焊缝的理论轨迹为B1B2、B2B3、B3B4、B4B5，移动焊接机器人运动轨迹为A1A2、A2A3、A3A4、A4A5。理论轨迹中点B1、B2、B3、B4、B5在移动焊接机器人坐标系中的坐标分别为（100,0,1）、（200,0,2）、（300,0,3）、（400,0,4）、（500,0,5）。实时跟踪测点A1、A2、A3、A4、A5在移动焊接机器人坐标系中的坐标分别为（100,0,1）、（200,2,2.5）、（300,4,4）、（400,-2,5.5）、（500,-4,7）。实际运动轨迹与理论焊缝轨迹沿y方向偏离量、z方向的偏离量如表1所示。

表1 实际运动轨迹与理论焊缝轨迹偏离量

4)焊缝视觉跟踪装置沿着设定的轨迹运动，实时采集图像如图8所示。

图8 实时采集的图像

5)对获取的图像分析处理，结合上述焊缝三维轨迹模型，获得实时跟踪的焊缝轨迹偏离量信息，并将其与实际的焊缝轨迹偏离量信息进行对比分析。

4.2 实验结果

根据式(10)的数学模型，相机的标定参数εx= 0.185mm/pixel，εy=0.192mm/pixel，计算移动焊接机器人在工作过程中视觉系统跟踪轨迹与理论焊缝轨迹沿y方向偏离量、z方向的偏离量如表2所示。

表2 视觉系统跟踪轨迹与理论焊缝轨迹偏离量

4.3 结果分析

基于上述紧凑式柔性化焊缝跟踪方法及装置、数学建模等获取的跟踪轨迹与实际运动轨迹存在±0.3mm的误差，其来源于图像处理及相机标定系数等方面的误差。故该紧凑式柔性化的焊缝跟踪方法及相应数学建模具有较高准确性和可靠性，可满足焊缝跟踪工业应用需求。

5 结论

针对移动焊接机器人狭小复杂的工作环境及柔性化的作业需求，研究了一种紧凑式柔性化的焊缝视觉跟踪系统，得到了以下结论：

1)针对现有焊缝跟踪装置结构尺寸大，焊缝跟踪时高度不可变的弊端，研究了一种紧凑式柔性化的焊缝跟踪方法，采用相机光轴与激光器光轴平行的安装方式，辅助光学系统获得了紧凑的结构，结合辅助光学系统中光路调整装置，使不同焊缝跟踪高度条件下结构光线投影图像均能位于视场中心附近，实现了不同高度下焊缝柔性跟踪功能，在上述基础上研制出紧凑式柔性化的焊缝跟踪装置；

2)通过研究焊缝跟踪装置工作过程中跟踪高度发生变化时，结构光线投影在视场中的变化规律，结合激光器、相机等相对空间位置关系，建立焊缝跟踪装置跟踪高度变化与光路调整角度之间的映射关系，结合实验验证了该模型的准确性，为不同焊缝跟踪高度时光路角度调整提供了理论基础及技术支持；

3)分析焊缝轨迹与线结构光投影图像中感兴趣特征点之间的关联规律，结合相机、激光器与待焊装配缝的相对空间位姿参数，建立了图像特征与焊缝轨迹之间的关联模型，并设计实验，验证该模型的跟踪误差不超过±2%，可满足焊缝跟踪的工业应用需求。

[1]Lu X,Zhang K,Wu Y.The seam position detection and tracking for themobilewelding robot[J].International Journal of Advanced Manufacturing Technology,2016:1-10.

[2]毛志伟,李舒扬,葛文韬,等.移动焊接机器人大折角角焊缝跟踪及工艺[J].焊接学报,2011,32(2):33-36.

[3]毕齐林,蒋晓明,刘晓光,等.基于图像配准的焊区高动态范围成像信息融合[J].上海交通大学学报,2016,50(12): 1915-1920.

[4]毛鹏军,黄石生,薛家祥,等.弧焊机器人焊缝跟踪系统研究现状及发展趋势[J].电焊机,2001,31(10):9-12,22.

[5]王军波,孙振国,陈强,等.基于CCD传感器的球罐焊接机器人焊缝跟踪[J].焊接学报,2001,22(2):31-34.

[6]Huang Yu,Xiao Yangliu,Wang Pingjiang,et al.A seam-tracking laser welding platform w ith 3D and 2D visual information fusion vision sensor system[J].International Journal of Advanced Manufacturing Technology,2013,67 (1-4):415-426.

[7]Zeng J,Chang B,Du D,etal.A visualweld edge recognition method based on light and shadow feature construction using directional lighting[J].Journal of Manufacturing Processes, 2016,24:19-30.

[8]毕齐林.大构件折线角焊缝前置—直视双视觉监测跟踪[D].广州:华南理工大学,2014.

A Com pactand FlexibleW elding Seam Visual Tracking System

BiQilin Jiang Xiaom ing Liu Xiaoguang Cheng Taobo Zhu Yulong
(Guangdong Instituteof IntelligentManufacturing)

In response to the shortcom ings of weld vision tracking device that its application is lim ited due to large structure size and immutable tracking height,a compact and flexible weld visual tracking method is proposed.Firstly,the principle of a compactand flexibleweld visual tracking is studied and the device is developed.Secondly,the relationship between the optical path adjustmentangleand the tracking height isestablished combinedw ith structuralparametersofweld visual tracking device.Thirdly，the three-dimensional trajectory of theweld isestablished based on the characteristic parameters of image.Finally,the accuracy and reliability of models that is used to describe the optical path adjustment angle under the different tracking height and the three-dimensional trajectory of theweld.Itprovides the theoreticalbasisand technicalsupport for the intelligentand flexiblewelding process.

Weld Visual Tracking;Compactand Flexible Design;Optical Path AdjustmentOptical Path Angle Adjustment; 3-Dimensional Trajectory ofWeld

毕齐林，男，1983年生，博士后，主要研究方向：机器视觉应用技术、自适应控制技术。E-mail:hbbql@163.com

广东省自然科学基金项目(2016A030310309)；中国博士后科学基金项目(2016M 602442)；广东省科技计划项目(2016B090927008)；广州市科技计划项目(2016201604030069)。

蒋晓明，男，1973年生，博士，副研究员，主要研究方向：智能装备应用技术。