焊缝跟踪应用的线激光视觉伺服控制系统

邹焱飚，王研博，周卫林

(华南理工大学 机械与汽车工程学院，广东 广州 510640)



焊缝跟踪应用的线激光视觉伺服控制系统

邹焱飚*，王研博，周卫林

(华南理工大学 机械与汽车工程学院，广东 广州 510640)

设计了一套由三轴直角坐标机器人、线激光传感器和工业计算机组成的焊缝跟踪系统。研究了该系统所涉及的测量原理、特征点测量方法和基于模糊自适应的控制方法。通过高斯核相关算法(KCF)在焊接过程中实时检测焊缝特征点，并根据测量原理计算获得特征点相对于相机坐标系的三维坐标值。设计了一种自适应模糊控制器，通过自适应模糊控制器计算坐标的偏差值和偏差变化率得到焊枪末端运动轨迹的控制量，同时对模糊控制器的输入输出论域、模糊规则和隶属函数进行实时动态更新。实施了焊缝跟踪实验。结果显示：采用最大焊接电流为350 A的惰性气体保护焊(MIG)，在强烈弧光和飞溅的干扰下，该系统能实时跟踪焊接工件，跟踪精度为0.325 3 mm，传感器测量频率为20 Hz。焊接过程中焊枪末端运行平稳，焊缝轨迹跟踪准确，且抗干扰能力，能满足焊接应用要求。

线激光传感器；焊缝跟踪；自适应模糊控制；焊缝特征点；高斯核相关算法

1 引 言

随着焊接自动化技术的发展，焊缝自动跟踪技术变得愈发重要。常见的焊接机器人由于大多采用“示教再现”的操作模式而存在加工误差和焊接热变形，从而造成焊接质量下降和焊接缺陷，具备焊缝实时跟踪功能的焊接机器人是解决该问题的主要手段。

激光视觉伺服技术[1-2]因为具有高精度和抗干扰能力强等优点而被广泛应用于焊缝实时跟踪系统。线激光传感器在焊缝跟踪系统中主要用于实时测量焊缝特征点的位置。激光条纹和焊接熔池之间的距离d是影响跟踪精度的主要计算指标，d越小，跟踪精度越高，通常希望d<30 mm。但是这会导致视觉系统检测的图像信息中存在强烈的弧光和飞溅，产生大量错误数据，从而造成测量精度降低。当焊接电流超过300 A后，此现象更加明显。

同时焊缝跟踪过程中存在时延以及其他非线性因素的影响，因此根据实时测量的焊缝特征点来设计高精度的控制器是实现焊缝自动跟踪的关键[3-5]。Yong-Tae Kim等[6]采用变结构控制思想设计了鲁棒自学习控制器，控制效果良好，但是该控制方法需要被控对象精确的数学模型，一旦被控对象改变或者模型不准确则会使控制失效。H.Y.Shen[7]等采用PID控制，在一定的整流电压条件下获得了良好的焊接效果，但是实际应用中需要反复试验才能得到PID各参数的理想值。

美国MTI公司[8]的PRO 2D型条纹式激光传感器和德国Leuze Electronic公司[9]的LPS 36HI/EN线激光传感器的跟踪精度为0.2～0.6 mm，采样频率为100 Hz，但无法应用在大电流焊接等存在强烈弧光和飞溅的场合。国内学者也对此类传感器进行了研究，许燕玲[10]采用基于视觉及电弧传感技术的机器人GTAW三维焊缝实时跟踪控制技术，跟踪误差可以控制在±0.4 mm，但该系统的采样频率仅为2 Hz。颜厚银[11]提出了一种基于虚拟仪器的窄间隙TIG焊缝跟踪系统，其跟踪误差可以达到0.3 mm，采样频率为5 Hz，但是焊接速度仅为4 mm/s，且焊接精度随着焊接速度的增加而降低，很难满足实际焊接条件下的使用要求。

本文提出了基于线激光传感器的焊缝跟踪系统，该系统在强烈弧光和飞溅的工况下，能实现焊缝特征点的实时准确检测；并设计了面向焊缝跟踪应用的自适应模糊控制器。该模糊控制器[12]无需被控对象的数学模型，其自适应模块[13]可根据偏差值和偏差变化率实时调整控制器的量化因子和比例因子，从而对模糊规则的权系数进行动态调整，通过实时改变模糊规则获得最优的跟踪效果。

2 系统构成

焊缝跟踪系统的原理如图1所示，该系统由三轴直角坐标机器人、线激光传感器、焊接电源和工业计算机等组成。其中，三轴直角坐标机器人由3套相互垂直的线性模组组成，焊枪固定在机器人的Z轴上，线激光传感器固定在焊枪上，并跟随焊枪一起运动，如图2所示。

图1 基于线激光传感器的焊缝跟踪系统原理图

图2 焊缝跟踪装置实物图

线激光传感器由线激光发生器和工业相机等构成，如图3所示。根据焊接时的光谱特性以及波的衍射性质，选择波长为660 nm，功率为100 mW 的线激光器(NanolineLaser，NL-660-100-01L-30)。工业相机选择分辨率为1 282 pixel×1 026 pixel的Basler acA1280-60gm。为了减少焊接时弧光的干扰，在M0814-MP2的镜头前加装红外滤光片和透光率为91%的聚碳酸酯板。

图3 线激光传感器实物图

3 线激光传感器

3.1 工作原理

图4 线激光传感器的测量原理图

(1)

3.2 焊缝特征点检测算法

由于焊缝跟踪系统需在焊接过程实时运行，为了提高跟踪精度，通常要求激光条纹和焊接熔池之间的距离d<30 mm，因此视觉系统检测的图像信息中不可避免地存在弧光和飞溅，如图5所示。

在此情况下准确检测焊缝特征点成为难点。由于焊缝跟踪系统为视觉伺服系统，影响系统动态响应的主要因素是传感器的响应速度。针对此问题，本文采用基于核相关滤波器(Kernelized Correlation Filter，KCF)的实时焊缝特征点检测算法，该算法能在存在大噪声的图像中快速准确地确定焊缝特征点的位置。

图5 焊接噪声图

KCF[15]是一种主流的视频目标跟踪算法。该算法根据序列图像中的视频信息在空间和时间上的相关性，为处于同一视频的每帧图像中的目标分配相应的标签，以确定目标的位置，目前广泛应用于运动识别、自动视频监控和视频检索[16]等领域。

KCF算法的基本原理如下：

(2)

式中：x为矩阵的第1行，X为x经过循环偏移得到的循环矩阵。同理，将二维的正样本进行循环偏移可得到所需的负样本。

图6 各类型焊缝的特征点图

(a)程序接口图

(b)捕捉到图像和所得正样本

(2)焊缝跟踪、焊缝特征点的动态检测，及测量参数的实时调整。

(3)

(4)

式中λ为防止过拟合的正则化参数，其解为：

(5)

(6)

则分类器的权重向量w变为：

(7)

这样最终要求解的参数就由w变为α，这里α={α1，α2，…αj，…}T，不同样本之间乘积的核函数如下：

(8)

最终的回归函数为：

(9)

式(9)的解为：

(10)

式中kxx是核函数矩阵K第一行元素组成的向量。根据式(2)构建的核函数矩阵为：

(11)

因此基于初始目标模型z当前帧的所有样本xi的响应为：

(12)

由式(12)可计算出新一帧中特征点的坐标如下：

(13)

(14)

图8 跟踪过程图

4 焊缝跟踪控制方法

如图9所示，abcde为焊缝的实际位置曲线，由于机械系统与视觉检测系统相比存在滞后性，焊枪沿着曲线ab′cd′f运动，在焊缝跟踪过程中表现为焊枪末端出现周期性抖振现象。本文采用自适应模糊控制算法来解决此问题。

图9 焊缝与焊接轨迹

4.1 模糊控制

常见的二维模糊控制器[18]原理如图10所示，模糊控制器由模糊化、模糊规则库、模糊推理机和解模糊化组成。s为系统的期望值，y为系统的实际输出值，系统偏差e=s-y，偏差变化率ec=de/dt。首先通过模糊化将e和ec的精确值变为模糊语言变量E和EC，经过模糊推理之后输出模糊量U。解模糊化利用最大值法将U转换为精确输出量u，对被控对象进行控制。

图10 二维模糊控制器原理图

本文中覆盖e的模糊论域为E={-2，-1，0-，0+，+1，+2}，对应的模糊子集为{NB，NS，NO，PO，PS，PB}，覆盖ec的模糊论域为EC={-3，-2，-1，0，+1，+2，+3}，对应的模糊子集为{NB，NM，NS，O，PS，PM，PB}，覆盖u的模糊论域为U={-2，-1，0，+1，+2}，对应的模糊子集为{NB，NS，O，PS，PB}。

对于偏差变化率EC和输出论域U可得到类似的初始隶属函数。本文设计的初始模糊规则如表1所示。

表1 模糊规则

表1中每条模糊规则都可以给出一个模糊蕴含关系Ri(i=1，2，…，42)，由此可知总的模糊蕴含关系为：

(15)

由模糊规则表中的模糊蕴含关系构成的模糊推理规则为：

U=(E×EC)∘R=((E∧EC)∘R1)∨

((E∧EC)∘R2)∨…∨((E∧EC)∘R42).

(16)

对于输入的E和EC，图11(a)为推理前的隶属函数，图11(b)为经过推理后的模糊输出。

(a)原始隶属函数

(b)模糊输出

4.2 自适应模糊控制

由于模糊控制器鲁棒性差，因此在控制过程中加入自适应模块，采用多输入单输出的模糊控制器，输入初始论域为Xi=[-xi，xi]，i=1，2，…n，输出的初始论域为Y=[-u，u]。当输入xi(i=1，2，…，n)和输出u发生变化时，输入和输出论域也随之发生变化，即变论域模糊控制。引入量化因子ki(i=1，2，…，n)和比例因子ku对Xi和Y进行实时调整，即：

(17)

式中：ki的作用是将模糊控制输入的实际论域范围[-xi，xi]量化到对应的模糊集论域范围[-ni，ni]，ku的作用是将模糊控制器的输出论域[-l，l]转换成被控对象实际所能接受的控制范围[-yu，yu]，因此ki和ku的值都会影响论域的范围，变论域如图12所示。

图12 输入变论域

(18)

(19)

式中：K=0.800 4，A=0.499 8，0<α1<1为偏差权重系数，N=3，αs=0.8，α0=0.5。

实时更新模糊规则，即：

U=-βiE+(1-βi)EC，βi∈0，1()

(20)

输入偏差E的隶属函数的实时更新规则为：

……

同理，对于偏差变化率EC和输出论域U的隶属函数也进行实时更新。

由图9可知，偏差量呈现周期性变化，且一个周期内偏差的平均值接近实际偏差量，因此可以取前n个周期，求出其平均偏差值e0作为基准偏差，即：

(21)

式中m为前n个周期中偏差点的总个数。对n个周期之后的偏差值进行惯性均值滤波处理，即：

(22)

5 实 验

焊机采用山东奥太的Pulse MIG-350RP，最大焊接电流为350 A，焊接工件为V型角焊缝，焊接速度为5 mm/s，焊丝直径为1.0 mm。工业计算机为研华IPC-510，Intel i7-3770四核处理器，主频为3.4 GHz。首先采用H.Y.Shen[7]等使用的PID控制算法进行焊缝跟踪实验，控制算法如式(23)所示，实验结果如图13所示。

(23)

(a)坐标值对比

(b)误差曲线

图13(a)是在y轴方向焊枪末端的实际运动路径和工件焊缝特征点轨迹的对比，图13(b)是在y轴方向焊枪末端的实际运动路径和工件焊缝特征点轨迹的偏差值。经计算发现，偏差平均值Δy=0.537 6 mm，偏差方差var_y=0.099 8 mm2。同理可得z轴方向的偏差平均值Δz=0.994 8 mm，偏差方差var_z=0.044 9 mm2。由图13可知，跟踪过程中焊枪末端出现周期性的抖动。

本文提出的自适应模糊控制算法得到的实验结果如图14所示。

(a)坐标值对比

(b)误差曲线

图14(a)为y轴方向焊枪末端的实际运动轨迹和工件焊缝特征点轨迹的对比，图14(b)为y轴方向焊枪的实际运动轨迹和工件焊缝特征点轨迹的偏差值。经计算发现，偏差平均值Δy=0.325 3 mm，偏差方差var_y=0.013 4 mm2。同理可得z轴方向的偏差平均值Δz=0.015 7 mm，偏差方差var_z=2.255 8×10-5mm2。

自适应模糊控制算法极大地改善了焊缝的跟踪效果，使y轴方向精度提高了39.49%，z轴方向精度提高了98.42%，解决了焊枪末端在焊缝跟踪过程中的抖振问题，能满足实际焊接要求，焊接后的工件如图15所示。

图15 采用自适应模糊控制得到的焊接结果

5 结 论

本文提出了由线激光传感器、三轴直角坐标机器人和工业计算机组成的焊缝跟踪系统，利用KCF算法，在存在强烈的弧光和飞溅的实时焊缝跟踪过程中，能够准确检测到每一帧图像中焊缝特征点的位置，每帧图像的处理时间小于50 ms，满足一般焊接的实时性要求。然后建立了模糊规则和隶属函数，在焊接电流为350 A的焊接实验中通过实时地调节输入输出论域、模糊规则以及隶属函数，使焊枪末端平稳的运行，焊缝轨迹跟踪准确，增强了系统的抗干扰能力。最后对自适应模糊控制算法进行了实验研究。实验结果表明，采用自适应模糊控制算法后，y轴方向的误差精度提高了39.49%，z轴方向的误差精度提高了98.42%，总体平均误差小于0.325 3 mm，跟踪频率达到20 Hz。

[1] 邾继贵，郭磊，刘常杰，等. 基于机器人的柔性电子检具测量系统[J]. 光学 精密工程，2011，19(8)：1787-1793. ZHU J G， GUO L， LIU CH J，etal.. Measurement system of flexible electronic checking fixture on robut [J].Opt.PrecisionEng.， 2011，19(8)：1787-1793. (in Chinese)

[2] FENNANDER H， KYRKI V， FELLMAN A，etal..Visual measurement and tracking in laser hybrid welding [J].Mach.Vis.Appl.，2009，20：103-118.

[3] LEE S K， NA S J. A study on automatic seam tracking in pulsed laser edge welding by using a vision sensor without an auxiliary light source [J].Manuf.Syst.， 2002， 21：302-315.

[4] FANG Z J， XU D， TAN M. A vision-based self-tuning fuzzy controller for fillet weld seam tracking [J].IEEE/ASMETransactionsonMechatronics， 2011，16(3)：540-550.

[5] XU D， WANG L K， TU Z G，etal.. Hybrid visual servoing control for robotic arc welding based on structured lignt vision [J].ActaAutomaticaSinica， 2005，31：596-605.

[6] KIM Y T，ZEUNGNAM B.Robust self-learning fuzzy controller design for a class of nonlinear MIMO systems [J].FuzzySetsandSystems，2000，111(2)：117-135.

[7] SHEN H Y， LIN T， CHEN S B，etal..Real-time seam tracking technology of welding robot with visual sensing[J].JournalofIntelligent&RoboticSystems，2010，59：283-298.

[8] MTI instrument.MeltraxforMTIPro2D[EB/OL].http：//www.mtiinstruments.com/.

[9] LEUZE ELECTRONIC.LineProfileSensor[EB/OL].http：//www.leuze.com/.

[10] 许燕玲. 基于视觉及电弧传感技术的机器人GTAW三维焊缝实时跟踪控制技术研究[D].上海：上海交通大学，2013. XU Y L.ResearchonReal-TimeTrackingandControlTechnologyofThree-DimensionWeldingSeamDuringWeldingRobotGTAWProcessBasedonVisionSensorandArcSensor[D].Shanghai：Shanghai Jiao Tong University，2013.(in Chinese)

[11] 颜厚银. 窄间隙TIG焊焊缝跟踪系统设计及研究[D].上海：上海交通大学，2013. YAN H Y.StudyonSeamTrackingSystemofNO-TIGWelding[D].Shanghai：Shanghai Jiao Tong University，2013.(in Chinese)

[12] YAO L， HUANG P Z. Learning of hybrid fuzzy controller for the optical data storage device [J].IEEE/ASMETrans.Mechatronics， 2008，13(1)：3-13.

[13] 张雷， 王延杰， 孙宏海，等. 采用核相关滤波器的自适应尺度目标跟踪[J]. 光学 精密工程， 2016， 24(2)： 448-459. ZHANG L， WANG Y J， SUN H H，etal.. Adaptive scale object tracking with kernelized correlation filters [J].Opt.PrecisionEng.， 2016， 24(2)： 448-459.(in Chinese)

[14] 邹焱飚，龚国基. 面向焊缝跟踪的线激光检测技术研究[J]. 应用激光，2015(4)：500-507. ZOU Y B，GONG G J. Research on line laser detecting technology for seam tracking [J].Appliedlaser，2015(4)：500-507.(in Chinese)

[15] HENRIQUES J F， CASEIRO R， MARTINS P，etal..High-speed tracking with kernelized correlation filters [J].IEEETransactiononPatternAnalysisandMachineIntelligence， 2015，37(3)：583-596.

[16] 李静宇， 刘艳滢， 田睿， 等. 视频监控系统中的概率模型单目标跟踪框架[J]. 光学 精密工程， 2015， 23(7)： 2093-2099. LI J Y， LIU Y Y， TIAN R，etal.. Probabilistic model single target tracking framework for video surveillance system [J].Opt.PrecisionEng.， 2015， 23(7)： 2093-2099.(in Chinese)

[17] HENRIQUES J F， CASEIRO R， MARTINS P，etal.. Exploiting the circulant structure of tracking-by-detection with kernels [C].EuropeanConferenceonComputerVision， 2012：702-715.

[18] 黄卫华. 模糊控制系统及应用[M]. 北京：电子工业出版社， 2012. HUANG W H.FuzzyControlSystemandItsApplication[M].Beijing： Publishing House of Electronics Industry，2012. (in Chinese)

[19] 刘金琨. 机器人控制系统的设计与MATLAB仿真[M]. 北京：清华大学出版社， 2008. LIU J K.DesignandMATLABSimulationofRobotControlSystem[M]. Beijing：Tsinghua University Press，2008.(in Chinese)

[20] LI H X，MIAO Z H，LEE E S.Variable universe stable adaptive fuzzy control of a nonlinear system [J].ComputersandMathematicswithApplications，2002，44： 799-815.

邹焱飚(1971-)，男，福建古田人，博士，副教授，硕士生导师，1991年于中国石油大学获得学士学位，2005年于华南理工大学获得博士学位，主要从事机器人理论及工程应用方面的研究。E-mail：ybzou@scut.edu.cn

王研博(1991-)，男，山东潍坊人，硕士研究生，2014年于江南大学获得学士学位，主要研究方向为机器视觉和焊缝跟踪。E-mail： mewyb@mail.scut.edu.cn

(版权所有 未经许可 不得转载)

Line laser visual servo control system for seam tracking

ZOU Yan-biao*， WANG Yan-bo， ZHOU Wei-lin

(Institute of Mechanical and Automotive Engineering，SouthChinaUniversityofTechnology，Guangzhou510640，China)

A real-time seam tracking system consisting of a three-axis cartesian robot， a line laser sensor， and an industrial computer was designed and its measuring principle， feature point measuring method and adaptive fuzzy control were researched. The Guassian Kernelized Correlation Filter(KCF) was adopted to detect the weld feature points in real time in welding process and 3D coordinate values of industrial camera were obtained by 2D pixel coordinate values based on measuring principle. A adaptive fuzzy controller was designed. On the basis of the adaptive fuzzy controller， the deviation values and deviation rate of the coordinate system were calculated to obtain the control values of movement trajectory for torch end. Meanwhile， the inputs and outputs on the domain and fuzzy membership functions of fuzzy controller were updated in real time. The experiments on seam tracking were performed. The experimental results show that the system realizes accurate seam tracking in real-time under the conditions of strong arc light and splash when the largest welding current is 350 A in Metal-Inert Gas Welding (MIG). The tracking error is less than 0.325 3 mm and the metrical frequency of sensor is up to 20 Hz. In welding processing， the end of the torch runs smooth the weld trajectory can be tracked accurately and the system shows strong anti-interference ability， so it meets the requirements of welding applications.

line laser sensor； seam tracking； adaptive fuzzy control； weld feature point； Guassian kernelized correlation filter

2016-06-02；

2016-08-01.

国家科技重大专项基金资助项目(No.2015ZX04005006-03)

1004-924X(2016)11-2689-10

TN249；TP273.2

A

10.3788/OPE.20162411.2689

*Correspondingauthor，E-mail：ybzou@scut.edu.cn