基于视觉传感的焊接机器人焊缝识别跟踪技术研究现状

蒋宝，徐冬至，黄瑞生，杨义成，宋南，聂鑫，李林

1.哈尔滨焊接研究院有限公司 黑龙江哈尔滨 150028

2.中船黄埔文冲船舶有限公司 广东广州 510715

1 序言

焊接作为现代加工制造领域中的重要连接方法，已经越来越多地渗透到各行业各领域中多品种多类型的材料加工中。在以往的传统制造领域中，大多使用手持式焊接方式，其对焊接工人的要求相对较高，且焊接效率低下，已经难以满足现代焊接生产需求。随着半自动化焊接技术的出现，以机器和人工组合的方式，使焊接自动化程度得到一定提高，大幅改善了焊接生产环境，同时也在一定程度上提高了焊接生产效率，但其仍然需要靠大量的人工干预，且伴随焊接产品形式的多样化、复杂化，仍难以满足高效优质的焊接要求。

随着机器人焊接方法的出现，焊接生产效率获得大幅提高的同时，焊接灵活性得到明显增加，焊接成本也有所降低，对于焊接领域的快速发展具有重要的推动作用。然而，在焊缝形式相对单一、焊接场合相对固定的条件下，采用一般的机器人示教编程方式尚可自由应对，但由于所焊工件形式的多样化、复杂化，普通的机器人焊接方法在应对焊缝轨迹不统一的场合时仍需大量人工示教，同样难以快速适应小批量的多领域、多形式的焊接生产，这在一定程度上仍会限制相关焊接领域的快速发展。

近年来，焊缝识别跟踪技术的出现，对于机器人焊接领域的发展起到了明显的促进作用。采用焊缝识别跟踪技术，可以主动识别不同的焊缝特征，从而应对不同形式的具有复杂轨迹的焊缝，使机器人自主示教进行焊接作业，从而大幅提升了焊接稳定性和焊接效率，对于机器人焊接技术的普及和发展具有重要意义。

目前，由于焊缝自主识别跟踪技术对焊缝检测精度和轨迹规划要求较高，其涉及到多学科多领域知识，导致其自主识别跟踪能力尚不完善，仍需多领域专家学者继续深入研究。本文正是基于以上分析，从传感器、焊缝识别及特征提取、焊缝跟踪控制技术等方面对焊缝识别跟踪技术的发展作了较为详细的阐述。

2 焊缝识别跟踪技术特点

焊缝识别跟踪技术主要包括对焊缝的检测识别、焊缝特征的提取、焊缝跟踪控制。焊缝识别与焊缝特征提取是利用特定的传感器对焊缝特征类型进行识别定义；然后根据不同类型焊缝在传感器中的成像，并通过特定的图像处理算法，将识别提取到的焊缝特征最终转换成三维坐标系；最后焊接机器人根据所获得的焊缝特征信息进行自动识别校正跟踪，即通过传感器获取实时焊缝位置信息后建立数学模型，根据相关特征信息实时调整焊枪位置，使之实现高效率、高质量的焊接[1-3]。

对于机器人焊接焊缝识别跟踪，其核心在于焊缝特征的实时识别及其特征提取，高效率、高质量焊接实现的前提是焊接机器人能够对焊缝位置进行快速、准确地获取，只有将不同类型的焊缝特征进行精准识别并将其提取转换成焊接机器人认可的数据信息，才能做到焊接过程中不依靠人工干预，使焊接机器人自行根据焊缝形式进行实时轨迹调整，从而适应不同焊接场合，做到小批量、多场合、多任务地快速焊接生产。因此，对于焊缝识别跟踪技术的研究与发展，结构简单、过程稳定、灵敏度高的焊缝跟踪传感至关重要，同时焊缝特征提取算法的优劣也是影响焊缝识别跟踪精度及最终焊接质量的重要因素。

3 焊缝识别跟踪技术研究现状

3.1 传感技术研究进展

（1）传感器分类 根据传感的接触方式，主要分为电弧传感器、接触式传感器和非接触式传感器，传感器主要分类如图1所示。以往焊接机器人应用最普遍的是电弧传感和接触式传感[4，5]，其响应快、成本低且结构简单，但其精度较差，不适用于结构复杂的焊缝。此外，超声波传感[6]、红外传感[7]和视觉传感[8]也是焊接领域常用的传感方式。其中相较于其他传感方式，视觉传感技术可以通过捕获诸如电弧形态、熔池轮廓等信息提供决策支撑，其获取的焊缝特征具有信息丰富、抗干扰能力强、灵敏度与精度高且与工件非接触的优点，适用于各种焊接形式，逐渐发展成为焊缝跟踪系统中的主流传感器[9]，并在如今的机器人焊接领域中得到了广泛使用[10，11]。

图1 传感器主要分类

视觉传感器主要依靠焊缝中反馈回的光源信息进行特征识别，根据有无外部光源分为主动传感和被动传感。其中主动视觉传感器依靠外部光源，以更具有判别性特征的结构光（如激光、卤钨灯等）条纹作为检测对象，通过外部光源进行投影的方式提取焊缝的三维特征信息，能够有效克服自然光源下信息采集困难的问题，因此成为焊缝跟踪领域的主流发展方向；而被动视觉传感器则是直接利用焊接过程中焊缝自身投射出的光源信息进行焊缝特征提取，容易受焊接飞溅、弧光等噪声干扰，导致成像质量较差，后期的图像处理较主动视觉更复杂。基于视觉传感的焊缝识别跟踪如图2所示。

图2 基于视觉传感的焊缝识别跟踪

主动视觉焊缝跟踪常用结构光法，这是一种基于光学三角测量原理的检测方法，可以准确获取被测物体的三维轮廓信息，结构简单，稳定性好，可快速准确地提取焊缝中心位置。其中，工业应用最多的为激光式结构光传感器，其以激光作为辅助光源，具有精度高、稳定性好等优点。此外，激光式结构光传感器又分为线激光结构光传感器与2D结构光传感器，其中线激光传感器结构简单，操作方便，应用广泛[12，13]。

（2）激光传感器 激光视觉传感器的工作原理在于将激光投射到焊缝表面，形成具有一定特征的激光条纹并由视觉传感器进行焊缝特征信息提取，进而识别焊缝特征点位置，如图3所示。后续焊接机器人依据相关信息进行焊接位置实时校准，其基本流程如图 4所示。

图3 激光传感原理

图4 激光传感基本流程

对于不同的焊缝几何形式，根据不同的焊缝特征提取方法及特征信息转换原理，选用的激光条纹分为单线、多线、十字及圆环等特征形式。其中，单线形激光传感器可以获得焊缝绕投影轴的旋转信息，但信息量相对较少且易受噪声影响，对此SUNG等[5]研究出了一种可产生多条一字线激光的激光视觉传感器，能够提取到反映焊缝特征的多视点几何数据；而LAKOVOU D等[14]则利用三个激光发生器投射出三角状激光条纹，进而实现焊缝检测的功能；XU等[15]为了实现复杂焊缝轨迹的精确跟踪，设计了一种环形激光视觉传感器，提出了焊缝三维跟踪的基本概念，并对多种类型焊缝进行了试验验证；XIAO等[16]为了提高曲线焊缝跟踪中单线传感器的跟踪精度，提出了利用三线激光作为检测光源来提高跟踪精度的可行措施；KIDDEE等[17]则开发了一种十字形激光视觉传感器，有助于增加焊缝跟踪过程中所需要的特征点数。

目前，国外已有多款激光视觉传感器投入商用，其中有加拿大Servo-Robot公司的i-CUBE系列激光传感器、POWER-CAM激光传感器，德国 Abicor Binzel公司的TH6D系列焊缝跟踪传感器，英国Meta公司的Smart Laser Pilot智能激光传感器等，如图5所示。但由于价格昂贵且维修困难，所以在国内普及度较低。目前，国内对激光视觉传感也有一定的研究，如北京创想公司的CRNT标准激光焊缝跟踪器[18]、北京同舟兴业公司的TTEC激光 2D 传感器[19]等，但在精度、稳定性及适用范围等方面，与国外同类产品相比仍存在较大的差距。

图5 基于视觉的焊缝识别跟踪

3.2 焊缝识别提取技术

焊缝识别提取是在视觉传感器获得的图像中识别出有用信息并进行分析处理，最后提取出焊缝特征且以此作为焊缝跟踪的依据。在图像处理技术中，图像处理算法作为焊缝自动跟踪系统的核心部分，需要具备良好的实时自动分析能力、关键信息提取能力以及抗噪能力。

（1）焊缝识别及焊缝特征提取技术 作为焊接机器人焊缝识别跟踪技术的关键，焊缝特征识别提取技术的发展对自动化焊接质量至关重要，因此对相关技术的持续深入研究，对于机器人自动化焊接的发展具有重要的推动作用。

ZHANG等[20]考虑激光条纹的空间特性和焊接线的连续性，提出了基于时空级联隐马尔可夫模型的焊缝检测和定位算法；ZHANG等[21]针对大型拼接焊缝提出一种基于三线结构光的激光视觉识别方法，抗干扰能力强，获取信息量丰富；LI等[22]研究的基于激光扫描位移传感的焊缝轨迹识别方法，可以准确识别典型空间不连续焊缝，焊缝检测时长相对较短，大幅提高了焊接效率。

近年来，有部分研究人员针对多类型焊缝进行了识别。QIAN等[23]通过焊缝特征点之间的相对位置进行焊缝识别，该方法难以适应复杂的焊接场合；LI等[24]在基于Hausdorff距离以及模板匹配的基础上进行焊缝类型识别，其单张图片处理时间较长，高达1.17s；LI X D等[25]为了简化焊缝识别手段，利用了焊缝线条及连接点的组成特点进行分类识别，但该方法精度较差；FAN J F等[26]利用SVM并通过提取图像特征向量建立焊缝识别模型，然而其适应范围较窄。

此外，在实际焊接环境中，不同的焊缝类型，在激光的投射下其成像不同，焊缝特征提取算法也因此有所差异，国内外学者均对此作了大量研究工作[27，28]。在焊缝特征点提取之前，首先对反射的激光条纹信息进行识别提取，常用的焊缝条纹提取方法有极值法、阈值法、灰度重心法及霍夫变换等[29-31]。黄色吉等[32]采用列扫描法选取焊缝图像特定区域对激光条纹阈值分割，并利用图像投影确定焊缝中心线；南方等[33]利用自适应阈值法提取条纹区域，通过随机霍夫变换与Steger算法提取激光条纹中心线；MUHAMMAD等[34]针对低质量的焊缝图像，结合激光条纹结构特征来定向增强图像，改善了激光条纹峰值，利用像素强度分布，能够准确提取条纹特征。此外，激光条纹提取方法还有最近邻聚类算法、方向模板法、遗传算法等[35-37]，研究人员均作了较为深入的分析论证。

在实际工况中，焊缝坡口形式并不一致，据此其特征点提取方法也会有所不同，斜率分析和直线相交法是目前特征点提取的重要方法[38，39]。其中KIDDEE等[40]基于几何形状检测V形焊缝坡口特征的方法，通过霍夫变换并利用最小二乘法拟合出特征点；YU等[41]将坡口看作直角拐点和斜角点的几何叠加并采用斜率极值法和斜截距法提取特征点。此外，针对厚板多层多道焊轨迹规划问题，顾帆等[42]提出了结构光视觉检测的特征点提取算法，搜索获得两个特征点，其跟踪系统如图6所示。

图6 基于视觉的焊缝识别跟踪系统

目前的焊缝识别提取技术，在焊接环境相对良好、其他影响因素较小的情况下，其识别提取精度还能得到一定保障，但实际焊接场合环境复杂、影响因素较多，如强烈的弧光、较多的飞溅等都会对焊缝识别提取稳定性造成影响，因此去噪处理便成为了焊缝识别提取技术的一大难题，也是重点研究方向之一。

（2）图像去噪处理技术 焊缝特征信息在识别提取过程中主要分为两种方式：一种方式是先让传感器对焊缝从头到尾进行完整的扫描，然后返回起始处开始焊接，此方法相对简单，不易受到干扰，但效率也随之降低；另一种方式是扫描和焊接同步进行，此种方法虽然效率有所提高，但会导致提取到的图像含有大量噪声，进而降低焊缝识别精度。此外，对于一些本身易产生较大噪声的焊接场合，也会掩盖所需要的焊缝特征，而采用常规的物理噪声处理方式，如加装挡板等方式的效果较差。因此，如何有效地去除视觉传感系统中焊缝图像噪声，对于提高焊缝识别和焊缝特征提取效率具有重要作用。

对于图像噪声，目前主要用滤波去除方法，如均值滤波、中值滤波以及高斯滤波。其中，中值滤波方法较为简单，可以在保证信号分辨力的条件下，保留图像边缘信息，应用广泛；而均值滤波会降低图像分辨力，高斯滤波更会造成图像信息丢失，难以适用于图像去噪处理[43]。此外，HUANG等[44]通过小波分析，有一定的抑制噪声干扰和消除伪像作用；王平[45]以及龚国基等[46]也都利用不同的方法对焊缝图像进行了滤波去噪。

近年来，为了提高焊接机器人焊缝识别跟踪技术的智能化，基于深度学习的焊缝识别跟踪技术也获得了一定发展[47-49]。其中邹焱飚等[50]结合深层卷积神经网络的特征学习能力，实现对焊缝特征点位置的跟踪，具有较强的抗干扰能力；DU等[51]提出了一种基于卷积神经网络的特征区域识别和特征搜索方法，其特征点提取精度的平均误差为0.29mm，能够准确有效地提取出强噪声焊缝图像特征；XIAO等[52]提出了一种基于激光视觉传感器的自适应特征提取算法，通过训练深度学习中用于目标检测的Faster-CNN网络模型，以识别焊缝类型并定位激光条纹区域，该方法可快速识别焊缝类型，适应性更强。

从以上焊缝识别研究进展来看，受限于实际焊接环境的复杂性，对于一些焊缝形式相对简单、焊接环境相对良好固定的焊接场合，目前的焊缝识别提取技术可自由应对；但对于多任务多类型的机器人焊接场合，如不同板厚条件、不同反光材料、不同焊缝类型，以及不同焊接方法等复杂情况下的适应性和抗干扰能力仍待提高。

3.3 机器人跟踪控制技术

在焊接机器人焊缝识别跟踪系统中，在经过焊缝特征信息的识别提取及图像处理后，传感器获得的图像坐标信息与期望坐标间存在偏差，需要机器人实时调节以实现自动跟踪及轨迹调整功能，其在整个焊接系统中对最终的焊接质量同样具有重要作用，研究人员在此方面也作了较为深入的研究。

为了简化机器人控制系统，一些学者在不考虑外加载荷的条件下进行了研究分析，其中XING等[53]在迭代学习控制的框架下，提出了分批模式的跟踪误差概率密度函数控制方法；CHEN等[54]基于任务空间划分方法，建立了保持机构间协调运动关系的目标函数；高胜等[55]按照运动误差补偿思想，用于实现空间焊接轨迹的鲁棒跟踪。但是，虽然上述方法相对简单，但实际焊接时会有额外的附加载荷，可导致焊枪实际行走轨迹有所偏差，降低焊接系统稳定性。为了最大程度地降低焊枪轨迹偏差，部分研究人员直接调整焊接过程中机器人末端的位置或位姿，如采用轨迹完全重规划的方法[56]，是重要的发展方向之一。

为了获得更好的焊缝跟踪效果，有研究人员[57]采用了目标视觉跟踪方法。目标视觉跟踪（VOT，Visual Object Tracking）作为一种有效的跟踪框架，可对序列复杂图像中特定区域进行跟踪。其中CARLSON等[58]采用粒子滤波估计目标后验概率密度分布的方法实现焊缝跟踪；LI等[59]提出了先用目标跟踪算法确定出小范围目标搜索区域后，再提取焊缝特征点的思想；ZOU等[60]采用贝叶斯概率框架并利用局部余弦，提出了一种无需对激光条纹中心进行提取的焊缝跟踪算法。

为了进一步提升焊缝跟踪控制系统的智能化，笛卡尔空间位置纠偏模块成为了一个重要研究方向，该模块可计算出实际所需要的偏置电压，进而控制焊枪偏移距离，提升了焊接机器人自动跟踪系统的智能性，但也需要一定的算法来进行控制。其中SHEN等[56]开发了一套使用传统 PID 算法实现偏置电压输出的焊缝跟踪系统，并对算法的跟踪精度进行了验证；XU等[61]提出了笛卡儿空间位置纠偏的分段自适应PID控制器，克服了传统PID算法自适应能力不足等缺陷，进而大幅提高了焊缝跟踪系统的稳定性。

此外，BORER等[62]提出一种基于激光位移传感器的焊缝跟踪算法；OLLI等[63]研制了一套由视觉传感器、图像处理等模块组成的激光视觉系统，JIA等[64]设计了一种基于激光视觉传感器的机器人相贯焊缝实时跟踪系统；ZOU等[65]开发了一套基于激光视觉的焊缝跟踪系统，对直线或曲线焊缝的平均绝对跟踪误差可控制在0.25mm内，均能很好地进行焊缝跟踪。

目前，国外的焊缝跟踪系统已经在工业上得到应用，如瑞典ASEA公司开发的Laser Tracker视觉跟踪系统；美国Unimation 公司与日本Kawasaki公司共同开发的Model 79A焊缝跟踪系统；英国Meta公司开发了针对焊接机器人的Laser Pilot系列焊缝跟踪系统（见图7），可匹配多种焊缝类型；此外，加拿大Servo-Robot公司开发了Power-Trac系列焊缝跟踪系统（见图8）、Servo-Robot激光焊缝跟踪系统（见图9），结构紧凑，抗干扰能力较强，可用于精密电弧焊和激光焊接。国内在此方面技术能力相对欠缺，市场占有率较低。

图7 Laser Pilot系列焊缝跟踪系统

图8 Power-Trac系列焊缝跟踪系统

图9 Servo-Robot 激光焊缝跟踪系统

4 总结与展望

机器人焊接技术的出现，一定程度上促进了焊接自动化技术的发展，大幅提高了焊接生产效率，但由于仍需依靠人力，故已经难以满足现代高效优质焊接的需求。焊缝识别技术的发展，可以最终实现焊接机器人对不同类型焊缝的自主识别、定位、特征提取及自动校正跟踪，对于焊接机器人自动化、智能化焊接技术的发展具有重要的推动作用。其中，焊缝识别提取技术是整个焊缝识别跟踪系统发展的关键，精度高且稳定性好的传感器、高效优质的焊缝提取算法/图像处理技术，对于焊缝自主识别跟踪技术的发展及工程应用具有积极的促进作用。

随着机器人焊接技术的不断发展，自动化、智能化已经成为未来机器人焊接的一个重要发展方向，其中基于结构光的激光视觉传感技术、基于特定算法的焊缝识别及焊缝特征提取技术、稳定的跟踪控制系统都是各国研究人员的重点研究方向。目前，国外已经有成熟稳定的焊缝识别跟踪系统并进行了工程应用，而国内尚缺乏可普及的高精度和高稳定性的视觉传感、识别提取算法及跟踪控制技术，亟需进行多类型焊缝识别、自适应性好、抗干扰能力强的成套焊缝识别跟踪系统研究，对于促进国内多领域、多类型、多场合的自动化甚至是智能化焊接技术的发展具有重要意义。