视觉传感技术在机器人智能化焊接中的研究现状

陈华斌，孔 萌，吕 娜，许燕玲，陈善本

（1.上海交通大学材料科学与工程学院，上海 200240；2.上海发那科机器人有限公司，上海201206）

视觉传感技术在机器人智能化焊接中的研究现状

陈华斌1，孔 萌2，吕 娜1，许燕玲1，陈善本1

（1.上海交通大学材料科学与工程学院，上海 200240；2.上海发那科机器人有限公司，上海201206）

随着我国《中国制造2025》战略实施，焊接制造领域经过“两化”融合的推动，正朝数字化、信息化、智能化制造转型，进而使焊接制造过程的信息需求量显著增加。围绕上海交通大学智能化焊接与材料精密制造研究所近年来在智能化焊接领域所取得的成果和关键技术应用等展开讨论，内容涉及基于视觉传感的焊接路径自主导引与规划、焊接动态过程液态熔池的智能表征和基于视觉传感的焊接全场高温应变的在线测量及多尺度计算。上述研究成果的工程应用，一定程度上丰富和发展了焊接智能化技术领域的内涵。期望展示的焊接视觉智能化传感研究成果为焊接智能制造的发展抛砖引玉。

视觉传感；焊接智能化；机器人焊接；焊接自动化；机器视觉

0 前言

近年来，随着我国劳动力成本的逐渐提升，以廉价劳动力为支撑的“中国制造”经济模式难以为继，越来越多的加工制造企业关注以焊接机器人为代表的焊接自动化技术。根据国际机器人联合会（IFR）2015年的统计数据，截止2020年，工业机器人将达到26.8万台，大约有30%的工业机器人被应用到焊接领域，对应的将有超过240亿左右的系统集成和焊接智能化市场[1]。随着我国《中国制造2025》战略实施，焊接制造领域经过“两化”融合的推动，正朝数字化、网络化、智能化制造转型。焊接产品正经历着“性能高端化”“结构大型化”“服役环境极限化”以及“长寿命、高可靠性”等发展变化，进而使焊接制造过程的信息需求量显著增加[2]。以信息技术为牵引的智能化焊接技术，是一类融合人的感官信息（焊接过程视觉、听觉、触觉）、经验知识（熔池行为、电弧声音、焊缝外观）、推理判断（焊接先验知识学习、推理与决策）、焊接过程控制以及工艺优化各方面专门知识的交叉学科。突破机器人焊接智能化关键技术，在未来不仅是发展方向，已成为一种现实、迫切的需要[3]。显然，视觉传感是现有焊接机器人从自动化设备转变为智能化焊接机器人的关键因素之一，目前广泛应用的焊接机器人和焊工不一样，没有智力、不能思维、尚不具备焊接工艺知识也不能自主地进行焊接过程优化，结合2016年IFWT国际焊接论坛宋天虎研究员提出的“热市场、冷思考”问题[4]，引申出了机器人焊接智能化和视觉相关的系列“瓶颈”问题。

（1）焊接顺序：针对非预期工况变化（变形、错边、间隙等），焊接机器人难以“自适应”动态调整焊接顺序。

（2）初始焊位识别：焊接初始焊位识别，易受环境变化影响，可靠性不够。

（3）焊接动态过程：焊接过程调整响应较慢、效果欠佳。

（4）焊缝跟踪：视觉跟踪易受弧光干扰，存在视觉“死角”和跟踪“盲区”。

（5）焊缝多层多道规划：对焊接坡口适应性较差，自适应规划焊道及调整工艺参数尚显不足。

（6）焊接缺陷预防：抑制和预防焊接缺陷的产生缺乏主动干预的手段。

（7）焊接质量一致性：缺乏可靠在线表征的传感手段。

诚然，焊接过程中环境、条件的变化是不可避免的，上述提到的焊接工件加工、装配误差，焊缝间隙、错边等尺寸分散性、焊接过程的热变形和夹具不稳定性等因素均会引起焊接质量的波动，并导致焊接缺陷的产生。如何克服焊接过程中各种不确定性因素对精密焊接质量的影响，迫切需要信息反馈、智能控制等技术提高现行焊接机器人的适应性或智能化水平，是实现“焊接智造”不可回避的现实问题和瓶颈难题[5]。

本研究结合上海交通大学机器人焊接智能化技术实验室近年来在机器人焊接智能化视觉传感领域所开展的研究，阐述机器视觉在焊接目标环境识别、精确跟踪、动态过程监控及焊接质量控制等方面研究成果和应用现状。

1 初始焊位识别与焊缝跟踪[6-7]

视觉信息因其方便直观、信息量大、易于处理等优点，是焊缝识别和跟踪传感技术中的研究热点和重点，成为机器人焊接领域最有应用前景的传感手段。作为机器人外围辅助智能单元，视觉传感器对提高机器人柔性和对工作环境的反馈发挥了重要的作用，随着计算机技术、光电传感器和图像处理技术的快速发展，视觉传感器将对实现机器人焊接过程决策、预判等功能，构建焊接机器人的智能系统起主导作用。

1.1 基于视觉传感的初始焊位识别及路径规划

为了增强机器人自主焊接的能力并使具有一定自我感知学习和决策能力，基于FANUC弧焊机器人平台，构建了一套具有视觉传感和激光测量功能的弧焊机器人系统，如图1所示。

图1 基于视觉寻位和路径规划的弧焊机器人系统

该系统由机器人控制与执行模块、视觉传感反馈模块及Interface通讯模块等组成，借助数字图像处理技术，进行待焊工件焊缝特征角点识别及焊缝信息三维重构，实现焊接起始点机器人自主寻位和焊缝特征智能识别。

为了实现机器人的初始焊接位置导引及焊缝识别工作，需要建立图像像素坐标与目标点空间坐标系的转换关系，即视觉系统标定，具体涉及摄像机内参数标定、线结构光参数标定及手眼标定三个环节。相机标定主要建立图像平面二维像素点与空间三维立体特征点对应关系，确定摄像机内部成像参数：焦距、畸变参数、成像平面单位距离像素个数等；手眼标定的目的是确定摄像机坐标系与工具坐标系之间的相对位置关系H，用旋转矩阵R和平移矩阵T来描述。线结构光标定是为了描述线结构光平面在摄像机坐标系下的位置关系，用光平面方程AX+BY+CZ+D=0描述，求解平面方程参数。

以平板对接为例，采用边缘相交法定义初始焊接位置，具体算法步骤：采用两步法对初始焊接位置进行定位，然后针对初始焊接位置局部区域进行滤波、图像分割、像素点分离、直线拟合等获取初始焊接位置点图像坐标，如图2所示。

图2 初始焊位识别流程

接下来，通过对激光条纹图像的处理获得焊缝边缘特征点坐标，以平板对接（折线、S形）焊缝识别为例，结合前文所述的视觉系统参数求解结果获得焊缝特征点在TCS及WCS下的三维坐标。焊接机器人处于A点时，其位姿参数为[XA，YB，ZB，WB，PB，RB]T，处于B点时，其位姿参数为[XB，YB，ZB，WB，PB，RB]T，机器人移动速度为v0（单位：mm/s），相邻图像的采集时间间隔为Δt，机器人由A运动到B，期间相机共采集n幅图像。设第i幅图像（i=1～n）中某个焊缝特征点的坐标为[ui，vi]T，结合摄像机内参数K以及线激光结构光平面的方程AX+BY+CZ+D=1，求得特征点在CCS下的坐标[Xci，Yci，Zci]T，根据手眼标定及机器人位姿参数求得特征点在TCS下的三维信息[Xti，Yti，Zti]T及WCS下的三维信息[Xwi，Ywi，Zwi]T。

图3是机器人TCP平移速度为20 mm/s、相邻拍照时间间隔是40 ms的折线焊缝和S形焊缝激光扫描三维重构图。

1.2 基于主动视觉的焊缝跟踪

基于构建的机器人激光视觉平台，需要对采集的激光条纹进行视觉处理，是激光跟踪的关键环节。主要涉及到激光条纹图像预处理（ROI选取、滤波处理、形态学处理及自适应阈值分割）、激光条纹中心线特征提取及典型焊缝试验验证。图4给出了完整图像或图像受电弧光干扰很小的情况下图像处理结果，可以看出针对弧焊常见的几种焊接坡口和焊缝形式，通过研制的视觉传感系统能够较好地获取焊缝中心特征点。

然而实际的焊接过程中由于强烈的电弧光和飞溅的影响，导致部分图像噪声很大，上述算法不能稳定、可靠的获取焊缝特征信息，如图5所示。

针对实际焊接过程中干扰图像，为了保证焊缝跟踪的连续性及可靠性，工程上通常采取两种方式处理，一是增大激光传感器的前视距离或加遮挡板，另外一种是从图像处理软件算法上进行改善，对这类图像记性筛选过滤。具体算法设计流程为：

（1）计算图像的平均灰度值，如果图像灰度值大于正常图像的一定比例（在此选取30%作为阈值）放弃该幅图像处理，进行下一幅图像处理。

（2）针对V型坡口的焊缝，设定焊缝宽度阈值，针对焊缝宽度特征尺寸小于设定阈值的情况下，舍弃当前处理图像，进行下一幅处图像处理。

（3）焊缝偏差具有连续性，相邻图像之间计算的偏差值比较接近，对于偏差值突变点（设定一定的阈值），舍弃当前处理图像，进行下一幅图像处理。

图3 激光扫描焊缝三维重构

图4 焊缝特征提取试验验证

图5 受弧光及飞溅干扰的激光条纹

计算出的焊缝偏差，一方面可设计控制器进行焊缝纠偏，另一方面针对工业机器人，结合机器人厂家提供的通讯协议，交给机器人控制器进行插补、轨迹纠偏。另外，ROS（Robot Operating System，机器人操作系统）作为一种分布式处理框架，能接收和发布各种传感信息，鉴于ROS制定了目前“四大家族”机器人开发的统一接口标准。

在上述研制的视觉传感基础上，进一步针对摆动、变间隙的对接焊缝，基于FANUC机器人可识别的通讯协议，进行询问—回答的开发模式，询问内容包括：偏移量（X、Y、Z）、焊缝宽度（如间隙、gap）、错边（Mismatch）和面积等，跟踪结果如图6所示。

图6 变间隙自适应摆动跟踪

2 焊接液态熔池特征视觉表征[8]

借助视觉传感系统可获取清晰焊接液态熔池图像，液态熔池的几何形状参数如熔宽、面积等。熔池的几何尺寸特征与焊缝成形密切相关，以变极性等离子弧焊（VPPAW）为例，焊接电流、电弧电压对液态熔池特征尺寸存在一定关联性，如图7所示，随着焊接电流的增加，背面小孔面积和宽度不断增大。

图7 VPPAW小孔图像

采用部件树模型的图像识别算法完成对背面小孔特征的自适应提取，分别提取小孔左右边缘的特征点，然后利用椭圆拟合法得到小孔完整边缘，其完整步骤如图8所示。将小孔左右边缘特征点经过椭圆拟合变成完整的边缘曲线，为了能够通过背面小孔视觉特征信息来描述实际的熔透状态，定义小孔图像特征：宽度L和面积A，VPPAW背面的小孔与焊接热输入量有良好的对应关系。当焊接热输入量很小，背面不能形成小孔，随着热输入量增加，背面形成穿孔并趋于稳定，当热输入量进一步增大，背面出现“切割”现象。

图8 VPPAW小孔图像处理及边缘拟合

3 焊接热影响区高温应变视觉表征[9-10]

焊接应变测量方法可分为接触式测量和非接触式测量法，非接触式测量主要有光干涉法测量，数字图像相关法等。本研究介绍一种新型的焊接全场应变测量方法——数字图像相关法（Digital Image Correlation，DIC）。DIC在焊接过程中应变、变形计算流程：在变形前图像中划分子区域（Subset），在变形后图像中划分一个较大的搜索区域，并用形函数描述变形后子区的形状，利用搜索算法在区域中寻找变形后可能的子区域，使用相关性判别函数计算搜索到的每个子区域与其变形前的相关评价函数，相关系数最大的子区域即为所要寻找的变形后子区域，计算散斑图各点的位移和应变值。不断重复，划分子区域、搜索、匹配的过程，最终获得全场的应变值。

图9是304不锈钢TIG热影响区的高温应变图像，相比传统DIC表征焊接应变方法，本研究采用的方法一定程度上解决了近焊缝高温散斑点图像烧蚀和强电弧干扰问题。

采用一阶形函数描述变形后的子区域形状：

式中 α为x方向的位置变化情况；β为y方向的位置变化情况；ux，uy，vx，vy分别为横向位移u和纵向位移v对x轴和y轴的偏导，形函数中引入了变形连续性假设，考虑了点之间的相对位置关系。

图9 304不锈钢焊接接头全场高温应变

根据Mises的弹塑性流动理论，总应变方程描述为：

εP为机械应变，εT为热应变，εX为相变应变，通常较小，忽略相变应变，因此机械应变表示为：

图10是304不锈钢焊接近缝区全场高温应变云图，总应变、热应变和机械应变视觉表征及计算结果，焊接过程中全场应变的测量对于研究焊接残余应力模型具有非常重要意义。另外，使用DIC技术能够记录焊接过程应变随时间分布情况的变化，揭示焊接过程中总应变的演化规律。从图中可以看出，当液态熔池到达观测区域时，εxx方向应变从0增加到最大，随着焊接液态熔池远离观测区逐渐趋于稳定；εyy方向应变，在熔池到达时达到最大（负值），之后逐渐趋于稳定，总体表现为压应变。

图10 304不锈钢焊接全场高温应变及机械应变曲线

4 结论

现代焊接制造亟需转型升级、创新发展，实现数字化乃至智能化焊接制造的跨越式转变。随着传感技术、图像处理技术和机器视觉理论的不断发展和更新，视觉传感在焊接装配检测、过程监控及接头质量评价等方面发挥越来越重要的作用。以视觉信息为载体的智能化焊接关键技术——焊前路径导引与规划、自适应焊缝纠偏、液态焊接熔池智能表征及近缝区全场高温应变在线测量及多尺度计算等，极大地丰富和发展了焊接智能化技术的内涵，也为焊接制造从控形到控性的一体化研究提供技术积累。

[1]中国机械工程学会焊接分会.焊接技术路线图[M].北京：中国科学技术出版社，2016.

[2]Tzyh-Jong Tarn，Shanben Chen，Gu Fang.Robotic Welding，Intelligence and Automation[M].Springer，Lecture Notes in Electrical Engineering 88，2010.

[3]宋天虎.走向焊接制造的数字化[J].焊接技术，2016，45（5）：15-17.

[4]宋天虎，刘永华，陈树君.关于机器人焊接技术的研发与应用之探讨[J].焊接，2016，518（8）：1-10.

[5]陈善本，吕娜.焊接智能化与智能化焊接机器人技术研究进展[J].电焊机，2013，43（5）：28-36.

[6]黄色吉，许燕玲，杨雪君，等.实时跟踪焊缝特征的感兴趣区域特征提取算法[J].上海交通大学学报，2016，50（12）：54-57.

[7]杨雪君，许燕玲，黄色吉，等.一种基于结构光的V型坡口焊缝特征点识别算法[J].上海交通大学学报，2016（10）：1573-1577.

[8]Wu D，Chen H B，Chen S B.Monitoring of weld joint penetration during variable polarity plasma arc welding based on the keyhole characteristics and PSO-ANFIS[J].Journal of Materials Processing Tech.，2016（239）：113-124.

[9]周凯荣，陈建，陈玉喜，等.基于原位测量的钨极惰性气体保护焊焊接过程高温应变表征与计算[J].上海交通大学学报，2016（10）：1588-1591+1596.

[10]Zhou X，Chen H B，Chen J，et al.High temperature fullfield strain measurement based on digital image correlation during arc welding[J].IEEE Workshop on Robotics and its Social Impacts，2016：203-207.

Status and development of vision sensors on intelligentized robotic welding techologies

CHEN Huabin1，KONG Meng2，LV Na1，XU Yanling1，CHEN Shanben1
（1.School of Material Science and Engineering，Shanghai Jiao Tong Univ.，Shanghai 200240，China；2.Shanghai-Fanuc Robotics Co.，Ltd.，Shanghai 201206，China）

With the implementation of China Manufacturing 2025，welding manufacturing has been developed towards the digitization，informatization and intelligentization.Thus，the demand for information in welding process is significantly increasing.In this paper，we introduce some new research works and key technologies on intelligent welding field in the Institute of Intelligent Welding&Materials Precise Processing.The main research include：the research on autonomous guidance and welding path planning based on visual sensor，intelligent characterization of dynamic liquid welding pool，in-situ the measurement and multiscale calculation of the high temperature strain during welding process.The application of the above research development，to a certain，enrich and develop the connotation of intelligent welding technologies.It is expected that the results of intelligent visual technologies will be the beginning of welding intelligent manufacturing development.

visual sensor；intelligentized welding；robotic welding；welding automation；machine vision

TG409

C

1001－2303（2017）03－0001-07

10.7512/j.issn.1001-2303.2017.03.01

献

陈华斌，孔萌，吕娜，等.视觉传感技术在机器人智能化焊接中的研究现状[J].电焊机，2017，47（03）：1-7.

2017-03-10

国家自然科学基金项目（51575348，51275301）

陈华斌（1976—），男，安徽安庆人，副教授，博士，主要从事焊接智能化及机器人系统工程等方面的教学和科研工作。