基于结构光视觉的GTAW送丝位置实时传感技术研究

武少杰，李宏利

基于结构光视觉的GTAW送丝位置实时传感技术研究

武少杰1, 2, 3，李宏利1

(1. 天津大学材料科学与工程学院，天津 300350；2. 哈尔滨工业大学先进焊接与连接国家重点实验室，哈尔滨 150001；3. 天津市现代连接技术重点实验室，天津 300350)

核电反应堆冷却剂管道(主管道)是连接反应堆压力壳与蒸汽发生器之间的主要承压设备，被称为核电的“主动脉”．主管道焊接通常采用钨极氩弧焊(gas tungsten arc welding，GTAW)工艺，通过轨道小车进行全位置焊接．然而，受限于坡口的一致性以及设备的稳定性，焊丝与熔池之间的相对位置(简称为送丝位置)在焊接过程中不可避免地出现偏移，破坏了熔池稳定，进而对焊接质量造成严重影响．此外，焊接过程中的高亮弧光以及高温也进一步加大了送丝位置传感的难度．针对以上问题，本文基于结构光视觉传感法，通过分析送丝位置对熔池形貌的影响机制，研究熔池形貌与结构光反射图样之间的对应关系，获得一种能够有效判断主管道GTAW焊接过程中送丝位置的传感方法．试验结果表明，结构光视觉传感技术能够利用熔池表面的镜面特性，将熔池表面的振动状态放大. 当送丝位置位于熔池前端时，在熔池前端出现凹陷，并且反映为反射图样右端位置的点阵集中．当送丝位置位于熔池内部时，根据焊丝熔化状态又分为大电流和小电流两种情况：当电流较小时，焊丝在熔池与电弧热量的共同作用下熔化，使得熔池内部出现凹陷，并反映为反射图样中部的点阵集中；当电流较大时，焊丝在电弧热量的作用下熔化，滴入熔池并引起熔池振荡．因此，基于结构光视觉技术能够有效地获取焊丝与熔池的相对位置关系.

结构光视觉传感；钨极氩弧焊；送丝位置；反射图样

目前绝大多数熔池传感方法主要用于测量熔池的表面轮廓[3-4]，然而熔池表面凹陷以及熔滴过渡导致的熔池振荡则很难被观测．Kovacevic等[5-6]发现了液态熔池表面具有镜面特性，当把一定波长的结构光点阵图案投射到熔池表面时，能够通过经熔池表面反射后的图样反映实时的熔池三维表面状态．利用这一方法就能够实时获得熔池表面几何形貌[7-9]．由于结构光视觉传感方法具有结构简单、实时性好等优  点[10]，本文采用结构光视觉传感的方式，获取经熔池表面反射后的点阵图样，探究点阵图样、熔池形貌以及送丝位置之间的对应关系，并结合实际GTAW管道焊接试验，分析送丝位置与熔池形貌之间的对应机制，阐明通过反射图样特征确定送丝位置的方法．

1 结构光视觉传感系统

1.1 结构光视觉传感试验系统

结构光视觉传感试验系统主要由激光发射器、成像屏以及相机等组成，如图1所示．激光发射器采用众来科技MTX650型激光发射器，成像屏为带有网格的半透明亚格力板，尺寸为300mm×300mm，且每两条网格线之间距离为10mm，相机为Flir出品的BFS-U3-13Y3M-C型黑白相机．其中，激光发射器与钨极共面斜向下放置，与焊接方向相垂直，并与管道表面的竖直距离为35mm，水平距离为25mm．成像屏平行焊接方向放置，与钨极的水平距离为150mm.配有窄带滤光片的相机在成像屏后方记录反射图样的变化状态．焊丝在焊接方向前端送出，焊缝在图中用深蓝色表示．

图1 结构光视觉传感试验系统

1.2 结构光视觉传感分析方法

1.2.1 不同反射面的反射图样特点

当激光点阵投射到熔池表面并反射到成像屏上时，反射图样的不同特征相应地对应着三维熔池表面的不同状态[10]．如图2所示，假如入射的结构光用红、黑、蓝3条激光束表示，当激光束经过熔池反射到成像屏上时，入射光线中靠上的红色光线经反射显示在成像屏的下方，靠下的蓝色光线经反射显示在成像屏的上方，使得最终成像屏上的点与入射光线的上下顺序相反．将熔池表面分为凸熔池表面和凹熔池表面分别进行分析：凸熔池表面使反射到成像屏上的激光点阵发散，并且由于最下方激光束入射角较小且光程较长，使得反射图样中上方行距大于下方行距，如图2(a)所示．凹熔池表面会使反射到成像屏上的激光点阵相对更加集中，如图2(b)所示，如果凹陷程度过大，甚至会出现激光的重叠或上下交叉．所以通过反射图样中点阵的密集程度以及各个点之间的距离变化可以得知熔池表面的凹凸情况．

图2 不同熔池表面状态下的结构光反射情况

1.2.2 不同送丝位置下的熔池形貌以及点阵特征

在GTAW管道自动焊焊接过程中，一般需要将焊丝送到熔池前端以获得稳定熔池以及满意的焊缝．但受限于核电管道自动焊焊接过程中坡口的一致性以及设备的稳定性，可能出现送丝位置的偏移，因此按照送丝位置不同分为理想条件下的前端送丝与出现偏差后的内部送丝两种情况，并分别针对这两种情况下反射得到的点阵特征进行讨论．其中，当焊丝送到熔池前端时，如图3(a)所示．在此位置电弧热量较小，焊丝在外侧电弧以及液态熔池热量的共同作用下熔化，焊丝末端熔滴与熔池接触后进入熔池，熔池受焊丝的作用在前端出现局部凹陷．相应的反射图样示意如图3(b)所示，右侧点阵较为集中且相对于其他区域出现明显变化，对比图2中凹面与凸面熔池的点阵特点，可知该“集中区”对应实际熔池的边缘凹陷区域．

图3 前端送丝时的熔池与反射图样

当焊接过程中送丝位置出现偏移，即焊丝送到熔池内部时，根据电弧热量的不同，可能存在两种不同的熔池状态．当电流较小时，如图4所示，电弧的热量较低，主要依靠熔池热量熔化焊丝，对应于图4(a)中情况，此时焊丝与熔池直接接触，导致熔池中间部分产生凹陷，使得反射图样的对应区域出现点阵“集中区”，如图4(b)所示，并且由于熔池表面是一个自由表面，具有连续性，所以其他点也不同程度地向中心偏移．

图4 小电流情况下内部送丝的熔池与反射图样

当电流增加到足够大时，电弧具有足够的热量使焊丝熔化形成液态金属，对应于图5(a)中状态．并且随着焊丝送出，焊丝头部熔化形成的液态金属不断增加，当液态金属的重力大于表面张力时，以近似“水滴状”落进熔池，落入熔池瞬间会引起熔池的部分凹陷，对应于图5(b)所示的反射图样的右侧大面积“集中区”，然后引起熔池振荡，破坏熔池的稳定性，对应于反射图样中的点阵混乱．

新生儿尤其是早产儿离开母体，对外界的环境难以适应，这时婴儿培养箱模拟母体子宫内环境，为宝宝提供了温度适宜、空气净化的优良环境，除了起到保温和避免感染的作用，还可以避免各种光污染、噪音污染，有利用于宝宝的健康成长。

图5 大电流情况下内部送丝的熔池与反射图样

1.3 反射图样与熔池形貌之间的关系

重构熔池作为直观反映送丝位置的重要手段，可以印证分析集中区得到的送丝位置结果，通过建立熔池重构算法能够基于反射图样快速重构熔池三维表面形貌．天津大学的李立东等[11-12]针对GTAW自动焊接，结合LSTM(long short term memory)神经网络，实现了二维反射图样到三维熔池表面的快速映射，显著提高了获取熔池形貌的计算速度，重构流程如图6所示．

图6 熔池形貌获取流程

针对不同送丝位置可能导致的熔池形貌状态，首先建立相应的熔池表面形貌模型，然后通过MATLAB仿真软件建立与试验系统相对应的孪生结构光视觉传感仿真模型．利用该仿真模型可以获得大量的熔池三维表面和与之相对应的成像屏上的二维反射图样数据．然后使用LSTM神经网络建立二维点到三维点的映射关系模型，就可以在实际焊接过程中实时获取到熔池的三维表面形貌．在实际焊接过程中，通过文献[12]中的递归选区图像处理方法获取二维点数据，并使用训练完成的LSTM神经网络得到三维点信息之后，通过插值计算与边界拟合等手段，最终重构出三维熔池形貌．

2 焊接试验及相应反射图样分析

2.1 GTAW管道自动焊接试验

为进一步探索焊接过程中反射图样与送丝位置的关系，进而验证结构光视觉传感法在确定送丝位置方面的有效性，本文采用不锈钢管道开展GTAW焊接试验．试验材料为304不锈钢管道，管道长度500mm，外径152mm，厚度5mm．焊丝为直径1.0mm的304不锈钢焊丝．焊接采用直径3.2mm的钍钨极，尖端角约为60°，钨极尖端与试样表面距离约4mm．采用GTAW焊接方法在管道表面进行单层单道堆焊试验，选择米勒Dynasty700型焊机，并通过HDNC-300型多功能焊接变位机实现焊枪与工件的相对运动．在自动送丝管道焊接试验过程中，使用130A以下的电流焊接时，由于焊接电流过小，导致焊接热输入与送丝速度不匹配，电弧热量不足，使得焊缝的熔宽较小且余高过大，无法获得成形良好的焊缝．因此采用130～160A范围内的焊接电流进行试验．分别在130A、140A、150A和160A等4种电流下进行前端送丝与内部送丝两种情况的焊接，在焊接过程中以20张/s的速度获取反射图样，具体焊接参数见表1．

表1 焊接参数

Tab.1 Welding parameters

2.2 前端送丝时的反射图样与分析

当焊接电流为130A时，焊接过程中不同时刻的反射图样如图7所示．可以看出不同时刻时前端送丝的反射图样基本一致，随时间变化较小，反映了在此状态下熔池稳定．右侧区域有小面积的点阵“集中区”，且“集中区”位置基本不随时间而变化．对比图3中熔池状态及点阵特征分析可知，这是熔池在焊丝的作用下在前端处产生凹陷导致的．若将每行之间的点连接成线，则右侧曲率大于左侧曲率，这是因为熔池前端的凸度大于后端凸度，满足于以双椭球形状作为反射面的反射特征．

将图7(a)中反射图样进行计算，重构出前端送丝130A状态下的三维熔池形貌如图8所示．重构出的熔池整体平滑，但在熔池前端即的正方向处出现不规则的熔池表面不连续，这与熔池前端出现的较小凹陷相对应．

图7 熔池前端送丝130A时不同时刻的反射图样

图8 130A时熔池前端送丝的熔池三维形貌

前端送丝且电流为130A时的管道自动焊接的实际焊缝表面如图9所示．可以看出，在熔池前端送丝时，熔池稳定并且焊缝成形良好，基本符合实际焊接要求．

图9 130A时熔池前端送丝的焊缝

前端送丝的GTAW管道自动焊接试验中，在140A、150A以及160A电流条件下反射图样分别如图10(a)、(b)、(c)所示．从图中可以看出，随着焊接电流的增加，点阵之间的行距增大，反映了随着焊接电流增加，熔池凸度增加．与130A时的图像相比，点阵更为发散，右侧点阵集中程度减小，反映了电流增大，电弧热量增加，焊丝更易熔化，熔池前端的凹陷程度逐渐减小，点阵“集中区”消失．

图10 140～160A电流下熔池前端送丝的反射图样

2.3 内部送丝的管道自动焊接反射图样与分析

2.3.1 电流较小时的焊接试验

将送丝位置调整到熔池内部进行管道自动焊接试验．首先采用130A、140A两种较小电流进行焊接，采集到的反射图样分别如图11(a)和(b)所示．在反射图样中间位置出现了较为明显的点阵“集中区”．由第1.2.1节分析可知，凹面反射是造成点阵集中的主要原因，所以“集中区”反映了电弧压力以及焊丝的共同作用下的熔池中心区域凹陷．此时焊丝靠近熔池时，在电弧中心区域以及熔池热量的共同作用下熔化并成为熔池的一部分，熔池状态对应于图4(a)且反射图样的特点与图4(b)一致．

图11 电流较小时熔池内部送丝的反射图样

对熔池内部送丝130A条件下获得的反射图样进行计算，重构出熔池形貌如图12所示．在熔池中心位置出现凹陷，这与上述对图11的分析一致，熔池内部在电弧力与焊丝的共同作用下出现凹陷．

图12 130A时熔池内部送丝的熔池三维形貌

2.3.2 电流较大时的焊接试验

当电流增加到150A时，反射图样随时间变化较为明显．从引弧后第2s开始，每隔1s取一张反射图样列在图13中，左上角标注反射图样采集时间.与采用130A和140A电流焊接时相比，反射图样较为模糊且随时间不断变化，能分辨出“集中区”时，“集中区”位于反射图样右侧，其他时间反射图样出现大面积混乱导致无法分辨“集中区”．这与图5中所描述的焊丝熔化情况一致，当焊丝在电弧直接熔化以熔滴的形式进入到熔池的瞬间，使得电弧下方的熔池表面凸度减小甚至出现凹陷，随后引起熔池振荡，熔池稳定性较差．

图13 150A时熔池内部送丝的反射图样

当电流继续增加到160A时，与150A电流时情况类似，同样对应图5的焊丝熔化状态．图14为电流160A条件下，能清晰分辨出“集中区”的反射图样与振荡情况下的反射图样．

图14 160A时内部送丝的反射图样

在内部送丝的焊接情况下，电流为160A时管道自动焊接的实际焊缝表面展示如图15所示．从图15中可以看出，向熔池内部送丝时，熔池稳定性较差，焊缝宽度波动明显，成形质量较差，难以实现优质焊接.

图15 160A时熔池内部送丝的焊缝

3 结 论

本文针对GTAW管道自动焊接过程中送丝位置难以确定的问题，提出了使用结构光视觉传感法进行送丝位置的实时传感，并对其基本原理加以阐述．在下一步工作中，将进一步开发图像处理等手段实时处理反射图样，自动识别集中区以及点阵形貌变化规律，进而实现送丝位置传感过程自动化．本文主要结论如下.

(1) 基于结构光视觉传感法，可以在GTAW管道自动焊接过程中实现送丝位置的实时传感，便于实现GTAW焊接过程中对送丝位置的调整．

(2) 结构光视觉传感法获取的不同反射图样特征对应于不同的送丝位置：在图像稳定时，若点阵“集中区”出现在中间，则为电流较小时的内部送丝；否则为前端送丝．若图像频繁变化、点阵模糊，则对应较大电流的内部送丝．

［1］ 李春凯. 基于激光视觉的GTAW熔池振荡行为解析[D]. 兰州：兰州理工大学材料科学与工程学院，2018.

Li Chunkai. Analysis of Weld Pool Oscillation in GTAW Based on Laser Vision[D]. Lanzhou：School of Materials Science and Engineering，Lanzhou University of Technology，2018(in Chinese).

［2］ 吕明达. GMAW熔池网格结构光三维视觉传感[D]. 哈尔滨：哈尔滨工业大学材料科学与工程学院，2015.

Lü Mingda. Three-Dimensional Visual Sensing of GMAW Pool Using Grid Structured Light[D]. Harbin：School of Materials Science and Engineering，Harbin Institute of Technology，2015(in Chinese).

［3］ Zhang Weijie，Wang Xuewu，Zhang Yuming. Analytical real-time measurement of a three-dimensional weld pool surface[J]. Measurement Science and Technol-ogy，2013，24(11)：5011.

［4］ Zhang Yuwei，Zhao Zhuang，Zhang Yi，et al. Online weld pool contour extraction and seam width prediction based on mixing spectral vision[J]. Optical Review，2019，26(1)：65-76.

［5］ Kovacevic R，Zhang Y M. Sensing free surface of arc weld pool using specular reflection：Principle and analysis[J]. Proceedings of the Institution of Mechanical Engineers(Part B)：Journal of Engineering Manufacture，1996，210(62)：553-564.

［6］ Kovacevic R，Zhang Y M，Lin L. Monitoring of weld joint penetration based on weld pool geometrical appearance[J]. Welding Journal，1996，75(10)：371-329.

［7］ 刘鸣宇. 基于结构光反射的GTAW熔池表面三维形貌检测[D]. 哈尔滨：哈尔滨工业大学材料科学与工程学院，2007.

Liu Mingyu. Three Dimensional Sensing of Weld Pool Surface in GTAW Based on Structured Light Reflection [D]. Harbin：School of Materials Science and Engineering，Harbin Institute of Technology，2007(in Chinese).

［8］ Zhang Ke，Zhang Yuming，Chen Jinsong，et al. Observation and analysis of three-dimensional weld pool oscillation dynamic behaviors[J]. Welding Journal，2017，96(5)：143-153.

［9］ Song H S，Zhang Y M. Three-dimensional reconstruction of specular surface for a gas tungsten arc weld pool[J]. Measurement Science and Technology，2007，18(12)：3751-3767.

［10］ Zhang Ke，Zhang Yuming，Chen Jinsong，et al. Welding pool oscillation behaviors for pulsed GTA welding based on laser dot matrix sensing[C]// The 7th Annual IEEE International Conference on Cyber Technology in Automation，Control，and Intelligent Systems. Ha-waii，USA，2017：355-358.

［11］ Li Lidong，Cheng Fangjie，Wu Shaojie. An LSTM-based measurement method of 3D weld pool surface in GTAW[J]. Measurement，2021，171：108809.

［12］程方杰，李立东，武少杰. 结构光熔池传感中反射图的递归选区处理算法[J]. 天津大学学报(自然科学与工程技术版)，2022，55(1)：33-39.

Cheng Fangjie，Li Lidong，Wu Shaojie. Recursive-selective processing algorithm of a reflection image in structured light weld pool sensing[J]. Journal of Tianjin University(Science and Technology)，2022，55(1)：33-39(in Chinese).

Research on Real-Time Sensing Technology of Wire Feeding Position Based on Structured-Light Vision in GTAW

Wu Shaojie1,2,3，Li Hongli1

(1. School of Materials Science and Engineering，Tianjin University，Tianjin 300350，China；2. State Key Laboratory of Advanced Welding and Joining，Harbin Institute of Technology，Harbin 150001，China；3. Tianjin Key Laboratory of Advanced Joining Technology，Tianjin 300350，China)

A nuclear power reactor coolant pipeline(main pipeline)is the main pressure equipment that connects the reactor pressure shell and steam generator，known as the“aorta”of nuclear power. Gas tungsten arc welding(GTAW)is usually used for the all-position welding of the main pipe，which is conducted by a welding tractor. However，because of the consistency of the groove and the stability of the equipment，the relative position between the welding wire and the weld pool(referred to as the wire feeding position)is inevitably offset during the welding process. The stability of the weld pool is damaged，and the welding quality is seriously affected. In addition，the strong arc light and the high temperature in the welding process further increase the difficulty of wire feeding position sensing. To solve this problem，based on the structured-light visual sensing method，this study analyzes the influence mechanism of the wire feeding position on the weld pool morphology，studies the corresponding relationship between the weld pool morphology and the reflection pattern，and obtains a sensing method that can effectively judge the wire feeding position in the GTAW welding process of the main pipeline. The experimental results show that the structured-light visual sensing technology can amplify the oscillation of the weld pool surface using the mirror characteristics of the weld pool surface. When the welding wire was fed to the front edge of the weld pool，a sunken area appeared，and the dot matrix was dense on the right side of the reflection pattern. When the welding wire was fed into the weld pool，the wire feeding position could be divided into the following two situations according to the melting pattern of the welding wire：low-current welding and high-current welding. As for low-current welding，the welding wire was melted by the heat of the pool and the arc，which resulted in an internal sunken area in the weld pool，and the dot matrix was dense in the middle of the reflection pattern. As for high-current welding，the welding wire was melted by the heat of the arc，and then the molten wire dropped into the weld pool and caused weld pool oscillation. Therefore，the relative position relationship between the welding wire and the weld pool can be obtained effectively based on the structured-light vision technology.

structured-light visual sensing；gas tungsten arc welding(GTAW)；wire feeding position；reflection pattern

10.11784/tdxbz202201012

TG444

A

0493-2137(2023)03-0260-07

2022-01-13；

2022-03-01.

武少杰（1989—  ），男，博士，讲师．

武少杰，shaojie@tju.edu.cn.

国家自然科学基金资助项目(52005366)；哈尔滨工业大学先进焊接与连接国家重点实验室资助项目(AWJ-21M12)．

Supported by the National Natural Science Foundation of China(No.52005366)，the State Key Laboratory of Advanced Welding and Joining，Harbin Institute of Technology(No. AWJ-21M12).

(责任编辑：田 军)