虚拟焊接训练技术研究进展

2022-08-18谢本凯张笑笑蔡水涌周强

焊接 2022年5期

谢本凯，张笑笑，蔡水涌，周强

(1.郑州航空工业管理学院，郑州 450046；2.武汉理工大学，武汉 430070)

0 前言

作为将2块金属连接起来的基本方法之一，焊接是现代工业的一个关键环节，具有不可替代的作用和地位。它被广泛应用于造船、汽车制造及航空航天等领域，是影响产品质量和工业产出的关键因素。但是随着经济的快速发展与结构调整，国内一些发达地区出现了技术工人用工荒的现象，在焊接生产领域则表现为焊接工人的整体数量下降，并且高级焊工所占比例也在减少。究其原因，一为国内经济进入“新常态”，加之各种自动化焊接和智能机器人应用越来越广，对人力焊接的需求降低导致焊工整体数量的减少[1]，但目前最先进的焊接机器人还远未达到替代一个初级水平焊工在复杂工况条件下对焊接过程的综合控制能力；二为焊接专业的理论性强，学习枯燥无味，焊接操作的机械重复性等培训因素导致高级焊工培养周期长，中途弃学率高[2]。这种现象给传统的焊接培训带来了挑战，如何调整焊接行业人才结构，提升焊工队伍整体素质，从而给予中国成为稳定的制造强国提供人才支撑，是一项十分重要且紧迫的任务。

虚拟现实技术的发展为焊接培训领域带来了新的思路-虚拟焊接训练[3]。随着现代计算机与传感设备的发展，强大的个人计算机性能已经可以很好的模拟真实焊接过程。高性能计算机、低成本位置跟踪器及立体显示设备的发展使得基于仿真训练的成本大大减少[4]，因此虚拟焊接训练技术已成为培训焊工的另一种方法。虚拟焊接训练具有损耗低、无污染的特点，可提高师资培训效率，并能使焊接教学更加生动、有趣。总之，虚拟焊接训练技术作为新兴的焊接培训方法相较传统培训具有诸多优势，通过深入研究虚拟焊接训练相关的各项技术，对于提高焊接训练效果，具有重要的研究意义和应用价值。

针对虚拟焊接训练技术中的关键技术研究，企业及科研院所不断提出新的解决方案，同时也开发出不少相关产品[5-12]。文中首先介绍了现今的焊接训练系统及其主要构成。然后，对虚拟焊接训练中的立体显示技术、焊接熔池形态建模方法、多目标跟踪技术、力反馈技术等多项关键技术进行详细介绍。最后，对文章进行总结，并对虚拟焊接训练技术的未来研究方向进行了展望。

1 焊接训练系统

自从焊接这一金属加工工艺成为制造业中重要的加工手段后，人们为了培训更多专业焊接技能人才发明了很多焊接培训方法，而这些培训方法从时间上看经历了以下3个阶段的发展：①基于手势训练的机械传动式焊接训练设备，如80年代陈滋扬等人[13]发明了一种用于教育演示的焊接培训装置，利用电机带动卷筒拉动钢丝绳从而可以模拟焊条的熔化；②基于PLC的焊接训练设备，如林跃明等人[14]发明了一种仿真电焊机，该仿真电焊机可模拟电焊过程中的弧光，也可模拟电焊条的回缩；③基于虚拟现实的焊接训练系统，即通过计算机构建出一个虚拟的三维图形空间，结合位置跟踪器、立体显示设备(一般为头戴式显示器(HMD))、多功能传感器和控制器能够使用户自然地与该虚拟空间进行交互，并在此空间内进行虚拟焊接训练，从而积累焊接操作经验，其系统结构如图1所示。

图1 虚拟焊接训练系统架构图

总结焊接训练技术的发展，其本质是追求用户操作的沉浸感，以提升用户的培训效果。针对焊接训练，这种培训效果主要是指培养学员的焊接经验，这种经验是学员通过长期操作焊枪完成大量不同工况条件的焊接任务所形成的一种条件反射行为[15]。因此，焊接经验的本质就是学员与熔池的动态交互行为，即为虚拟焊接训练的研究重点内容。

由于虚拟焊接训练系统是由多种技术集合而成的系统集成，所以每一项关键技术对于系统的综合使用效果都起着决定性作用。对于虚拟焊接训练系统来说，其关键技术包括立体显示技术、焊接熔池形态仿真、多目标跟踪技术、力反馈技术等。

虚拟现实技术的人体感知、人机交互等特性使得它很天然的跟教育培训领域紧密结合[16]，相比于飞机、手术等虚拟训练系统，虚拟焊接训练方面的研究仍处于起步阶段，但也不乏有一些产品或原型机问世。以下列举部分代表性虚拟焊接训练系统，见表1。

表1 部分代表性虚拟焊接训练系统

现今，随着计算机性能的大幅提升及虚拟现实各项技术的不断提高，越来越多的企业及科研院所推出了各式各样的虚拟焊接训练系统，其系统功能及性能也日趋完善及提高，但整体来说，对于虚拟焊接训练技术的研究还处于起步阶段，当前的研究还存在许多不足，包括：①现有系统的开发对焊接熔池形态仿真的研究皆以焊后静态仿真为主，对于真实焊接中的熔池流体行为及固液相变现象未有考虑，导致虚拟焊接训练中人与熔池动态交互行为无法开展，从而限制了系统整体的沉浸感;②焊枪空间位姿定位精度较差。因在焊接过程中，学员对于焊枪的位姿状态非常敏感，因而要求焊枪的空间定位精度较高;③未提供有效力反馈的功能。焊接过程中不同的焊接工艺参数会导致焊枪受到不同扰动形式。当前的虚拟焊接训练系统还未对此产生的力反馈进行有效的模拟;④对特定声音、弧光、热辐射、气味等焊接过程中特有现象的仿真还较少有研究。

2 立体显示技术

视觉是人感知外部环境最为重要的途径，所以对于虚拟焊接训练系统来说，立体显示技术是决定系统沉浸感高低的关键技术之一。

由于立体显示技术对于基于虚拟现实的训练系统具有通用性的特征，不管是虚拟手术、虚拟驾驶，亦或是虚拟装配、虚拟喷涂，都会使用立体显示技术来展示虚拟场景，所以学术界对于立体显示技术的研究更为关注。

现今，立体显示技术主要的显示载体包括OLED显示器、洞穴(CAVE)沉浸系统、头戴式显示器(HMD)、全息投影、快闪3D眼镜等，对于虚拟焊接训练系统来说，现有开发的系统中用到了OLED 显示器及头戴式显示器2种立体显示方式。

OLED显示器，在虚拟焊接训练系统的配置中通常为一块平面的显示器，搭配主动式3D眼镜，从而可使学员观看到OLED显示器上三维的虚拟焊接场景，学员使用VR焊枪在OLED显示器的特定位置进行焊接操作从而产生虚拟的焊缝效果。如sMIG[6]采用三星SyncMaster 2233RZ显示器，并结合nVidiaGeForce3D视觉主动眼镜，从而使学员产生三维的视觉效果。这种显示方式成本低，技术难度不高，但也存在视场角过少，无深度感等缺点。

头戴式显示器，当前绝大多数的虚拟焊接训练系统皆为头戴式显示方式，它通常与头部运动跟踪或眼睛跟踪并行工作，以增强真实感。HMD通常既是输入设备又是输出设备。输入可以包括头部运动跟踪传感器、眼球运动跟踪、陀螺仪和加速度计。输出则是针对2只眼睛设置有2个图形显示器，其技术发展历程如图2所示。此种显示方式可提供较大的视场角，同时可追踪头部的空间位姿从而提供人-机视野的联动，现有虚拟焊接训练系统所使用的头戴式显示器大多为企业开发的商用头戴式显示设备，包括HTC Vive，PlayStation VR，Oculus Quest，Gear VR等品牌产品。

图2 头戴式显示器(HMD)发展历程

3 焊接熔池形态建模方法

焊接熔池形态，是熔池的几何形状、熔池中的流体动力学状态、熔池的受热受力情况等熔池行为的统称。在焊接训练过程中，学员可通过观察熔池形态变化调整焊枪运动姿态实现焊接熔池状态的良好控制，从而获得高质量焊缝。因为学员在焊接训练过程中通过面罩能够清晰的看到焊接熔池的生成及形态变化，其在训练过程中的视觉感知皆会聚焦于熔池。对于学员焊接经验的训练也是在于根据焊接熔池形态的变化调整自身焊接姿势以达到高质量熔池形态的目的。如虚拟焊接训练中熔池动态模型与真实训练不符，则会让学员产生不真实的感觉或积累不正确的焊接经验，从而导致系统沉浸感及训练效果。根据现有的焊接熔池建模研究，其方法大致可以分为4大类：①映射训练模型；②简单模型；③有限元模型；④光滑粒子流体动力学模型。

映射训练模型，是焊接熔池建模研究中最基本的研究工具之一，例如：多元回归模型，马可等人[21]以焊接电流、焊接速度、坡口间隙及坡口角度4个焊接工艺参数建立多元回归模型，以探究这4个参数对焊缝背面熔宽的影响规律。响应曲面模型，石璟等人[22]利用响应面法建立了焊缝装配质量三要素与焊接接头强度及断后伸长率之间的数学模型，分析了焊缝间隙和焊缝错缝量对焊缝接头性能的影响情况。神经网络模型，美国林肯电气公司与VRSim公司推出虚拟焊接训练系统VRTEX360，其焊接熔池建模方法运用神经网络法根据学员在焊接操作过程中的焊接速度、焊接角度、焊接电流、电弧电压等43个参数来进行焊缝几何尺寸和焊缝质量的预测，如图3a所示；杨嘉佳等人[23]通过图像处理技术获得熔宽、半长、面积、周长和抛物线系数等能反映熔透状态的熔池特征参数，并在此基础上建立了基于BP神经网络的铝合金双丝焊熔透识别模型。

简单模型，此种方法将熔池横截面形状固定为某一特定形状或简化处理，在现有的虚拟焊接训练系统中应用最为广泛。例如：White等人[6]在开发的虚拟焊接系统sMIG中将平板焊接的焊缝横截面近似为一种半椭圆形状，通过焊接温度场模型计算出熔池的熔宽，从而确定焊缝的余高，如图3b所示。Suryakumar等人[24]在对多层焊缝建模中给出了搭接焊的焊缝几何尺寸数学模型。张建勋等人[19]开发的HTS焊接训练系统，其焊缝几何尺寸模型采用高斯分布的模型为基础，以焊板上的电弧中心为基准点，向四周区域辐射，增加四周区域点的高度Y坐标，以模拟焊缝生长的过程，Y坐标的生长量即为模拟焊缝的余高。

有限元模型，作为发展较为成熟的仿真技术，是目前焊接熔池形态仿真领域中最常用的研究模型。利用有限元分析(FEA)建立焊接熔池形态模型的研究工作已有很多[25-26]。SYSWELD和WELDSIM就是2个专门用来建立焊接工艺模型的有限元软件包。专用的FEA软件包，比如SYSWELD，和其他通用FEA软件包，比如ANSYS已被采用建立高精度模型。这些高精度模型经常考虑焊接过程的每一个方面，不仅有焊缝的几何尺寸模拟，还包括热影响区、残余应力、焊件变形、开裂。

光滑粒子流体动力学法，作为新兴的一种拉格朗日形式的无网格粒子法，近年来，SPH方法被引入流体动力学研究当中[27]，并凭借其粒子特性及操作简单灵活使其能够以鲁棒稳定的方式处理很多流体模拟问题，已在自由液面流动[28-29]、流固耦合[30-31]、多相流[32]等问题中取得了重大进展，但仍然在边界处理、自适应粒子细化、固液相变等方面面临挑战性问题。

在运用此方法处理流体运动问题时，可以将流体离散为一系列的粒子来进行描述，而非对系统进行网格设定，每个粒子都代表着流体内的一定体积，这些粒子可以被赋予它们各自的材料属性，相关的物理量(包括速度、压力、加速度等)可由相邻粒子的数值按照一定的控制方程进行插值得出，从而实现流体(粒子群)的规律运动。采用SPH法进行焊接熔池模拟时，操作比较简单，前处理方便，且不需要生成网格，避免了因网格畸变所造成的计算失败，也可实时生成焊接熔池形貌。例如：如刘石柏等人[33]运用SPH方法建立了激光熔凝过程的数值模型，并应用该模型对AISI304不锈钢的激光熔凝过程进行数值模拟；谢本凯等人[34]提出了一种基于光滑粒子流体动力学法的焊缝成形仿真方法。该方法中包含有温度场计算，可实现流体粒子从运动状态至静止状态的转化，从而模拟出焊接过程中熔池凝固的过程，如图3c所示。Trautmann等人[35]运用SPH方法建立了一个考虑电弧力的焊接熔池流体动力学及由此产生的焊缝结构模型，并通过实测结果验证了该模型的有效性。

图3 3种熔池形态建模方法

大量实证研究表明，映射训练模型，如神经网络模型、多元回归模型、响应曲面模型等，在焊接熔池几何尺寸的分析中具有显著优势，但它们同样存在自身缺陷，如模型参数敏感性强，无流体感等；简单模型，在现有虚拟焊接训练系统中应用最为广泛，但其将熔池横截面形状固定为某一特定形状或简化处理，虽然可降低模型复杂度，提高计算机的实时交互性，但模型精度也会随之降低，而且对于T形焊、管状焊接等焊接工艺，则该方法不适用；相比于映射训练模型与简单模型，有限元模型应用于焊接熔池研究最为广泛，其可建立高精度焊接熔池模型且可产生流体感，但依然存在问题——模型计算量过大(需要几分钟或甚至多个小时)，不能满足实时交互原则。因此，针对焊接熔池的生成及变化机理，构建满足人机实时交互约束下的焊接熔池形态模型以提高学员在VR空间互动中的沉浸感，是虚拟焊接训练研究领域的重要难题之一。

4 多目标跟踪技术

人机交互性能是虚拟焊接训练技术的关键，考虑到焊接训练时学员的动作及焊接姿态对焊缝生成有极大的影响，所以虚拟焊接训练系统需实时感知学员的动作及焊接姿态，从而实时进行虚拟场景渲染及焊缝生成，反应在系统开发中则需要系统实时捕捉学员所操控的焊枪和佩戴的头盔的空间位置和姿态信息，以便系统根据学员的视角转变提供头盔显示器特定的场景画面或根据焊接姿态参数的输入生成特定的焊缝图像及焊接效果。

焊枪及头盔是学员直接接触虚拟焊接训练系统的重要组成部分，其空间位置的定位精度直接影响着系统的人机交互性能。对焊枪和头盔的位置跟踪一般存在以下问题：①焊枪及头盔的跟踪需为非接触式的定位方法，也不能在训练时存在跟踪死角；②虚拟焊接训练系统中的焊枪和头盔因受限于实物的实际大小，不适宜安装尺寸过大的定位装置；③焊枪及头盔在定位时不宜产生过大的累积误差，一般定位精度需在2 mm以下，角度误差不宜超过2°；④用于定位的装置价格不宜过高。

现今，对于特定目标的追踪定位方法主要有光学定位、电磁定位、机械定位、超声波定位等，表2为4种主要定位方法的特点比较。

表2 4种定位方法的特点比较

通过文献查阅，现今已开发的虚拟焊接训练系统中对于目标追踪定位应用最广泛的方法为电磁定位及光学定位。

电磁定位技术，此种方法是利用电磁感应原理，通过在虚拟焊接培训系统内放置磁场发生器，从而在学员训练范围内产生磁场，在焊枪及头盔内放置传感线圈，从而可以在磁场内接收磁场信号，系统根据磁场信号的强度计算焊枪及头盔的六自由度坐标值，从而实现对焊枪及头盔的空间定位及跟踪。该方法的缺点为测量精度易受环境磁场及磁性物体的影响，且测量范围有限，测量精度与传感器的距离相关。例如：VRTEX360采用电磁定位技术对其系统内的焊枪及头盔进行空间定位，该款虚拟焊接训练系统的硬件材料(包括焊枪、焊件、头盔、立架等)均采用抗磁质材料制成，根据文献描述，该定位系统的静态精度小于1 mm，测量范围的有效直径为0.82 m。陈仲盛等人[36]设计的面向虚拟焊接训练的焊枪定位系统包含焊件、感应线圈膜、光纤传感器、磁场发生器及三轴陀螺仪和三轴加速传感器芯片，其中利用感应线圈膜、磁场发生器用于测定焊枪在x/y平面内的位置，光纤传感器用于测量焊枪在z轴上的位置，三轴陀螺仪和三轴加速传感器芯片用于测量焊枪在空间中的姿态，从而完成对焊枪的空间定位。

光学定位技术，在虚拟焊接训练系统的实际应用中也分为激光定位技术和基于图像的相机定位技术。基于图像的相机定位是通过相机采集的图像或视频，实时对被追踪目标的空间位置及姿态进行计算，从而完成对目标的定位及跟踪，该方法设备安装配置较为简单，成本也较低，但该方法也存在图像处理计算量大，易受环境光照、纹理等场景因素的影响。例如：余亮等人开发的ONEW-360是一款训练二氧化碳气体保护焊的培训系统，该系统内的定位系统采用单目视觉的方法对焊枪和头盔进行空间定位。具体的，通过在焊枪及头盔上安装有发光的单色球，通过相机采集的视频，对比每一帧图像中像素点与发光球的HSV值，从而完成对图像中发光球的定位，即完成了对焊枪及头盔的空间定位；White等人[6]研发的sMIG是一款熔化极惰性气体保护焊训练系统，其采用多目视觉定位的方式对焊枪和头盔进行追踪定位，定位系统的主要硬件为反光标记和3个OptiTrack FLEX摄像机，3个摄像机以非线性排列在焊接面板前，头盔及焊枪进行了一定的改装以便反光标记的附着。三目追踪系统可通过识别视频中的反光标记从而对焊枪及头盔在三维空间内位置及姿态进行计算。激光定位技术是通过在被追踪目标上放置光敏传感器，利用基站发射激光源扫描空间中光敏传感器，通过各个光敏传感器测量到激光的时间差来确定目标的空间位置，该种方法仅使用时间参数计算，不涉及图像处理，使其计算量相较于基于图像的相机定位来说非常小，但该方法也存在设备配置较复杂等问题。例如：Wang等人[37-38]构建了一种基于虚拟现实的人-机器人协同焊接系统，该系统利用消费级VR设备HTC VIVE(使用Lighthouse激光定位技术)对焊枪及头盔进行空间定位，并构建虚拟焊接场景以便操作者进行虚拟焊接，焊接轨迹发送给焊接机器人最终完成焊接任务，该系统综合了人和机器人的优点，充分利用了人的智能性和适应性，实现了机器人的精确运动。

5 力反馈技术

触觉是人体五大感官之一，而力觉是触觉中最为复杂的感知形式，且具有双向信息传递能力。力反馈技术用于再现人与虚拟场景之间进行交互所产生的力的感知。

力觉的再现是一个力反馈的过程，通过利用由计算机控制的机械装置或触觉交互装置来实现。力反馈装置通过驱动装置向使用者输出反馈的作用力，将真实物体被接触或被受力时的状态以力的形式再现到人的手或肢体上来实现力觉的交互，其技术发展历程如图4所示。

图4 力反馈设备发展历程

在真实焊接过程中，电弧所产生的力会通过焊枪传导至学员手部，从而使学员产生力反馈的感知，此力反馈的效果对于学员的沉浸感来说也具有较大影响。电弧力包括电磁收缩力、等离子流力、斑点压力、爆破力等，其形成机理十分复杂。根据现有文献搜索未见对此力反馈形式进行有效模拟的方法。现有商业化的部分虚拟焊接训练系统通过在焊枪内加装电动马达等设备，使焊枪可提供简单的震动功能，但并未对其它的力反馈形式进行模拟，还有一些学者通过利用其它装置来产生焊接过程中力反馈的感知。如Wang等人[39]提出了一种基于虚拟现实和力觉引导的焊工培训方法，利用Phantom给予学员力反馈的感知，以训练学员手-眼的协调技能。黄俊[40]设计了一种可穿戴的RPR型力反馈焊接机械和SMAW焊接训练软件，以便增强虚拟焊接训练的真实感。Erden等人[41]提出了一种基于焊接机器人的焊工训练方法，将KUKA机器臂的末端加装焊枪、力传感器等装置，学员手握焊枪进行真实焊接训练，当其运动轨迹偏离中心线时，系统会发出声/光信号以便提醒学员纠正焊接姿态。Xie等人[5]开发的ONEW-360通过安装气泵，并在虚拟焊枪嘴处设置出气孔的方式对二氧化碳保护焊焊接过程中的气流力进行模拟。

6 虚拟焊接训练评价

Stone等人[42]在传统的焊接培训中引入虚拟现实技术进行混合型的焊接培训，并在培训潜能、团队学习、材料消耗、成本计算4个方面对这种培训方式进行检验。研究运用的虚拟现实培训设备为林肯电气出品的VRTEX360焊接模拟器，训练项目包括2F，1G，3F和3G位置上的训练，最后实验结果表明混合培训组的培训效率要比传统培训组的效率要高，论文给出的原因为混合培训组的团队交流要比传统培训组的要高很多，这可以促进学员之间的技能提升，而且使用虚拟现实培训设备可以很容易的获得焊缝缺陷等重要信息，而传统型的培训方式则不那么容易看出来。

Stone等人[43]在上述研究的基础上进一步设计了2种焊接培训方案，一种是完全依靠虚拟培训设备的方案(VR-100)；另一种是混合型的焊接培训方案(VR-50)。通过让学员完成特定的焊接训练项目，学员即有机会参加相应的资格认证考试。通过这样的研究流程可对学员的认知水平和培训效率进行对比。这项研究的结果表明在低等难度和中等难度的焊接训练项目培训中，VR-100和VR-50之间的培训效率几乎没有区别。但在高难度的培训项目中，VR系统显然无法满足学员的技能训练需求，因此需要对真实操作的训练。

Jumper[44]针对虚拟焊接技术在农业机械中的应用开展了统计调查的研究，调查对象为320个在伊利诺伊州的农业教育项目，研究发现，人们对虚拟现实和类似技术有着积极的看法，但是，虚拟现实焊接模拟器的成本需要大幅降低，以便将其纳入农业机械，成为一种成本效益高的培训形式。

Byrd[45]利用VRTEX360进行了虚拟焊接训练的研究，研究结果表明虚拟现实焊接模拟器的能够从5个焊接参数(位置、弧长、工作角、行程角和行程速度)评估焊工的现有技能。研究过程中发现，所有参加焊接培训的学员在试焊过程中都有焦虑情绪，并且参与者使用虚拟现实焊接模拟器的次数越多，在完成测试焊接过程中产生的焦虑就越多。这表明混合训练模式比100%虚拟现实培训模式更能减少学院的焦虑。

7 其它方面的仿真

除以上所述的主要技术外，焊接过程中还存在有一些特殊现象，如强烈的弧光、“呲呲”的声响、灼烧的气味等，这些特有的现象共同组成为一个综合的临场环境，从而给予学员在听觉、视觉、味觉、触觉特殊的感知。虽然当前有很多学者对于弧光、焊接声音、热辐射等内容进行了大量的研究，但研究内容仅限于探究产生这些现象的原因或规律，而对这些现象进行有效的仿真的文献则较少。