焊接可视化技术的发展与研究现状

(清华大学机械工程系 先进成形制造教育部重点实验室，北京 100084)

0 序 言

近年来，基于光、声、电等信号的各类传感器的可靠性、准确性不断提高，计算机软硬件能力与图像处理技术持续发展，为通过视觉传感技术获取焊接过程信息、进而实现智能化控制奠定了坚实基础。同时，自动化与智能化工业生产的发展趋势促使可视化技术在实际焊接生产中获得广泛应用，为焊接过程自适应控制、焊接轨迹自动生成、焊缝自动跟踪、焊缝成形质量在线控制等提供了有力保障。

所谓焊接可视化，是指通过各种传感技术手段形象直观地表达焊接过程。不仅有助于全面深入地认识焊接内在机理和机制，而且可为焊接材料、焊接工艺和焊接结构的优化设计，焊接过程的实时控制，焊接结构的健康评价等提供依据。

在焊接过程中，许多裸眼无法观察的试验现象或试验对象可借助焊接可视化技术转换成适宜观察的图像等可视化模式；与焊接质量控制相关的定性观察对象也可以通过计算机处理获取量化指标，达到量化处理与精确控制的目的。研究人员针对熔池、焊缝、电弧、熔滴过渡、保护气体等不同观察对象，根据能够反映其特征的信号类型，搭建相应的传感系统，辅以图像处理技术提取反映关注对象特征的参数信息，进而建立反馈控制系统，实现焊接过程的闭环控制和稳定性控制。焊接可视化技术在焊接领域的实际应用主要包括焊缝缺陷成像和定位检测、焊缝自动跟踪、熔池液态金属的流动形态识别及流动机理探究等方面。此外，焊接可视化技术还被应用于采用特殊传感方法减小或消除强烈弧光干扰、高温熔池发光对观察对象影响的研究，控制金属蒸汽、飞溅等不利于焊接稳定性因素的研究等[1]。

可视化技术采用的传感技术与其它检测手段相比，无需与控制对象接触，因而不会对焊接过程和焊接质量造成影响，并且能够获取更为丰富的焊接过程信息，例如焊接熔池图像、熔滴过渡形态图像等，这些信息为后续焊接物理变化以及焊接过程控制技术的研究提供了有效的原始信息。此外，可视化技术的控制精度高、灵敏度强，可有效抵抗电磁干扰，是目前最有发展前途的焊接关联技术之一[2]。

1 可视化过程的视觉检测

焊接过程的信息检测主要通过光、声、电等信号来实现，其中光信号指的是电弧的光辐射以及熔池高温红外辐射信号；声信号是指可听发声信号和在工件内部或外光路产生的超声波信号；而电信号则是等离子体或熔池液态金属振荡所引起的区域电场的变化。上述信号在不同程度上含有与焊接相关的位置、质量等信息，根据信息检测的信号不同衍生出相应的检测技术。

1.1 图像检测法

目前，获取焊接熔池与焊缝图像的方法主要有主动视觉和被动视觉两大类方法[3]。主要区别在于，主动视觉法在获取熔池或焊缝图像时往往需要借助外部具有特定功能的辅助光源，而被动视觉法一般在反射弧光或自然光下即可进行操作。

1.1.1主动视觉法

主动视觉法依据光学三角原理来获取焊缝的位置信息，由于激光具有能量高、单色性好、抗弧光干扰能力强等特点，因而经常被用作辅助光源[4]。根据所采用的激光光源类型的不同，主动视觉法又可分为结构光法和扫描法。基于激光结构光的主动视觉法是目前研究相对成熟且发展较快的技术。

图1为基于激光结构光的视觉检测原理，由二极管发出的激光作为视觉检测的外加辅助光源，经过透镜在工件表面形成与坡口几何形状相关的具有特定结构特征的激光条纹，通过工件表面反射后在传感器中形成电子图像[5]。经过图像处理可获取激光条纹结构特征所对应的坡口轮廓信息。实际应用中，往往需要图形预处理程序先排除工件表面杂质和反光等对成像造成的干扰，再提取焊缝形状轮廓。

图1 基于激光结构光的视觉检测原理

在以上基础上，可进一步设计基于双CCD摄像机的视觉传感器，实现焊接的多功能控制[6]。在焊枪前方设置传感器采集焊缝图像，实现焊缝自动跟踪控制；在焊枪后方设置传感器采集焊接熔池图像，实现焊缝成形质量控制。有学者通过对结构光法进行改进，获得了焊缝空间位置的三维信息[7]。将所获得的3D目标位置坐标与2D图像坐标进行校准，可以获得更为精确的焊缝位置信息，此方法也称为三维视觉传感法。

基于激光扫描的视觉检测原理如图2所示[8]。激光光束经反射镜反射，在工件表面形成激光点，马达的转动带动反射镜角度的变化和激光点在工件表面位置的变化。在马达正反转的驱动下，激光点在扫描范围内移动，完成横向扫描。激光光束经过工件、观测镜的反射后在CCD上形成电子图像。根据光学三角原理所确定的反射光束与发射光束的几何关系，实现焊缝坡口信息的精准检测。与激光结构光法相比，扫描激光在检测过程中的光强未发生改变，因而在CCD中可以获得信噪比较高的清晰成像，测量精度更高。

图2 基于激光扫描的视觉检测原理

1.1.2被动视觉法

被动视觉法在反射弧光或自然光下采集熔池或焊缝区域图像，在不外加辅助光源的情况下，实现对焊接过程和质量的稳定性控制。由于焊接过程中的弧光干扰十分强烈，被动视觉法需要匹配合适的滤光片和滤光系统滤除熔池和工件反射的弧光，最后利用透过滤光片的光线获取清晰焊缝图像[9]。

如何有效滤除强烈弧光对被动视觉传感器的成像干扰是应用被动视觉法需要解决的核心问题。为此，有学者专门研究了焊接电弧和熔池反射弧光的光谱分布，为滤光系统的设计以及滤光片参数的选择提供了重要依据。窄带窗口即是基于电弧光谱的弧光滤除方法[10]。此外，根据二次滤波原理所设计的滤光系统在熔池图像的弧光滤除中也表现出很好的滤除效果。所谓二次滤波是指用电弧的连续光谱作为辅助观测光源，同时选取一定参数的吸热片滤除电弧低强度的离散谱线[11]。另外一种抑制强光干扰的方法是激光闪频摄像[12]。CCD快门根据脉冲信号的周期同步开启，从而使得闪频激光在快门开启期间照亮焊接区域，借助闪频激光的辐射强度抑制弧光干扰，从而获得清晰的焊接图像。主动视觉法与被动视觉法的对比如表1所示。

总体来讲，焊接可视化过程实质是利用传感手段对焊接过程的形象表达，因此检测到的信息既可以用于自动化控制，也可以用于操作者的观察。 例如有学者便根据可视化方法提取电弧质心位置的方差来观察焊接过程中电弧的稳定性；根据拍摄的焊接电弧形态图像来观察并识别不同的熔滴过渡形式；以及根据焊接飞溅在图像中的痕迹研究焊接飞溅对电弧稳定性的影响；还有学者采用可视化手段提取了焊缝纹理和其色彩信息等[13-15]。

表1 主被动视觉传感器对比

1.2 红外热像法

红外热像法利用熔池红外谱段的热辐射与其周围试件表面热辐射的不同，形成具有差异的温度场分布图像，从而获取熔池信息。采用远红外图像传感器能够采集的光谱范围为8～12 μm，而电弧光谱波长的上限为4 μm，所以在采用红外热像法进行熔池温度场信息的采集过程中无须考虑电弧光的干扰，能够直接获取反映熔池物理行为的不同熔透状态下的温度场分布。

将红外传感器与光导纤维传输技术相结合，还能够实现对工件表面某一点温度和焊缝背面熔宽的测量，实现对焊缝熔透状态的检测[16-17]。潘际銮等人[18]在无须标定的条件下实现了对焊缝背面横向温度场分布的实时测量。通过温度场分布与熔透间的关系模型可计算获得焊缝的熔透程度，进一步结合继电器型的非线性环节，就能够实现高质量的焊缝熔透控制。

1.3 焊缝缺陷成像和无损检测可视化

焊接可视化的内容还涉及焊缝的缺陷成像与无损检测，例如超声波检测、X射线检测、衍射时差法等[19-20]。通过分析反馈的焊缝缺陷的射线、超声信号，可以实现对焊缝缺陷的定量描述和危害评估。文献[21]介绍了可实施焊缝全体积检测的方法——超声相控阵扇形扫查法，该方法可实时显示并自动储存检测数据，数据的三维显示和多视角观测使得缺陷的定性、定位、定量、定级都更为方便和精确。

超声波检测法能够相对容易地检测出缺陷距离工件表面的埋藏深度以及缺陷在工件板厚方向的长度，但对某些特殊材料和极端几何条件下的检测效果较差。与超声波探伤相比，射线检测对薄件裂纹、气孔、夹渣等焊接缺陷的检测灵敏度高，其获得的直观的缺陷图像易于分析和重复观测，因而被广泛采用[22]。射线检测对缺陷的定位方法主要有体视法、黑度计测定法、CT法、视差法以及基于漏磁成像技术的磁化系统等其它新型无损检测方法[23]。

借助无损检测可以构建出焊接缺陷的直观三维轮廓图像，其中含有与焊接缺陷相关的位置、取向、尺寸等丰富信息，为质量检测人员进行细微缺陷定位、尺寸测量等提供了直观有效的解决途径。

1.4 基于熔池振荡的可视化测量

基于熔池振荡的可视化测量包括弧光传感法和激光视觉法。因为熔池体积和熔池振荡频率间有着直接的物理对应关系，所以该方法可用于对熔透状态的实时表征，通过检测熔池振荡频率来控制熔池体积，从而实现焊缝熔透控制[24]。

弧光传感法利用光强传感器检测弧光强度，根据对应的比例关系求取不同弧光强度下所对应的弧长变化，反映熔池的振荡情况。而基于熔池振荡的激光视觉法的原理如图3所示[25]。投射到熔池表面的入射激光经过反射投向成像屏。熔池表面发生周期振荡时，投射在成像屏的激光条纹也会发生周期性变化，进而引起观测窗口亮度积分值的改变。所以，图像亮度积分值的周期性变化可以表征熔池的振荡情况。

图3 基于熔池振荡的激光视觉法原理

2 可视化过程的信息处理

信息处理环节是焊接可视化的软核心。采用信息处理软件对采集到的关注对象的不同信号的检测信息进行综合处理，可提取关注对象的特征信息；特征信息作为控制系统的输入信号，可实现焊接过程的自动化和智能化控制。

2.1 信息处理软件

任何一种视觉检测方法，都需要有与之相配套的视觉检测软件。视觉检测软件的系统开发方法主要有三种：一是借助如 NI-VISION 等专业化的机器视觉软件开发平台；二是借助可视化的编程工具完全自主研发，如VC6.0，VB 等，特别是多种信号同时进行检测时，往往需要借助这种方法搭建相应的平台显示窗口；三是在 SDK(软件开发工具包) ，Pro/E等软件开发包的基础上进行二次开发，是难度相对较大的一种系统开发方法。文献[26]详细介绍了基于Pro/E 和VC 二次开发向导的可视化系统的开发步骤。

2.2 图像处理方法

目前，图像采集设备的数据多以数字图像的形式储存，因而图像处理过程实际上是对数学矩阵的运算。图像处理可应用于焊接熔池边缘的提取，通过图像增强、平滑与锐化滤波、边缘检测等一系列操作，可以获得与熔池轮廓匹配度较高的连续边缘。有学者针对不同边缘检测算子的检测效果进行了对比研究[27]。而在焊缝自动跟踪的应用中，都东提出了基于焊接坡口宏观几何特征、焊缝纹理和焊缝色彩特征信息的焊缝识别方法。由于焊接工况一般比较复杂，焊接过程会伴随诸多干扰和不确定性，为了提高图像实时处理的可靠性，要求图像处理算法具有自适应环境变化的能力。为此，模糊数学和神经网络等算法被引入到焊缝图像处理中。例如采用模糊算子对图像局部信息进行处理，可增强算法的抗躁性；边缘检测问题可以归结为一般的模糊推理问题，采用模糊数学设计方法可以设计出基于模糊数学的边缘检测算子[28]。而人工神经网络可以解决灰度分布不确定的情况下，分割阈值的自适应选择问题[29]。另有学者自行设计了自适应共振人工神经网络，实现了对4种不同焊缝类型的自动识别[30]。

3 可视化过程的智能控制

实现焊接过程的自动化、智能化控制是焊接可视化过程的最终目标。例如，经图像处理获得特定观察对象位置信息的偏差信号后，经过智能控制程序可实现焊接过程的纠偏矫正。目前，应用于焊接可视化过程的智能控制算法主要有自适应控制、模糊控制、神经网络控制以及专家系统等。

赵冬斌等人[31]在研究填丝脉冲 GTAW 的熔池形状变化特征时，借助焊接可视化方法开发了一套可实现熔池类型识别、熔池边缘点提取及拟合的熔池形状参数提取的自适应算法。自适应模糊控制器近年也被广泛应用于焊缝跟踪、焊枪位姿参数控制及熔池的熔深、熔宽控制等[32-33]。BP神经网络便被应用于对熔池的反面余高、反面熔宽、熔深、熔化面积等参数进行预测，准确率在80%以上[34]。BP神经网络对焊道形状预测的网络输出与实测值之间的均方根误差已经能够控制在0.001 mm以内[35]。国内学者主要将其应用于对焊道宽度、熔深及堆高的预测和弧焊机器人的轨迹规划等[36]。陈善本等人[37]在模糊推理与神经网络结合的单入单出焊接电流控制器 FNNC(模糊神经网络控制器)的基础上，设计了用于调节脉冲 GTAW 焊接速度的双入双出专家系统控制器，实现了对焊道成形与正反面熔宽的同时智能控制，是对熔池动态过程和焊接质量智能控制途径的成功探索。

4 结 论

随着以云计算、大数据、物联网和人工智能为依托的新的信息技术革命的到来，焊接可视化及其所涉及的视觉检测方法、图像处理技术和智能控制技术等都有望在新的技术浪潮中得到突破性的发展，并不断为焊接机理的研究、焊接工艺设计的优化、焊接质量与稳定性的检测以及焊接的自动化与智能化控制等提供新的研究手段与技术支撑。

从信息检测的角度来看，基于多种检测信号的信息融合传感技术具有可观的应用场景；在图像处理方面，彩色图像相比目前所获取的黑白图像而言具有更丰富的色彩信息，探索基于彩色图像的可视化焊接控制有望成为未来发展新趋势；而在智能控制方面，基于专家系统的焊接过程自适应控制、焊接轨迹自动生成、焊缝成形质量在线控制等依旧会是该领域的热点问题。

[1] 张 刚. 基于激光视觉的GTAW熔池三维自由表面动态行为的可视化[D]. 兰州: 兰州理工大学硕士学位论文，2013.

[2] 谢志孟，高向东. 基于视觉传感的焊缝跟踪技术研究和展望[J]. 焊接，2005(4): 5-9.

[3] 沈彦闻. 基于VTK的激光焊接数值模拟可视化系统的研究与开发[D]. 武汉: 华中科技大学硕士学位论文，2009.

[4] Song H S，Zhang Y M. Measurement and analysis of three-dimensional specular gas tungsten arc weld pool surface[J]. Welding Journal，2008，87(4): 85-95.

[5] Kim J S，Son Y T，Cho H S，et al. A robust method for vision-based seam tracking in robotic arc welding[C]. Proceeding of the International Symposium on Intelligent Control，Monterey，CA，USA, 1995:363-368.

[6] Zhou L，Lin T，Chen S B. Autonomous acquisition of seam coordinates for arc welding robot based on visual sensoring[J]. Journal of Intelligent and Robotic System，2006，47(3): 239-255.

[7] 鲁建波，徐培全，姚 舜，等. 圆形扫描结构光传感器的标定和焊缝检测[J]. 焊接学报，2006，27(4): 53-56.

[8] Wellington S J，Crowder R M. A non-tactile sensor for seam tracking and vision application[C]. IEEE Control’94 Conference Publication，Coventry，UK, 1994: 822-826.

[9] Ohshima K，Yamamoto M，Tanii T，et al. Digital control of torch position and weld Pool in MIG welding using image processing device[J]. IEEE Transactions on Industry Applications，1992，28(3): 607-612.

[10] 王建军，林 涛，陈善本，等. 铝合金交流钨极氩弧焊熔池图像传感方法[J]. 上海交通大学学报，2002，6(5): 21-26.

[11] 李鹏九. 焊接过程弧光传感的应用基础研究[D]，哈尔滨: 哈尔滨工业大学博士学位论文，1997.

[12] Lee S K. A study on automatic seam tracking in pulsed laser edge welding by using a vision sensor without an auxiliary light source [J]. Journal of Manufacturing Systems，2002，21(4): 302-315.

[13] Shigeta，M，Takahiro I，Manabu，T，et al. Qualitative and quantitative analyses of arc characteristics in SMAW[J]. Welding in the World，2016，60(2): 355-361.

[14] 郭 波. 基于宽动态视觉传感的GMAW机器人焊接偏差实时识别及电弧监测研究[D]. 广州: 华南理工大学博士学位论文，2016.

[15] 都 东，邹怡蓉，常保华. 焊接视觉传感及自动跟踪技术的现状与发展[J]. 航空制造技术，2010(9): 40-42.

[16] Sadek C. Alfaro A，Fernand Diaz Franco. Exploring infrared sensing for real-time welding defects monitoring in GTAW[J]. Journal of Sensors，2010，10(6): 5962-5974.

[17] Kosovo Y. Relation between surface temperature and reverse side bead with in TIG welding of thin mild steel plate[J]. Journal of Japan Welding Society，1982，51(3): 52-55.

[18] 潘际銮，陈 强，吴志强. MIG焊的熔透控制[J]. 焊接学报，1991，12(1): 53-58.

[19] 路 浩，邢立伟，赵新玉. 焊接缺陷高频显微超声可视化扫查检测 [J]. 焊接，2014(9): 19-23.

[20] 罗志伟，张 驰，刘 斌. 焊缝横向裂纹声波衍射信号特征与采集方法[J]. 焊接，2016(6): 26-29.

[21] 李 衍. 超声相控阵检测焊缝三维可视化[J]. 中国特种设备安全，2013，37(12): 1-6.

[22] 崔 巍，戴 光，龙飞飞，等. 钢板对接焊缝漏磁检测可视化方法[J]. 无损检测，2013，35(5): 8-11.

[23] 崔 巍，戴 光，李 伟，等. 基于漏磁成像的焊缝缺陷检测可视化方法研究[J]. 现代制造工程，2014(2): 109-114.

[24] Renrrick R J. Real-time control of GTA weld size by controlling pool oscillation frequency[J]. CWR Technical Report，1983(6): 110-115.

[25] 顾玉芬，杜雷明，李春凯，等. 弧光法与激光视觉法检测熔池振荡特征的对比分析[J]. 焊接学报，2016，37(9): 18-22.

[26] 石端虎，刚 铁，李新彦，等. 基于Pro/E二次开发的焊缝缺陷空间位置可视化[J]. 热加工工艺，2009(23): 155-157.

[27] 季 虎，孙即祥，邵晓芳，等. 图像边缘提取方法及展望[J]. 计算机工程与应用，2004，40(14): 70-73.

[28] Law T，Itoh H，Seki H. Image filtering，edge detection，and edge tracing using fuzzy reasoning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，18(5): 481-491.

[29] Peng J，Chen Q，Lu J，et al. Real time optimization of robotic arc welding based on machine vision and neural networks[C]. 24th Annual Conference of the IEEE Industrial-Electronics-Society，Aachen，Germany,1998.

[30] 岳 宏，孙立新，李 慨，等. 基于自适应共振人工神经网络的焊缝类型自动识别方法[J]. 中国机械工程，1999，10(8): 1-7.

[31] 赵冬斌，陈善本，吴 林. 填丝脉冲 GTAW 熔池形状定义和图像处理[J]. 焊接学报，2001，22(2): 5-8.

[32] Jezersek M, Polajnar I, Diaci J. Feasibility study of in-process weld quality control by means of scanning laser profilometry[J].Proc Spie, 2007, 6616(6):445-449.

[33] 林树清，袁小川. 模糊逻辑控制在焊接中的应用进展[J]. 山东冶金，2004，26(6): 54-56.

[34] Tarng Y S，Tsai H L，Yeh S S. Modeling，optimization and classification of weld quality in tungsten inert gas welding[J]. International Journal of Machine Tools and Manufacture，1999，39(9): 1427-1438.

[35] Shi Y，Fan D，Huang A，et al. Visual sensing and intelligent control of weld pool dynamics in aluminum alloy pulsed MIG welding process[C]. ICMIT，Chongqing，China,2005.

[36] 高向东，黄石生，余英林. 机器人焊缝跟踪神经网络控制研究[J]. 机械工程学报，2000，36(5): 7-10.

[37] 陈善本，赵冬斌，娄亚军. 脉冲GTAW焊缝成形智能控制方法[J]. 自动化学报. 2003，1(29): 130-134.