基于视觉的焊接三维重建技术研究现状

王克鸿，杨嘉佳，孙科

（南京理工大学材料科学与工程学院，江苏南京 210094）

0 前言

焊接在工业生产中的应用领域越来越广泛，传统焊接品质的控制通过焊前工艺设计和焊后检测来保证，不能依据实际工况的变化在线调整，且效率低、效果差，已经不能满足高效优质低耗精密焊接的需求。由于熔池中包含丰富的信息，能够反映焊接品质，熟练焊工通过观察熔池和浮渣形态进行调整，达到焊接品质实时控制。焊接视觉传感的研究就是借鉴焊工经验行为，利用光学传感器拍摄焊接过程中的熔池图像，通过数字图像处理获取熔池几何形状信息，掌握熔池视觉特征与焊缝品质的关系规律，进而调整焊接参数实现焊接品质闭环控制。该技术能获得丰富直观的信息，近来年已成为焊接过程传感的重要研究方向，已经在熔池二维信息的获取、处理和分析方面进行了较为深入的研究［1-4］。但熔池高度、熔化金属下塌量、熔池侧壁熔合情况、熔透情况、熔池内部金属流动等信息与焊接成形紧密相关，迫切需要对熔池进行三维重建研究，获得更多的信息，建立更全面的熔池几何特征与焊接品质的关系模型。

另一方面，在核电站设备的维修、海洋工程建设以及未来的空间站建设维修等不适合人类亲临现场的环境都需要采用遥控焊接技术。传统的遥操技术通过延伸人的感知能力，获得现场信息，进行判断和决策，并控制执行机构（机器人）所有的运动。这种完全依赖于人的遥控操作方式效率低下，容易导致操作者疲劳。并且由于二维图像深度信息的丧失，难以完成一些精确的任务操作。同时，焊接机器人任务空间的三维传感也是机器人全自主焊接的发展需要，这样不仅能克服示教再现型机器人缺乏对环境自主适应能力的缺点，也能为离线编程系统提供任务空间的CAD模型，避免了离线编程标定的不便。开发具有全局感知能力的传感器可以感知工件和环境信息，提高焊接机器人柔性，扩展焊接机器人的应用范围［5］。同时，三维重建也是熔池数值模拟结果的有效验证方法。

1 计算机视觉

现实世界是三维的空间，人类通过两眼认识自然界物体的三维立体信息。但是一般的摄像系统只能把三维物体以二维的形式保存、记录下来，丢掉了大量的三维信息。计算机视觉就是用计算机模拟人眼的视觉功能，从图像或图像序列中提取信息，对客观世界的物体进行形态和运动识别。

计算机视觉的研究开始于20世纪50年代中期，当时的研究主要集中在二维景物图像的分析。利用二维图像解释三维目标的研究始于1695年Roberts对多面体识别中提出的“积木世界”。Roberts的研究开创了以理解三维场景为目的的计算机视觉研究。20世纪70年代中期，以Marr为代表的研究者提出了一整套视觉计算的理论来描述视觉过程，其核心是从图像恢复物体的三维形状。从20世纪80年代初到80年代中期，计算机视觉开始了全球性的研究热潮，计算机视觉得到了蓬勃的发展，在Marr视觉计算理论框架的基础上，新概念、新方法、新理论不断涌现。20世纪90年代初，关于计算机立体视觉的研究趋于成熟。

计算机视觉最主要的研究方向是三维重建，研究目标是使计算机具有通过二维图像认知三维环境信息的能力，不仅使机器能够感知三维环境中物体的几何信息（形状、位置、姿态、运动等），而且能够对其进行描述、存储、识别和理解。计算机立体视觉就是利用计算机技术和光学手段从获得的一幅或多幅图像中还原出被摄物体的立体形状、位置等，从而获得三维数据值［6］。

基于视觉的三维重建技术的优势在于不受目标物体形状限制，重建速度快，可以实现全自动或半自动建模等，有广泛的应用前景。

2 三维重建方法

根据所用摄像机的数目，可将三维重建方法分为单目立体视觉法、双目立体视觉法和多目立体视觉法。

2.1 单目视觉法

单目视觉法是仅使用一台摄像机进行三维重建的方法。其中又包括两种方法，第一种是使用单视点的单幅（或多幅）图像，通过图像的二维特征推导出深度信息，这些二维特征包括明暗度、纹理、轮廓等。该方法的优点是使用单幅或少数几张图像就可以重建出物体三维模型;不足的是通常要求的条件比较理想化，与实际应用情况不是很吻合，重建效果较差。第二种方法则使用多视点的多幅图像，利用一台摄像机的旋转、运动或者对目标进行光路设计使不同视点的图像能够进入摄像机的靶面，通过匹配不同图像中的相同特征点，利用这些匹配约束求取空间三维点坐标信息，从而实现三维重建。这种方法在图像资源丰富、目标所受光照情况不改变、目标形状不发生变化的情况下重建效果较好，但是运算量较大，重建时间较长，需要知道摄像机的准确运动情况。

在焊接过程中，熔池反射电弧光的光强变化迅速，并且熔池处于流动状态，无法通过一台摄像机的运动获得多个视点的同步熔池图像，使得第二种单目立体视觉法在焊接领域不适用。第一种单目立体视觉法又包含阴影恢复法、结构光法、光度立体法、纹理法等，已有文献报道结构光法和阴影恢复法在在焊接熔池的三维重建的研究，将在第三节中进行归纳。

2.2 双目视觉法

双目立体视觉是一种将双目视差信息转换为深度信息的方法，这种方法使用两台摄像机从两个视点观测同一物体，获取在物体不同视角下的一对图像，然后通过左右图像间的匹配和三角测量原理，计算出场景中目标物体的几何形状和位置等三维信息。这一重建过程与人类视觉的感知过程相似，非常直观和易于理解，并且不需要人为设置辐射源，只需利用场景在光照条件下的二维图像来重建物体的三维信息，具有效率高、适应性强、精度合适、系统结构简单、成本低等优点，是目前研究最多、应用最广泛的立体视觉技术之一，特别是在非接触自动在线检测和质量控制等领域均具有很大的应用价值。

由于该方法结构简单，测量精度较高，已有焊接研究者利用该方法对焊接领域中的接缝坡口、焊接工件、遥控焊接任务空间场景及熔池进行三维重建，将在下一章详细归纳。

2.3 三目视觉法

三目视觉方法的基本思想是通过增加一台摄像机提供额外约束，该方法可以避免双目视觉方法中难以解决的假目标、边缘模糊、误匹配等问题，重建效果优于双目视觉方法。但由于增加了一台摄像机，设备结构更加复杂，成本更高，控制难度也大幅增加，并没有双目立体视觉法应用广泛。

3 焊接三维重建研究

由于焊接过程中存在着高温、飞溅、电弧等干扰，同时熔池体积小、温度高且分布不均匀、冷却速度快、熔池处于运动状态、填充金属的熔化和凝固过程同时存在等，直接对熔池进行三维测量十分困难，焊接中存在的电磁干扰和熔池的高温使得机械和电磁方法不适用，X射线方法和红外传感方法都能够获得焊缝熔透信息，但无法实时测量熔池高度信息［7］。熔池三维重建最有前途的方法是视觉传感法。

基于视觉的焊接接头三维重建技术能广泛应用于包括接缝轨迹规划、焊接品质控制、移动焊接机器人自主导航等焊接技术领域，进行焊接三维重建研究是智能化焊接发展的关键技术之一。目前焊接领域采用的三维重建方法主要有结构光法（单目主动立体视觉法、阴影恢复法（单目立体视觉法被动）以及双目立体视觉法（被动光法）三种。

3.1 结构光法

结构光三维视觉是基于光学三角法测量原理，通过光学投射器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图像。摄像机获得光条二维畸变图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和物体表面高度。当光学投射器与摄像机之间的相对位置一定时，由畸变的二维光条图像坐标便可重现物体表面高度。

美国肯塔基大学张裕明博士在主动式视觉领域曾进行了一系列研究工作，获得了较好的研究成果［8-10］。他首次将结构光法用于焊接三维重建研究，通过计算熔池反射的结构光的变形量来获取熔池表面高度信息，于2007年设计了一套由面阵点状激光器和高电子快门摄像机组成的熔池视觉检测系统。脉冲激光器的平均功率为20 mW，每次形成激光面阵中点数为19×19，激光波长为685 nm，摄像机所采用的滤光片中心波长为685 nm，滤光窗口宽度为20 nm。在激光脉冲持续时间内，激光点阵一次覆盖整个熔池表面，在摄像机曝光时间内激光的光强远远大于弧光的光强，有效的抑制了弧光干扰，获得了非常清晰的熔池表面点状反射图像。提出了EPA和OPA两种算法重建熔池表面，对比结果发现OPA方法得到的结果误差更小，熔池表面更光滑，图1为其使用的 GTAW实验系统、利用OPA算法获得的熔池表面三维图像以及xz平面上重建点与实际点的对比［11］，可以看到位于图像中间的点误差较小，而图像四周边缘的点误差比较大。王志江等［12］利用小功率结构光条纹激光器投射激光条纹于非熔化极气体保护焊熔池表面，由成像屏接收熔池表面镜面反射过来的激光条纹，利用镜头前附加了与激光器波长匹配的窄带滤光片的电荷耦合器件（CCD）摄像机观察成像屏上的条纹变化，从而获得熔池表面的高度等三维信息。

图1 结构光法GTAW熔池表面三维重建

结构光法应用于焊接领域进行三维重建可以成功地得到熔池的三维形状，但该方法算法较复杂，计算时间长，精度有待进一步提高。同时设备复杂，需要增加辅助光源，成本较高，不利于工业应用。

3.2 阴影恢复法

阴影恢复法（shape from shading，SFS）最早是美国科学家Horn为了解决月球表面的重建问题于20世纪70年代提出的，是利用单幅图像中的阴影线索（即灰度信息或图像的明暗变化）来恢复其表面各点的相对高度或表面法向量等参数值，即根据一个确定的反射模型建立物体表面形状与图像亮度之间的约束关系，并根据对物体表面形状知识建立表面形状参数的约束关系，然后对这些约束关系联立求解可得到物体表面的三维形状。该方法只需要单幅图像就可以解决表面重建问题，其关键技术包括反射图模型的建立和反射图方程的求解［13］。尽管有很多方法提出，SFS问题仍然很难获得精确的重建结果。由于实际反射的多样性，很难确定合适的反射模型，并且光源条件、图像品质等都难以得到保证，如何给出合适的约束条件成为许多研究者需要面对的难题。由于以上等原因，SFS方法的具体应用和效果都受到较大限制。在实际场景中的SFS方法重建结果往往会差强人意，尽管可以重建出局部较为细致的深度信息，但在整体深度上的偏差会比较大，而且由于平滑等约束，难以避免过平滑及丢失细小特征的结果［14］。

赵冬斌等［15］首次将SFS方法引入到焊接熔池表面高度信息提取上，通过对成像实际条件的深入分析，提出了符合实际成像条件的通用反射图模型，并提出了求解方程的基本算法;针对实际焊接熔池图像的特点，引入了表面光滑约束、边界条件、灰度加权调整，在基本算法的基础上形成了改进算法，成功地由单幅熔池图像获得了填丝脉冲GTAW低碳钢对接熔池图像熔池正面三维形状信息，如图2所示，其中Vf为送丝速度。该方法为提取熔池正面三维信息开辟了一个新的方向。李来平等［7］进一步研究了多种材料焊接过程中熔池图像特征，提出了脉冲GTAW熔池表面通用反射图模型，首先分析了熔池表面成像过程中的电弧光源特点、熔池表面的形状和反射特性和摄像机特性，建立脉冲GTAW熔池表面通用反射图模型，分别建立了低碳钢、不锈钢、铝合金脉冲GTAW熔池表面反射图模型并对反射图方程进行求解，实现了三种材料熔池图像的三维重建，铝合金熔池三维重建结果如图3所示。杜全营等根据熔池表面的成像特点，从提高运算速度的角度对三维恢复理论上进行改进，处理结果如图4所示［16］。

但是阴影恢复方法要求是表面反射均匀的漫反射体（符合朗伯漫反射模型），在理想的成像条件下（光源和摄像机无穷远），对反射图方程的逆求解过程，由图像灰度计算出物体的表面方向。然而，熔池是在强电弧光笼罩下，其表面成像镜面特性;并且用于传感熔池表面的摄像机也非无限远，是小孔成像，成像模型为投射投影模型。上述利用阴影恢复熔池形状法做了过多的假设，使得阴影恢复方法在熔池表现形貌三维恢复模型不再可靠［12］。并且阴影恢复法算法复杂度较高，大多数算法必须由迭代运算来逐步逼近真实结果，迭代的收敛速度会随迭代过程而减慢，由此带来较大的时间消耗。SFS方法处理的都是灰度图像，在重构前的去噪、降噪工作难度较大，容易把噪声带入后期重建中，而大多数研究方法是噪声敏感的，由此可能导致重建结果的失真。

3.3 双目立体视觉法

双目立体视觉三维重建包括立体图像对的获取、摄像机标定、特征提取、立体匹配、三维恢复等六个基本步骤。摄像机标定就是获得立体视觉系统的数学模型的过程，包括摄像机的内参数，两摄像机之间的位置关系，摄像机坐标系和世界坐标系的关系等。标定的结果相当于获得图像点对应的空间直线的方程。立体匹配就是寻找两图像上对应同一空间点的像素或者特征的过程，是立体视觉中最重要和最困难的步骤。在极线约束下，对应点的寻找是沿着某条线（极线）进行的，深度确定就是求两条直线交点的过程［5］。

焊接研究者利用双目立体视觉法来模拟焊工的双眼来获得焊缝和熔池的三维形状信息，在焊接领域已经得到较多的关注和研究。美国的Chris Mnich等人使用双目立体视觉法对GMAW的管道焊接熔池进行恢复。焊接方法为STT，焊接期间瞬间熄弧，两摄像机同时采集熄弧瞬间熔池图像，双目熔池图像对和恢复的熔池三维形状如图5所示［17］。可以看到恢复的熔池表面凹凸感明显，细节丰富，与熔池实际形状吻合度高。不足的是在光亮的无纹理匹配区域只能用平面来取代。虽然如此，该方法仍不失为一种整体精度高、适用性强的焊接熔池三维重建方法，值得深入研究。

图5 双目立体视觉法恢复熔池三维形状

荷兰的 C.X.Zhao和 I.M.Richardson等人使用二维粒子图像测速仪（PIV）跟踪氧化物粒子的运动来确定熔池表面速度场，运用二维熔池图像来完成三维流体流速的重建，从而得到了熔池的三维流动情况［18］。

南京理工大学的王克鸿等［19］设计研制了结构激光双目立体视觉传感器，成功得到不同形状接缝的三维几何尺寸（图6）。

图6 不同形状接缝的三维恢复

上海交通大学使用双CCD拍摄焊缝图像，对摄像机进行标定后并获取焊缝的三维形状，发现机器人重复定位精度对视觉计算的影响标准误差不大于0.3 mm，而当工具中心点标定误差大于1 mm时，需要对机器人进行重新标定［20］。

华南理工大学的李鹤喜等人采用极线约束和激光标识相结合的立体视觉匹配方法，完成了管件相交马鞍形空间曲线焊缝的立体视觉检测［21］。

王军等对经典USF平面距离图分割算法进行改进，通过增加区域合并步骤，使之能够分割含有圆柱面的立体视差图，给出了马鞍形工件的立体视差图分割结果，证明了算法的可行性，结果如图7所示［22］。

图7 视差图分割结果及马鞍形工件三维重建模型

哈尔滨工业大学梁志敏等建立了用于遥控焊接机器人任务空间三维重建的立体视觉系统，并完成了系统标定和极线校正。针对典型的焊接任务空间，进行了外围设备、焊接工件和焊缝的三维重建实验，并对系统标定误差和重建结果误差进行了分析。验证了立体视觉的三维重建算法可以克服焊接场景无纹理的缺点，获得精度较高的重建结果，能够满足遥控机器人任务空间的建模需要［5］。

国内利用双目立体视觉法的研究主要针对焊接中的接缝坡口、工件、焊缝和焊接外围设备等的三维重建，针对熔池三维形状研究鲜有报道。这种方法的难点在于熔池变化很快，使得对两摄像机的同步和对图像品质都要求很高。若存在强烈弧光干扰或熔池图像存在区域特征不明显，则匹配困难。

4 总结与展望

随着电子技术、自动控制技术以及图像处理技术、迅速地引入到焊接领域，焊接智能化的发展已经成为重要发展和研究方向，包括焊接品质的在线智能化控制和焊接环境的智能识别。

现有方法对熔池、工件、焊缝等目标的空间坐标、位置状态等三维信息的计算尚处于初步研究阶段，获得的结果还不十分满意。针对结构光法，需要进一步简化设备、提高实时性;阴影恢复法则需要进一步提高准确性;双目立体视觉法国内的研究仅限于对接缝、工件等的三维恢复，针对熔池进行双目立体视觉研究亟待开展。总而言之，三维重建技术在焊接领域的深入研究和应用是焊接智能化发展的关键，提高重建精确度和速度是下一步研究的重点。

［1］王克鸿，沈莹吉，钱锋，等.MAG焊熔池图像特征及可用信息分析［J］.焊接学报，2006，27（11）:53 －56.

［2］ C S Wu，J Q Gao.Extracting weld penetration information in tungsten－inert gas arc welding［J］.Proceedings of the Institution of Mechanical Engineers.Part B:Engineering Manufacture，2002，216（2）:207 －214.

［3］ WangKehong，Tang Xinchen，Yu jian，et al.Method of visional detecting MAG weld pool information［J］.Transaction of Nonferrous Metals Society of China，2003，15（3）:369 －374.

［4］闫志鸿，张广军，高洪明，等.P－GMAW正面熔透特征量及视觉传感定位［J］.焊接学报，2006，27（8）:47 －50.

［5］梁志敏.遥控焊接机器人任务空间的三维重建研究［D］.哈尔滨:哈尔滨工业大学，2008.

［6］张宏.基于双目立体视觉的三维重建技术研究［D］.武汉:华中科技大学，2007.

［7］李来平.脉冲GTAW熔池表面反射图建模与高度计算的研究［D］.上海:上海交通大学，2005.

［8］R.Kovacevic，Y.M.Zhang，Real－Time Image Processing for Monitoring of Free Weld Pool Surface［J］.Journal of Manufacturing Science and Engineering，1997，119（2）:161 －169.

［9］G Saeed，Y M Zhang.Weld pool surface depth measurement using a calibrated camera and structured light［J］.Measurement Science and Technology，2007，18:2570 －2578.

［10］Saeed G.，Y.M.Zhang.Weld pool surface depth measurement using a calibrated camera and structured light［J］.Measurement Science and Technology，2007，18（8）:2570 －2578.

［11］H.S.Song，Y.M.Zhang，Three － dimensional reconstruction of specular surface for a gas tungsten arc weld pool［J］.Measurement Science and Technology，2007，18（12）:3751 －3767.

［12］王志江，张广军，张裕明，等.非熔化极气体保护焊接熔池表面形貌三维传感及其装置设计［J］.机械工程学报，2008，44（10）:300－303.

［13］袁野.摄像机标定方法及边缘检测和轮廓跟踪算法研究［D］.大连:大连理工大学，2002.

［14］李立武.基于阴影重建和立体视觉的三维重建研究［D］.北京:中国科学技术大学，2010.

［15］D.B.Zhao，J.Q.Yi，S.B.Chen，et al.Extraction of three －dimensional parameters for weld pool surface in pulsed GTAW with wire filler［J］.Journal of Manufacturing Science and Engineering，2003，125（3）:493 －503.

［16］Q.Y.Du，S.B.Chen，T.Lin.Inspection on shape of weld based on shape from shading.The International Journal of Advanced manufacturing Technology，2006，27:667 －671.

［17］Mnich C，Al－Bayat F，Debrunner C，et al.In situ weld pool measurement using stereovision［C］.Proceedings of 2004 Japan － USA Symposium on Flexible Automation，ASME，2004:19 －21.

［18］C.X.Zhao，I.M.Richardson，S.Kenjeres，et al.A stereo vision method for tracking particle flow on the weld pool surface［J］.Journal of Applied Physics，2009，105（12）:1 －8.

［19］王克鸿，曹慧，刘永，等.基于激光双目视觉的接缝三维重建［J］.焊接学报，2006，27（8）:1 －3.

［20］陈希章，陈善本.焊缝三维信息计算精度分析及试验方法［J］.焊接学报，2009，30（3）:45 －48.

［21］李鹤喜，石永华，王国荣，等.基于极线约束与激光标识的空间焊缝的立体视觉检测［J］.焊接学报，2009，30（4）:8 －12.

［22］王军，梁志敏，高洪明.一种用于焊接工件三维重建的视差图分割算法［J］.焊接学报，2009，30（11）:101－104.