结构光熔池传感中反射图的递归选区处理算法

程方杰，李立东，武少杰

结构光熔池传感中反射图的递归选区处理算法

程方杰1, 2，李立东1，武少杰1, 2

(1. 天津大学材料科学与工程学院，天津 300350；2. 天津市现代连接技术重点实验室，天津 300350)

点阵结构光三维熔池传感中处理反射图并识别成像点是后续熔池重构计算的基础，然而，由于弧光在成像屏上分布不均匀，加上结构激光照射到工件表面后漫反射到成像屏上，生成了额外的高亮背景，因此大大增加了成像点识别难度. 此外，激光束在传播过程中受金属蒸气散射发生横向扩散，造成成像屏上的成像点尺寸变大、对比度下降，给识别带来了更大困难，极易丢失成像点(丢点)或误将噪声识别为成像点(多点). 针对该问题，提出了一种递归选区图像处理算法，该算法由整体到局部，利用递归的思想不断选择“未成功识别”区域做进一步处理，当逐层返回处理结果后，可实现从不均匀背景中分离出所有成像点，不易丢点或多点. 在每层处理计算中，算法的主要步骤包括阈值、滤波、连通域计算、大连通域递归处理以及小连通域重新覆盖等. 阈值处理采用OTSU算法，该算法针对各层目标图像的亮度特征自动确定最佳阈值. 滤波处理采用中值滤波法，提出每深入两层将滤波窗口的尺寸减小2个像素，可以降低丢点可能性，减少无用递归，避免超过最大递归深度. 最后，用起弧后不同时刻拍摄的具有不同特征的反射图验证了递归选区处理算法的有效性，并分析讨论了该算法的实时性能. 结果显示，单个图像的处理平均用时约为46ms，可以满足实时传感要求.

结构光三维视觉；熔池传感；图像处理

焊工可以通过观察熔池表面形貌，不断调整手中焊枪姿态，从而获得成形美观、力学性能优良的焊缝．让机器模拟焊工，实现熔池三维表面实时观测是焊接技术朝自动化和智能化发展的关键一步[1-2]．目前，视觉传感因其不影响焊接过程本身，并且获得的信息充足、直观，已逐渐成为熔池监测的最重要手段之一，主要包括阴影恢复形状法、双目立体视觉法和结构光法3种．阴影恢复形状法基于3条假设，与实际焊接情形不符，加上强弧光的干扰，使得重构结果有一定偏差[3-4]．双目立体视觉法对两个相机的同步及图像质量要求较高，此外熔池表面高亮区域的特征不明显，给立体匹配造成了很大困难[5-6]．结构光法由Saeed等[7]和Zhang等[8]提出，用一束结构激光照射到熔池表面，其反射线被位于熔池另一侧的成像屏截取，反射图由位于成像屏后方的CCD相机捕获．畸变的反射图中蕴含着熔池表面的三维几何信息，可以由其逆推计算出熔池的三维表面．结构光法充分利用了熔池表面的镜面反射特性，并且这种间接的测量方式极大地降低了弧光的干扰，因此具有较好的研究和应用前景．

目前，熔池传感研究中使用的结构激光主要有点阵、线阵和网格3种，其中线阵、网格激光虽然可以提供更多信息，但其图像处理和相应的熔池重构算法均较难实现，因此使用较少[9]．针对点阵激光，已有多种熔池重构算法被提出[10-13]，然而无论哪种算法实现的先导条件均是各个成像点可以被准确地识别出来，并获得其坐标数据．不丢失成像点(丢点)、不将噪声误认为成像点(多点)是保证后续重构算法准确实现的基本要求，然而由于反射图的背景亮度不均匀、个别成像点对比度较低，使得这一要求难以达到．金泽石[12]针对该问题提出了一种区域阈值化算法，按固定尺寸将图像分割成一个个小区域，根据各区域的情况独立确定阈值，从而将各成像点从其周围的背景中分离出来．然而该方法机械地对图像进行分割，未考虑不同反射图中成像点阵的差异，因此容易丢点或多点．本文针对点阵结构光熔池传感中反射图的图像处理问题，提出了一种递归选区处理算法，该算法能够很好地将成像点从不均匀背景中分离出来，且不易丢点或多点，为后续重构算法的实现奠定了基础．

1 试验系统及反射图分析

1.1 试验系统

本文建立的试验系统如图1所示．所用激光为17×17的点阵结构，功率为100mW，波长为660nm，其与焊枪下方熔池中心的水平、竖直距离分别为25mm和18mm．成像屏是一块尺寸为 300mm×300mm的半透明亚克力板，距离熔池150mm．CCD相机(FLIR-BFLY)镜头内加装了波长660nm、带宽10nm的滤光片，用以过滤弧光，拍摄的图像尺寸为800像素×800像素．本试验的焊接方法为钨极惰性气体保护焊(GTAW)，采用的钨极直径为1.6mm，焊接电流为60A，电弧电压为10.5V，氩气流量为10L/min，材料为100mm×100mm×3mm的304不锈钢板，焊接方式为固定位置点焊．

图1 试验系统

1.2 反射图分析

图2给出了试验中熔池达到稳定状态时(起弧后5.92s)拍摄的一张反射图，本文后续将以该图为例进行阐述．可以观察到在反射图的中下方，弧光背景较亮，而上部几乎不受弧光影响．中间有一个近似矩形的区域背景亮度较高，这是矩形点阵结构光照射到基板表面漫反射到成像屏上的结果．在电弧的高温作用下，液态金属蒸发形成蒸气，激光束在传播过程中发生散射，致使成像屏上的一些成像点尺寸变大、对比度下降，难以与其周围背景区分．以上问题造成反射图图像处理中容易出现丢点、多点现象，给成像点识别带来了极大的挑战．

图2 反射图分析

2 反射图的递归选区处理算法

2.1 图像预处理

图3(a)给出了图2中某个成像点的放大图，可以发现像素点的灰度值并非平滑变化．直接对原始图像进行阈值处理，可能会产生较多独立的连通域以及噪点，因此首先对原始图像进行一次滤波处理，使图像平滑．滤波算法有多种，本文选择中值滤波法，即将每一个像素点的灰度值设置为该点某邻域窗口内所有像素点灰度值的中值．当滤波窗口尺寸为5像素×5像素时，该成像点区域的滤波结果如图3(b)所示．可以观察到，滤波后的成像点基本满足像素灰度值由中心到边缘逐渐减小，为后续处理打下了基础.

图3 图像预处理(滤波)

2.2 递归选区处理

图4 递归选区处理的算法流程

算法中的滤波处理起到了至关重要的作用，不仅可以去除噪声，还可以对距离较近的离散白色像素点产生图像膨胀的作用，使其连通成大块区域，从而避免多点发生．同时，对已识别出的单个成像点，滤波处理有一定的腐蚀效果，使其不易再与临近成像点连通，可免除多余的递归处理．

滤波窗口的尺寸对结果有较大影响，图6给出了预处理后图像在第1层递归处理中的阈值结果img_2，及其在不同窗口尺寸下的滤波结果img_3. 大滤波窗口去噪能力强，容易将区域连通起来，但阈值后尺寸较小的成像点也可能被过滤掉，因此容易丢点，如图6(c)所示，其窗口尺寸为19像素×19像素；小滤波窗口不易丢点，但去噪能力弱，因此容易多点，如图6(d)所示，其窗口尺寸为11像素×11像素．理想的滤波结果如图6(b)所示，其窗口尺寸为15像素×15像素．此外，试验发现滤波窗口的尺寸每深入两层后减2效果较好，即第1、2层的窗口尺寸为15像素×15像素，第3、4层的窗口尺寸为13像素×13像素，以此类推．递归层数较浅时，OTSU算法针对img_1选取的阈值较低，阈值处理后高亮区域的面积较大，噪声也多，宜用大尺寸的滤波窗口，此时丢点的可能性较小．随着递归的深入，算法确定的阈值提高，阈值处理后高亮区域的面积较小，若仍使用大尺寸的滤波窗口，则丢点的可能性增加．此外，高阈值也大大减少了噪声，无需使用大尺寸的滤波窗口．当递归进入深层时，img_1通常对应于熔池中心，成像点间隔较近，大尺寸的滤波窗口可能会反复将成像点连通，从而反复递归处理该区域，极端情况下会超过最大递归深度限制而导致程序崩溃．因此，综合以上考虑，笔者提出随递归深入逐渐减小滤波窗口尺寸，减小速率为每深入两层减小2个像素，此时可以取得最佳结果.

图6 第1层递归处理中不同窗口尺寸下的滤波结果

图6(b)滤波结果img_3的后续递归及结果返回过程如图7所示．可以观察到，深层处理在滤波后可能将一些成像点过滤掉．以第2层img_3为例，图7中左上角的一些成像点由于阈值后尺寸较小，被误当噪点去除了．然而，这些成像点在上一层处理中由于阈值较低，阈值后尺寸较大，往往已被识别．当第1层处理到这些成像点时，其外接矩形区域会重新覆盖到对应位置，因此不会出现丢点现象．

图7 第1层滤波结果img_3的后续递归及结果返回过程

2.3 图像后处理

当递归选区处理结束后，各成像点已从不均匀背景中分离出来，最后只需提取其几何中心即可，结果如图8所示．至此，反射图的图像处理全部完成．可以观察到，除边缘个别亮度较低的成像点和反射图中心对比度较低的一个成像点未成功识别外，其余成像点均被成功识别，笔者提出的递归选区处理算法取得了较理想的结果．经图像处理后，各成像点的二维坐标即被确定，由熔池重构算法[11]逆推计算对应的熔池表面反射点三维坐标，然后进行曲面插值即可完成重构，重构结果如图9所示．

图8 图像后处理(中心提取)

图9 熔池表面三维重构结果

3 算法有效性检验及实时性分析

3.1 有效性检验

为进一步检验所提出的递归选区处理算法的有效性，笔者对焊接试验中拍摄的其他照片进行了处理．图10给出了相同焊接参数下拍摄的另外两张反射图及其图像处理结果、熔池重构结果，对应于起弧后熔池尺寸逐渐变大的过程．可以发现起弧后不久熔池尺寸较小，反射图中成像点数量较少，点阵激光投射到基板上漫反射产生的高亮区域更加明显．由于此时激光束受金属蒸气的散射影响较小，光束较聚集，成像点尺寸小、亮度大，因而仍具有较高的对比度．所提出的递归选区处理算法成功地识别出了两张反射图中的所有成像点，且未出现丢点和多点现象，因此该算法被认为是有效的．

3.2 实时性分析

本文的算法实现基于Python＋OpenCV，试验计算机的配置为Intel Core i7处理器、8GB运行内存．笔者对一次焊接试验中从起弧到熄弧期间拍摄的386张照片的处理计算用时进行了统计，结果显示该算法最长用时62ms，最短用时31ms，平均用时46ms．由此可见，该算法具有优秀的实时性能，可以满足实时传感要求．

4 结 论

(1) 所提出的递归选区处理算法可以有效解决点阵结构光熔池传感中反射图的图像处理问题，不易出现丢点、多点现象．

(2) 所提出的递归选区处理算法具有优秀的实时性能，可以满足实时传感要求．

［1］ Chen S，Zhang Y，Lin T，et al. Welding robotic systems with visual sensing and real-time control of dynamic weld pool during pulsed GTAW[J]. International Journal of Robotics & Automation，2004，19 (1)：28-35.

［2］ Lu W，Zhang Y. Robust sensing and control of the weld pool surface[J]. Measurement Science and Technology，2006，17(9)：2437-2446.

［3］ Du Q，Chen S，Lin T. Reconstruction of weld pool surface based on shape from shading[J]. Chinese Journal of Mechanical Engineering，2006，19(2)：168-171.

［4］ 李来平，林 涛，陈善本，等. 基于由阴影恢复形状法的焊接熔池表面高度获取[J]. 上海交通大学学报，2006，40(6)：898-901.

Li Laiping，Lin Tao，Chen Shanben，et al. The surface height acquisition of welding pool based on shape from shading(SFS)[J]. Journal of Shanghai Jiaotong University，2006，40(6)：898-901(in Chinese).

［5］ Mnich C M. Development of a Synchronized，High-Speed，Stereovision System for in Situ Weld Pool Measurement[D]. Ann Arbor：Colorado School of Mines，2004.

［6］ Ma H，Wei S，Lin T，et al. Binocular vision system for both weld pool and root gap in robot welding process[J]. Sensor Review，2010，30(2)：116-123.

［7］ Saeed G，Zhang Y M. Mathematical formulation and simulation of specular reflection based measurement system for gas tungsten arc weld pool surface[J]. Measurement Science and Technology，2003，14(9)：1671-1682.

［8］ Zhang Y M，Song H S，Saeed G. Observation of a dynamic specular weld pool surface[J]. Measurement Science and Technology，2006，17(6)：9-12.

［9］ Song H，Zhang Y. Image processing for measurement of three-dimensional GTA weld pool surface[J]. Welding Journal，2007，86(10)：323-330.

［10］ Song H，Zhang Y. Three-dimensional reconstruction of specular surface for a gas tungsten arc weld pool[J]. Measurement Science and Technology，2007，18(12)：3751-3767.

［11］ Zhang W，Wang X，Zhang Y. Analytical real-time measurement of a three-dimensional weld pool surface[J]. Measurement Science and Technology，2013，24(11)：115011.

［12］ 金泽石. GTAW熔池表面三维视觉传感与熔池动态建模[D]. 哈尔滨：哈尔滨工业大学材料科学与工程学院，2014.

Jin Zeshi. Three-Dimensional Visual Sensing of GTAW Pool Surface and Dynamic Modeling of Welding Pool[D]. Harbin：School of Materials Science and Engineering，Harbin Institute of Technology，2014(in Chinese).

［13］ Wang Z，Yang R，Zhang Y. Analytic measurement of mirror surfaces by a single shot with united modeling of incident rays[J]. Measurement Science and Technol-ogy，2012，23(12)：125404.

Recursive-Selective Processing Algorithm of a Reflection Image in Structured Light Weld Pool Sensing

Cheng Fangjie1, 2，Li Lidong1，Wu Shaojie1, 2

(1. School of Materials Science and Engineering，Tianjin University，Tianjin 300350，China；2. Tianjin Key Laboratory of Advanced Joining Technology，Tianjin 300350，China)

Processing reflection images and identifying imaging points in structured light sensing are the bases of subsequent reconstruction of a 3D weld pool surface. However，due to uneven distribution of arc light on the imaging plane and diffuse reflection of structured laser light projected onto the workpiece surface，identification could not be achieved effectively. Moreover，laser beams get scattered by metal vapor during propagation，which enlarged the sizes of some imaging points and decreased their contrast with the background，adding to difficulties in identification easily missing imaging points or mistakenly taking noises as imaging points. To solve this problem，a recursive-selective image processing algorithm was proposed. From whole to local，the algorithm used the idea of recursion to continuously select those unidentified areas for further processing. When the processed areas were returned layer by layer，all imaging points could be separated from the uneven background，with no missing or redundant points. At each layer，the main steps of the algorithm included thresholding，filtering，computing connected domains，recursive processing of large connected domains，and recovering of small，connected domains. The OTSU algorithm was used for thresholding，which automatically determined the best threshold of the target image at each layer according to its brightness characteristics. Median filtering was adopted，and it was proposed to reduce the size of the filter window by 2pixels every two layers，which would reduce the possibility of missing points and avoid invalid recursion in case the maximum recursion depth was exceeded. Finally，reflection images with unique characteristics taken at different moments after arcing were used to verify the effectiveness of the proposed algorithm，and real-time performance of the algorithm was also analyzed. The results show that the average processing time of one image is about 46ms，which meets the requirements of real-time sensing.

structured light based 3D vision；weld pool sensing；image processing

TK441

A

0493-2137(2022)01-0033-07

10.11784/tdxbz202008034

2020-08-13；

2020-09-14.

程方杰（1971—  ），男，博士，教授，chfj@tju.edu.cn．

武少杰，shaojie@tju.edu.cn．

国家自然科学基金资助项目(51775372).

Supported by the National Natural Science Foundation of China(No. 51775372).

(责任编辑：田 军)