结构光焊缝跟踪传感器设计的关键问题

王含宇，韩 冲，张碧超

（新疆威奥科技股份有限公司，新疆 克拉玛依 834003）

0 前言

在自动化和智能化设备研发领域，焊缝跟踪依然是研究的重要技术之一。目前，焊缝跟踪的应用主要体现在焊前、焊接过程和焊后几个阶段。焊前主要进行坡口检查，起焊位置的自动寻找；焊接过程中主要进行焊缝跟踪；焊后主要进行超声无损检测的导引和防腐涂层厚度的控制[1]。结构光焊缝跟踪传感器仍然是研究和应用较多的一种焊缝跟踪传感形式。国内众多高校和科研院所对结构光传感器进行了各个方面的研究，包括传感器设计、光学系统、图像处理方法等[2]。

1 结构光传感器角度位置的设计实验

结构光焊缝跟踪系统稳定性的前提是图像处理结果的稳定性高、精度高，受外界环境的影响小。因此，对图像采集方案的设计提出了更高的要求：要求投射出的激光条纹亮度均匀，宽度适宜，频率受外界光照条件或弧光、飞溅等的干扰最少。设计出性能良好的图像采集系统，尽可能地避开弧光、飞溅物等进入图像。因此，CCD拍摄的角度和条形激光器投射的角度以及滤光减光设计是图像采集的关键，两者角度关系的示意如图1所示。

图1 CCD拍摄的角度和条形激光器投射的角度示意

图1中，α为激光器和工件夹角，β为CCD和工件形成的夹角。由经验可知，在β不变的前提下，α越小，光条纹变形度越大。在α不变的前提下，β在90°-α°～90°的范围内变化：当β越接近90°，工件表面的环境光的镜面反射越强，工件上的激光条纹的反光越小；当β越接近90°-α°，工件表面的环境光的镜面反射越小，工件上的激光条纹的反光越强；当α=β时，激光条纹在焊件上的反光最强。在文献[3]中，通过结构光三维视觉测量精度分析，得出“当α+β=90°时，即摄像机光轴方向与光平面垂直时，zL向即深度方向测量误差最小，且不受其他参数的影响”的结论。而在文献[4]中关于机器人运动和平面约束的结构光标定的讨论中，得出“若结构光平面与摄像机光轴垂直，则摄像机观察不到结构光图像，因此，实际应用中，结构光平面与摄像机光轴不会垂直。”的结论。文献[5]提出了一种结构光焊缝跟踪传感器的结构设计，CCD垂直拍摄焊件，激光器与相机成15°安装，但未就激光器和CCD之间角度进行说明。为了最好的设计本系统的光路结构，本研究实测在打底、填充后焊道上激光器和摄像头的位置关系变化对成像结果的影响。实验方法是对α从15°～90°每隔15°，β从30°～150°每隔30°进行角度遍历的正交实验。实验效果如表1、表2所示。

表1 打底后焊道正交实验效果

通过正交实验得出结论：75°≤β≤95°，15°≤α≤30°激光条纹的变形度和成像效果均比较理想。

表2 打底焊后焊道正交实验结果

由于一般的半导体激光器的光强存在高斯分布的特性，本系统采用Stocker yale的Nanoline Laser单线激光器（型号：NL-660S-50-01L-45°）。该系列的半导体激光器其相对光强和相对角位置有非高斯特性、输出光强均匀分布的激光线，同时又保证稳定的聚焦性能，适合于大部分的工业检测应用，如图2所示。

由α和β的角度正交实验结论设计了传感器机械结构。3D设计如图3所示，实物如图4所示。机械结构设计既采用了正交实验得出的结论，又兼顾了实际物体的实际外形尺寸和紧凑性。传感器由CCD相机及滤镜、激光器、弧光遮挡板、辅助摄像头等几个部分组成。

2 界面设计

图2 激光器特性曲线对比

图3 传感器机械结构3D设计

图4 传感器实物

本项目采用Qt应用程序框架，构建工业级跨平台应用程序用户界面。应用OpenCV的开源图像处理函数库设计软件中的图像处理算法，实现对焊缝关键点的识别和提取。采用标定技术实现二维图像向三维世界坐标系的重建，实现坡口尺寸、坡口面积等的测量和计算。在工业现场实际应用时，即便对同一种焊缝形式（如V型焊缝），结构光条纹的图像处理参数也是有可能需要调节的。这是由于在工业厂房内，每天不同时段的环境光强度不同，工件坡口表面处理的不均匀造成的。虽然对同一种焊缝形式的图像处理方法和流程一样，但是设置的处理参数要在一段焊缝焊完更换下一段时重新验证设置的是否合适。在跟踪前，用户界面弹出一个参数设置窗口。将相机此时拍摄的一张激光条纹图像，通过调节界面参数，观察微调后的图像处理效果，判断是否可以开始焊接，如图5所示。

图5 图像处理参数设置窗口

在得到较理想图像处理效果后，保存参数并点击界面上的跟踪按钮，进行焊缝跟踪的图像实时处理程序，如图6所示。用户界面分成五个部分：第一个部分为结构光条纹的实时处理效果；第二部分为传感器中小的辅助摄像头拍摄的焊道的图像。辅助摄像头用于在跟踪过程中，焊工实时监控焊接状态。如果发现处理偏差较大或出现处理结果失效，可以随时在线干预跟踪效果。由于焊接过程是不存在试错的，所以如适当增加人工干预可以有效减少由于焊接过程中系统波动造成的焊接失败，减少损失。第三部分为跟踪过程中，通过结构光条纹和标定结果输出坡口的各项测量值，如：坡口宽度、坡口高度、组对间隙、错边量，跟踪过程中水平和垂直轴的实际偏差量以及发送的脉冲数，还有一些焊接辅机的参数和系统参数等。第四部分为跟踪水平和垂直轴的位置曲线变化情况，直观显示跟踪的状态是否稳定可靠。第五部分为功能按键操作区域，布置了跟踪系统各个硬件的操作按钮。

图6 焊缝跟踪用户界面

3 系统设计

系统设计如图7所示。通过用户界面、键盘、鼠标、相机、遥控器等外部数据输入系统，通过系统对输入数据的正确性验证后进行处理。处理过程主要是图像处理、定时器处理、运动执行机构处理以及其他中间数据的处理。输出的处理结果主要是运动控制卡的脉冲输出和其他执行机构的串口信号输出。

图7 系统设计框图

4 前道工序的影响消除

在焊缝跟踪传感器的设计及测试过程中发现，前道工序对焊缝跟踪的结果影响较大。突出表现在打底焊的自动跟踪过程中，对识别稳定性的影响最大。其中坡口打磨力度、速度与方向是否均匀，决定了激光结构光在坡口处发生镜面反射的情况是否沿焊接方向具有一致性，对识别准确性的影响比较明显，如图8所示。虽然用同一种图像处理方法，在进行二值化后，可以明显观察到由于坡口打磨的偏差，导致激光条纹在坡口处的反光有非常明显的起伏，如图9所示。在连续焊接过程中，如果是在同一段焊道上，这种反光的变化会在一定程度上影响图像处理结果，导致偏差。在实际应用中，可通过机械打磨、化学喷涂等方法减小坡口处的镜面反射，改善结构光图像质量，更有利于准确检出坡口尺寸和组对间隙的大小。

图8 前道工序的影响对比

图9 采用相同图像处理方法下的二值化结果

5 卡尔曼滤波在跟踪中的应用

在焊接跟踪过程中，会有大量的噪声进入图像，使得在起焊前设置好的图像处理算法和相应的参数在起焊后处理的结果出现偏差，导致焊接失败。因此研究了在焊缝跟踪过程中，建立卡尔曼滤波器来实现跟踪过程的鲁棒性控制。通过对图像处理得出的焊缝中心点建立状态方程和测量方程，建立中心点的卡尔曼滤波器，抑制过程噪声和测量噪声，来实现对焊缝中心点的最优估计，并以这个最优估计值来与设定的跟踪点进行比较，得出焊枪和焊缝中心的偏离[6]。采用卡尔曼滤波器在跟踪过程中预测移动的下一位置，消除了图像处理中由于环境变化导致的跟踪点的跳变。OpenCV有自带的卡尔曼滤波器，对于调试、使用十分方便。通过函数cvCreateKalman创建一个卡尔曼滤波器，用函数cvSetIdentity设置卡尔曼初始化参数。在跟踪过程中，不断将新处理得到的焊缝中心点送入预测函数cvKalmanPredict和校正函数cvKalmanCorrect，得到输出的滤波后的中心点坐标。跟踪中卡尔曼滤波器对跟踪点的滤波效果如图10所示。

6 V型焊缝图像处理方法及结果

6.1 图像畸变校正

图10 跟踪中卡尔曼滤波器对跟踪点的滤波效果

6.2 阈值分割[7]

比较图像和中值滤波器后的图像，来达到动态阈值的效果，实现初步消除环境光和激光在坡口处的二次反光的干扰。采用比激光条纹宽度大的滤波器尺寸，将滤波后的图像作为原图的背景。由原图像相应位置点的灰度值和代表该位置背景的图像的相应位置处的灰度值相减，如图11所示。

图11 阈值分割示意

平滑相减能消除部分反光，同时自适应外部环境的变化，处理速度和效果均比较理想。原图见图12，动态阈值分割结果如图13所示。设定的比较阈值过大，容易损失过多的原条纹图像，影响后续处理精度；阈值设置过小，导致过多干扰图像被保留。

图12 原图

6.3 查找轮廓

图13 阈值分割后效果

在阈值分割结果上，使用腐蚀操作，消除一些小的离散区域。然后使用OpenCV的cvFindContours函数从二值图像中寻找轮廓[8]。在被搜索到的所有轮廓中，用cvArcLength函数计算各个轮廓的边长。因为激光条纹的闭合区域必然比零散噪声的闭合区域大得多，于是比较边长和设定的阈值，大于阈值的留下，并绘制在图像上；小于阈值的则删除。这样，在初步设置参数时，可以通过试验找到比较合适的阈值，既可以准确留下条纹的区域，删除反光在二值图像上留下的干扰区域的影响，效果如图14所示。

图14 查找轮廓结果

6.4 中心线提取

在原图中，激光条纹的中心最亮，因此在轮廓包围的区域内，每列中灰度值最大的点必然在激光条纹的中心上。在原始图像轮廓区域内，纵向从上到下扫描每个像素，比较像素值大小，将像素值最大的位置标记，即为中心线。这样做的结果是：中心线变为连续线条。然而在氩弧或者气保打底焊时，在焊接过程中十分关注组对间隙，通过精确测量组对间隙，实时调节焊接机械机构，使之随着组对间隙的变化自动调节焊接摆动器的摆幅和摆速。因此，必须准确定位坡口的位置。改进后的提取策略如图15所示。

如果采用一个固定设定的阈值，用所有区域内的灰度值纵坐标比较，容易造成中心线提取的间断，即使是在折点和谷点的小范围间断，对后面提取关键点的准确性也存在影响。如果采用轮廓的上下纵坐标的平均值作为中心线，得出的中心线会有很多毛刺和波浪，对后续关键折点提取的准确性将造成较大影响。本研究中心线提取方法取得的中心线仍然会由于有噪声的引入，导致后面关键点的提取失败。解决方法是对标记的中心线沿横坐标和纵坐标分别进行中值滤波，滤波器的窗口设置小一些，能将中心线上的毛刺清除。由此，得出激光条纹的中心线，如图16所示。

图15 中心线提取算法

图16 中心线提取结果

6.5 关键点提取

在中心线上，定义关键点从左往右分别为A，B，C，D，E，F。关键点提取算法如图17所示。

在获取的图像上的关键点图像2D坐标，通过用标定的相机内外参数和激光条纹形成的光平面方程，计算关键点A，B，C，D，E，F在以焊件平面为世界坐标系的空间中的三维坐标值，并计算各点之间的实际距离，标注在原图像上，如图18所示。

7 结论

图17 关键点提取算法

图18 最终结果

得出了设计制造结构光焊缝跟踪传感器的几个关键问题的研究结果。实验了激光器和相机的角度变化对传感器成像结果的影响，得出了激光器和相机之间角度的最佳结果，并由此设计了传感器机械结构。提出对坡口采用机械打磨、化学喷涂等方法处理，消除由于坡口制备造成的激光条纹的反光。通过卡尔曼滤波器跟踪中得到的最优估计与焊缝位置的偏差进行跟踪，提高跟踪系统的抗干扰能力。由于焊缝组对间隙精确测量是实现自动化气保氩弧焊接打底的关键。详细论述了焊缝组对间隙精确测量的图像处理方法。

[1]陈善本，林 涛.智能化焊接机器人技术[M].北京：机械工业出版社，2006.

[2]乔东虓，郑 军，潘际銮.双线结构光焊缝跟踪传感器及其特性[J].电焊机，2010，40（11）：14-16.

[3]张广军.视觉测量[M].北京：科学出版社，2008：183-184.

[4]徐 德，谭 民，李 原.机器人视觉测量与控制[M].北京：国防工业出版社，2011：107-108.

[5]张 虓，马兆瑞，郑 军，等.结构光视觉焊缝跟踪传感器光学系统的研究[J].电焊机，2006，36(3)：22-26.

[6]陈建辉，高向东，刘明涛，等.基于卡尔曼滤波的焊缝跟踪技术研究[J].试验与研究，2008，37(1)：11-13.

[7]杨少荣，吴迪靖，段德山.机器视觉算法与应用[M].北京：清华大学出版社，2008：148-149.

[8]于仕琪，刘瑞祯.学习OpenCV[M].北京：清华大学出版社，2009：259-260.