基于Mask-RCNN与结构激光的纵焊缝5个参数检测方法*

陈英红 杜明坤



基于Mask-RCNN与结构激光的纵焊缝5个参数检测方法*

陈英红1杜明坤2

（1.广东省特种设备检测研究院珠海检测院 2.珠海市安粤科技有限公司）

为保证焊接件安全工作，针对焊缝外观形貌检测提出一种基于Mask-RCNN与结构激光的纵焊缝5个参数检测方法。首先利用Mask-RCNN卷积神经网络从焊缝激光线图像中提取激光线边界信息；其次采用Hessian矩阵提取激光中心线；然后使用多项式拟合中心线，根据多项式极值点对焊缝曲线进行分区，分别在拟合曲线与激光中心线上提取焊缝5个参数计算特征点，计算相应特征点间距，完成焊缝余高、宽度、咬边、错边量和棱角度5个参数检测；最后设计实验样机对半径为281.35 mm管道纵焊缝进行检测实验。实验结果表明：该方法可一次性快速、准确检测焊缝5个参数，具有较小的测量不确定度。

焊缝检测；机器视觉；深度学习

0 引言

GB150-2011压力容器中规定焊缝5个参数为焊缝余高、宽度、咬边、错边量和棱角度，其数值大小检测是焊后检测的一项关键内容[1-2]。目前焊后检测通过人工使用放大镜、焊缝检验尺和棱角度尺等工具完成，存在精度低、检测周期长、无法连续检测的缺陷，难以满足大批量工业生产快速检测的需要。焊缝外观形貌是焊缝5个参数检测的外在表现，因此如何准确复现检测区域内焊缝外观形貌是高精度、快速焊后检测的研究热点。焊后检测主要包括基于射线成像检测方法和基于结构激光的视觉检测方法[3-4]。英国华威大学（2013）对X射线图像中分割算法进行研究，提出基于模糊逻辑和神经网络系统的焊缝缺陷识别图像处理算法，使用模糊逻辑系统优化神经网络输出准确性[5]；Goumeidane A B等人（2015）提出一种基于统计学模型方法来处理X射线焊缝图像，利用图像的局部与全局特征进行推理，从而完成图像滤波和焊缝射线中内部缺陷检测[6]；文献[7]分析焊缝缺陷局部图像自相关矩阵特征值，将主成分析引入焊缝缺陷类型分类。视觉焊缝检测主要采用激光三角数学模型[8]。肯特大学（2014）提出一种基于滑动矢量方法的焊接接头建模和尺寸测量方法[9]；土耳其Muhammad J等人（2016）提出顺序图像处理和特征提取算法，采用窄带滤波器从低质量激光图像中提取有效的焊缝几何特性[10]；哈尔滨工程大学（2017）用质心法提取结构光中心线，用区域面积法提取结构光中心线上的特征点[11]；文献[12]采用基于斜率分析方法的最小二乘法检测焊缝图像特征，得到焊缝外观缺陷特征信息。上述焊缝检测方法侧重于焊缝内部缺陷、部分参数检测，还未见焊缝外貌形态全部参数（焊缝宽度、余高、错边量、咬边和棱角度）检测方法研究。

本文使用激光三角检测模型，在处理焊缝激光线图像时，利用Mask-RCNN网络实现激光线特征区域提取；应用Hessian矩阵提取激光条纹中心线，检测出焊缝余高、宽度、咬边、错边量和棱角度，从而实现焊缝三维形态5个参数全部检测。

1　基于Mask-RCNN与结构激光的纵焊缝5个参数检测机理

基于本文纵焊缝5个参数检测方法设计的焊缝检测实验样机内部结构如图1所示。工业相机与结构激光器固定于实验样机上；相机镜头轴线与待检测平面垂直；结构激光器出射一字线激光与待检测平面夹角为；待检测位置处焊缝外貌5个参数由一字激光线反映。

图1 焊缝检测实验样机内部结构

基于Mask-RCNN与结构激光的纵焊缝5个参数检测流程如图2所示。

图2 纵焊缝5个参数检测流程

本文提出的检测方法，仅从单张焊缝激光线图像，完成焊缝余高、宽度、咬边量、错边量和棱角度参数检测，其中Mask-RCNN完成激光线边界信息提取；参考GB150-2011焊缝参数检测定义，以提取激光中心线的焊缝特征点作为焊缝5个参数计算基准。

1）工业相机开启，拍摄自然光环境下激光线焊缝图像；图像作为训练后Mask-RCNN网络输入，网络输出激光线边界Mask信息。

2）只包含激光线边界Mask信息的图像高斯平滑滤波后，利用Hessian矩阵提取结构光条纹中心点。

3）以图像坐标系为坐标基准，取激光中心线在坐标系中的极值点为焊缝余高、焊趾两侧宽度特征点；计算余高特征点与焊趾两侧宽度特征点间距，得到焊缝余高数值h；计算焊趾两侧宽度特征点间距，得到焊缝宽度数值d。

4）采用高阶多项式拟合激光中心线，取拟合曲线在宽度特征点附近极值点为焊缝咬边特征点；取拟合曲线在焊缝热影响区极值点为焊缝错边量、棱角度特征点；计算咬边特征点与宽度特征点间距，得到焊缝咬边数值u；计算错边量、棱角度特征点与以圆筒半径拟合标准圆弧间距，得到焊缝错边量数值s与棱角度数值e。

2　基于Mask-RCNN与结构的焊缝5个参数检测方法

2.1　基于Mask-RCNN的激光线边界信息提取方法

Mask-RCNN在Faster-RCNN基础上扩展了分类与回归任务，是最高水平实例分割算法[13]。Mask-RCNN网络有两层分支结构：第一层分支为原始Faster-RCNN的结构，用于对候选窗口进行分类和窗口坐标回归；第二层分支利用全卷积网络结构对每一个感兴趣区域（region of interest，RoI）预测二值分割掩模。使用工业相机拍摄130张做好激光线区域标签的激光线焊缝图像（分辨率2592×1944），分为训练图像集100张、验证图像集5张和测试图像25张。在内存为32 G，GPU为1080 Ti（显存11 G）主机上对Mask-RCNN模型进行训练，在500次训练后损失函数收敛，停留在1.343左右。训练后Mask-RCNN模型识别效果图如图3所示。

图3 训练后Mask-RCNN模型识别效果图

2.2　基于Hessian矩阵中心线提取算法

目前激光条纹中心线提取算法主要有灰度重心法、基于Hessian矩阵中心提取法和形态学骨骼化提取方法[14]。其中灰度重心法与形态学骨骼化提取方法提取中心线中噪声过多，不利于后续多项式拟合中心线的准确性以及焊缝余高、宽度特征点选取的正确性，因此本文采用基于Hessian矩阵中心提取法完成焊缝激光线中心点提取工作。

Mask-RCNN网络输出Mask图像是激光线区域值为Ture，其他区域值为False的二值矩阵。首先将Mask-RCNN网络输出Mask区域与原始焊缝激光线图像按式(1)进行图像处理：

其中，为焊缝激光线RGB图像三通道矩阵；为Mask-RCNN网络输出矩阵；(,)为图像坐标系下像素点坐标。

焊缝激光线RGB图像只保留激光线区域RGB信息，其他区域RGB信息全置为0；经Mask信息调制后焊缝激光线RGB图像通过大津法转为灰度图像，对灰度图像进行高斯平滑滤波处理：

其中，为滤波后图像；(,)为滤波核函数；取值为激光线宽像素点数。

计算滤波图像中每个像素点Hessian矩阵为

计算滤波图像单个像素点Hessian矩阵激光线灰度值分布单位向量(n,n)，取图像焊缝区域中任意一点(1,1)，则以点(1,1)为基准的灰度分布为

中心点位置即灰度分布极值点，令式(2)对变量的一阶导为0，可求得

因此，中心点位置可确定为(x1+tnx, y1+tny)。基于Hessian矩阵中心线提取效果如图4所示。

2.3　基于曲线拟合的焊缝5个参数特征点选取方法

图4提取的焊缝激光中心线可看作由焊缝两侧椭圆曲线加中间焊趾突出曲线组成，因此直接使用极值法提取焊缝参数特征点方法不再适用。本文提出基于区域划分的焊缝5个参数特征点选取方法。首先将焊缝激光线参照焊接工作区进行分区；然后在不同的区域内使用极值法提取激光中心线或拟合多项式曲线；最后完成焊缝5个参数特征点提取。

根据本文焊缝区域划分方法，将焊缝激光中心线中焊缝区、热影响区划分为焊接区域，其余曲线区域划分为非焊接区域，如图5所示。在焊缝激光中心线焊接区域内，提取焊缝余高、焊趾两侧宽度特征点；在焊缝激光中心线非焊接区域，提取焊缝咬边、错边量和棱角度特征点。

图5 焊缝分区示意图

多项式曲线拟合结果如图6所示。从拟合结果可以看出，拟合曲线实数内5个极值点对应焊缝激光中心线焊趾两侧焊接区与非焊接区交界点、焊缝余高特征点、焊缝焊趾两侧宽度特征点。依照GB150-2011中焊缝宽度、余高标准，结合焊缝激光中心线与拟合曲线极值信息，采用如下步骤提取焊缝余高与焊缝焊趾两侧宽度特征点，并计算焊缝宽度、余高参数：

图6 焊缝5个参数特征点多项式曲线拟合结果

1）在拟合曲线上的焊缝点之间计算焊缝激光线坐标极值点（图6中为极大值），作为焊缝余高特征点h；

2）在拟合曲线极值点与焊缝余高特征点h之间计算焊缝激光线坐标极值点（图6中为极小值），作为焊缝宽度特征点d1，d2；

3）得到焊缝余高h与宽度d计算数值：

其中，为相机标定比例系数；为激光线与被检测面夹角。

参考GB150-2011与《压力容器检验》中焊缝错边量、棱角度检测方法[15]，本文提出焊缝图像错边量与棱角度检测示意图如图7所示。截取激光中心线长度为椭圆弦长，根据待检测圆筒件半径参数拟合标准圆，分别计算拟合曲线极值点，即焊缝错边量、棱角度特征点se1，se2离标准圆弧距离1，2，完成焊缝错边量s、棱角度e参数计算：

其中，Rw为待检测圆筒件半径参数；，为焊缝错边量、棱角度特征点在图像坐标系中坐标。

参考GB150-2011，焊缝焊趾两侧咬边参数在图像中反映为焊缝咬边特征点u与焊缝宽度特征点d在图像坐标系中轴线距离，因此焊缝焊趾两侧咬边参数u1，u2表示为

其中u，d为焊缝咬边、余高特征点在图像坐标系中纵坐标。

3　实验研究

采用彩色工业相机（分辨率2592×1944、感光元件1/2.5′′、像素2.2 μm）以及焦距为185 mm、波长为660 nm，线宽为1 mm的红色一字线激光器，构造基于Mask-RCNN与结构激光的纵焊缝5个参数检测样机。

圆筒纵焊缝样品与检测软件界面如图8所示，图8(a)为半经w=281.35 mm的输油管道圆筒焊接件；图8(b)为使用基于PyQt5开发，结合Matlab与深度学习算法的焊缝5个参数检测仪软件界面。使用张氏标定法标定工业相机。由于测量模型中工业相机的主要成像平面为焊缝表面，可预先在焊缝检测位置处放置张氏标定板，利用计算标定图像指定尺寸下相机拍摄图像中像素个数的方法完成相机标定工作。经过若干次标定实验，取标定结果的平均值作为标定结果，图像中单位像素间距在实际中的尺寸为0.025 mm，因此确定= 0.025。

参照上面提出的焊缝5个参数检测方法，应用Python与Matlab联合编程完成焊缝5个参数检测程序设计。其中Python负责Mask-RCNN算法编程任务；Matlab负责中心线、特征点提取与焊缝5个参数计算任务。在不同被检焊缝位置，分别采集20次实验数据，表1为某一位置处，焊缝5个参数部分检测结果。本文分别在10处不同位置处，每个位置采集20次焊缝检测仪检测结果。对10组实验结果进行分析，其中焊缝宽度、其余参数测量不确定度分别为0.018 mm，0.001 mm。

图8 圆筒纵焊缝样品与检测

表1　焊缝三维外观参数检测部分结果表 （单位：mm）

4　结语

1）提出基于Mask-RCNN与结构激光的纵焊缝5个参数检测方法。首先应用Mask-RCNN卷积神经网络从激光焊缝图像中提取激光线边界信息；其次基于结构激光单色性好特点，采用颜色阈值分割、形态学处理相结合方法提取激光中心线；再从激光中心线沿焊缝方向的极大、极小值点计算焊缝余高、咬边深度；最后提取激光中心线处于焊缝热影响区部分，通过拟合标准圆弧，检测焊缝错边量与棱角度。

2）采用工业相机与520 nm线激光器搭建纵焊缝检测实验样机。检测半径为281.35 mm的输油管道纵焊缝，能准确测量焊缝宽度、余高、咬边、错边量和棱角度5个参数，且测量不确定度较低，其中焊缝宽度与其他参数测量不确定度分别为0.018 mm，0.001 mm。

3）应用人工智能、深度学习与机器视觉技术，建立焊缝宽度、余高、咬边、错边量和棱角度5个参数测量模型，实现在各种光照条件下的焊缝定位、参数检测，有效地提升该方法适用性。

下一步将研究该方法的误差补偿技术、动态测量技术，并尝试应用人工智能实现环焊缝、内部焊缝的三维形态参数检测，实现一站式全类型焊缝检测。

[1] 中华人民共和国国家质量监督检验检疫总局, 中国国家标准化管理委员会.压力容器:GB 150.1~150.4—2011[S].北京:中国标准出版社, 2012:14.

[2] 王冬林,刘晶,叶勇,等.钢制压力容器质量控制研究[J].新技术新工艺,2015(10):110-112.

[3] 周鹏飞,王飞,肖辉,等.DR图像中气孔缺陷的自动检测与识别[J].无损检测,2017,39(10):37-41.

[4] Chu H H , Wang Z Y . A vision-based system for post-welding quality measurement and defect detection[J]. The International Journal of Advanced Manufacturing Technology, 2016, 86(9-12):3007-3014.

[5] Baniukiewicz P. Automated defect recognition and identification in digital radiography[J]. Journal of Nondestructive Evaluation, 2013, 33(3):1-8.

[6] Goumeidane A B , Nacereddine N , Khamadja M . Computer aided weld defect delineation using statistical parametric active contours in radiographic inspection[J]. Journal of X-Ray Science and Technology, 2015, 23(3):289-310.

[7] 高炜欣,胡玉衡,武晓朦,等.埋弧焊X射线焊缝缺陷图像分类算法研究[J].仪器仪表学报,2016,37(3):518-524.

[8] Jahedsaravani A , Massinaei M , Marhaban M H . Development of a machine vision system for real-time monitoring and control of batch flotation process[J]. International Journal of Mineral Processing, 2017:S0301751617301564.

[9] Nguyen H C , Lee B R . Laser-vision-based quality inspection system for small-bead laser welding[J]. International Journal of Precision Engineering & Manufacturing, 2014, 15(3):415-423.

[10] Muhammad J , Altun H , Abo-Serie E . A robust butt welding seam finding technique for intelligent robotic welding system using active laser vision[J]. International Journal of Advanced Manufacturing Technology, 2016(7–8):1-17.

[11] 褚慧慧,王宗义.基于主动视觉的焊缝成形尺寸测量和缺陷识别研究[J].热加工工艺,2017(21):206-209.

[12] Lu Xueqin, Gu Dongxia, Wang Yudong, et al. Feature extraction of welding seam image based on laser vision[J]. IEEE Sensors Journal, 2018, 18(11):4715-4724.

[13] He K, Gkioxari G, Dollar P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2018:2980-2988.

[14] Chen P , Zhang Z , Dai M , et al. Sub-pixel extraction of laser stripe and its application in laser plane calibration[J]. 东南大学学报(英文版),2015,31(1):107-112.

[15] 王纪兵．压力容器检验检测[M].2版.北京:化学工业出版社, 2016:90-91．

A Mask-RCNN & Structured Light Based on Five Shape Parameters Detection Method for Longitudinal Welds

Chen Yinghong1Du Mingkun2

(1. Guangdong Special Equipment Testing and Research Institute Zhuhai Testing Institute 2. Zhuhai An Yue Technology Co., Ltd.)

The inspection of weld appearance and appearance is an important guarantee for the safe work of welded parts. This paper proposes a parameter detection method based on Mask-RCNN and structural laser longitudinal weld. The method first uses the Mask-RCNN convolutional neural network to extract the laser line boundary information from the weld laser line image. Secondly, the Hessian matrix is used to extract the laser center line. Finally, the polynomial is used to fit the center line, and the polynomial extreme point is used to weld the curve. Partitioning is performed to extract the weld 5 parameters from the fitting curve and the laser center line to calculate the feature points, calculate the corresponding feature point spacing, and complete the parameters of the weld residual height, width, undercut and edge angle. The experimental prototype was designed to test the longitudinal weld of the radius of 281.35 mm pipe. The surface of the test results quickly and accurately detect the weld seam 5 parameters, which has low measurement uncertainty.

Weld Inspection; Machine Vision; Deep Learning

陈英红，女，1974年生，高级工程师，主要研究方向：特种设备检验检测研发。E-mail:924192172@qq.com

国家质量监督检验检疫总局科技计划项目(2017QK105)