焊缝表面缺陷激光视觉传感HOG-SVM 的检测方法

胡丹，吕波，王静静，高向东

(广东工业大学 广东省焊接工程技术研究中心,广州,510006)

0 序言

焊接是现代制造业中应用最广泛的材料成形和加工技术之一.焊接过程中的干扰因素或焊接参数控制不当则容易产生焊接缺陷，严重影响焊接质量.基于物理性质的焊接缺陷检测方法主要有超声检测、射线检测、磁光成像检测、渗透检测等[1-4].超声检测需要耦合剂，且对焊缝表面粗糙度有一定要求，粗糙度过高会干扰超声投射效果从而影响检测结果的准确性；射线检测存在检测成本较高以及对人体有害等问题；磁光成像是一种新的检测技术，磁光成像效果受磁场激励方式、磁光薄膜特性以及提离度等因素的影响较大；渗透检测的检测效果一定程度受显像剂、焊件表面情况、渗透液等因素的影响，且检测效率低.相比于基于物理性质的焊接缺陷检测方法，基于视觉传感技术的焊接缺陷检测方法具有智能化程度高、信息丰富直观、高精度等优点，一直是焊接智能检测领域的研究热点[5-8].

目前，焊接质量视觉传感检测可分为被动视觉与主动视觉.被动视觉利用相机直接拍摄焊缝表面，该方法能全面地获取焊缝表面形貌，但也会带来大量冗余信息，增加图像处理、目标提取与分割算法的复杂度[9-10].主动视觉依靠辅助光源获取焊缝成形特征，其中，因激光具有单色性、方向性、能量集中等优点，常被选作为辅助光源.激光视觉焊缝质量检测系统装置简单易操作，通过激光器向焊缝表面投射激光，相机采集焊缝条纹轮廓图像，将焊缝表面成形特征转化为激光条纹曲线形变，单道激光条纹即可表征焊件表面信息.文献[11]利用线结构光检测高频电阻焊焊件质量，研究激光条纹中心线提取算法，建立三维焊缝形状在世界坐标系和图像坐标系之间的转换关系，实现了焊缝三维重建以及焊缝尺寸检测.文献[12]针对填充焊缝和盖面焊缝，研究结构光视觉传感焊缝质量检测方法，实现焊缝尺寸在线测量及质量评估的功能.

文中基于激光视觉传感研究了一种焊缝表面缺陷HOG-SVM 算法自动分类与识别方法.对焊接缺陷激光条纹图像进行数字化处理，采用HOG 算法进行焊接缺陷特征提取，通过识别率与运行时间两类指标评估不同边缘检测算法、不同细胞单元大小以及不同分类器对检测效果的影响，并通过5 折-交叉验证网格搜索方法寻找最佳检测模型参数，最终建立SVM 焊缝表面缺陷识别与分类智能模型,分类精度可达97.86%.试验结果表明，所提方法可对焊缝表面缺陷(气孔、凹陷、咬边)和无缺陷进行有效地识别与分类.

1 焊缝缺陷激光视觉成像

1.1 激光视觉检测系统的硬件构成

图1 为焊缝质量检测平台示意图，主要由激光视觉传感器、运动控制器、三轴运动平台及工控机等组成.激光视觉传感器由相机、激光器、镜头构成，基于三角成像原理，激光器倾斜一定角度投射激光线于焊件表面，相机垂直拍摄焊件表面的激光条纹，扫描采集焊缝激光条纹图像储存于工控机，从而获取图像数据.以对接焊缝、角焊缝为研究对象，扫描采集装置如图2 所示.

图1 焊缝质量检测平台示意图Fig.1 Schematic diagram of weld quality inspection platform

图2 扫描采集焊缝示意图Fig.2 Diagram of weld scanning collection

1.2 焊缝缺陷激光视觉成像特征分析

图3 为气孔、凹陷、咬边及无缺陷四种类型焊件试样的实物图、原始激光条纹图像.利用激光视觉传感器采集焊接缺陷原始激光条纹图像，建立焊缝缺陷识别模型样本集.

图3 四种缺陷样本的实物图及原始激光条纹图Fig.3 Physical image, fringe image of four kinds of defects.(a)porosity;(b)sag;(c)undercut;(d)no defect

焊缝表面缺陷具有十分明显的几何特征与形状特征.其中，气孔在焊缝表面的体积较小，孔内的激光条纹被“吞噬”，相机无法拍摄，含气孔的焊缝激光条纹图像在气孔处表现为断点；凹陷为焊缝上出现的局部低凹，且形状多元，含凹陷的焊缝图像中焊缝区域出现下凹，大小和位置与焊缝表面成形一致；咬边缺陷存在于焊缝与母材交界处，空间特征明显，含咬边的焊缝激光条纹图像在焊缝与母材交接处出现低于母材的下凹；无缺陷的焊缝激光条纹过度平稳，在母材基线上方形成平滑的曲线.

2 焊缝缺陷激光视觉成像特征提取

2.1 图像的预处理

焊缝激光条纹图像受光照、设备等影响，图像中存在噪声以及大量冗余信息.为了突出焊缝缺陷信息，提高识别率，需要对图像进行预处理，步骤如下.

ROI 提取：原始图像大小为400 pixel × 500 pixel，包括激光条纹与背景，其中缺陷特征仅在焊缝光条纹处，因此，进行ROI 提取并调整大小为64 pixel ×128 pixel，最大程度地包含了焊缝所在位置，减少无用信息.

灰度化：将彩色图像转化为灰度图像，保留亮度信息，去除颜色信息，减少计算量.滤波去噪：受环境、设备等影响，激光条纹图像中会夹渣噪声点，因此，采用3 × 3 中值滤波去噪，抑制尖锐噪声的同时保留图像细节部分.

二值化：通过观察焊缝激光条纹图像，光条区域与背景区域具有不同的灰度集合，采用最大类间方差法进行二值化处理，增强光条纹特征.

边缘提取：对二值化后的焊缝激光条纹图像进行边缘提取，得到的边缘曲线能更好地表征焊缝轮廓，便于提取焊缝激光条纹图像缺陷特征.四种试样图像的预处理效果如表1 所示.

表1 四种缺陷样本的实物图及原始激光条纹图Table 1 Physical image, fringe image of four kinds of defects

2.2 HOG 特征提取

HOG 特征提取算法能提取图像X，Y方向的梯度信息，对图像中的边缘，拐点等梯度变化大的地方更敏感，具有描述对象结构和轮廓的能力，能准确描述焊缝光条纹的边缘分布和结构特征，焊缝缺陷的表象和形状能够被梯度强度在梯度方向上的分布很好的描述，将其应用于检测焊缝表面缺陷具有很大的优势[13].基本步骤如下所示

(1) 采用Gamma 校正法对图像进行全局归一化.

(2) 计算梯度.每个像素I(x,y)的梯度可表示如式(1)，式(2)所示，即

式中：Gx(x,y)、Gy(x,y) 分别为像素点I(x,y)处的水平梯度、垂直梯度，然后计算每个像素点的梯度幅值G(x,y)和 梯度方向θ (x,y)，即

(3) 构建每个细胞单元(cell)的梯度方向直方图.将图像分割为若干个不重叠的cell，例如4 像素 × 4 像素的cell 大小，梯度方向量化为9，分别对应于0，20···180；计算cell 中每个像素点的G(x,y)和θ (x,y)，根据像素点的梯度方向在直方图中进行加权投影，从而构建每个cell 对应的9 维向量.梯度方向划分方式及cell 的梯度方向直方图如图4 所示.

图4 细胞单元cell 的梯度方向&梯度方向直方图Fig.4 Gradient direction & gradient direction histogram of cell(a)Gradient direction(b)gradient direction histogram

(4) 构建块(block)并归一化.由2 × 2 个cell合成一个block，每个cell 有9 个特征，归一化后形成一个36 维的特征向量.

(5) HOG 特征向量整合.经预处理后的焊缝光条纹轮廓图像大小为64 pixel × 128 pixel，以4 pixel 为步长遍历整幅图片，得到HOG 特征向量维数为16 740，计算方式如式(5)所示，即

焊接缺陷条纹图像的HOG 特征可视化效果如图5 所示.

图5 焊接缺陷条纹图像的HOG 特征可视化效果Fig.5 HOG feature visualization effect of weld defect streak image.(a)Porosity;(b)Sag;(c)Undercut;(d)No defect

3 焊缝缺陷SVM 分类模型

SVM 是一个经典且高效的机器学习算法，其基本思路是在样本空间找到一个最优分类超平面，将不同类别的样本分开[14].设有两类样本，分别用yi(1，-1)标记，定义超平面，即

为了防止过拟合，提出“软间隔”概念，允许SVM 对一些样本出错，即允许一些样本不满足约束条件.引入“松弛变量ξi≥0”，用于表征不满足约束的程度，于是，式(7)可转变为

为解决线性不可分问题，引入核函数把训练样本映射到一个高维特征空间，从而找到一个合适的分类超平面，因此采用高斯核函数，函数表达式为

式中：g为高斯核函数的宽度参数.

采取一对多(one-against-rest)方法解决多分类问题，假设有k个样本类别，把某一类作为正类，其余分为负类，需要构造k个分类器.为了简化模型，选择总性能最高的参数集(C、g)作为k个分类器的共享参数集.同时采用基于5 折-交叉验证的网格搜索方法选择参数集，模型参数的交叉验证结果如图6 所示.结果表明，当 log2C=-2、log2g=-3时，交叉验证确定的准确性是最高的，达98.243%.因此，将C=0.25、g=0.125 作为模型训练的参数设置，建立焊缝缺陷分类模型.

图6 模型参数的交叉验证结果Fig.6 Cross-validation results for the model parameters

4 试验过程及结果

试验运行平台：Windows10 操作系统，处理器为IntelCore I5，4GB 内存.试验选取3 000 幅焊缝激光条纹样本图像作为数据集，其中凹陷、咬边、表面气孔和无缺陷各750 幅,采用8∶2 的比例分配训练集，测试集.各类缺陷任选600 幅作为分类模型的训练集，其余150 幅作为测试集.

试验具体步骤：①对样本集进行图像预处理，选取合适的cell 大小、block 大小以及窗口移动步长，提取样本图像的HOG 特征向量，图像预处理及特征提取如图7 所示.并将所有数据集打上标签.②根据焊缝缺陷数据集分配原则随机挑选样本分为训练集与测试集，训练SVM 多分类模型，将训练好的模型和测试集作为参数输入predict 函数，得到测试集的预测类型predict-Label，焊缝缺陷识别结果的准确率可表示如下.

图7 图像预处理及特征提取过程示意图Fig.7 Schematic diagram of process of image preprocessing and feature extraction

式中，Acc为准确率，Nr为分类正确的图像数量，Nn为测试样本的图像总数量.

4.1 不同边缘检测算子识别性能分析

为了探究不同边缘检测算子在焊缝缺陷激光条纹图像识别中的效果，试验不同边缘检测算子预处理后的识别结果，试验结果如表2 所示.图8、图9分别为Roberts 算子、Canny 算子预处理后的焊接缺陷识别结果.

表2 不同边缘检测算子的试验结果Table 2 Experimental results of different edge detection operators

图8 Roberts 算子处理后的焊接缺陷识别结果Fig.8 Results of weld defect identification using Roberts

图9 Canny 算子处理后的焊接缺陷识别结果Fig.9 Results of weld defect identification using Canny

从表2 可以看出，Roberts 算子平均识别率最高，达97.73%；Canny 算子的平均识别率最低.Roberts 算子利用对角像素之差近似检测边缘，适合噪声较小且边缘明显的图像轮廓提取.对比图8、图9，发现经Canny 算子处理后，更多的咬边、气孔等细小缺陷错误地识别为无缺陷.从数学理论角度解释其原因，Canny 对图像进行高斯平滑，然而在图像预处理过程中，已经采用中值滤波对图像进行去噪，若再次对图像进行平滑，可能会模糊焊缝激光条纹轮廓，对细小缺陷的边缘信息定位不准确，降低了识别率.

4.2 不同cell 大小识别性能分析

基于4.1 中的试验结果，后续采用Roberts 算子提取焊缝光条纹轮廓，再分别用4 × 4，8 × 8，16 ×16，32 × 32 大小的cell 对预处理后的焊缝激光条纹图像进行特征提取.表3 列举了不同cell 大小的特征向量维数、平均识别率以及训练时间.

表3 不同cell 大小的试验结果Table 3 Experimental results of different cell size

对焊缝激光条纹轮廓图像进行HOG 特征提取前，要选择合适的细胞单元大小，通过对不同cell 大小进行对比试验，选取识别效果较好的cell大小.表3 数据表明，cell 大小为4 × 4，8 × 8 时识别率相当，但4 × 4 cell 对应的特征向量维数高，且模型训练时间约是8 × 8 cell 的5 倍，高维特征限制了识别速度，同时降低了识别率，因此选取8 × 8 cell进行HOG 特征提取.

4.3 不同检测器识别性能分析

选取最优参数后(Roberts 算子、8 × 8 cell)，为评估HOG 特征对焊缝缺陷识别的效果，选取常用的图像特征灰度共生矩阵(Gray Level Co-occurrence Matrix,GLCM)作为对照组，在焊缝缺陷样本数据库的基础上，随机选取70%作为训练集，30%作为测试集；对每次随机生成的焊缝缺陷样本提取特征(HOG 或GLCM)，分别用SVM，RF，KNN 以及CNB进行分类识别，不同特征提取方式与不同分类器交叉组合，5 次试验平均识别率对比图如图10 所示.

图10 平均识别率对比图Fig.10 Comparison chart of average recognition rate

试验结果表明，在不同分类器中，HOG 特征的识别效果均优于GLCM.可见，HOG 比GLCM 更适合表征焊缝缺陷激光条纹图像特征.经过5 次反复试验，HOG+SVM 的识别率最高，为97.86%.四种分类模型中，采用SVM 识别焊缝激光条纹图像HOG 特征的准确率更高，且其对于气孔、凹陷、咬边、无缺陷的识别率分别为96%、96.67%、98.67%和100%.因此，HOG+SVM 更适合基于激光视觉的焊缝缺陷识别与分类.

5 结论

提出一种基于HOG-SVM 算法的焊缝表面缺陷检测方法，采用激光视觉焊缝质量检测装置采集焊缝缺陷样本图像，对焊缝激光条纹图像进行充分的图像预处理，提取焊缝缺陷激光条纹图像特征.试验发现，Roberts 算子比其他边缘检测算子的识别率高，更适合焊缝激光条纹图像的边缘提取.通过不同分类器对HOG 特征与GLCM 特征进行交叉组合识别试验，HOG 提取的边缘结构信息比GLCM 提取的局部纹理信息更能表征焊缝缺陷特征.将HOG 特征提取算法与SVM 结合可以实现焊缝表面缺陷的准确识别，准确率可达97.86%.