基于纹理特征的焊缝图像缺陷识别方法

孙士保 尹立航 闫晓龙 贾博文 章 冲

(河南科技大学信息工程学院 河南 洛阳 471023)

0 引 言

射线焊缝缺陷图像的智能识别是无损检测领域的一大热点。针对从复杂背景中对射线图像做出准确识别问题，国内外学者进行了许多研究。文献[1]引入主成分分析思想，对圆形缺陷和线型缺陷进行降维从而完成两种缺陷的分类。文献[2]利用焊缝图像边界及区域特征对缺陷进行描述，直接采用多类支持向量机进行分类。文献[3]提出一种基于自适应网络的模糊推理系统ANFIS(An adaptive-network-based fuzzy inference system)的射线焊缝缺陷识别方法，抽取12个几何特征来描述缺陷的形状和大小，对6类常见的缺陷进行分类识别。文献[4]引入深度学习网络模型，以卷积神经网络结构为基础构建模拟大脑深度学习层次感知系统，最终以径向基网络对缺陷进行识别。文献[5]从25个形状描述符中抽取代表性的9个描述符，通过训练多层感知机神经网络MLP(Mutil-layer perception)进行识别。文献[6]提出一种新的基于纹理特征的焊缝缺陷识别方法，提取了两个常用的纹理特征：(1) 基于灰度共生矩阵；(2) 基于2D -Gabor 滤波器，最终使用指数展开分类器进行识别。文献[7]对缺陷图像进行二值化并提取特征，然后利用决策树对焊缝图像分类。文献[8]通过设定二进制阈值获取分割区域，利用形态学滤波防止过分割，然而阈值的精确选取往往很难做到。文献[9] 设计了基于几何和纹理特征的多类缺陷识别专家系统，使用43个特征描述符对缺陷的纹理和几何特征进行描述，最后用三种方法，支持向量机、神经网络、KNN对常见的6种缺陷进识别并对比其准确率。此外，在无损检测领域还有一些新方法，比如文献[10]提出一种基于时间序列的射线焊缝缺陷检测方法，使帧内分割与帧间跟踪相结合从而完成缺陷识别。文献[11]介绍一种基于自适应参数模型的射线图像缺陷统计检测。

从已有的成果来看，射线图像缺陷识别主要有以下几种模型：深度学习模型、支持向量机模型、专家系统模型、统计模型。然而深度学习模型需要建立在大量样本之上，并且需要合理控制网络复杂程度，否则容易产生过度拟合、网络退化等问题。专家系统则需要对焊缝缺陷特征有很专业的了解。支持向量机比较适合小样本集的识别且分类种类相对单一，若需分类多个类别则需要构建子分类器。并且除了基于深度学习的方法外，其他方法都需要对图像进行分割。然而由于射线图像本身复杂，准确的分割往往是很难做到的，从而使提取的特征不够准确，进而导致识别正确率低。

针对以上问题，本文提出基于纹理特征提取的焊缝图像缺陷识别方法。该方法综合分析缺陷图像纹理的全局与局部信息，提取图像的整体轮廓特征、局部细分特征、邻域差分特征三方面特征。然后分别计算每部分特征对应的统计直方图，并拼接到一起作为该缺陷图像的综合特征。最终利用最近邻分类器做出智能识别。同时为了模拟实际生产中缺陷种类的复杂性，还对缺陷进行了不同角度的旋转。通过对某工厂980张实际焊缝图片进行测试，结果表明该方法准确可行。

本文的创新点在于：首先该方法综合分析缺陷图像纹理的全局与局部信息，弥补了现有方法仅考虑单方面信息的不足；其次与基于深度学习的方法和ANFIS方法相比较具有较高的分类准确率；最后和现有方法相比较本文方法只分析了图像的整体轮廓特征、局部细分特征、邻域差分特征三方面的特征，因此效率高、耗时少。

1 缺陷图像预处理

由于采集到的射线图像存在噪声，首先对图像进行预处理。常见的去燥方法有中值滤波、均值滤波、维纳滤波、小波滤波等。焊缝中噪声主要表现为一些随机分布的散点，这些散点的灰度值明显不同于邻居像素，类似于椒盐噪声。由于中值滤波对椒盐噪声有很好的处理效果，同时还能保持图像中的细节信息，防止边缘模糊，因此这里采用5×5的中值滤波器对原始图像进行预处理。图1是经过预处理后的焊缝图像及其对应的三维曲面图。从图中可以看出噪声点能够很好地被滤除，这是由于其中心像素的灰度值被邻居像素灰度值的中值代替。

图1 滤波前后的图像及其对应三维视图

2 缺陷图像纹理特征提取

纹理特征是图像模式识别中最重要的特征之一，但是在X射线图像无损检测的自动识别中，这种特征还没有得到广泛的应用。本文采用文献[12]中的结构方差直方图模型SDHR(Structural difference histogram representation)对缺陷图像进行纹理特征提取。SDHR源于局部二进制模式LBP(Local binary pattern)，是在LBP模式上的改进[13]。它从全局与局部两个方面对射线图像进行特征描述。下面分别介绍每一部分的特征提取。

2.1 全局特征提取

全局特征提取得到的是图像的轮廓信息。图像的灰度直方图描述了图像整体灰度分布，由于不同像素带有不同的图像特征，为抽取焊缝图像轮廓信息利用阈值对灰度值进行区间划分，将近似的像素灰度值映射到相应的区间。对于尺寸为M×N的图像J，它的轮廓信息J*为：

J*(x,y)=juj

(1)

式中：f(x,y)为像素点(x,y)处的灰度值，uj是射线图像的第j个阈值。uj的取值按如下规则：

(2)

式中：u1是原焊缝图像的最小灰度值，um是缺陷图像的平均灰度值。其中δ∈2N+1，(N=1,2，…)。由上述分析可知原图像J的灰度值被映射到了δ-1个区间，本文中δ=5取自文献[12]中的值。最终变换后的图像J*能够表示原始缺陷图像J的轮廓信息。对于转变后的焊缝图像J*，其局部区域中心像素灰度值的SSP计算如公式所示：

(3)

式中：Wj为第j个邻域的灰度值，运算符⎣·」保证了SSP值为整数，lt是中心像素邻域的个数。这里lt=32，同样取自文献[12]中的值，即取中心像素的32邻域，当邻域像素值小于lt时按双线性插值计算。可以看出，SSP的最小值为lt，最大值为(δ-1)×lt，它的值共有(δ-2)×lt+1种，其统计直方图为：

(4)

这里，当x=y时f(x,y)=1，否则为0。

由上述方法可获得焊缝图像的全局特征，然而局部特征同样是图像特征不可或缺的一部分，接下来将介绍焊缝图像的局部特征提取。

2.2 局部特征提取

图像的局部特征描述了图像的细节信息，它由两个模式组成：细分的局部二进制模式、邻域差分模式。

2.2.1 细分的局部二进制模式

细分的局部二进制模式RLBP(Refined LBP)由三部分组成，符号、大小、局部区域中心像素值。对于一个含有P个邻域的局部区域其中心像素Cp(x,y) (p=0,1,2，…,P-1)的符号由下式计算,本文实验中M=1。

(5)

类似符号的计算方式，细分模式中的大小由下式得出：

(6)

而中心像素则由取模操作获取，取模操作用来量化GMI(x,y)：

RLBP_C=mod(GMI(x,y),lt)

(7)

GMI(x,y)的计算如公式所示：

(8)

式(8)中的取模操作用来缩小中心像素的范围，这里lt同样为中心像素的32邻域。可以看出，GMI(x,y)是这些中心像素的整体大小。通过统计量化后GMI(x,y)的个数就可以得到它的统计直方图。

由上面的方法可知RLBP的统计特征直方图可由符号、大小、中心像素三部分得出。

2.2.2 邻域差分模式

由于之前考虑的都是中心像素和邻域像素之间的关系，没有考虑邻域与邻域像素之间的关系，它们之间同样携带可用的信息。邻域之间的旋转不变性计算如下：

(9)

式中：P是中心像素的邻域个数。gmod(i,P)(x,y)、gmod(i+1,P)(x,y)分别是第i，i+1个邻域。焊缝图像的NDP特征直方图表示了它的邻域差分信息，其统计特征直方图由下式计算：

(10)

2.3 相似度测量及分类器选择

在基于统计的模式识别中，常用的测量相似度公式有欧氏距离、曼哈顿距离、马氏距离、卡方距离等。虽然它们的形式不同，但是目的是一样的，都能够计算出两个对象之间的距离。

本文中使用卡方距离计算训练样本与测试样本之间的距离，利用最近邻分类器对缺陷图像进行分类。测试样本与训练样本之间的卡方距离为：

(11)

至此，通过以上原理即可完成射线缺陷图像的智能识别，具体步骤如下：1) 对原始图像集进行降噪处理；2) 抽取缺陷图像的SSP、RLBP、NDP三部分的特征直方图；3) 对提取的特征进行2-D联合；4) 计算每个测试样本与训练样本之间的卡方距离；5) 使用最近邻分类器进行智能分类。图2显示了本文焊缝缺陷识别的具体框架图。

3 实验及分析

本文要识别的焊缝缺陷类型有7种：裂纹、夹渣、夹钨、未焊透、未融合、气孔及正常。本文数据集来自某工厂实际生产中X射线无损检测图片，每类缺陷140张，共980张。实验中通过对常见7种缺陷进行智能分类识别来验证该方法的准确性。由于原始射线图像比较大，直接作为输入计算量将会很大。本文采用基于视觉机制获取注意区域并将其规范至200×200大小，规范后的部分缺陷图像如图3所示。

3.1 在原始据集上的实验结果

为了测试该方法的有效性，首先将980张缺陷图像按类别进行递增编号，然后从每类140张中随机抽取30张，共210(30×7)张作为训练集，余下的770(110×7)张作为测试集。按照此方法，分别随机从每类中抽取40、50、60、70、80、90、100、110、120张缺陷图片作为训练集，剩下的作为测试集。为了验证该方法的随机性，每类都进行10次抽取。图4显示了该方法及其对比方法的平均识别正确率。

图4 平均识别正确率

从图4中可以看出，与采用基于深度学习模型的分类方法以及基于自适应网络的模糊推理系统(ANFIS)的方法相比较，本文所提出的方法识别正确率有明显的提高。这是由于基于深度学习模型需要建立在大量的数据样本上，刚开始训练样本数据集少导致分类性能很差，随着训练样本的增加识别率逐渐提高，最终保持稳定在89.72%。由于人为定义的特征有限，导致ANFIS方法识别准确率被限制在72.13%左右。而本文所提出的方法能够提取缺陷的全局与局部特征从而达到较高的识别率。

3.2 在旋转数据集上的实验结果

由于在实际生产过程中缺陷的种类是各种各样，以裂纹为例，其裂纹方向是不确定的，可以是纵向裂纹、横向裂纹及其他方向裂纹。为了尽可能的模拟实际生产中的缺陷，对980张原始缺陷图进行(0°、5°、10°、15°、30°、45°、60°、75°、90°)9个不同角度的旋转，得到8 820(980×9)200×200个样本集。图5展示了旋转后的部分缺陷图像。

图5 旋转后部分缺陷图像

从中选取中心128×128大小作为旋转后的图像。此时每类样本个数为1 260(140×9) 128×128，从中随机选取1 000个作为训练集，剩余260个为测试集进行测试。表1显示了该方法及对比方法在原始数据集和旋转数据集上执行10次的平均识别正确率。

表1 平均识别正确率 %

从表中可以看出本文方法明显优于其他两种方法。旋转后造成文献[3]中方法识别率低的原因可能在于:1) 该方法需要对缺陷位置进行准确分割才能对其进行几何特征提取，而射线图片噪声对图像分割有很大的影响；2) 对于复杂的大规模缺陷数据集而言，12个描述符已经不能够表达焊缝缺陷的全部特征，从而使其分类准确率下降到80.23%。对于深度学习模型，由于其训练样本的增多使其识别率进一步提高，但仍然低于本文方法。而本文的方法在局部特征提取中，细分局部二进制模式和邻域差分模式具有旋转不变性，从而对不同方向的缺陷具有很好的鲁棒性。同时，本文方法不需对缺陷图像进行分割，所以降低了因分割导致的误识别。表2显示的是旋转后取其中一次的各类分类正确率。

表2 单类平均识别正确率 %

续表2

3.3 平均耗时

本文的实验在Inter Core i3-3320 CPU，3.3 GHz，4 GB内存， MATLAB(2013 Ra)环境下执行，为了测试该算法的平均耗时，对原始980张样本集进行10次测试，表3显示了本文方法及其对比方法的平均耗时。从表中可以看出文献[3]中方法的平均耗时是本文方法的3倍多，文献[4]中方法的平均耗时是本文方法的2倍多，因此本文法在缺陷检测中具有很高的效率。这是因为深度学习模型中网络构建特征过程有训练网络、获取节点权值过程，这一部分是最耗时的地方。然而本文方法没有训练过程，直接分析缺陷图像结构，因此计算速度快。

表3原始数据集(980张)耗时秒

实验方法本文方法文献[3]方法文献[4]方法平均耗时3621137843

4 结 语

本文对焊缝缺陷图像的识别进行了研究，分析了当前无损检测领域缺陷识别存在的问题，提出一种基于纹理特征的射线焊缝缺陷识别方法。该方法从全局与局部两方面分析缺陷图像特征，直接提取图像的整体轮廓特征、局部细分特征、邻域差分特征，不需要对图像进行分割，能够降低因分割不准确导致的误识别。通过对常见缺陷(裂纹、夹渣、夹钨、未焊透、未融合、气孔)进行识别，结果表明该方法能够很好的滤除噪声，提高特征提取的精度，能够识别方向复杂的缺陷且具有旋转不变性。同时，运行速度快、效率高，能满足实际需要。

本文方法所研究的焊缝缺陷图像光照较为均匀，然而由于实际环境中成像条件的限制，往往会造成焊缝图像的光照不均匀。对光照不均匀条件下的缺陷图像识别将是下一个研究的重点。

参考文献

[1] 高炜欣, 胡玉衡, 武晓朦,等. 埋弧焊X射线焊缝缺陷图像分类算法研究[J]. 仪器仪表学报, 2016,37(3):518-524.

[2] 申清明,高建民,李成.焊缝缺陷类型识别方法的研究[J].西安交通大学学报,2010,44(7):100-103.

[3] Zapata J, Vilar R, Ruiz R. An adaptive-network-based fuzzy inference system for classification of welding defects[J]. Ndt & E International, 2010,43(3):191-199.

[4] 余永维, 殷国富, 殷鹰,等. 基于深度学习网络的射线图像缺陷识别方法[J]. 仪器仪表学报, 2014,35(9):2012-2019.

[5] Lim T Y, Ratnam M M, Khalid M A. Automatic classification of weld defects using simulated data and an MLP neural network[J].Insight - Non-Destructive Testing and Condition Monitoring, 2007,49(3):154-159.

[6] Mery D, Berti M A. Automatic detection of welding defects using texture features[J].Insight - Non-Destructive Testing and Condition Monitoring, 2003,45(10):676-681.

[7] 钟映春.基于决策树的焊缝缺陷类型识别研究[J]. 计算机工程与应用, 2008,44(20):226-228.

[8] Carrasco M A, Mery D. Segmentation of welding defects using a robust algorithm[J]. Materials Evaluation, 2004,62(11):1142-1147.

[9] Valavanis I, Kosmopoulos D. Multiclass defect detection and classification in weld radiographic images using geometric and texture features[J].Expert Systems with Applications, 2010, 37(12):7606-7614.

[10] 田原, 都东, 侯润石,等. 基于X射线图像序列的焊缝缺陷自动检测方法[J]. 清华大学学报(自然科学版), 2007,47(8):1278-1281.

[11] Cogranne R, Retraint F. Statistical detection of defects in radiographic images using an adaptive parametric model[J].Signal Processing, 2014, 96(5):173-189.

[12] Feng J, Liu X, Dong Y, et al. Structural difference histogram representation for texture image classification[J].Iet Image Processing, 2017,11(2):118-125.

[13] Ojala T, Harwood I. A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J]. Pattern Recognition,1996,29(1):51-59.