基于非下采样Shearlet变换的磁瓦表面裂纹检测

杨成立 殷 鸣 蒋红海 向召伟 殷国富

(1.四川大学制造科学与工程学院， 成都 610065； 2.昆明理工大学机电工程学院， 昆明 650500)

基于非下采样Shearlet变换的磁瓦表面裂纹检测

杨成立1殷 鸣1蒋红海2向召伟1殷国富1

(1.四川大学制造科学与工程学院， 成都 610065； 2.昆明理工大学机电工程学院， 昆明 650500)

针对磁瓦表面裂纹缺陷图像背景不均匀、对比度低和存在纹理干扰等特点,提出了一种基于非下采样Shearlet变换(Nonsubsampled Shearlet transform, NSST)的裂纹检测方法。首先对原始图像进行多尺度、多方向NSST分解,得到一个低频子带和多个高频子带,然后利用各向异性扩散和改进的γ增强方法对高频子带进行滤波和增强;同时利用二维高斯函数对低频子带进行卷积操作来构造高斯多尺度空间,估计出图像的主要背景,并通过背景差法得到均匀的低频目标图像。最后通过重构NSST系数得到去噪和增强后的均匀目标图像,利用自适应阈值分割和区域连通法提取裂纹缺陷。实验结果表明,所提方法检测准确率达92.5%,优于基于形态学滤波方法、基于Curvelet变换方法和基于Shearlet变换方法等现有磁瓦表面裂纹检测方法。

磁瓦; 非下采样Shearlet变换; 高斯多尺度空间; 各向异性扩散; 裂纹检测

引言

磁瓦被广泛应用于永磁电机中,其结构强度对电机性能有至关重要的影响。磁瓦加工过程中,由于配料、压制速度和烧结温度等因素的影响,不可避免地出现各种外部缺陷。其中,裂纹缺陷最常见,对结构强度破坏性也最大。目前,磁瓦表面缺陷的检测仍然由人工视觉完成,由于裂纹缺陷尺寸小、对比度低,导致人工检测的漏检率较高。因此，磁瓦表面缺陷检测工序的自动化成为提高检测精度和降低成本的必要选择。

在众多的自动化检测手段中,机器视觉检测凭借速度快、成本低等优势被广泛应用于表面缺陷检测中[1-7]。近年来,在小波变换的基础上,出现了多种改进的多尺度分析方法,其中具有代表性的有Curvelet变换[8]、Contourlet变换[9]和Shearlet变换[10]。与以上方法相比,非下采样Shearlet变换(Nonsubsampled shearlet transform, NSST)不仅具备多方向、多尺度和各向异性等共性,同时具备计算效率高、平移不变和分解方向数量没有限制等特质[11-12],适用于磁瓦表面裂纹缺陷的检测。本文提出基于NSST的磁瓦表面裂纹缺陷检测方法。首先利用NSST对细节良好的表达能力,将图像分解为一个低频子带和多个高频子带。然后利用各向异性扩散良好的方向性对高频子带进行滤波。同时利用二维高斯函数的对称性和严格递减性,构建低频子带高斯多尺度空间,并在此空间中完成背景估计和背景移除。最后通过重建处理后的分解系数可得消除纹理和噪声干扰,背景均匀的增强图像,从而准确地提取出缺陷区域。

1 相关理论

1.1 NSST原理

NSST是EASLEY等[13]在保留Shearlet变换优势基础上提出的一种具有平移不变性的多尺度分析方法。Shearlet变换由于构造简单、计算效率高并且对高维几何奇异性表达性能良好, 被广泛应用于图像处理中[14-16]。设定维数n=2,具有合成膨胀的仿射系统定义如下[17-18]

MAB(ψ)= {ψj,l,k(x)=|detA|j/2ψ(BlAjx-k);

j、l∈Z,k∈Z2} (ψ∈L2(R2))

(1)

其中

(2)

式中j——尺度因子l——剪切因子k——平移因子B——剪切矩阵A——各向异性膨胀矩阵

(3)

(4)

(5)

[22j-4,22j-1],|ξ2/ξ1+l2-j|≤2-j}

(6)

图1 Shearlet频域剖分图和频域支撑区间Fig.1 Shearlet frequency subdivision and frequency support bases

NSST的实现分为两步:首先是多尺度分解, 每层均采用非下采样金字塔(Nonsubsampled Laplacian pyramid, NSLP)将图像分解成一个低频图像和一个高频图像,j层分解最终得到j个高频图像和1个低频图像。然后利用改进的剪切滤波器(Improved shearing filter, ISF)完成多方向分解,NSST将标准的剪切滤波器从伪极化网格系统映射到笛卡尔坐标系统中,进行逆傅里叶变换,然后可直接通过二维卷积完成分解,从而避免了下采样过程。当剪切分解因子为l时,该层高频图像分解为2l个高频子带。2层NSST的结构如图2所示。

图2 2层NSST分解结构Fig.2 Diagram of two levels NSST

1.2 高斯多尺度空间

高斯多尺度空间本质上是一种多尺度高斯滤波表示,通过采用可变尺度的二维高斯函数与输入图像进行卷积构建。设定输入图像为I(x,y),则高斯多尺度空间L(x,y,σ)定义如下[19]

L(x,y,σ)=G(x,y,σ)*I(x,y)

(7)

其中

(8)

式中 *——卷积运算σ——尺度因子G(x,y,σ)——高斯函数

σi+1=kgσi,kg>1,控制平滑的程度。随着σ的增大,I(x,y)中越来越多的细节被平滑,L(x,y,σ)逐渐接近图像的背景。综合以上分析,当选择不同的尺度因子,就可以得到不同程度的平滑图像,将这些近似图像按平滑的程度排列即可构建高斯多尺度空间。然后可根据应用需求,利用部分特定尺度的组合来表达图像。

1.3 各向异性扩散

各向异性扩散由PERONA等[20]提出,其原理是根据图像在不同方向上的梯度大小以确定扩散程度,所以其平滑过程具有很好的方向性,克服了传统线性微分方法中细节丢失的问题。其数学定义如下

(9)

各向异性扩散的离散表达式为[21]

(10)

其中

(11)

选择扩散系数为

(12)

式中k——梯度阈值

由于背景区域通常较为平滑,梯度小,扩散系数大,可有效地滤除。反之灰度变化剧烈的目标区域,由于梯度大,扩散系数小,使扩散得到抑制,从而被保留。

2 基于NSST的磁瓦表面裂纹检测

图3 磁瓦裂纹缺陷原始图像Fig.3 Original magnetic tile crack image

图3为一幅光照不均匀的磁瓦表面裂纹缺陷图像,可以看出,磁瓦表面颜色偏暗,磨削纹理沿垂直方向分布,且存在噪声干扰;同时图像在特定的光照条件下,背景表现出明显的不均匀性,裂纹缺陷面积占图像比重小,部分缺陷与背景的对比度低。结合以上观察可知,在缺陷提取过程中,必须消除不均匀背景、磨削纹理和噪声对缺陷提取的干扰。同时应注意到,部分缺陷信号强度较弱,在处理过程中,应保证这部分缺陷的完整并进行适当的增强。由NSST的原理和磁瓦裂纹缺陷图像的特点可知,分解所得高频系数的主要成分包括:高频缺陷、大部分磨削纹理和噪声。而大部分背景、少量噪声和缺陷的低频部分均集中在低频子带中。根据以上分析,本文提出了一种基于NSST的磁瓦表面裂纹缺陷检测算法,具体步骤如下:

(1) 对原始图像进行多层多方向NSST变换。 综合考虑算法的效果和效率,本文对原始图像进行2层NSST分解,每层高频系数的分解方向数均为8。

(2) 采用各向异性扩散对高频分解系数进行滤波。采用改进的γ增强方法增强低强度目标信号。

(3) 利用高斯多尺度空间在低频子带中估计背景,并通过图像减法得到背景均匀的低频系数。

(4) 对处理后的分解系数进行非下采样Shearlet逆变换,再使用自适应阈值分割方法提取出目标区域。

(5) 最后通过区域连通法去除二值图像中的孤立噪声点,从而实现裂纹缺陷的准确提取。

本文算法的流程如图4所示。

图4 本文算法流程Fig.4 Flowchart of the proposed method

2.1 高频系数滤波和增强

分解所得第1层的8个高频子带的三维图像如图5所示。可以看出,高频子带中强缺陷信号与背景之间的对比度较高,但磨削纹理和噪声对弱信号造成严重干扰。同时注意到,磨削纹理模值小,且仅分布在垂直方向附近,而强噪声与缺陷信号相比无结构性,仅存在于个别方向中。针对磨削纹理和噪声的特殊性,本文采用各向异性扩散对高频子带进行滤波处理,目的是在保留低强度目标信号的同时去除纹理和噪声。低强度目标的分解系数模值小,与背景的对比度低,应进行增强以便于提取,本文采用改进的γ增强方法[22],定义如下

图5 NSST第1层8个高频子带图像Fig.5 Original Shearlet coefficients at level 1

(13)

其中

Te=μe+keσe

(14)

滤波和增强后的NSST第1层高频子带如图6所示。

2.2 基于高斯多尺度空间的低频子带背景去除

由1.2节可知,随着σ的增大,高斯多尺度空间中估计的背景越准确,所以利用原始图像与高斯多尺度空间中的估计背景图像作图像减法,可得到背景均匀的目标图像。鉴于少量噪声的存在,有必要对原始低频子带进行低强度的滤波处理,本文以底层(σ0)估计图像作为输入图像,相应地,高斯多尺度空间中的底层估计图像尺度因子变为σ1。目标图像D(x,y)的表达式为

(15)

其中

(16)

Di(x,y)=|L0(x,y,σ0)-Li(x,y,σi)| (i≥1)

(17)

式中M——尺度空间层数λi——每层估计目标的归一化权重系数Di(x,y)——每层估计的目标图像

高斯多尺度空间结构及以上背景估计和目标提取的过程如图7所示,去除背景后的目标如图8所示。

图6 滤波和增强后的NSST第1层8个高频子带图像Fig.6 Distributions of Shearlet coefficients at level 1 after filtering and enhancement

图7 高斯多尺度空间中的背景估计和目标提取Fig.7 Background estimation and target extraction in Gaussian multi-scale space

图8 背景均匀的低频子带Fig.8 Approximation subband with even background

2.3 缺陷提取

图9 缺陷提取Fig.9 Defect extraction

(18)

其中

T=μt+ktσt

(19)

式中T——阈值kt——人为设定的阈值系数,控制提取缺陷的精度

为了保留低强度目标信号,高频子带中的滤波有所保留,所以提取出的目标区域中存在少量孤立噪声点干扰,本文采用区域连通法予以去除,图3中缺陷的最终提取结果如图9b所示。

3 实验

为验证本文算法检测磁瓦表面裂纹缺陷的可行性和优越性,测试了4幅不同对比度、不同光照条件和不同缺陷尺寸的典型裂纹缺陷图像，以及1幅合格磁瓦图像。实验图像均为96像素×224像素,全部处理均由Matlab 2012a完成,实验硬件Windows 7系统台式计算机,4核CPU,3.3 GHz主频,8 G内存。综合考虑效率和效果,本文算法的实验参数设置为:NSST的尺度为2,每层分解方向数均为8;各向异性扩散中,第1层高频子带扩散强度系数λ=0.04,梯度阈值系数k=1,迭代次数N=20,第2层高频子带则分别取λ=0.02,k=1,N=20;改进的γ增强中,第1层高频子带防干扰系数Ts=1.1,阈值控制系数ke=2,增强系数γ=0.5,第2层则分别取Ts=1.2,ke=2,γ=0.5;本文所构建高斯多尺度空间选择底层尺度因子σ0=1,kg=1.4,同时综合考虑算法的效率和背景估计的准确性,选择空间层数M=21;自适应阈值提取中,阈值系数kt=3.9。与此同时,将本文算法检测结果与OTSU算法和文献[5-7]中算法进行对比,结果分别如图10所示。

图10 5种算法检测结果对比Fig.10 Comparison results of five methods

从图10可看出,由于裂纹缺陷与背景之间对比度低,且占图像比重小,OTSU算法无法从不均匀背景中准确提取出缺陷。文献[5]中的算法可有效定位裂纹缺陷,但在低对比度图像中，该算法将大量磨削纹理误检为缺陷,严重地降低了该算法检测的准确性。文献[6]中的算法有效地抑制了噪声的干扰,准确地检测出裂纹缺陷的轮廓。但由于对纹理和缺陷对应的分解系数进行了相同的阈值处理,导致当磨削纹理和缺陷强度近似时,该算法对合格磁瓦产生了误判。文献[7]中的算法能有效地增强背景与缺陷之间的对比度，并抑制不均匀背景、磨削纹理的干扰,检测出小尺寸缺陷,但高强度噪声污染导致检测结果不准确,对合格磁瓦误检率高。与之相对,本文方法有效地消除了图像中噪声、磨削纹理和不均匀光照的影响,准确地提取出了磁瓦表面的裂纹缺陷区域,同时对合格磁瓦图像作出了准确的判断,表现出明显优于其余4种算法的检测精确性。

值得注意的是，当检测极细的暗裂纹缺陷时，由于裂纹对比度低，并且与磨削纹理的灰度和结构非常接近，本文算法中的各向异性扩散模块可能将部分微弱裂纹缺陷误检为背景而去除，从而导致微弱裂纹的不完全检测，与此同时，部分显著磨削纹理干扰被误检为裂纹缺陷。如图11所示。

图11 低对比度裂纹检测Fig.11 Detection for low contrast crack

此外,本文就检测准确率和效率进行了定量对比实验。实验共选择了60幅合格磁瓦图像和60幅裂纹缺陷图像进行测试,并与文献[5-7]算法进行对比。准确性指标为假阳性率(False positive rate,FPR)、假阴性率(False negative rate,FNR)和准确率(Accuracy,AC),定义如下

(20)

(21)

(22)

式中P——合格样品数N——缺陷样品数TP——被准确检测为合格的样品数TN——被准确检测为缺陷的样品数FP——被误检为合格的样品数FN——被误检为缺陷的样品数

检测准确性的对比结果如表1所示。从表1可以看出,本文算法的FPR为11.7%,漏检的主要原因为各向异性扩散过程中部分微弱缺陷被丢失。FNR为3.3%,误检的主要原因为将部分显著纹理检测

为缺陷。最终检测准确率AC为92.5%,明显高于其余3种对比算法。检测效率的对比结果如表2所示,本文算法的效率为0.527帧/s。由于各向异性扩散算法计算复杂度高，耗时长,本文算法的执行效率明显低于其余3种对比算法。

表2 4种算法检测效率对比Tab.2 Comparison of detection efficiency for four methods

4 结束语

针对磁瓦表面裂纹缺陷图像中存在的背景不均匀、对比度低和纹理干扰等问题,本文提出了一种基于NSST的裂纹缺陷检测方法。该方法首先利用NSST对细节良好的表达能力对原始图像进行多尺度和多方向的分解。然后在高频域使用各向异性扩散和改进的γ增强方法实现了去噪、去纹理和弱小目标增强。在低频域采用高斯多尺度空间实现了不均匀背景成分的去除。最后采用自适应阈值分割和区域连通法准确地从重建图像中提取出了磁瓦表面裂纹缺陷。实验结果表明,本文算法对常见磁瓦表面裂纹缺陷的检测准确率达到92.5%,明显优于文中测试的3种现有算法。值得注意的是，本文算法无法完整地检测出低对比度细微裂纹，且算法效率低,尚无法满足工程应用效率需求, 需要在未来的工作中继续改进。

1 黄锋华, 张淑娟, 杨一, 等. 油桃外部缺陷的高光谱成像检测[J/OL]. 农业机械学报, 2015, 46(11): 252-259. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20151134&journal_id=jcsam. DOI: 10.6041/j.issn.1000-1298.2015.11.034. HUANG Fenghua, ZHANG Shujuan, YANG Yi, et al. Application of hyperspectral imaging for detection of defective features in nectarine fruit [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(11): 252-259.(in Chinese)

2 张怡卓, 许雷, 丁亮, 等. 基于图像融合分割的实木地板表面缺陷检测方法[J]. 电机与控制学报, 2014, 18(7): 113-118. ZHANG Yizhuo, XU Lei, DING Liang, et al. Defects segmentation for wood floor based on image fusion method [J]. Electric Machines and Control, 2014, 18(7): 113-118.(in Chinese)

3 SUN Lu, QIAN Zedong. Multi-scale wavelet transform filtering of non-uniform pavement surface image background for automated pavement distress identification [J]. Measurement, 2016, 86: 26-40.

4 贺振东, 王耀南, 刘洁, 等. 基于背景差分的高铁钢轨表面缺陷图像分割[J]. 仪器仪表学报, 2016, 37(3): 640-649. HE Zhendong, WANG Yaonan, LIU Jie, et al. Back ground differencing-based high-speed rail surface defect image segmentation [J]. Chinese Journal of Scientific Instrument, 2016, 37(3): 640-649.(in Chinese)

5 余永维, 殷国富, 蒋红海, 等. 磁瓦表面图像的自适应形态学滤波缺陷提取方法[J]. 计算机辅助设计与图形学学报, 2012, 24(3): 351-356. YU Yongwei, YIN Guofu, JIANG Honghai, et al. Defect extraction method of arc magnet surface image based on adaptive morphological filtering [J]. Journal of Computer-Aided Design & Computer Graphics, 2012, 24(3): 351-356.(in Chinese)

6 LI Xueqin, JIANG Honghai, YIN Guofu. Detection of surface crack defects on ferrite magnetic tile [J]. NDT & E International, 2014, 62: 6-13.

7 XIE Luofeng, LIN Lijun, YIN Ming, et al. A novel surface defect inspection algorithm for magnetic tile [J]. Applied Surface Science, 2016, 375: 118-126.

8 KAR S S, MAITY S P. Blood vessel extraction and op tic disc removal using curvelet transform and kernel fuzzy c-means [J]. Computers in Biology and Medicine, 2016, 70: 174-189.

9 SADREAZAMI H, AHMAD M O, SWAMY M N S. A study on image denoising in contourlet domain using the alpha-stable family of distributions [J]. Signal Processing, 2016, 128: 459-473.

10 LAKSHMAN H, LIM W Q, SCHWARZ H, et al. Image in terpolation using Shearlet based iterative refinement [J]. Signal Processing: Image Communication, 2015, 36: 83-94.

11 高国荣, 许录平, 冯冬竹. 基于非抽样剪切波变换的遥感图像融合方法[J/OL]. 农业机械学报, 2013, 44(12): 221-226. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20131237&journal_id=jcsam. DOI: 10.6041/j.issn.1000-1298.2013.12.037. GAO Guorong, XU Luping, FENG Dongzhu. Fusion method in remote sensing image based on NSST[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(12): 221-226.(in Chinese)

12 SINGH S, GUPTA D, ANAND R S, et al. Nonsubsampled Shearlet based CT and MR medical image fusion using biologically inspired spiking neural network [J]. Biomedical Signal Processing and Control, 2015, 18: 91-101.

13 EASLEY G, LABATE D, LIM W Q. Sparse directional image representations using the discrete Shearlet transform [J]. Applied and Computational Harmonic Analysis, 2008, 25(1): 25-46.

14 陶飞翔, 吴一全. 非下采样Shearlet变换与参数化对数图像处理相结合的遥感图像增强[J]. 测绘学报, 2015, 44(8): 884-892. TAO Feixiang, WU Yiquan. Remote sensing image enhancement based on non-subsampled Shearlet transform and parameterized logarithmic image processing model [J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(8): 884-892.(in Chinese)

15 YANG Hongying, WANG Xiangyang, NIU Panpan, et al. Image denoising using nonsubsampled Shearlet transform and twin support vector machines [J]. Neural Networks, 2014, 57: 152-165.

16 高国荣, 刘艳萍. 基于非抽样Shearlet变换的红外与可见光图像融合方法[J/OL]. 农业机械学报, 2014, 45(3): 268-274. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20140344&journal_id=jcsam. DOI: 10.6041/j.issn.1000-1298.2014.03.044. GAO G R, LIU Y P. Infrared and visible light images fusion algorithm based on non-subsampled Shearlet transform[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(3): 268-274.(in Chinese)

17 GUO Kanghui, LABATE D. Optimally sparse multidimensional representation using Shearlets [J]. SIAM Journal on Mathematical Analysis, 2007, 39(1): 298-318.

18 LIM W Q. The discrete Shearlet transform: a new directional transform and compactly supported Shearlet frames [J]. IEEE Transactions on Image Processing, 2010, 19(5): 1166-1180.

19 LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

20 PERONA P, MALIK J. Scale-space and edge detection using anisotropic diffusion [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629-639.

21 YU Yongjian, ACTON S T. Speckle reducing anisotropic diffusion [J]. IEEE Transactions on Image Processing, 2002, 11(11): 1260-1270.

22 龙建武, 申铉京, 臧慧, 等. 高斯尺度空间下估计背景的自适应阈值分割算法[J]. 自动化学报, 2014, 40(8): 1773-1782. LONG Jianwu, SHEN Xuanjing, ZANG Hui, et al. An adaptive thresholding algorithm by background estimation in Gaussian scale space [J]. Acta Automatica Sinica, 2014, 40(8): 1773-1782. (in Chinese)

Detection of Surface Crack Defects in Magnetic Tile Images Based on Nonsubsampled Shearlet Transform

YANG Chengli1YIN Ming1JIANG Honghai2XIANG Zhaowei1YIN Guofu1

(1.SchoolofManufacturingScienceandEngineering,SichuanUniversity,Chengdu610065,China2.SchoolofMechanicalandElectricalEngineering,KunmingUniversityofScienceandTechnology,Kunming650500,China)

A novel algorithm based on nonsubsampled Shearlet transform (NSST), Gaussian multi-scale space and anisotropic diffusion was proposed for detecting crack defects with uneven background, low contrast, noise corruption and textured interference in magnetic tile surface images. Firstly, NSST was employed to decompose the source magnetic tile image into one low-pass subband and a series of high-pass subbands. Then the anisotropic diffusion and the modifiedγenhancement method were applied to remove the noise and enhance the weak object information in the high-pass subbands, respectively. Meanwhile, the background was estimated in the Gaussian multi-scale space constructed by convolving the low-pass subband with a varied two-dimensional Gaussian functions, and the even low-pass object could be obtained by using background subtraction. Finally, inverse NSST was utilized to reconstruct the enhanced object image which was free from noise and grinding texture interference, and crack defects could be segmented from the reconstructed image by applying the adaptive threshold method and regional connectivity function. Experimental results demonstrate that compared with four existing methods (OTSU method, method based on the adaptive morphological filtering, method based on Curvelet transform and texture feature measurement and method based on Shearlet transform), the proposed method achieves better performance in terms of defect detection accuracy.

magnetic tile; nonsubsampled Shearlet transform; Gaussian multi-scale space; anisotropic diffusion; crack detection

10.6041/j.issn.1000-1298.2017.03.052

2016-10-18

2016-12-22

“十二五”国家科技支撑计划项目(2015BAF27B01)和四川省科技支撑计划项目(2016GZ0160)

杨成立(1988—),男,博士生,主要从事机器视觉检测研究,E-mail: clyang_scu@163.com

殷国富(1956—),男,教授,博士生导师,主要从事智能制造和机器视觉检测研究,E-mail: gfyin@scu.edu.cn

TP391

A

1000-1298(2017)03-0405-08