基于傅立叶图像重建的车用换热器表面缺陷检测*

项文波，戴跃伟，茅耀斌

(1. 南京理工大学自动化学院,江苏 南京　210094；2. 江苏科技大学电子信息学院,江苏 镇江　212003)

基于傅立叶图像重建的车用换热器表面缺陷检测*

项文波1，戴跃伟2，茅耀斌1

(1. 南京理工大学自动化学院,江苏 南京210094；2. 江苏科技大学电子信息学院,江苏 镇江212003)

摘要:针对车用换热器表面缺陷检测问题,提出一种利用傅立叶图像重建提取方向纹理表面缺陷的算法。该算法采用局部二值模式(LBP)描述去除光照影响并对LBP图像进行快速傅立叶变换,通过频率域滤波和图像重建有效去除方向纹理的影响,由二值化及团块分析最终提取换热器表面缺陷区域。实验结果证明,本文算法可以快速、有效地检测出换热器表面缺陷。

关键词:局部二值模式;表面缺陷检测;图像重建;车用换热器

换热器是汽车、坦克和装甲车等车辆上的一个主要部件,有着非常大的用量,但目前对其表面质量的检验却依然采用人工方式。基于机器视觉技术对换热器表面缺陷进行自动检查,可以提高生产效率,减少人为因素,大大改进厂家在生产、装配、出厂检验方面的工艺。

车用换热器表面的缺陷主要是由于生产、运输过程中的磕碰造成的表面损坏。由于大部分的缺陷很小,形态不固定,难以提取常规的图像特征加以描述,因此,其表面缺陷的检测是件很有挑战性的工作,再加上换热器尺寸比较大,成像时容易光照不均,而在光照不理想的情况下,缺陷区域很难与高亮区域区分,更增加了检测的难度。

分析换热器表面图像可以发现,该类图像具有很强的纹理结构特征,其纹理有一定的方向性;而缺陷区域则为形状不规则的亮斑,没有方向性。由此,本文可以将换热器表面缺陷检测问题转换为一个具有规则方向纹理的表面缺陷检测问题进行建模。

在机器视觉领域,针对纹理表面的缺陷检测方法大致可分为两类:局部方法和全局方法。局部方法是将纹理表面切分成重叠或不重叠的若干小区域,对每个区域提取统计特征,然后设计一个分类器对每个区域判别是否存在缺陷[1]。纹理统计特征一般选直方图、灰度共生阵(gray level co-occurrence matrix, GLCM)、自相关特征等,而分类器则采用SVM、神经网络或决策树等常用分类算法[2-3]。全局方法的基本思想是将待检测纹理表面图像转换到变换域,通过变换域滤波方法将图像的正常纹理滤除,使得反变换后的待检图像只留下缺陷区域,然后,通过简单的阈值化方法就可将缺陷区域检测出来。常用的变换有:傅立叶变换[4-5]、Gabor变换[6]和小波变换[7]。局部检测方法实质是将缺陷检测问题转化为一个模式识别问题,虽方法直观,但是,对于许多实际应用,由于无法提供足够多的缺陷样本以供训练,再加上缺陷形态多样,其检测效果不是很好;而全局方法由于无须考虑各类缺陷样本,采用滤波方式将纹理图像与缺陷图像分离,因此对缺陷的多样性有更广的适应性。

本文针对换热器表面缺陷检测问题,提出一种全局检测方法,该方法流程如图1所示,原始纹理图像通过局部二值模式(Local Binary Pattern,LBP)变换获得LBP描述,通过该步操作可以有效去除光照的影响;之后,对具有方向纹理的LBP图像进行傅立叶变换,在频率域将高频、高能量系数置0,由傅立叶重建去除方向纹理的影响,获得只包含缺陷区域的重构图像;对重构图像进行二值化并进行团块分析,去除噪声干扰,可最终检得缺陷区域。

图1　汽车换热器表面缺陷检测流程框图

1图像的局部二值模式(LBP)

1.1LBP纹理

局部二值模式(LBP)是一种用来描述图像局部纹理特征的算子。LBP方法自1994年被提出,一直作为一种有效的纹理特征,不断地被使用和改进[8]。LBP的基本思想是对图像的每一个像素与它周围邻域像素进行对比后的结果进行加权求和。本文采用的LBP算子使用3×3的邻域,以邻域中心像素为阈值,将相邻的8个像素的灰度值与其进行比较,若周围像素值大于中心像素值,则该位置像素点被标记为1,否则为0。这样,3×3邻域内的8个点可产生8个比特的二进制数,将这8比特二进制数按顺序拼在一起(即进行加权求和),可得一个8比特长的二进制无符号数,用它来表示每个像素(如图2所示),即得到该像素处的LBP值。由此可见,由于每个像素的周围相邻有8个像素,最终可获取28种可能组合,这些编码被称为局部二值模式(或LBP编码)。

图2　局部二值模式

对图像上的每个点都按上述办法处理,可得到整幅图像所有点的LBP值,这些LBP值构成一幅灰度图。图3(a1)、(b1)为原始纹理图像,图3(a2)、(b2)为对应的LBP图像。

1.2基于LBP的光照影响去除

由于每个像素LBP值的计算只与其邻域值相关,且计算的是邻域值与中心值的相对大小,因此,对换热器图像计算其LBP图像可以显著去除光照造成的影响,如图3所示,图3(a1)、图3(b1)分别为两幅不同光照条件下采集得到的图像,图3(a2)、图3(b2)分别为它们对应的LBP图像,可以看出,光照影响得以显著削弱。

图3　两幅换热器表面图像及其对应的LBP图像

由于LBP变换后的图像能够有效消除光照的影响且同时保留了原始纹理结构及缺陷特征,因此,后继的图像滤波和缺陷检测本文将针对LBP图像进行处理。

2基于傅立叶图像重建的换热器表面缺陷提取方法

2.1傅立叶图像重建原理

傅立叶图像重建通过傅立叶变换把图像信号从空域转变成频率域,通过分析信号频谱系数,将不需要的频率分量过滤掉,再通过傅立叶逆变换把信号从频率域转换回空域,获得重建图像。

对于大小为M×N的二维数字图像f(x,y),其二维离散傅立叶变换为

(1)

它将任意图像表示成一系列频率分量的线性组合。相应的二维傅立叶反变换为

(2)

换热器表面图像为具有规则方向纹理的图像,对于此类图像,其频谱主要表现为直线的形状,图像空间纹理的方向与频谱中谱线的方向互相垂直。频谱能量主要集中在与纹理方向垂直的方向上,当纹理方向与水平方向的夹角旋转了一定角度时,频谱的方向也会随之旋转一定的角度。由于换热器表面的缺陷是随机的,方向性并不是很强,一般来说与主纹理方向不一致,并且缺陷纹理区域的频谱能量远远低于主纹理区域的能量。图4给出了一张含有表面缺陷的LBP图像及其频谱图。从图4可以看出,若以频谱中心画圆,不同半径的圆对应了图像中不同频率的细节信息,功率谱的幅值也随着离频谱中心距离的增加而减小。

图4　一幅LBP纹理图像及其频谱图像

如果对LBP图像进行离散傅立叶变换将之变换到频域,通过抑制高频和高能量傅立叶系数的方式进行频域滤波,再将结果反变换回图像域,由于缺陷区域的频谱能量不高,且不在与纹理方向垂直的方向上,因此可以获得一张去除纹理、只保留缺陷区域的图像。图5给出了对图4进行滤波的结果及其重构的图像,对比图5(b)和图4(a)可知,只要简单地对图5(b)进行二值化就可以提取出缺陷区域。

图5　频域滤波后的结果及其重构图像

2.2滤波器的设计

(3)

通过实验,本文取rf=0.10,同时将所有能量幅值大于1的系数置为0。图5(a)给出了一幅LBP图像经过频域滤波后的结果,其中,包括直流分量在内的大能量系数得以滤除,同时,代表纹理方向的直线频谱也被排除在了滤波半径之外。

2.3缺陷检测算法

对频域滤波后的重构图像进行二值化可以获得缺陷区域。本文采用最大熵自动阈值法进行灰度图像二值化[9]。最大熵阈值法通过使用信息论中的最大香农熵准则来寻找使图像直方图的熵为最大的阈值,假设图像共有T级灰度级,该方法求阈值的步骤如下。

1)求取图像的归一化直方图

p0,p1,…,pT-1,且有p0+p1…+pT-1=1,pi∈[0,1]。

2)求取图像的图像熵

3)当最佳阈值选为t时,计算总熵

Ht=ln(Pt(1-Pt))+Ht/Pt+(H-Ht)/(1-Pt)

4)令t=0, 1,…, T-1,分别计算Ht,取最大Ht时的t作为最佳阈值。

采用最大熵阈值法获得的二值结果如图6所示。由图6可知,由于缺陷区域频谱和方向纹理频谱可能存在一定交叠,滤波做不到足够完全,因此二值化后的重建图像中可能存在一些细小噪声,这可以通过二值图像团块(blob)分析将之去除,如利用形态学操作再采用面积滤波等方法,这里不再赘述。

图6　二值化后的结果图像

3实验及分析

本文采用Kodak IGV-B4820M-KF0单面阵千兆以太网工业相机配Schneider镜头和红色条形光源,现场采集了20幅换热器表面图像,并切割出含有缺陷区域的20幅尺寸为960×600像素的图像进行实验。

3.1查全率与查准率

对表面缺陷检测技术评价的性能指标主要有查全率和查准率。查全率定义如式(4)：

(4)

查准率定义如式(5)：

(5)

其中,A为实际有缺陷样本检测为有缺陷样本的数量(正确检测数);C为实际有缺陷样本检测为无缺陷样本的数量(漏检数);B为实际无缺陷样本检测为有缺陷样本的数量(虚警数)。

图7　换热器表面缺陷检测结果

用于实验的20幅换热器表面图像上共有真实缺陷53处,实际检测出49处,其中虚警3处,正确检测46处,其查全率R=86.8%,查准率P=93.9%,结果列于表1。图7给出了4幅典型图像的检测结果。

表1　20幅换热器图像表面缺陷检测结果

3.2检测速度

本文提出的换热器表面缺陷检测算法由于采用的是快速傅立叶变换和低计算负荷的最大熵阈值化算法,因此检测速度很快,本文分别针对不同尺寸的图像进行了实验,得到结果如表2所示。实验所用计算机为Intel core i5 2310处理器,2.9GHz主频,4G内存,1T硬盘,开发环境为VS2010,程序采用C++编写,未经过MMX/SSE指令优化。

表2　不同尺寸换热器图像表面缺陷检测所用时间

4结束语

针对车用换热器表面缺陷检测问题,本文提出一种基于傅立叶图像重建的纹理表面缺陷检测算法。该算法采用LBP描述将换热器图像转换为LBP图像以去除光照影响,然后,通过对LBP图像的傅立叶变换,过滤掉能量较大及特定方向的频域系数,通过傅立叶反变换获得去除方向纹理影响的滤波图像。对滤波图像进行二值化及团块分析最终完成对换热器表面缺陷的检测。实验结果证明了本文所提算法的有效性,该方法可以扩展到其他方向纹理缺陷检测应用中,如机械加工零件表面缺陷检测、织物瑕疵的检测等。

参考文献:

[1]罗菁,董婷婷,宋丹,等. 表面缺陷检测综述[J]. 计算机科学与探索， 2014, 8(9): 1041-1048.

[2]Ravikumar S, Ramachandran K I, and Sugumaran V. Machine learning approach for automated visual inspection of machine components[J]. Expert Systems with Applications， 2011, 38(4): 3260-3266.

[3]Huang Jiexiang, Li Di, Ye Feng, et al. Detection of surface of solder on flexible circuit[J]. Optics and Precision Engineering， 2010, 18(11): 2443-2453.

[4]D.-M. Tsai, and C.-Y. Hsieh. Automated surface inspection for directional textures[J]. Image and Vision Computing， 1999, 18:49-62.

[5]D.-M. Tsai, and T.-Y. Huang. Automated surface inspection for statistical textures[J]. Image and Vision Computing， 2003, 21:307-323.

[6]Guang-Hua Hu. Automated defect detection in textured surfaces using optimal elliptical Gabor filters[J]. Optik， 2015, 126:1331-1340.

[7]D.-M. Tsai, and C.-H. Chiang. Automatic band selection for wavelet reconstruction in the application of defect detection[J]. Image and Vision Computing， 2003, 21:413-431.

[8]Ojala, T., Pietikainen, M., and Maenpaa, T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Trans. PAMI， 2002, 24(7): 971-987.

[9]J. N. Kapur, P. K. Sahoo, and A. K. C. Wong. A new method for gray-level picture thresholding using the entropy of the histogram. Comput[J]. Vision Graphics Image Process， 1985, 29:273-285.

Surface Defect Detection for Vehicle Heat Exchanger by Using Fourier Image Reconstruction

XIANG Wen-bo1, DAI Yue-wei2, MAO Yao-bin1

(1. School of Automation, Nanjing University of Sci. & Tech., Nanjing 210094；2. School of Electronics & Information, Jiangsu University of Sci. & Tech., Zhenjiang 212003, China)

Abstract:To find the deficiency on the surface of a vehicle heat exchanger, this paper has brought out a defect detection algorithm for directional texture surface based on image Fourier reconstruction. The algorithm first performs the local binary pattern (LBP) transformation on original image to alleviate uneven lighting condition. Then, the fast Fourier transformation is used to transform the LBP image into spectrum domain. Through spectrum filtering by which all high-frequent coefficients and coefficients with high energy are suppressed, directional texture are eliminated on the Fourier reconstructed image. Thus, a general binarization process followed by a blob analysis can be employed on the result homogenous image to finally extract defect areas. Experimental results have demonstrated the effectiveness and swiftness of the proposed algorithm.

Key words:local binary pattern; surface defect detection; image reconstruction; vehicle heat exchanger

文章编号：1673-3819(2016)03-0126-05

收稿日期：2016-03-20

*基金项目：国家科技重大专项课题(2011ZX04002-051)

作者简介：项文波(1976-),男,安徽黄山人，讲师,研究方向为计算机视觉。 戴跃伟(1962-),男,教授,博士生导师。 茅耀斌(1971-),男,副教授。

中图分类号:TP391.41

文献标志码:A

DOI:10.3969/j.issn.1673-3819.2016.03.025

修回日期： 2016-04-10