基于图像处理的内衬套表面缺陷检测

宋宇宁，郭天太，赵 军，孔 明

(中国计量大学 计量测试工程学院，浙江 杭州 310018)

基于图像处理的内衬套表面缺陷检测

宋宇宁，郭天太，赵 军，孔 明

(中国计量大学 计量测试工程学院，浙江 杭州 310018)

为了提高内衬套的检测速度和精度，保证内衬套的使用寿命，提出结合图像处理技术实现内衬套表面缺陷的自动检测.通过采用CMOS相机在近红外背光源暗域照明环境中获取图像并进行处理，实现对内衬套的毛刺及擦痕的自动检测.本检测系统主要通过图像形态学滤波和GrabGut图像分割算法分别实现对内衬套表面毛刺和擦痕的检测，通过轮廓拟合提取检测毛刺和擦痕的图像，从而实现对内衬套的表面缺陷检测.实验表明,所提出的内衬套表面缺陷的自动检测方法具有高效、准确的优点，且该系统运行稳定，因而具有推广价值.

图像处理；形态学滤波；GrabCut图像分割算法；缺陷检测

Abstract: To improve the detection speed and precision of the inner liner of air-conditioning pipe joints, an automatic detection method based on image processing technique was proposed. The images collected by using a CMOS camera in the near infrared backlight dark area illumination environment were processed with digital image processing technique. The image morphological filtering and the GrabGut image segmentation algorithm were used to distinguish the burrs and scratches in the inner liner of air-conditioning pipe joints. Contour extraction was performed to detect the size of the burrs and scratches. Experimental results show that the automatic detection method is effective and accurate; and the system is stable and practically valuable.

Keywords: image processing; morphological filtering; GrabCut image segmentation algorithm; defect detection

内衬套是空调管路中的重要部件之一，在空调管路中起密封作用.由于其安装快捷、使用方便而得到广泛应用.内衬套的使用能减少设备的磨损、振动和噪音，并有防腐蚀的效果，还能方便机械设备的维修以及简化设备的结构和制造工艺.因此，内衬套的质量是影响设备运行和使用寿命的关键因素.而在实际加工制造过程中，会使内衬套表面留有细小的余屑，造成毛刺的生成，同时在传输中难免会受到擦伤而在零件表面留下擦痕.因此，为保证空调管路的正常运行，内衬套的表面缺陷检测必不可少.目前，内衬套的表面缺陷检测主要是人工检测，通过人眼进行抽检或是逐一进行表面检测，但存在以下问题：1)人工检测很难满足对生产效率的要求；2)流水线生产由人工进行毛刺和擦痕检测不但耗时，而且大大增加了生产成本；3)人工检测很难定量，劳动强度大，易疲劳，检测标准不统一，易引入潜在的人为误差，容易发生错检漏检[1].因此，结合视觉检测技术实现内衬套的在线检测有着重要的研究意义.

在电子、光学和计算机等技术不断成熟和完善的基础上，视觉检测技术得到了突飞猛进的发展.国内外视觉检测技术发展迅速，涵盖的应用领域十分广泛[2-3].例如，NI公司将可视化图像采集的应用从实验室扩展到生产线上的产品检验；日本的Keyence公司的Keyence XG-7000/8000系列影像处理系统中新增的算法能过滤反光或其他背景干扰，在检测中只突出瑕疵；德国Siemens公司的智能化PROFIBUS工业视觉系统SIMATICVS710提供了一体化、分布式的高档图像处理方案.在国内，大恒图像公司设计的基于智能机器视觉系统的工件表面质量在线检测系统能够安装在工件生产流水线上，对每个工件的表面缺陷及外形尺寸等进行在线检测[4].

目前，基于机器视觉的表面在线检测系统是表面在线检测的主流，照明方式和缺陷处理是该系统的关键.孔祥伟对金属镀层工件表面强反射程度不同和工件表面缺陷种类繁多等问题进行了照明技术和缺陷检测算法的研究[4]；王雷等研究了铜棒的在线缺陷检测，通过低角度和同轴照明方式采集图像，并用图像检测分析和处理铜表面缺陷[5]；孙雪晨等采用低角度照射对凸轮轴进行区域定位，采用缺陷分割算法进行表面缺陷检测[6].

本文的检测关键技术在于通过计机器视觉采集图片后的缺陷轮廓提取.针对毛刺，本文根据缺陷特征采用的形态学滤波理论可有效的分析及处理图形.形态学滤波理论于20世纪90年代提出.数学形态学研究以二值图像为对象，已成为图像处理理论的一个重要方面，广泛应用到机器人视觉、自动读取、图像分割、边缘检测等领域.针对擦痕，本文采用缺陷分割算法处理，图割理论于2001年，Boykov等人引入图像分割的领域；2004年，Rother等人提出了Grabcut算法；2005年，C.Vachier等人提出了分水岭算法的研究.由于分水岭分割存在着边界分割粗糙的不足，因此本文采用速度快、检测精准的GrabCut进行分割处理.

针对现有视觉自动化检测技术的弊端，本文提出一种内衬套表面缺陷自动检测系统，通过采用近红外背光源暗域照明方式进行图像采集，采用图像形态学滤波和GrabCut图像分割算法分别实现对内衬套表面毛刺和擦痕的提取，针对不同缺陷实现有针对性的检测.

1 检测系统搭建及流程

1.1 系统结构

内衬套表面缺陷自动检测系统的结构图如图1，主要由两部相机、背光源、电源、I/O卡、计算机等组成.

图1 检测系统结构图Figure 1 Diagram of detection system structure

系统的主要任务是利用机器视觉技术对实时拍摄到的内衬套进行图像处理，根据所要检测的缺陷特征进行分析，得出毛刺与擦痕轮廓.CMOS相机1和背光源1的组合是为了拍取内衬套口径处的毛刺；CMOS相机2和背光源2的组合是为了拍取内衬套表面的擦痕.为实现表面一周的图像采集，底座的旋转运动平台每隔5s旋转一次，每一次相机采集角度为120°，以完成整个内衬套表面图像的采集.

由于内衬套为金属工件，在光源照射下易产生强反射，使得缺陷和非缺陷区域之间对比度低.为避免自然光及其他杂光对拍摄环境的影响，实验采用暗场照明方式.在照明中，为更好地获取零件表面缺陷的图像，需针对物体的反射特性调整被测物体、光源与摄像机的位置.由于毛刺常位于口径处，故将近红外背光源放置于内衬套底部，采用垂直拍摄方式，以获取更清晰的毛刺图像轮廓.而擦痕常位于内衬套，故将近红外背光源放置在内衬套前侧，将光源打在内衬套表面，以内衬套为中心，摄像机与光源在同一圆弧上，相隔一定弧度对内衬套进行低角度拍摄，使得擦痕表面的光照相对于光滑表面处更亮，以突出擦痕的缺陷特征.

1.2 检测流程

系统采用两部相机进行内衬套两方位图像采集，以实现毛刺和擦痕缺陷的提取.在图1的检测系统中，人工将零件放置在暗箱中进行检测.检测流程如图2.

图2 检测流程图Figure 2 Detection flow chart

检测时，首先打开水平放置的背光源1和CMOS相机1，采集内衬套轮廓图像，用于检测轮廓处是否有毛刺；关闭背光源1和CMOS相机1，打开背光源2和CMOS相机2，采集内衬套表面图像，用于检测表面是否有擦痕.为去除图像中的干扰因素需对图像进行预处理，主要包括滤除和阈值处理，然后进行缺陷特征提取，最后通过轮廓拟合得到对缺陷的检测结果.

图3、图4分别为实验中采集到的毛刺件图像与擦痕件图像.

图3 毛刺件图Figure 3 Sample with burrs

图4 擦痕件图Figure 4 Sample with scratches

2 图像处理

2.1 图像预处理

图像预处理的目的，是将采集得到的图像进行灰度化、滤波和阈值处理.

1)图像灰度化

图像灰度化将图像转变成灰度图像，这不仅保持了整幅图像的整体和局部的色度和亮度等级的分布和特征，还能减少后续的图像处理的计算量.

2)图像滤波

图像信息在采集过程中往往受到各种噪声的干扰，通过图像滤波可以更有效地提取感兴趣的视觉特征.实验中采用双边滤波进行处理，通过将常用的高斯滤波、中值滤波和双边滤波的处理进行对比.以毛刺件为例，其图像滤波效果如图5.

图5 毛刺件的图像滤波效果Figure 5 Images with filtering of the burrs

从图5可以看出，高斯滤波模糊了整个图像信息，且没有滤去外围零件反射光，易对后期处理产生干扰；中值滤波对图像的噪声处理效果较差，与高斯滤波一样没有滤去外围零件反射光；双边滤波在合理去除噪声和反射光的同时可以较好地保留图像的边缘信息.因此，本文采用双边滤波对图像进行处理.

双边滤波是非迭代的一般图像平滑处理工具，被定义为邻近像素的加权平均.双边滤波考虑与相邻像元的值的差异，以在平滑时保留边.双边滤波的关键思想，是当一个像素影响另一个像素时，它应该不仅占据附近的位置，而且具有类似的值[7].

如图6(a)、(b)分别为灰度图像经过双边滤波后的毛刺图像和擦痕图像.

图6 双边滤波后的灰度图像Figure 6 Grayscale images with bilateral filtering

3)阈值处理

图像阈值处理也称为二值化，其目的是将图像结果转换成黑白二值图像，得到清晰的边缘轮廓线.根据灰度图的信息分析，实验采用上下阈值法，可突出缺陷图像信息.如图7(a)、(b)分别为经过上下阈值处理后的毛刺件和擦痕件二值图像.

图7 经过上下阈值处理后的二值图像Figure 7 Binary images with upper and lower threshold processing

2.2 缺陷检测

轮廓提取即是从内衬套图像中得到缺陷部分，它是保证测量精度的关键环节.针对机器视觉检测中的图像通常只包含工件和背景两类区域的特点，实验中根据不同缺陷特征采取不同的图像分割方法.缺陷检测流程如图8.

图8 缺陷检测流程图Figure 8 Flow chart for defect detection

实验中采用图像形态学滤波获取毛刺点二值图像，采取最小外接矩阵包围不规则的毛刺轮廓；采用GrabGut图像分割算法提取内衬套表面的擦痕，将前景与背景进行分割并提取拟合擦痕轮廓.

2.3 毛刺检测

毛刺是外边缘理想几何形状外的剩余粗料，加工或成形工艺的残余，常位于内衬套口径处.为提取毛刺轮廓，实验采用基于数学形态学运算中腐蚀膨胀进行处理.

腐蚀的过程是替换当前像素位像素集合找到的最小像素值.膨胀则是相反的运算，它替换当前像素位像素集合中找到的最大像素值.由于输入的二值图像仅包含黑色(0)和白色(255)像素，故每个像素只会被替换为白色像素或黑色像素[8].

1)膨胀

膨胀就是求局部最大值的操作.按数学方面来说，膨胀或者腐蚀操作就是将图像(或图像的一部分区域，记为A)与核(记为B)进行卷积，即计算核B覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素.这样就会使图像中的高亮区域逐渐增长.如图9为膨胀操作的工作原理.

图9 膨胀操作的工作原理Figure 9 Schematic diagram of the dilating operation

膨胀的数学表达式如下:

(1)

毛刺件膨胀处理效果图如图10.

图10 毛刺件膨胀处理效果图Figure 10 Burr after dilating operation

2)腐蚀

由于膨胀和腐蚀是相反的一对操作，所以腐蚀就是求局部最小值的操作.

如图11为腐蚀操作的工作原理.

图11 腐蚀操作的工作原理Figure 11 Schematic diagram of the eroding operation

腐蚀的数学表达式如下:

(2)

毛刺件膨胀处理后再进行腐蚀处理效果图如图12.

图12 毛刺腐蚀处理效果图Figure 12 Burr after eroding operation

将图12，经过形态学处理变换后得到的与内衬套轮廓分离的毛刺，采用最小外接矩阵包围毛刺连通域的方法获取毛刺拟合轮廓，如图13.

图13 毛刺轮廓拟合图Figure 13 Burr profile fit

2.4 擦痕检测

擦痕是工件加工过程中工件表面与硬物摩擦导致的不规则、间断的面状分布，常位于内衬套表面处.为提取擦痕轮廓，实验采用GrabCut图像分割算法进行处理，即在通过上下阈值获取的擦痕件二值图的基础上，再应用GrabCut进行细分割处理.

GrabCut是一种高效的交互式分割算法.用户将一些前景和背景像素标记为种子像素[9]，然后将未标记像素的灰度级与标记像素的灰度级进行比较，并计算最小能量值，以便分割图像[10].

GrabCut算法使用GMM(Gaussian Mixture Model，高斯混合模型)创建彩色图像数据模型.每个GMM分为两个部分，一个用于背景，一个用于前景，被认为是具有K个分量(通常K= 5)的全协方差高斯混合.为了处理GMM，在优化框架中，附加矢量k= {k1，…，kn，…，kN}，其中kn∈{1，…K}，分配给每个像素一个独立的GMM分量，一个分量来自背景或前景模型，根据α= 0或1，用于分割的吉布斯能量现在变为[11]：

(3)

吉布斯能量还取决于GMM分量的变量k.其中，U被定义为

(4)

(5)

γ是常量，C是相邻像素对的集合，dis(·)是相邻像素的欧几里得距离，β(·)是平滑趋势.其公式如下:

(6)

其中p(·)是高斯概率分布，π(·)是混合加权系数．

(7)

因此，模型的参数表达式为

(8)

即权重π，意味着背景和前景分布的2K高斯分量的m和协方差∑.平滑项V与单色情况(5)基本上没有变化，除了使用颜色空间中的欧几里得距离来计算对比度项

(9)

GrabCut分割算法其产生的结果比分水岭算法更为精准，对于期望从静态图像中提取前景物体的应用，这是最佳算法.在GrabCut算法处理中需要在局部矩形区域内进行处理，因此，实验在已获取的二值图像信息中选定擦痕所在面的局部矩形区域进行分割处理[12]，将通过上下阈值处理获取的划痕部分作为前景像素，整个零件与其他部分为背景像素.基于局部的标记，算法将确定完整图像中的前景与背景分割.如图14，采用局部标记的方法是定义一个矩阵，前景物体被包围在矩阵内[13].

GrabCut算法在指定矩形包围盒来提取前景物体(擦痕)，并创建背景/前景分割.背景与前景像素的边界分割的优化问题通过GrabCut算法得到高效解决，该算法将问题转化为对连通图进行切割(Cut)以构成最优配置，获取的分割结果产生新的像素标签[14].因此，GrabCut是一个迭代的过程，不断地优化结果.根据场景的复杂度，得到满意方案的迭代次数可根据需要进行调整.分割后的二值图像如图15.

在图15经过GrabCut算法分割后得到的与内衬套表面分离的擦痕图像的基础上，对获取的擦痕拟合轮廓，如图16.

图14 局部标记前景物体图Figure 14 Local marker for foreground object

图15 擦痕二值图Figure 15 Split binary image of scratch

图16 擦痕轮廓拟合图Figure 16 Fitted scratch profile

3 结果分析

为测试本文所提检测方法的检测速率和检测精度，在尽量保证同等测试设备环境的条件下，采集了200张不同的内衬套图像.为减少检测时间，算法多次使用阈值分割减小被检测区域，同时通过指定局部区域，有效筛选感兴趣轮廓.

缺陷检测结果如表1.通过机器视觉检测结果与人工检测结果进行对比，检测的内衬套尺寸较小，检测率可达99%，整体检测速度较快，检测时间控制在1 000 ms以内.可以看出，机器视觉检测的精度更高，结果更理想.

表1缺陷检测结果

Table 1 Defect detection results

样本数毛刺缺陷漏检/%擦痕缺陷漏检/%平均运算时间/ms2002.476.49923

4 结 语

工件检测是生产工艺中的重要环节.针对传统的人工检测方法存在的问题，本文结合机器视觉技术，提出了基于图像处理的内衬套的表面缺陷自动检测方法.该方法的优点有三个.1)设备改进：采用近红外背光源暗域照明，解决了金属件图像采集中存在的强反射、缺陷图像不明显等问题.2)检测算法：针对不同的缺陷特征采用不同的图像分割算法进行缺陷提取，处理方法有针对性.3)提高了检测精度：常见的检测方法中均采用相同的方法和环境进行缺陷检测，会使结果的精确度缺失；本文分析两种缺陷的特征提出不同的提取毛刺、擦痕缺陷的方法，并进行轮廓拟合，获取轮廓信息.结果表明，该检测方法可使缺陷识别率、检测效率达到较高水平，从而保证了空调管路的密封性和安装维护的快捷性、方便性，进而提高了零部件的安全性和使用寿命，有利于内衬套表面缺陷检测工序实现生产自动化.

[1] 吴彰良，孙长库，刘洁.基于图像处理的油封缺陷自动检测与分类识别方法[J].仪器仪表学报，2013,34(5)：1093-1099.WU Z L, SUN C K, LIU J. Oil-seal surface defect automatic detection and recognition method based on imageprocessing[J].ChineseJournalofScientificInstrument,2013,34(5)：1093-1099.

[2] 王娟,周永霞,徐冰俏,等.图像处理在胶囊外形缺陷检测中的应用[J].中国计量学院学报.2012,23(3):239-245. WANG J, ZHOU Y X, XU B Q. Image processing in capsule shape defect detection[J].JournalofChinaUniversityofMetrology.2012, 23(3):239-245.

[3] 何金彪，周永霞. 基于机器视觉的罐盖缺陷检测[J].中国计量大学学报.2015, 26(3)：269-273. HE J B, ZHOU Y X. Lid defects inspection based on machine vision[J].JournalofChinaUniversityofMetrology.2015,26(3)：269-273.

[4] 孔祥伟.组合光源与图像处理算法在工件表面缺陷检测中的应用[D].天津：天津大学，2007. KONG X W.TheApplicationofCombinatorialLamp-houseandImageProcessingAlgorithminWorkpieceSurfaceDefectInspecting[D].Tianjin: Tianjin University,2007.

[5] WANG L, SHEN Y. Design of machine vision applications in detection of defects in high-speed bar copper [C]//2010InternationalConferenceonE-ProductE-ServiceandE-Entertainment.Henan:IEEE: 2010:1-4.

[6] 孙雪晨,姜肖楠,傅瑶,等.基于机器视觉的凸轮轴表面缺陷检测系统[J].红外与激光工程.2013,42(6)：1647-1653. SUN X C, JIANG X N, FU Y, et al. Surface defect detection system for camshaft based on computer vision[J].InfraredandLaserEngineering,2013,42(6)：1647-1653.

[7] SYLVAIN P, PIERRE K, JACK T, et al. Bilateral filtering: theory and applications[J].ComputerGraphicsandVision, 2008,4(1) :1-73.

[8] ROBERT L.OpenCV2计算机视觉编程手册[M].张静,译.北京：科学出版社, 2013:103-106.

[9] HE Y R, SUN Y Q. An automatic image segmentation algorithm based on GrabCut[C]//Wireless,MobileandMulti-Media(ICWMMN2015),6thInternationalConferenceon. Beijing: IET,2015:185-190.

[10] BOYKOV Y Y, JOLLY M P. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images[C]//ProceedingsofEighthIEEEInternationalConferenceonICCV.Canada:IEEE,2001:105-112.

[11] ROTHER C, KOLMOGOROV V, BLAKE A. GrabCut: interactive foreground extraction using iterated graph cuts[J].ACMTransactionsonGraphics,2004, 23(3): 309-314.

[12] HUA S Y, SHI P. GrabCut Color image segmentation based on region of interest[C]//The20147thInternationalCongressonImageandSignalProcessingonIEEE. Dalian: IEEE,2015:392-396.

[13] WANG R,PENG J Y, LI P,et al.Improved color image segmentation algorithm based on GrabCut[J].AppliedMechanicsandMaterials, 2013, 373-375,464-467.

[14] KHATTAB D, EBIED H M, HUSSEIN A S. Multi-label automatic GrabCut for image segmentation[C]//14thInternationalConferenceonHybridIntelligentSystems. Kuwait: IEEE,2014:152-157.

Detectionofsurfacedefectsininternalbushingofairconditioningpipejointsbasedonimageprocessing

SONG Yuning, GUO Tiantai, ZHAO Jun, KONG Ming

(College of Metrology and Measurement Engineering, China Jiliang University, Hangzhou 310018, China)

2096-2835(2017)03-0274-08

10.3969/j.issn.2096-2835.2017.03.002

2017-03-13 《中国计量大学学报》网址zgjl.cbpt.cnki.net

国家自然科学基金资助项目(No.51476154).

TG86

A