基于显微成像与图像处理的工件表面漏光缺陷检测算法*

李胜军，郑 灼

(1. 吉林省经济管理干部学院，长春 130021;2. 沈阳工业大学 信息科学与工程学院，沈阳 110023)



基于显微成像与图像处理的工件表面漏光缺陷检测算法*

李胜军1，郑 灼2

(1. 吉林省经济管理干部学院，长春 130021;2. 沈阳工业大学 信息科学与工程学院，沈阳 110023)

为了解决工件表面微米级针孔缺陷特征不明显而导致其难以检出的问题，提出了基于显微成像与图像处理的针孔漏光缺陷检测系统。首先，对针孔缺陷检测精度、视野覆盖范围进行分析，完成视觉系统设计，达到对缺陷清晰成像的目的。然后利用Canny分割与膨胀处理图像缺陷目标，遍历轮廓提取面积、长轴特征，通过加入缺陷坐标系模型，完成缺陷定性判断。实验测试结果显示：与当前缺陷检测技术相比，文中算法拥有更高的缺陷检出率。

漏光缺陷检测；显微成像；长轴特征；遍历轮廓；缺陷定性判断

0 引言

随着“智能制造”的概念深化和实践，在企业制造成本不断升高的背景下，利用先进智能处理技术，实现低成本高品质制造已经是必然趋势[1-4]。工件材料加工中，难免出现微米级针孔缺陷不良，以往采用手电筒对光，人眼查看是否漏光，来决定是否存在针孔缺陷。这种检测方式不仅效率低、人力成本高，而且存在漏检隐患。于是，工厂提出了基于工业相机的缺陷检查方式，随着应用的深入，面临的挑战也更大，比如微米级针孔缺陷很难打光成像稳定，即使勉强成像，也很难通过图像定位方式来检出不良。

在缺陷检测方面，国内研究人员已经将计算机视觉技术引入到该领域中，对其展开研究，如董本志[5]提出了大数据环境下超声波焊缝缺陷识别算法。通过主成分分析和CURE聚类算法将缺陷回波信号编码转换成可进行匹配的对象，进而将当前检测缺陷特征与历史检测数据进行匹配，并利用最近邻方法实现了对缺陷历史检测数据集的扩充,达到缺陷检测目的。但是，此技术依靠大数据样本做分析基础，在特征成像微弱，往往影响了检出效果。徐科[6]提出了基于Tetrolet变换的热轧钢板表面缺陷识别应用, 通过Tetrolet变换将热轧钢板表面图像分解成不同尺度和方向的子带,提取子带的Tetrolet高通系数矩阵特征,得到一个高维的特征矢量；利用核保局投影算法对高维特征矢量进行降维,将降维后的低维特征矢量输入支持向量机，达到了缺陷检测目的。然而，这种技术未充分考虑特征成像不稳定的情况。在针对微米级缺陷时，往往不能准确检出不良。Z johsdyan l[7]提出了基于主成分分析的缺陷检测系统，采用改进优化的主成分分析算子检测缺陷边缘，然后计算边缘内的像素，根据像素数量，确定所测对象的性质，达到了微小缺陷检测的目的。但是该种技术是以缺陷成像清晰为先决条件，未考虑针孔漏光缺陷的微小性和不稳定性，往往存在缺陷漏检与误检的问题。Wang[8]提出了基于计算机视觉的缺陷检测系统，采用改进优化的分水岭分割缺陷边缘，然后根据缺陷形态确定缺陷等级，结合模糊聚类算法，达到了微小缺陷测量目的。但是该种技术是以理想条件下分割缺陷，未考虑缺陷成像不稳定不清晰的干扰情况，往往存在无检出缺陷能力的评价结果。

为了提高微米级针孔缺陷的检出率，从视觉硬件选型与视觉算法两个方面入手，提出了基于显微成像与图像处理的针孔漏光缺陷检测算法。针对微米级针孔缺陷物理特征微小，普通成像方式难以稳定采集到清晰图像的问题，本文对视觉硬件：相机、镜头和光源进行组合测试，得到最佳配置与组合，完成视觉选型，得到稳定成像的缺陷图像。同时，针对针孔缺陷难以收集大数据样本，导致先验学习方式检测方式的不准确性问题，本文将工件底部面光源近距离背面打光，通过调高相机曝光时间，用来进一步补偿缺陷图像亮度，达到打光突出漏光孔缺陷的目的。最后，采用二值分割与轮廓查找，根据漏光孔面积特征，定位并计算漏光孔长轴，完成漏光缺陷检测。最后基于软件工程，把以上方法逐个实现，并集成在检测系统中。最后，测试了本文算法的检测精度。

1 针孔漏光缺陷检测

本文设计的基于显微成像与图像处理的针孔漏光缺陷检测技术过程见图1，其主要包含了: ①本研究主要达成两个目标：②针孔缺陷及其微小，提出了基于显微成像的视觉选型机制，使其既能满足视觉清晰度要求，同时兼顾成本的打光解决方案。③基于图像处理的缺陷检测。

图1 本文机制架构

1.1 基于显微成像的视觉选型

本文检测对象是工件表面针孔缺陷，该种穿孔缺陷的实际物理长轴多为微米级。传统的打光方式，由于缺乏集中穿透微米级区域的能力，很难在相机感光芯片上成像。且普通的定焦工业镜头由于放大倍率有限，也很难将针孔放大到图像可视范围内。由于显微镜头主要应用于高精度高要求的医学级检测，因此，本文耦合显微镜头与工业相机，将其运用于微米级针孔缺陷检查，同时引入基于底部光源的精确光流数照明缺陷打光技术来获取针孔图像。故本文经过反复选型实验，最终采用底部面光源照亮工件材料，从下往上打光。其中，光源的尺寸为50×50mm方形，光流参数为11000Lux，同时采用提高相机曝光参数对缺陷亮度进行补偿。由于目标微小，为微米级，同样经过 反复选型实验，最终选择显微镜头，放大倍率为500万，经过机构改装，完成从显微领域到工业领域的跨界应用。

相机分辨率为感光芯片上感光像元数，决定图像清晰程度，反映在成像上为图像像素矩阵的长和宽。根据项目工程基准，检测标准为25μm，视野范围12×9mm，精度要求5μm/pixel，经过计算(相机分辨率=视野范围/精度)，相机分辨率不低于432万像素，故选用500万像素的CMOS工业相机。

本文视觉硬件系统架构如图2a所示，硬件系统如图2b所示，由显微镜头、底部面光源等组成。最终成像结果如图3所示，图中左上角的白点即针孔缺陷，虽然微小，但经过本系统打光，已经可以在计算机上成像区分，可见达到了视觉选型打光成像目的。图中部的较大白色圆形，为工件材料上固有的基准圆，本文将此基准源作为Mark圆，以此圆心为坐标系原点，推算缺陷坐标，完成数据采集和电子履历化。

(a)视觉硬件架构

(b)视觉硬件实物图图2 本文缺陷检测硬件图

图3 针孔缺陷成像

1.2 基于图像处理的缺陷检测

得到微米级针孔缺陷图像后，开始设计图像处理算法和软件系统，见图4。如图3所示，为待处理原图，可见缺陷目标与背景分明，故本文采用canny检测算子[9-10]提取特征，其包含高斯平滑滤波、边缘像素赋值和方位角计算、局部极大值计算。

利用高斯平滑滤波器卷积处理图像：

成功平定白莲教后，嘉庆皇帝全面研究大清的形势，仔细审视之下，嘉庆皇帝发现，白莲教起义不过是大清王朝躯体上的一个疮口，体内的病症，比外在表现出来的要沉重得多。

S(i,j)=G[i,j,σ]·I[i,j]

(1)

式中，I(i,j)代表图像坐标((i,j)的像素值，G为高斯平滑函数，S((i,j)代表高斯卷积处理图像。

为了计算边缘像素值变化的方向性和幅度，需进一步计算图像像素S(i,j)的一阶有限差分偏导[11]：

P(x,y)=(S[i,j+1]-S[i,j]+
S[i+1,j+1]-S[i+1,j])/2

(2)

Q(x,y)=(S[i,j+1]-S[i+1,j]+
S[i,j+1]-S[i+1,j+1])/2

(3)

式中，P、Q分别代表图像在坐标(i,j)处的一阶偏导数，表示像素值在这两个方向的值变化趋势。

由于边缘上的点赋值和方位角都会比较大，为了判断像素点是否在边缘上，根据式(2)～ 式(3)，计算其赋值和方位角：

(4)

θ[i,j]=arctan(Q/P)

(5)

其中，M代表像素值变化赋值，θ代表像素值变化方向。

图4 缺陷检测算法过程

根据式(4)、式(5)的M与θ两个参数，求局部极大值，细化图像边缘，完成canny检测处理[12-13]，如图5所示，可见准确得到缺陷和基准圆边缘。但是存在断续，需对其进行膨胀处理：

D=B⊕S={x,y|Sxy∩B≠∅}

(6)

式中，S代表Canny处理完的图像像素值，S为膨胀结构分子(3×3单位矩阵)。

然后，采用霍夫变换[14-15]定位基准圆(MARK)：

R2=(x·cos(ϑ))2+(y·sin(ϑ))2

(7)

式中，R为圆半径，ϑ为曲率。

由式(7)构成基准圆边缘点集合方程，计算并记录圆心坐标，圆像素半径。由于该基准圆为标准园，物理半径已知，得到像素距离与物理距离转换比例，为后续缺陷物理长轴计算做好基础数据准备。如图8所示，准确定位基准圆，并标注圆心，以圆心为原点建立坐标系。计算得到缺陷物理长轴与坐标显示在系统UI中，如图9所示。

本文通过提出耦合高斯边缘检测、形态学膨胀、轮廓分析和特征计算的缺陷检测方法，同时以本身Mark为自参考物，有效解决了缺乏先验样本的问题。

图5 Canny分割结果

图6 膨胀结果

图7 缺陷定位结果

图8 坐标系建立结果

图9 缺陷检测结果

2 实验与讨论

本文检测技术结合视觉选型与图像算法实现微米级缺陷检出，而传统方式依靠普通打光与算法，将当前缺陷检出性能较好的技术即文献[5]、文献[6]设为对照组，并基于VS2015平台开发实现，算法实验参数如：相机曝光参数为99995μs、缺陷长轴基准为25μm、基准圆MARK半径为1.5mm。

本文开发的工件标定系统界面如图10所示，具有动态视频、静态图像显示、读码记录、曝光参数调整、缺陷定位计算、坐标记录的功能。检测图11中右上角针孔缺陷，图中部的较大白色圆形，为工件材料上固有的基准圆，本文将此基准源作为Mark圆，以此圆心为坐标系原点，推算缺陷坐标。首先利用Canny检测缺陷和基准圆边缘，在此基础上，膨胀处理得到强化后的边缘轮廓图像，如图12所示。然后分析轮廓长轴，定位缺陷位置并用红色标注针孔位置；以霍夫变换定位基准圆MARK并定位圆心建立坐标系，以绿色标准，如图13所示，最终将缺陷长轴和坐标在系统UI中显示，如图14所示。综合分析可见，本文开发的针孔缺陷检测系统准确检出不良。

而利用对照组文献[3]技术处理图11右上角的原图时，由于此技术未充分考虑特征成像不稳定，且依靠大数据样本做分析基础，在针孔缺陷图像极不明显的情况时，往往不能定位检出。如图15所示, 图像左上角缺陷成像及其微弱，最终无法检出并标注，如图16所示，将不良材料漏检为OK品，具有品质不良隐患。

而利用对照组文献[4]技术处理图11右上角的原图时，由于此技术未充分考虑特征成像不稳定，在针对微米级缺陷时，往往不能准确检出不良。如图17所示, 把基准圆误检为缺陷，如图18所示，NG数据远远超过标准不良，仍然具有品质不良隐患。

图10 系统界面

图11 原图

图12 Canny处理结果

图13 缺陷定位结果

图14 系统判断结果

图15 文献[5]成像定位结果

图16 文献[6]的检测结果

图17 文献[5]成像定位结果

图18 文献[6]检测结果

3 结论

本文提出了基于显微成像与图像处理的针孔缺陷检测系统，来实现微米级针孔缺陷的识别与检测。采用显微镜头与高精度光流的打光方式解决难以成像地问题。采用耦合Canny检测、膨胀处理、基准圆MARK定位等图像处理算法解决缺乏先验样本的针孔检测。最后抽取一帧针孔缺陷图像供本研究和对照组技术处理，以是否能对缺陷清晰成像、准确分割计算为客观评价依据，实验数据表明：本文检测算法可精确定位出微小缺陷的位置，并准确计算出缺陷长轴为27.63μm。利用显微成像融合图像处理的检测技术能够精确地检测工件表面上的纳米级微小缺陷，在产品质量在线检测领域具有较好的实际应用价值。

[1] 余建波,卢笑蕾,宗卫周. 基于局部与非局部线性判别分析和高斯混合模型动态集成的晶圆表面缺陷探测与识别[J]. 自动化学报，2016, 42(1):47-59.

[2] 王德会, 王喜顺, 方海涛,等. 自动螺丝锁付机器人控制系统研究及路径优化 [J]. 组合机床与自动化加工技术，2016(3): 107-110.

[3] Adriana Giret, Emilia Garcia, Vicente Botti. An Engineering Framework for Service-Oriented Intelligent Manufacturing Systems[J]. Computers in Industry, 2016, 81(9): 116-127.

[4] Qing-lin Guo, Ming Zhang. Multiagent-based scheduling optimization for Intelligent Manufacturing System [J]. The International Journal of Advanced Manufacturing Technology, 2010, 44 (5): 595-605.

[5] 董本志. 大数据环境下超声波焊缝缺陷识别方法的研究[J]. 计算机工程与应用, 2016, 23(2): 171-176.

[6] 徐科，基于Tetrolet变换的热轧钢板表面缺陷识别方法[J]. 机械工程学报, 2015,18(15): 42-47.

[7] Z johsdyan. Stable principal component pursuit-based thermographic data analysis for defect detection in polymer composites [J]. Journal of Process Control, 2015, 49:36-44.

[8] L Wang. Calculation of flexible printed circuit boards (FPC) global and local defect detection based on computer vision [J]. Circuit World, 2015, 42(2): 1201-1209.

[9] Tingnian He, Xiaohong Li, Yun Jiang. Improved HT Object Detection Algorithm Based on Canny Edge Operator[J]. Journal of Multimedia, 2014, 9 (9): 1089-1096.

[10] Mayur A Ingle, Girish R Talmale. Respiratory Mask Selection and Leakage Detection System Based on Canny Edge Detection Operator [J]. Procedia Computer Science, 2015, 78(10): 323-329.

[11] Weizhong Dai. An improved compact finite difference scheme for solving an N‐carrier system with Neumann boundary conditions[J]. Methods Partial Differential, 2011, 27 (2): 436-446.

[12] 左俊彦, 张建国, 钟涛. 基于Canny检测的股骨边缘轮廓连接算法[J]. 山东大学学报(工学版), 2015, 11(3): 65-72.

[13] Tai Kuang, Qing-Xin Zhu, Yue Sun. Edge detection for highly distorted images suffering Gaussian noise based on improve Canny algorithm [J]. Kybernetes, 2011, 40 (5): 883-893.

[14] Oliver J Woodford, Minh-Tri Pham, Atsuto Maki. Demisting the Hough Transform for 3D Shape Recognition and Registration [J]. International Journal of Computer Vision, 2014, 106 (3): 332-341.

[15] Md Saiful Islam, UiPil Chong. Improvement in Moving Target Detection Based on Hough Transform and Wavelet[J]. IETE Technical Review, 2015, 32 (1): 46-51.

(编辑 李秀敏)

Pinhole Light-Leaking of Work Piece Surface Defect Inspection Algorithm Based on Microscopic Imaging and Image Processing

LI Sheng-jun1，ZHENG Zhuo2

(1.Jilin Province Economic Management Cadre University, Changchun 130000, China；2.School of Information Science and Engineering，Shenyang University of Technology, Shenyang 110023, China)

In order to solve the material surface micro-scale pinhole defect feature is not obvious, hard to check out the problem, based on microscopic imaging and image processing is proposed pinhole light-leaking defect inspection system. First of all, the comprehensive analysis of vision inspection accuracy, coverage, and the complete visual system selection, achieve the goal of defect clear imaging. Then by using threshold segmentation and expansion processing image defect target, traverse contour extraction area, long axis, complete defect qualitative judgment. At last, the programming algorithm and system, to join the defect coordinate system model, test results show that compared with the current defect inspection methods, this system has higher defect detection ability.

light leakage defect detection；microscopic imaging; characteristics of long axis; traverse outline; defect quality judgment

1001-2265(2017)06-0141-04

10.13462/j.cnki.mmtamt.2017.06.036

2016-12-09；

2017-01-10

吉林省科技攻关项目(20141204307GX)；吉林省教育厅科学技术研究重点项目(2015-3018)

李胜军(1982—)，男，长春人，吉林省经济管理干部学院讲师，长春理工大学硕士研究生，研究方向为计算机应用、缺陷检测与识别、计算机软件，(E-mail)LishngJ1982jl@163.com ；通讯作者：郑灼(1973—)，男，江苏扬州人，沈阳工业大学副教授，博士，研究方向为材料表面技术、计算机应用，(E-mail)

TH165;TG506

A