基于深度学习的微小元器件智能在线检测系统

丁成波，刘蜜，刘超

(贵州航天电器股份有限公司，贵州贵阳 550009)

0 前言

随着科学技术的迅速发展，航天航空技术也得到了相应的发展，各个系统所需要的元器件型号及种类逐渐增多，对其质量及检测过程要求也更加严格。目前微小元器件(如电容、电阻以及一些外形结构类似芯片)尺寸和表面缺陷的检测和识别方法主要是人工目识法，这种方法不仅劳动强度大、主观性强、效率低，检测人员视觉易疲劳，而且会经常出现错检现象，存在质量隐患。

因此，研究一种高速在线智能检测方法以适应微小元器件尺寸及表面缺陷检测的高效率、高精度要求十分必要。随着新一代深度技术的成熟和进步，与传统视觉算法相比，深度学习算法可以有效处理弱小缺陷、复杂场景、缺陷形态多变等增量场景，因此，在工业质检领域，运用计算机视觉技术替代纯人工检测成为可能。

基于此，本文作者构建了一套机器视觉和深度学习相结合的智能在线检测系统。该系统不仅可以实现多品种微小元器件的自动化在线检测，而且还能够对微小元器件表面缺陷进行识别,且系统检测效率高、稳定性强、识别准确率高。这种方法既满足自动化检测要求，又能有效解决传统自动化检测的难点，为实现多品种大批量微小元器件的尺寸、位置、方向和缺陷在线检测和识别提供了思路。

1 系统架构

该智能识别系统框架如图1所示，主要由传统的机器视觉识别模块和深度学习模块两个部分组成。传统的机器视觉主要对微小元器件的尺寸、位置和方向进行检测，而深度学习则用于微小元器件表面缺陷识别。

图1 系统架构

1.1 视觉硬件设计

此检测系统的视觉硬件结构示意如图2所示。其中相机采用的是500万像素的CCD 工业相机，镜头选用1倍倍率的物方远心镜头。光照系统采用的是环形带散射光源，该光源发射的光线经反射后可以完全进入镜头，成像质量比较好。

图2 视觉硬件结构示意

1.2 算法流程设计

整个系统算法过程如图3所示。首先将微小元器件摆放在载盘上并去除其表面附着的多余物或者灰尘；然后选择需要实现的检测功能，并启动设备；根据功能需求完成元器件的尺寸、定位、方向识别和缺陷检查等，最后对微小元器件表面缺陷进行识别。

图3 算法流程设计

2 基于机器视觉的图像处理

此套系统使用的图像处理算法如图4所示，主要包括了图像灰度增强、图像自动二值化、图像均值滤波、图像边缘特征提取以及模板匹配等图像处理过程。

图4 图像处理过程

2.1 图像灰度增强

在实际检测过程中图像的质量往往达不到理想状态，所以需要对图像进行一些增强处理以削弱外界环境对图像造成的噪声对图像质量的影响。

图像灰度增强是为了增强微小元器件区域和载盘背景区域的对比度，使灰度图像明暗对比显著。灰度增强是将灰度分段线性变换，将原图像某点(,)的灰度(,)映射成新的图像灰度(,)，即：

(,)=[(,)]

(1)

假设原图像(,)的灰度范围[,]，增强后图像(,)的灰度范围扩展至[,]。灰度增强的的函数表达式为

(2)

图5是几种常见微小元器件原始图像，图6显示了图像灰度增强后的图像。从图像中可以看出背景更黑、前景更亮了。

图5 几种常见微小元器件原始图像

图6 陶瓷滤波电容应用灰度增强后的正反面效果

2.2 图像的自动二值化

为了使微小元器件图像中特征信息和背景信息的对比度达到最佳效果，突出有用的特征信息，最终形成一幅灰度值只有0和1的图像，使用了一种自动二值化算法。算法原理如下：

假设图像尺寸是一幅×大小的图像,(,)是图像中点(,)处像素的灰度值，灰度级为，则(,)∈[0,-1]。若灰度级的所有像素个数为，则第级灰度出现的概率为

(3)

其中:=0,1,2,…,-1，且

(4)

若把图像中的像素按灰度级用阈值划分成两部分，即背景和目标。背景灰度级为0～-1，目标的灰度级为～-1。

背景和目标出现的概率分别为

(5)

(6)

其中:+=1

背景部分的平均灰度值为

(7)

目标部分的平均灰度值为

(8)

图像的总平均灰度值为

(9)

图像中背景和目标的类间方差为

()=(-)+(-)

(10)

令的取值从0～-1变化，计算不同值下的类间方差()，使得()最大时的那个就是所要求的最佳阈值。图7是图像经过自动二值化后的图像。

图7 二值化后陶瓷滤波电容正反面的图像

2.3 图像滤波

图像滤波是为了保证原有图像信息不被破坏的情况下尽可能地抑制干扰噪声，以期获得质量更高的图像。根据陶瓷滤波电容图像噪声特点，选取中值滤波来消除或削弱图像中的噪声。中值滤波是用图像像素点领域灰度值的中值来代替该图像像素点的灰度值。中值滤波实现原理如下：

(，)=Median{(-，-)，，∈}

(11)

式中：(，)为原始图像中点(，)的灰度值；(，)为图像滤波后的灰度值；为滤波窗口。

此系统采用中值滤波方法进行图像处理的效果如图8所示。

图8 应用中值滤波后的陶瓷滤波电容正反面效果

2.4 边缘直线特征提取

对微小元器件边缘直线的提取采用了霍夫变换算法。霍夫变换算法是将图像边缘每一个特征数据点转换成平面中的一条曲线，根据共线数据特征点对应的曲线相交于参数空间中一点的关系，让边缘直线的提取问题转化为计数问题。直线的参数方程为：=cos+cos：其中：表示原点到直线的垂直距离；表示从原点到直线的连线与水平线的夹角。通过上述方程就可以把一个点(，)转换成(，)的关系。通过霍夫变换算法提取到的陶瓷滤波电容器边缘直线如图9所示，图中红色线条表示陶瓷滤波电容的边缘轮廓曲线。

图9 陶瓷滤波电容正反面边缘直线轮廓特征

根据边缘轮廓曲线进一步可以检测出陶瓷滤波电容的尺寸(长度和宽度)、位置(中心坐标和倾斜角度)、方向(正面和反面)以及极性(阴极和阳极)。

3 微小元器件类型识别

3.1 模板匹配算法

模板匹配算法是将一张固定大小和方向的图像，运用相应的算法在一张大图像中搜索与该图像类似的目标图像的算法。其算法原理如下：

如若模板图像用(，)表示，表示模板图像宽度，表示模板图像；被搜索区域用(，)表示，表示搜索区域的宽度，表示搜索区域的高度；用(，)表示模板图像在被搜索区域中覆盖区域(，)的左上角坐标；模板图像(，)和模板图像在被搜索区域中覆盖区域(，)的相关性用(，)表示，那么：

(，)=

(12)

其中：水平和竖直两个方向上可以搜索的次数分别用和表示，=-，=-。因此，当模板图像在搜索区域完全搜索完成后，计算出最大(，)用(,)表示。并将(,)与设定的阈值进行比较，若大于阈值则表示该覆盖区域与模板图像匹配，反之则不匹配。

3.2 实验及结果分析

根据模板匹配算法原理，首先建立如图10所示陶瓷滤波电容正反面的模板样图，接着随机抽取外观正常的陶瓷滤波电容、电阻和三极管各33个随机放入载盘(一个载盘可以放置100个产品)中进行实验，最后记录系统分类数据。

图10 陶瓷滤波电容正反面模板样图

在测试过程中将系统检测结果与人工检测结果进行对比，其结果如表1所示。

表1 几种常见微小元器件混合检测实验结果 单位：个

从表1可以看出:该系统可以准确识别出各类微小元器件的类型，其识别准确率均达到了100%。并且经过人工复核发现该系统能够准确检测出产品的尺寸、位置、方向以及极性。

4 基于深度学习的缺陷识别

4.1 模型建立

卷积神经网络(CNN)预测原理示意如图11所示，输入的样本图像首先经过两层卷积层(Conv+Relu)，网络模型从图像中初步学习和提取特征；然后进入池化层(Max Pooling)，前两个卷积层所提取的信息被压缩；接着图像前向传播依次再经过3个卷积层，进一步提取学习图像中的特征；最后进入最大池化层压缩信息，传入全连接层，特征矩阵2维压缩为一维特征向量，再由softmax将一维特征向量映射到具体的某一个分类。

图11 CNN预测原理示意

4.2 学习效果评价

在采集大量微小元器件图像后，将缺陷类别主要分为划痕、多余物、色斑和缺损，如图12所示。

图12 不同缺陷类型图像

根据缺陷存在的实际情况将图像切分为4个部分。如图13所示。

图13 区域分割

接着经过人工标注，设计并建立深度学习网络，设置初始参数。并将人工标注的样本图像输入，进行模型训练。该模型训练效果如图14所示，其最终学习准确率达96%。

图14 模型训练效果

进一步地，设计数据记录与统计模块，模型训练完成后在检测装置视觉模块中试运行，机器筛选与人工筛选串行(系统筛选后人工筛选)，收集系统的分选准确率。首先人工挑选陶瓷滤波电容、电阻和三极管有缺陷和无缺陷产品各15只；接着随机将90只产品放入载盘中进行检测并记录检测时间；最后将系统检测的每一只产品结果与人工复核结果按一一对应的方法进行比较，其结果见表2。

表2 几种常见微小元器件缺陷检测实验结果 单位：个

从表2中可以得出:缺陷识别准确率为95.56%，其中无法识别类的4个产品经过人工复核发现其缺陷特征不显著，受光照影响后特征进一步被削弱导致系统无法识别。

另外，根据系统记录时间检测90个产品总耗时约为30 s，平均检测效率约为0.344 s/个。人工检测90只产品约耗时2 min，较之效率约提升了4倍。

5 结论

针对微小元器件的尺寸、位置、方向和缺陷自动化在线检查和识别难的问题，提出了一种基于机器视觉和深度学习相结合的智能在线检测方法，该方法构建的系统检测效率约0.344 s/个，尺寸、方向和位置检测准确率达100%，缺陷识别准确率约为95.56%。相比传统的人工目识法具有识别准确率高、稳定性强优点，具有良好的实用价值，同时也为实现了大批量多品种的微小元器件在线检测提供了参考。