基于机器视觉的透明塑料件缺陷检测

关日钊，吴 磊，徐焯基

（广东工业大学机电工程学院，广东 广州510006）

0 引言

在实际生产中，产品表面缺陷问题一直是企业十分重视的问题。随着图像处理技术的的不断发展，基于机器视觉的物体表面缺陷检测方法成为了快速而且有效的检测方式之一。国内外学者对此进行了大量的研究。从研究方法来看主要分为三种：基于传统图像处理方法、基于机器学习方法和基于深度学习方法。国内周江[1]等通过二值化和闭操作对图像进行预处理，然后将目标区域面积和模版区域面积进行了差分运算，选出差值大于规定值的区域作为缺陷区域，实现了磁钢片裂纹缺陷检测；国外的Jae Y.LEE[2]等研究了利用自适应阈值方法对液晶显示器表面的区域进行缺陷检测。传统的机器学习方法方面，国内胡方尚[3]等针对印刷品缺陷检测的问题，提出了一种基于改进多类支持向量机（SVM）的印刷缺陷检测方法，与传统的一对一型向量机方法相比，其检测速度更快和识别准确率更高。国外Siyang Tian[4]等提出了一种结合遗传算法的改进极限学习机（ELM）机器学习方法对热轧钢板表面缺陷的进行检测识别，最高识别精度可以达到98.46%，满足了实际工业生产需要。在2012年，Hinton课题组通过构建CNN网络AlexNet[5]在ImageNet图像识别比赛中一举得到冠军，自那年起，深度学习正式进入一个快速发展期。在缺陷检测方面，余永维[6]等提出了一种基于深度学习特征匹配的铸件缺陷三维定位方法，定位误差小于5.52%.国外的Shahrzad Faghih-Roohi[7]等提出了一种基于深度卷积网络的钢轨表面缺陷检测方法，检测准确率达到了92%.

本文研究的对象是一种透明塑料制品，其缺陷为裂痕缺陷，如图1所示。

图1 透明塑料制品，其缺陷为裂痕缺陷图

对于这种裂痕检测难点主要有两个，一个是塑料表面具有竖直方向和与水平方向夹角10度条纹，容易与裂痕混淆；另外一个是在相同强度背光光照下，每一个塑料件由于材料不均匀导致透光程度不一样，利用传统的模版差分方法显然存在问题。针对上述两个难点，本文分别以基于SVM机器学习方法和基于Faster R-CNN深度学习方法对透明塑料件进行裂痕缺陷检测，实验结果表明，基于Faster R-CNN检测方法的效果优于基于SVM检测方法的效果。

1 基于HOG+SVM检测

1.1 HOG特征

方向梯度直方图（Histogram of Oriented Gradient，HOG）是一种用来边缘和形状信息的特征描述子。首先将图像分成小的连通区域，称作细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图，最后把这些直方图组合起来就可以构成特征描述器[8]。其计算过程如图2所示。

图2 HOG计算流程图

其中计算图像梯度需要分别计算横坐标和纵坐标方向的梯度，如（1）式所示。

式中Gx（x，y），Gy（x，y），H（x，y）分别表示输入图像中像素点（x，y）处的水平方向梯度、垂直方向梯度和向数值。

根据（1）式中的结果计算每个像素位置的梯度幅值和方向值，如（2）式所示。

经过图1的一系列计算过程后，会得出一个由多个block直方图向量组成的HOG特征向量，图3为透明塑料件的可视化HOG特征图。

图3 HOG可视化特征图

1.2支持向量机（SVM）

支持向量机是一种有监督的机器学习算法，通常用于解决分类问题和回归分析问题[9]。该算法将向量映射到一个高维空间里，在这个空间里面建立一个最大间隔的超平面，使两个平行的超平面之间的距离达到最大化，如图4所示，整个算法可以用（3）式描述：

其中ω和b是超平面的参数，（xi，yi）为点集。

图4 SVM原理图

1.3实验步骤

在利用SVM训练之前，需要采集正负样品作为训练样品。本实验选择正负样品各850个，其中负样品为塑料制品的裂痕区域图像，而正样品为非裂痕区域图像。整个实验流程如图5所示。

图5 SVM训练流程图

在测试阶段，本实验选择有、无裂痕塑料件图像各60张作为测试样品，通过滑窗方式提取局部图像的HOG特征，然后输入到SVM输出的模型进行分类。具体实验数据将在第4小节展示，图6为部分实验结果，图中框选出来的部分为裂痕区域。

图6 SVM检测结果图

2 基于Faster-R CNN检测

目标检测技术就是将原始图像中的区域（Region of Interest，ROI）从原始图像的背景中加以区分出来，并准确定位ROI区域的位置[9]。在2012年的ImageNet竞赛中，Alex等人组成的团队采用的卷及神经网络CNN[10]在图像分类中和目标定位中分别达到84.7%和39.1%的正确率。相对传统的机器学习方法无论在速度上还是正确率上都有明显的提高。随后Ross Girshick等人在此基础上提出了基于CNN特征图的区域定位网络结果模型R-CNN[11]以及R-CNN网络结构模型的改进模型Fast R-CNN[12]和Faster R-CNN[13]，进一步地提高了目标检测定位的正确度和速度。

2.1 Faster R-CNN框架

Faster R-CNN框架可以简单地看作由区域生成网络（Region Proposal Networks，RPN）和 Fast R-CNN组成，如图7所示。整个框架包括四个基本步骤：候选区域生成，特征提取，分类，位置精修。

图7 Faster R-CNN结构图

图中RPN是全卷积神经网络，用于提取候选框，而Fast R-CNN对RPN生成的候选框进行目标识别和定位。与其它目标检测框架不同的是，Faster RCNN并没有限制原始图输入的大小，这样可以避免由于对原图进行缩放而丢失一些细节特征。此外，框架对Fast R-CNN和RPN进行了一个权值共享的操作，减少了训练参数，有效地降低了网络的计算量和训练难度。

2.2区域生成网络（RPN）

RPN的核心思想是使用CNN卷积网络直接生成候选区域，跟其它目标检测框架的Selective Search方法一样。本质上就是在最后的特征图上进行滑动窗口操作，由于锚子（anchor）机制和边框回归的原因，最终可以得到 1∶1、2∶1、1∶2 三种尺度长宽比的候选区域。

整个过程如图8所示，使用一个n×n（论文取3）的滑动窗口在特征图上滑动扫描，然后通过一个全连接层把每一个滑窗位置映射到一个低维的特征向量，对于ZF网络是256维。每个滑窗位置考虑k（论文取9）中可能的候选区域，这就意味着每个滑窗位置会同时预测最多9个候选区域，对于一个W×H的特征图，就会产生W×H×k个候选区域。接着将低维的特征向量输入两个并列的全连接层，即reg回归层和cls分类层，其中reg回归层预测候选区域的坐标，cls分类层判断候选区域属于前景还是背景。

图8 RPN原理图

2.3实验步骤

本实验的实验环境是Caffe+GTX1070，利用ZF-Net模型进行微调（fine tune），微调是指利用已经训练好的模型的参数进行网络参数的初始化，这样可以节省训练时间和提高训练的精度。为了防止梯度过大，网络初始学习率为0.001，权重衰减率为0.0005，动量设置为0.9.此外训练样品共850张图片，训练迭代次数为3万次，类别数目为2，分别是裂痕和背景。总体流程如下图9所示。

图9 Faster-RCNN训练流程图

在前期处理阶段需要对训练样品进行预处理，拉普拉斯滤波作为一种多尺度分析工具能使训练样品经过滤波后展现更多的纹理特征。同时拉普拉斯式一种微分算子，可定义为（5）式：

其离散形式为（6）式

它的应用可增强图像中灰度突变的区域，减弱灰度缓慢变化区域[15]，达到一个锐化的处理效果，如图10所示，经过拉普拉斯处理后的图片，纹理特征更加突出明显。

图10 拉普拉斯效果图

图11为训练阶段中总的损失值随迭代次数的变化曲线图，从图中可以看出损失函数在迭代到15 000次的时候已经趋于收敛。

图11 Faster-RCNN损失曲线图

最后通过利用训练出来的模型可以对测试样品进行测试，图12为部分测试结果，图中框选出来的部分为裂痕区域。

图12 Faster-RCNN检测结果

3 实验结果分析

对比实验中采用正负样品图片各100张，具体实验数据表1所示。

表1 实验结果

从表中可以看出，基于传统的SVM机器学习检测方法的准确率和召回率比基于Faster-RCNN检测方法分别低20%和11%.在时间上，基于Faster-RCNN检测方法用时比基于SVM检测方法要短。此外，根据图5和图11中的检测结果来看，在检测到裂痕的情况下，基于Faster R-CNN方法在定位上更加的准确，框选的部分几乎为裂痕的最小包围盒。

4 结束语

本文研究的课题为透明的塑料制品的裂痕检测问题。从传统的HOG+SVM机器学习方法和基于Faster R-CNN的方法进行分析和对比。实验表明，基于Faster R-CNN的方法从准确率、处理时间和定位精度上来看，比基于HOG+SVM的方法效果更好。综合各方面因素考虑，深度学习在缺陷检测领域中发挥的作用将越来越大。

参考文献：

[1]周 江，任 锟，帅英琦，等.基于机器视觉的磁钢片缺陷检测研究[J].机电工程，2014，31（12）：1541-1546.

[2]Lee J Y，Yoo S I.Automatic detection of region-mura defect in TFT-LCD[J].IEICE TRANSACTIONS on Information and Systems，2004，87（10）：2371-2378.

[3]胡方尚，郭 慧.基于改进多类支持向量机的印刷缺陷检测[J].华东理工大学学报：自然科学版，2017，43（1）：143-148.

[4]Tian S，Xu K.An Algorithm for Surface Defect Identification of Steel Plates Based on Genetic Algorithm and Extreme Learning Machine[J].Metals，2017，7（8）：311.

[5]Krizhevsky A，Sutskever I，Hinton G E.Imagenet classifica tion with deep convolutional neural networks[C]//Advances in neural information processing systems.2012：1097-1105.

[6]余永维，杜柳青，曾翠兰，等.基于深度学习特征匹配的铸件微小缺陷自动定位方法[J].仪器仪表学报，2016，37（6）：1364-1370.

[7]Faghih-Roohi S，Hajizadeh S，Nú ez A，et al.Deep convo lutional neural networks for detection of rail surface defects[C]//Neural Networks（IJCNN），2016 International Joint Confer ence on.IEEE，2016：2584-2589.

[8]Omid-Zohoor A，Young C，Ta D，et al.Towards Always-On Mobile Object Detection：Energy vs.Performance Tradeoffs for Embedded HOG Feature Extraction[J].IEEE Transactions on Circuits and Systems for Video Technology，2017.

[9]Dugad S，Puliyadi V，Palod H，et al.Ship intrusion detec tion security system using image processing&SVM[C]//Nascent Technologies in Engineering（ICNTE），2017 Inter national Conference on.IEEE，2017：1-7.

[10]颜伟鑫.深度学习及其在工件缺陷自动检测中的应用研究[D].广州：华南理工大学，2016.

[11]Krizhevsky A，Sutskever I，Hinton G E.Imagenet classifi cation with deep convolutional neural networks[C]//Advances in neural information processing systems.2012：1097-1105.

[12]Girshick R，Donahue J，Darrell T，et al.Rich feature hier archies for accurate object detection and semantic segmenta tion[C]//Proceedings of the IEEE conference on computer vi sion and pattern recognition.2014：580-587.

[13]Girshick R.Fast r-cnn[C]//Proceedings of the IEEE interna tional conference on computer vision.2015：1440-1448.

[14]Ren S，He K，Girshick R，et al.Faster R-CNN：Towards real-time object detection with region proposal networks[C]//Advances in neural information processing systems.2015：91-99..

[15]姚海波，蒋建国，齐美彬，等.拉普拉斯与双边滤波的图像去运动模糊算法[J].传感器与微系统，2017（1）：139-142.