基于FasterR—CNN的圆柱形金属工件表面缺陷检测

徐秀 宣静怡 曹桐滔

摘 要： 为有效进行圆柱形金属工件表面缺陷检测，设计一套利用深度学习框架——Faster R-CNN的表面缺陷检测系统。该系统算法利用Resnet网络进行特征提取，采用RPN方法提取缺陷的候选目标矩形区域，再利用Fast R-CNN在候选区域基础上进行缺陷检测。此外，为克服金属表面反光并获得高质量图片，设计一套合适的图像采集系统。实验表明，该检测系统能有效克服光滑金属表面的强反射，从而获取高质量图片；同时利用基于Faster R-CNN框架的方法进行缺陷检测，较好地解决了圆柱形金属表面缺陷检测能力弱的问题，在置信度阈值为0.9时，其查全率为95.0%，查准率为96.0%，检测速度为65ms/幅。

关键词：圆柱形金属工件；表面缺陷检测；Faster R-CNN；深度学习；低对比度缺陷；机器视觉

DOI：10. 11907/rjdk. 182498

中图分类号：TP319 文献标识码：A 文章编号：1672-7800（2019）005-0130-04

Abstract： A surface defect detection system is proposed in this paper for the quality inspection of cylindrical workpieces. The surface defect detection algorithm is based on Faster R-CNN. Firstly， the Resnet network is used to extract the feature map. Then the RPN is adapted to extract candidate rectangle area. Finally， the defects are detected by Fast R-CNN. Whats more， to overcome the reflection of metal surface and get high quality pictures for detecting， an image acquisition system is designed. Experiments show that the system has an advantage in overcoming the reflection of metal and getting high quality pictures of cylindrical metal workpieces. Meanwhile the detection algorithm based on Faster R-CNN can effectively detect defects. When the confidence threshold is 0.9， the recall rate is 95.0% and the precision rate is 96.0%，and the speed of detection is 65ms per picture.

Key Words： cylindrical metal workpieces； surface defect detection； Faster R-CNN； deep learning； low-contract defects； machine vision

0 引言

圓柱形金属工件是一类典型的零件形态，被广泛应用于各种产品中。为保证工件质量，通常需要对该类工件进行表面缺陷检测[1]，缺陷类型包括划痕、孔洞、污渍、锈迹等。传统人工品质检测方式检测效率低、效果差，无法满足大批量生产的需求。因此，在实际生产过程中，越来越多的厂家采用机器视觉（光电）技术进行工件表面缺陷自动检测。

金属工件表面缺陷检测是光电检测中的难点，近年来，国内外学者进行了大量研究。然而金属表面缺陷检测技术目前仍然面临着如光照不均、缺陷与非缺陷之间对比度低、噪音与细微缺陷相似度高等问题，造成识别精度低、检测速度慢等问题[2-3]。目前用于金属工件表面缺陷检测的机器视觉方法可以根据是否需要先验知识即无缺陷模板，划分为两大类[4]：第一类方法是基于模板匹配的，将无缺陷的模板图像与待检测图像进行对比，若有明显差异的部分，则作为有缺陷的部分。该方法要求待检测图像与模板图像之间必须拥有精确的匹配度，否则容易出现误检、漏检等情况[4-5]；第二类方法利用图像特征，从图像灰度值直方图、颜色、纹理等特征入手，提取能够区分无缺陷图与有缺陷图的差异特征向量，然后设计分类器，经过训练、调整参数后得到最佳网络。在检测时，利用预先训练好的分类器实现对目标图像的实时特征提取，判别是否存在缺陷及是哪种缺陷[6-8]。该方法虽然检测速度快，但仅适用于背景简单且缺陷特征较明显的场合，因为以上特征提取方法都不可避免地会遗漏某些细节特征。

在利用卷积神经网络等深度学习算法对图像进行特征提取的思想启发下，相继有研究人员提出利用卷积神经网络原理进行目标检测的算法。本文基于深度学习框架Faster R-CNN设计一套适用于圆柱形金属电镀件表面缺陷检测的算法与系统，以克服由于金属表面强反射造成的光照不均问题，并有效进行缺陷识别。

1 Faster R-CNN缺陷检测算法

继RCNN、Fast R-CNN[9]之后，Faster R-CNN[10]是目标检测界领军人物Ross Girshick及其团队在2015年的又一力作，目前被应用于多个领域目标检测[11-14]。Faster R-CNN 算法由两大模块组成：①区域建议网络（Region Proposal Network，RPN）候选区域检测模块；②Fast R-CNN检测模块。RPN与Fast R-CNN共享特征网络。其中，RPN是全卷积神经网络，用于提取候选框；Fast R-CNN基于RPN提取的候选框检测并识别候选框中的目标，其结构如图1所示。

1.1 特征提取

在提取图像特征上，卷积神经网络[15-16]具有优越性。卷积神经网络具有权值共享网络结构，降低了网络模型复杂度，减少了权值数量。另外，在图像处理时，可以直接将图像作为网络输入，避免了传统识别算法中复杂的特征提取与数据重建。在Faster R-CNN框架下，本文使用Resnet[7]网络进行特征提取，生成特征图，区域建议网络与Fast RCNN检测均在该特征图基础上进行。

1.2 区域建议网络RPN

区域建议网络（Region Proplsal Network，RPN）是一个全卷积网络，用于提取高质量的候选框，解决了选择性算法（Selective Search，SS）[18]的速度瓶颈，大幅提高了目标检测速度，在训练时将RPN放于最后一个卷积层后面。RPN网络的作用是输入一张图像、输出一批矩形候选区域，其网络结构如图2所示。构建区域建议网络RPN的具体流程为：使用一个小滑动窗口（3*3的卷积核）在最后卷积得到的特征图（feature map）上进行滑动扫描。经过滑动卷积后，映射得到一个D维向量，最后将该D维向量送入两个全连接层中，即候选框位置回归层与分类层，以获得位置信息与分类信息。其中位置回归层输出候选框的4个相关参数（x，y，w，h），包括候选框中心坐标x和y、宽w和长h；分类层输出目标与非目标概率。

每个滑动中心对应k个锚框，每个锚框对应一种尺寸与一种长宽比，如图2右侧所示。Faster R-CNN中RPN使用3种不同尺寸以及3种不同比例（1∶1，1∶2，2∶1）组合成9种不同大小的锚框预测包含目标的窗口位置，可以使寻找到的候选区域更加准确。在对样本进行测试时，输入图像经过最后一层卷积层后输出，再通过RPN产生大量候选框。候选框数目很大且重叠区域多，为提高检测效率，使用非极大值抑制法对候选框进行过滤。

1.3 缺陷识别

通过RPN获得候选区域后，Faster R-CNN利用Fast R-CNN进行检测。RPN与Fast RCNN共享卷积特征，Fast RCNN在RPN提供的高质量区域建议网络的基础上进行目标识别，目标检测速度得到了大幅提高。对候选区域进行训练，在训练时，通过一种交替运行优化方法使RPN与Fast R-CNN共享卷积特征。

2 实验系统与实验过程

2.1 实验系统

为验证算法有效性，采用直径为7.5mm、全长为16.5mm的圆柱形金属工件进行实验，其表面主要缺陷为划痕。本文缺陷检测系统包括图像采集与图像处理两部分。检测系统原理如图3所示。在图像采集系统中，为避免光学照明不均[19-20]，采用适用于高反光表面检测的环形无影光源；为采集到完整的柱面图像，设计一个旋转平台，如图4所示，包括伺服电机、弹簧、顶针、导轨等。通过E2V公司的Eliixa 4K MONOCHROME线阵相机，其分辨率为8192pixel，像元尺寸5[μm]及silicon的图像采集卡配合光源、旋转机构等，获得金属圆柱工件清晰的表面展开图。图5（a）为采集到的有缺陷的圆柱形金属工件的表面展开图，图片克服了光滑金属的高反光。获得图像后，将图像信息传输到计算机中保存，然后图像处理模块对工件进行缺陷检测。在图像处理中，硬件平台GPU为：LEADTEK GTX1060，操作系统为Ubuntu 16.04平台，基于深度学习库Keras进行。

2.2 实验数据集与训练检测模型构建

本文选择2 000个含有缺陷的图片作为训练集，500个混合样本作为检测集。在训练前，先通过LabelImg对缺陷目标进行标注，在标注目标完成后，每个标注图片保存为一个XML文件作为训练样本。本文使用Keras框架实现卷积神经网络模型，锚框尺度分别为8、16、32，长宽比为2∶1、1∶1、1∶2，设置IOU阈值最大值为0.7，最小值为0.3。在训练时，使用Resnet网络进行特征提取，获得特征图。在特征图基础上，RPN与 Fast R-CNN网络共享卷积特征，进行交替训练，迭代次数为8 000，获得检测模型。

3 实验结果与分析

本次实验评价标准中用查全率recall、查准率precision及检测时间评价检测效果。各指标如下所示。

由表1可以看出，当置信度阈值过低时，由于金属表面光照不均及工件本身自带的凹槽，易将凹槽部分误认为缺陷，导致查准率较低。当置信度阈值过高时，会忽略很多置信度值低于阈值的缺陷，造成漏检，导致查全率偏低。综合考虑，当置信度為0.9时，检测效果最佳。由表2可以看出，本文算法与文献[21]的算法相比，查全率与查准率基本相同，但是检测时间上，本文算法优势明显。由于文献[21]的方法运算量主要集中于背景图像的自适应平滑上，运算时间成本较高，而本文采用的Faster R-CNN方法在RPN提供的高质量候选区域上进行目标检测，实现端到端的检测，大大提高了检测速度，平均检测时间为每幅65ms左右。由图7可以看出，本文算法对于人眼不易察觉、对比度较低，且大小为2mm～ 3mm的缺陷也有效。由此可见，本文缺陷检测系统对圆柱形金属表面缺陷检测正确率高且速度快。

4 结语

在利用光电检测方法进行表面缺陷检测时，由于金属工件表面存在强反射现象导致图像光照不均，导致检测效果低下。本文设计了一套包含线阵相机、环形无影光源、机械旋转系统等的图像获取系统，克服了高光影响，获得了高质量的圆柱形金属工件展开图，为检测算法实施提供了保障。该系统使用基于Faster R-CNN的深度学习框架进行缺陷检测，相较传统方法，其检测正确率及检测速度均有明显优势。然而，使用基于Faster R-CNN深度框架进行检测时训练时间过长，导致在正式进行检测前准备时间较长，下一步工作将围绕回归窗函数改变候选框数量进行修改，以缩短训练时间。

参考文献：

[1] SU J H，LIU S L. Measure system of surface flaw and morphology analysis of cylindrical high precision parts[J]. Laser & Optoelectronics Progress， 2014， 51（4）： 041202.

[2] 罗菁，董婷婷，宋丹，等. 表面缺陷检测综述[J]. 计算机科学与探索，2014（9）：1041-1048.

[3] 汤勃，孔建益，伍世虔. 机器视觉表面缺陷检测综述 [J]. 中国图象图形学报，2017（12）： 1640-1663.

[4] 韩斌. 计算机视觉检測中的若干问题研究及应用 [D]. 无锡：江南大学，2009.

[5] 孙宝华，韩跃平，徐青，等. 基于SURF算法的产品表面缺陷检测研究[J]. 红外技术， 2014， 36（6）： 503-507.

[6] 张学武，丁燕琼， 闫萍. 一种基于红外成像的强反射金属表面缺陷视觉检测方法[J]. 光学学报， 2011， 31（3）： 112-120.

[7] LIU H，GUO S， CHEN Y F， et al. Shearography using wave-defect interactions for crack detection in metallic structures[C]. Washington D. C. ：Proceedings of the 2017 IEEE International Ultrasonics Symposium （IUS）， 2017.

[8] 李明，刘悦. 基于支持向量机的金属表面缺陷检测算法[J]. 世界有色金属，2017，65（2）： 120-121.

[9] GIRSHICK R. Fast R-CNN[C]. Proceedings of the 15th IEEE International Conference on Computer Vision， 2015：1-9.

[10] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real- time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）： 1137-1149.

[11] 史凯静，鲍泓，徐冰心，等. 基于Faster RCNN的智能车道路前方车辆检测 [J]. 计算机工程，2018，44（7）：36-41.

[12] 李伟山，卫晨，王琳. 改进的Faster RCNN煤矿井下行人检测算法[J]. 计算机工程与应用，1-16. [2018-06-21]. http：//kns.cnki.net/kcms/d LI Weishan.

[13] 戴陈卡，李毅.基于Faster RCNN以及多部件结合的机场场面静态飞机检测[J].计算机应用，2017，37（S2）：85-88.

[14] SHI Y，LI Y，WEI X，et al. A faster-RCNN based chemical fiber paper tube defect detection method [J]. 2017，173-7.

[15] YI L， LI G， JIANG M. An end-to-end steel strip surface defects recognition system based on convolutional neural networks[J]. Steel Research International， 2017， 88（2）： 1600068.

[16] WEIMER D， SCHOLZ-REITER B， SHPITALNI M. Design of deep convolutional neural network architectures for automated feature extraction in industrial inspection[J]. CIRP Annals， 2016， 65（1）： 417-20.

[17] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. Las Vegas：The 29th IEEE Conference on Computer Vision and Pattern Recognition， 2016.

[18] UIJLINGS J R R，VAN DE SANDE K E A，GEVERS T，et al.Selective search for object recognition[J]. International Journal of Computer Vision， 2013， 104（2）： 154-171.

[19] 栗琳. 基于视觉的高反射球面缺陷快速检测关键技术研究 [D].天津：天津大学，2013.

[20] 张静， 叶玉堂， 谢煜， 等. 金属圆柱工件缺陷的光电检测 [J]. 光学精密工程， 2014， 50（7）： 1871-1876.

[21] 闵永智，岳彪，马宏锋. 基于图像灰度梯度特征的钢轨表面缺陷检测[J]. 仪器仪表学报，2018，39（4）：220-229.

（责任编辑：江 艳）