基于深度学习的铝材表面缺陷检测

张旭 黄定江

摘要：随着信息技术在工业制造领域的深入应用，工业制造大数据研究正成为实现智能制造、帮助政府指导制造企业转型升级的重要参考依据.在传统的钢铁、铝材等金属制造行业，更是存在生产方式粗放、生产工艺简单等问题.因此，迫切需要利用人工智能等新一代信息技术来改善生产流程，提高生产效率.在使用铝材时，必须检查铝材表面.现有的铝材表面缺陷检测受限于传统人工肉眼检查，十分费力，或基于传统的机器视觉算法，识别率不高，通常不能及时准确地判断出表面瑕疵.为解决这些问题，利用深度学习来进行铝材表面缺陷检测：首先运用两大目标检测算法Faster R-CNN（Region-CNN（Convolutional Neural Networks））和YOLOv3对制作的铝材缺陷数据集进行检测;然后基于YOLOv3算法进行改进，提升铝材表面很小缺陷的检测效果.在广东工业智造大数据创新大赛提供的“铝型材瑕疵识别”数据集上进行了实验验证，实验结果显示，改进算法的平均精度均值（mean Average Precision.mAP）比YOLOv3算法高3.4%，比Faster R-CNN算法高1.8%。

关键词：铝材缺陷;检测;机器视觉;深度学习

中图分类号：TP391

文献标志码：A

文章编号：1000-5641（2020）06-0105-10

0引言

工业制造大数据是政府治理大数据最重要的类型之一，对其进行研究将为制造业企业向智能制造转型升级，并为地方政府在产业、人才引进和招商引资等方面提供重要决策参考.比如在传统的钢铁、铝材等金属制造行业，存在生产方式粗放、生产工艺简单等问题，因此迫切需要通过利用人工智能等新一代信息技术改善生产流程、提高生产效率.在铝型材的实际生产过程中，由于各方面因素的影响，铝型材表面会产生裂纹、擦花、起皮、起坑、划伤、杂色、脏点等瑕疵，这些瑕疵会严重影响铝型材的质量.为保证产品质量，对铝材表面进行机器自动化的缺陷检测变得十分重要.事实上，早在20世纪70年代，日本的新日铁、千叶、歌山等企业已在冷轧镀层板和电工钢板生产线上采用了“激光扫描表面缺陷检测系统”;20世纪80年代中期，德国尤格尔（Ungerer）公司开发出冷轧带钢表面缺陷自动识别系统“Fire”，它可以在线自动识别冷轧带钢表面缺陷.进入20世纪90年代以来，表面自动检测技术从早期的逐点激光扫描发展到逐行扫描的线阵CCD（Charge Coupled Device）技术，如德国的NANO Systems测量技术有限公司开发的NANO系统采用的是线阵CCD摄像头，该系统可以在带宽为1200mm、轧制速度为90m/min的情况下，检测最小尺寸为0.5mm的带钢表面缺陷;20世纪90年代初，华中理工大学罗志勇等采用激光扫描方法测量冷轧钢板宽度和检测孔洞缺陷，并开发了相应的信号处理电路，此后又开展了线阵CCD和面阵CCD检测技术的研究工作.

目前国际上常用的缺陷检测方法有：①涡流检测的方法;②红外检测的方法;③漏磁检测的方法;④机器视觉检测的方法.前3种方法由于其检测原理的局限性，导致其应用不够广泛，对于种类繁多的缺陷，其检测的效果无法达到令人满意的程度;第四种基于机器视觉的检测方法已经逐步取代前3种方法，在工业无损检测领域得到广泛运用，这得益于当今CCD技术、激光技术、计算机技术的快速发展.

机器视觉大多数基于普通的图像处理技术来对缺陷进行特征提取和检测.从不同的角度也可以对缺陷进行新的描述：①被边缘所包围的区域;②纹理不均匀的区域;③高低不平，有凹凸的区域.根据这几个特点，其对应的检测方法分别是基于边缘的缺陷检测方法、基于纹理的缺陷检测方法、基于凹凸不平整特点的缺陷检测方法.

近年来，深度学习在图像检测识别领域得到大量的应用，如文献[9-10]用卷积神经网络来进行表面缺陷检测.目前，目标检测任务在深度学习上有两个主流方法：第一个主流方法分为两步，即先得到一些锚点框，再对其进行分类和回归，如Fast R-CNN、Faster R-CNN等;第二个主流方法只有一步，即端到端的检测方法，如YOLO、SSD等.第一个主流方法精确度高，但是检测速度慢;而第二个主流方法的精确度不如第一个，但是检测速度比较快.这些目标检测的方法都是基于深度卷积网络.

本文主要针对目前铝材表面缺陷检测的实际问题，利用和扩展两大目标检测算法Faster R-CNN和YOLOv3来进行铝材表面缺陷检测，获得了较好的结果.首先运用Faster R-CNN和YOLOv3对制作的铝材缺陷数据集进行检测;然后基于YOLOv3算法进行改进，提升铝材表面很小缺陷的检测效果.本文在广东工业智造大数据创新大赛提供的“铝型材瑕疵识别”数据集上进行了实验验证，实验结果显示，改进算法的平均精度均值比YOLOv3的mAP高3.4%，比Faster R-CNN的高1.8%.4%，比Faster R-CNN的高1.8%.

1相关工作

在过去的十几年中，计算机视觉的目标检测研究大致分为传统的检测算法和基于深度學习的检测算法.在2013年之前，大部分目标检测都是基于手工的特征选择，HOG行人检测和SIFT特征点检测最为有名.但是对于提高检测精度的方法，人们大多数都只是在一些低层次的特征上进行算法改进，所以效果不佳.然而在1994年，LeNet卷积神经网络对手写字符识别与分类，准确率达到了98%;尽管受限于当时的计算机发展水平，这种卷积神经网络算法没有引起足够的关注，但是这一方法却奠定了现代卷积神经网络的基础.LeNet的体系结构见图1.

到了2012年，名为AlexNet的分类算法在当年的ImageNet比赛中获得了冠军.此后，卷积神经网络在计算机视觉中蓬勃发展，后续也出现了几个比较优秀的卷积网络，如VGG、ResNet等，这些卷积网络为后面的基于深度学习的计算机视觉研究打下了良好的基础.在目标检测中，Ross Girshick等人抓住这一机会，利用卷积神经网络对目标进行特征提取并检测，提出了区域卷积网络目标检测框架（R-CNN），精度上取得了比传统算法更好的结果，从这一篇文章开始，基于卷积神经网络的目标检测算法大量出现，并且精度越来越高.这些算法从不同的角度出发，有不同的分类方法：①从步骤上来说，可分为两步（two-stage）方法，如Fast R-CNN、Faster R-CNN等，一步（one-stage）方法，如YOLO等;②从有无锚点框上来说，可分为anchor-based方法，如Faster R-CNN和anchor-free方法、Densebox和FSAF等.这些算法有着各自的特点，既有优点，也有缺点：two-stage方法，检测精度比较高，但是速度相对较慢;one-stage则速度占优;anchor-based方法具有启发式特征选择，所以其结果可能不是最优的，最近的anchor-free的方法则克服了这一缺点，两者都为目标检测精度的提升做出了很大的贡献.本文将利用深度学习算法来对铝材缺陷检测进行研究.

3.3基础网络参数设置

实验中本文采用VGG-16和Darknet-53作为各算法的基础网络.虽然VGG-16结构最早用于图像分类，但是它在其他方面有着很大的成就，比如目标检测、语义分割等.这个网络模型有16层，包括13个卷积层与3个全连接层，并且有5个最大池化层.Darknet-53由一系列的1×1和3×3卷积层组成，总共有53个卷积层，但是这些卷积层中间也添加了一些与残差网络中shotcut类似的连接方式，使得网络结构更强大，本文只提供了Daknet-53的卷积网络结构，见图10.此网络结构比残差网络ResNet-101更好，速度提升了5倍.Darknet-53与ResNet-152具有相似的性能，但速度提高了2倍.

3.4实验分析

实验中，由于数据相对较少，为了有好的检测效果并且尽量全方位检测到缺陷，后面采用了数据增强的方法，对原有的数据进行旋转，旋转角度为90°，接着对数据加噪声和做镜像处理.这样训练数据就有10000张图片.训练过程中，进行了20000次迭代，随机梯度下降法可能下降缓慢，并且可能陷入局部最小值，所以引入momentum优化方法，并且其值设置为0.9，初始学习率设置为0.001，然后随着迭代次数增加来动态减小学习率.

下面讨论这几个算法所用到的损失函数.因为检测的是单瑕疵缺陷，所以分类损失函数一致采用的是二分类的交叉熵损失函数，即

3.5实验结果

使用文章中提到的3种检测算法对已有的数据进行实验，且3种算法采用了2种不同的基础网络，得出各算法的平均精度（mAP），结果见表2.从表2可以看出Faster R-CNN比YOLOv3的mAP的确高一点，从而验证了two-stage方法的准确率高于one-stage，改进的算法的mAP相对于前两个是有所提升的.但是3个算法的mAP都没有达到90%以上，对于工业生产来说，这种结果还是不能够满足必要的需求.

其中擦花和脏点两种缺陷的检测结果展示见图11和图12，图中较小的脏点也被准确地检测出来.

4总结与展望

本文主要针对目前铝材表面缺陷检测的实际问题，通过利用Faster R-CNN和YOLOv3以及基于YOLOv3改进的算法对基于广东工业智造大数据创新大赛提供的“铝型材瑕疵识别”数据集进行检测实验，实验结果显示，铝材表面上很小的缺陷检测效果得到了提升，改进算法的mAP比YOLOv3的mAP高3.4%，比Faster R-CNN高1.8%.但是由于正负样本偏差和实验数据集相对较小，因此实际的缺陷检测准确率在未来还有待进一步提升.在未来的研究中，将通过采集更多的数据，或通过混合钢材表面缺陷数据来进一步提升检测准确率.另外，本次实验主要是考虑了检测目标的大小问题，而通过对数据的研究發现，铝材表面的缺陷型状非常不规则，普通的卷积神经网络可能对不规则的物体检测效果不是很好，接下来的工作是对上述算法中所用的卷积神经网络进行改进，不必改变卷积网络层数或者网络结构，可以尝试改进卷积和池化的方式.