基于深度学习的高精度外观缺陷检测研究

汪承研， 石伟萍， 李玉玲， 张 勇

（1.广东机电职业技术学院， 广东 广州 510515； 2.东北财经大学， 辽宁 大连 116025；3.深圳威斯特姆智能技术有限公司， 广东 深圳 518000）

0 引言

机器视觉在识别、尺寸测量、缺陷检测、定位引导等方面的应用已经较为普遍，尤其在缺陷检测场景，比如零件的缺料、裂纹、多料等缺陷，在精度要求不高的情况下，机器视觉可以完全替代人眼， 并且检测准确度可以得到非常好的重复性。 但是，有些缺陷的检测精度要求很高，而且呈现出多样性和不可预测性， 传统的机器视觉算法已经无法满足应用需求， 随着人工智能的深度学习算法发展，将其和机器视觉的缺陷检测应用结合起来，是提供外观缺陷检测精度的重要方法之一。

1 国内外研究现状、存在的问题及发展趋势分析

1.1 国内外研究现状

在运用机器视觉进行结构件特征和缺陷高精度检测研究方面，国内科研机构近些年开展了相应的研究。 五邑大学科研工作者开发了一种基于机器视觉的盘纸轮廓直径和宽度大小的检测模型， 该检测模型是以霍夫圆检测和canny 边缘检测算法作为设计基础， 通过提取盘纸轮廓来实现圆心坐标、直径和宽度大小的检测。 运用图形进行细化后所提取的轮廓骨架， 确定边缘像素的特征点位置， 运用最小二次函数乘法将特征点位置的坐标进行拟合，标定其极限值偏差，判定产品的合格性，其宽度检测误差在0.8mm 左右[1]。西南交通大学的科研工作者研究了基于机器视觉的航空铆钉尺寸检测技术，使用OpenCV 作为开发平台， 采用阈值分割算法与分水岭算法进行图像分割；同时，通过平滑处理、形态学、轮廓提取算法完成图像处理，实测结果表明，其测量精度可以达到0.01mm[2]。

1.2 当前存在的问题

机器视觉的应用虽然蓬勃发展， 但是在机器视觉应用本身的智能化程度并不高， 根据对机器视觉在缺陷检测方面的需求调研，主要问题表现在两个方面：

（1）测量精度问题。 受被测零件外表面不同的反光效果，光源和镜头，以及被测零件的定位精度等影响，缺陷检测精度和准确度还有较大的提升空间， 主要是一些处于临界识别状态的缺陷难被识别出来， 有一些缺陷有较大比例的误判。

（2）调测参数繁多。 检测前需要设定较多的前置参数，包括特征形状，颜色，光源，大概尺寸，相对定位等，人工进行参数调试时有可能因为经验不足导致设置不合理，直接影响检测的精度，调测成本较高。

1.3 发展趋势

技术上， 机器视觉本身属于人工智能和模式识别一个子学科，机器视觉的处理对象就是视频和图片数据，随着人工智能技术的发展，深度学习将与机器视觉紧密结合起来，一方面在海量数据中挖掘新的价值，另一方面将有助于解决机器视觉应用中需要人工干预过多的问题。随着设备分辨率的提升和软件算法的改善，融合人工智能技术的机器视觉的处理速度和精度都会得到同步提升。

2 机器视觉缺陷检测的定义

机器视觉进行特征和缺陷检测时， 其过程将需要转换为数学表达。机器视觉需要三个过程任务，依次是分类任务，检测任务，分割任务，见图1。 机器视觉的分类任务要解决特征和缺陷是什么，通过提取特征信息，该任务要判断目标特征的具体信息， 比如目标是划痕或是异物等等； 机器视觉的检测任务要解决特征和缺陷在何处，即需要标记缺陷和特征所处的具体位置； 机器视觉的分割任务要解决缺陷是多少的问题，即缺陷的长度、面积、程度等一系列信息，这些信息能辅助进行产品质量等级评估， 从而可以对产品质量等级进行划分。

图1 机器视觉缺陷检测的计算机任务

3 基于深度学习的外观缺陷检测

依据数据标签的不同， 基于深度学习的外观缺陷检测整体分为全监督学习模型、 无监督学习模型和其他方法，见图2。 第一种全监督学习模型中，将大量标记有标签的缺陷图像输入系统进行网络训练， 比如将有划痕的区域或图像标记为“划痕”，系统训练后获得各种规格和不同背景下的划痕，并导入模版，在检测阶段，当系统检测到划痕特征时，将判断为“划痕”缺陷。 相反，第二种弱监督学习模型，将无缺陷的样本导入进行网络训练，生成系统的“良品”模版，在检测阶段，当系统检测到正常样本中未出现过的缺陷时，将判断该对象为不合格品。 其他方法主要思想是将两者结合起来，发挥各自模型的优势，形成半监督学习模型和弱监督学习模型。 目前多数研究主要集中在全监督学习模型方向，主要该模型目前可信度略高，本文的研究也基于全监督学习模型。

图2 基于深度学习缺陷检测模型

4 基于深度学习的外观缺陷检测系统设计

4.1 系统需求分析

以某结构件产品的外观检测为例，见图3，良品结构上要求无变形、凹陷、机械损伤；色泽上要求表面光洁，无密集的异色点；产品品牌丝印正确等。 总结其缺陷特点：缺陷种类比较多，缺陷位置不确定，缺陷程度波动幅度比较大，有些与良品的边界较为模糊。人工方式会带来较高的误判率， 传统的机器视觉检测方法虽然可以一定程度降低误判率，但改进有限。 针对该类缺陷检测需求，经过验证，基于深度学习的机器视觉检测方法是有效的。

图3 某结构件产品的凹陷和划痕缺陷CCD 图像分析

4.2 基于深度学习的外观缺陷检测平台系统框架

基于深度学习的外观缺陷检测平台系统框架由图像采集子系统，机械运动子系统和主机组成，见图4。 其中图像采集子系统负责对产品拍照采集图像； 主机包含图像的预处理，缺陷分类，缺陷检测，缺陷定级，结果呈现等模块组成， 图像进入主机后首先需要进行图像的预处理， 然后依次进行缺陷分类， 检测缺陷的位置， 给缺陷分级， 最后根据检测结果控制机械运动子系统； 在主机中还有一个重要的深度学习模块，其提供缺陷网络训练功能，并为目标图像分类，检测，分割做决策支持。

图4 基于深度学习的外观缺陷检测系统框架

4.3 基于深度学习的外观缺陷检测系统业务流程

基于深度学习的外观缺陷检测平台的处理流程由缺陷的分类，缺陷的定位，以及缺陷的定级三大步骤组成，深度学习嵌入其中解决特征提取和识别，如图5 所示。

被检测件的图像采集后，首先需要进行预处理， 预处理是运用视觉算法对图像进行降噪和提质； 检测的第一大步骤是使用卷积神经网络进行特征提取和分类， 在训练过程中， 缺陷特征将不断被加入模版库， 在检测过程中，被提取的特征与模版进行匹配，从而判断缺陷有无，如果没有缺陷， 当前检测流程结束； 当判断为缺陷存在时，对当前缺陷进行分类；第二大步骤是确定缺陷所在的位置；第三大步骤是缺陷分级，本步骤中需要提取特征的显著度值，并进行标记，在训练过程中，特征显著度值被不断标记和等级划分，在检测过程中，系统根据被检测件的特征显著度值进行等级划分。

图5 基于深度学习的外观缺陷检测系统业务流程

系统通过持续的训练后，随着样本数据的不断增加，其检测的精度变得更高，误判率也急剧降低。在某产品的雾化器检测应用中，经过训练后，缺陷检测的误判率短时间内从最初的80%下降到了2%以内。

5 结束语

外观缺陷检测是一个非常广泛的领域， 传统的机器视觉检测缺陷步骤繁琐，模式固定，调测复杂，已经较难应对当前缺陷种类繁多，波动范围大，客户自动化要求高等需求。基于深度学习的外观缺陷检测， 经过验证可以比较好应对当前的挑战，对于一些过往无法用机器进行检测的模糊缺陷，引入深度学习后，通过一定的训练，基于深度学习的外观缺陷检测系统在多数场景下是完全可以替代人工的。