基于深度学习的自动光学检测技术

摘  要：人工智能如何在工厂落地？如何用深度学习的方法来推动传统产业的效率提升？本文介绍了在产品缺陷检查中引入深度学习的原理，实现路径及方法，并通过实际案例对其经济效益做了比较，希望对相关从业者带来一些借鉴或启发。

关键词：人工智能;自动光学检测;Automated Optical Inspection （AOI）;深度学习;Deep Learning;人工神经网络;Artificial Neural Network （ANN）;卷积神经网络;Convolutional Neural Network（CNN）;误判（Overkill）;漏判（Underkill）

随着珠江三角洲和长江三角洲一带用工荒的蔓延，越来越多的工厂开始尝试用自动光学检测（AOI）来代替人工目检。

如果在自动光学检测中使用深度学习功能，用一定量的样本来进行反复训练，通过神经网络的自我进化，使机器达到一定程度的人工智能，可以大大提高漏判（Underkill）率和误判（Overkill）率，达到远超人工目检的效率和可靠性，这就是我们这次力争要达到的目的。下面讲讲我们使用的深度学习的原理。

卷積神经网络是深度学习中应用最广泛的网络模型之一。特别是在Krizhevsky等专家提出了一种经典的CNN架构，论证了深度结构在特征提取上的潜力，并在图像识别任务上取得了重大突破之后，CNN得到了人们越来越多的关注和研究。本次任务就采用这种网络来进行PZT缺陷的识别。图中RELU（Rectified Linear Unit），又称修正线性单元，是一种激励函数，它可以让大数值通过，而让一些神经元处于不会激发的陈旧态，因此可以加快训练速度。池化层位于卷积层之间，通过最大值或平均值采样在层间减少图像大小。压平层用来将多维的输入一维化，常用在从卷积层到全连接层的过渡。深度神经网络的最后一层往往是全连接层+Softmax（分类网络）。

在实际操作中，我们购买COGNEX（康耐视）的商业软件COGNEX ViDi的开发版来作为我们进行深度学习的训练平台。在该平台上通过如下步骤来将上述原理落地：1）.收集：收集好品和坏品的图像;2）.标记：在坏品的图像上标记缺陷类别;3）.训练：用COGNEX ViDi平台训练软件模型;4）.验证：用正常流拉的产品来检测，让有经验的工人对其结果来进行验证，对其判断错误的产品重新进行标记，再返回去训练模型，如此循环，经过一段时间的运行后，其漏判（Underkill）率由最初的2%降到0.01%，误判（Overkill）率由最初的5%降到0.2%，取得了远远好于人工检测的效果。

为便于读者对其流程有个更直观的认识，我们举一个实际的例子来进行说明。

PZT是安装在电脑磁头上的压电陶瓷，一个磁头模组上左右两侧对称各安装一个，通过它能够对磁头飞行姿态进行微调，从而能够稳定地读写磁盘上的数据。为了达到这个目的，就必须对PZT进行严格检测，使它不能有如下缺陷：裂纹、离起、弯曲、划痕、擦伤、歪斜、PZT缺失 、多胶、少胶、极性错、毛刺、白点、黑点、白色纤维等。当前人工PZT目检是工人在40倍显微镜下看PZT的各面是否有缺陷，存在速度慢，容易疲劳，易漏检等，且效率不高，现在人均检测每天4000-5000个，6s/pcs。计划开发一款自动视觉检测机器替代人工检测，实现3000UPH（unit per hour，每小时生产工件数 ）检查要求。

我们用6台相机来提取图像，各组相机分工如下，

第1组相机： 检测PZT正面多胶、少胶、极性错、歪斜、PZT缺失、白色纤维等。

第2&3组相机： 检测PZT侧面裂纹、离起、弯曲等。

第4组相机： 检测PZT正面裂纹、划痕、擦伤、歪斜、PZT缺失 、毛刺、白点、黑点等。检测PZT侧面裂纹、离起、弯曲等。

准备数据集（Dataset）。为了使用深度学习算法，要收集一些带缺陷或不带缺陷的PZT样品，为它们加上标记，这些图像及相应的标记被用作训练深度学习模型的数据集。如下图所示。注意：为了检测出每一种缺陷，用作训练的数据集必须包括所有种类的缺陷。

训练阶段。在训练阶段，如果模型输出和标记之间有差异，系统将自动更新深度学习模型。如此训练模型来学习PZT图像的特征，尽力在自己的输出中分割出带标记的缺陷。这个过程叫监督学习，而标记可以看作为一个老师。

验证。在训练完成并保存结果后，即使新输入的图像不在数据集内，深度学习模型也能够对其是OK或NG作出预判。注意：此阶段不必为产品提供标记。

机器动作简介：如下图四所示，托盘（本次检测的产品是由多层复合材料贴合成厚度为0.04mm的条状物，用定位销定位，用3条薄压条压在托盘上，托盘内有磁铁将压条吸在托盘上）被工人放入上料单元的气爪上，升降气缸下降，气爪打开，托盘落到输送盘上，横向移料机构上的气缸将其沿X方向拍齐，输送盘上自带的夹紧气缸在Y方向夹紧，此时输送盘通真空，真空通过托盘上的几排孔将产品紧紧吸在托盘上，输送盘向里移动到相机1下成像后向外退回。此时横向移料机构将托盘转移到与相机2对应的输送盘上，输送盘向里移动到相机2下成像后向外退回，转移到与相机3对应的输送盘，最后输送盘移动到激光打标机下，在检测不合格产品上打上激光标记后向外退回，下料单元的升降气缸下降，气爪将托盘托住后升起，

基于深度学习的自动光学检测设备（PZT AOI机）和人工检测的收益对比：

此技术由于效率高，大大减少人力成本（一台机早晚班可以抵得上10个人），质量可靠，适应范围广，未来必将在工业检测上有越来越广阔的应用前景。

参考文献：

《AlexNet-Imagenet classification with deep convolutional neural networks》、《Python编程技术》、《Tensor Flow从入门到精通》、《计算机视觉与深度学习实战》。

作者简介：程丙坤（1969 —），男，汉族，湖北省天门市人，高级工程师，大学本科学历，目前研究方向为机器换人或自动化设备开发设计与研究。