一种基于深度学习的软管空管异物检测方法

孙克强，张义伟，沈宝诚

（中国电子科技集团公司第四十一研究所，安徽 蚌埠 233010）

0 引言

随着日用品行业的迅猛发展，软管包装产业不断升级优化，软管包装产品种类日益繁多，软管质量和性能也有了质的飞跃。在医药行业、食品行业和日化等行业使用的软管，由于其具有易加工、易携带、成本低、可回收等优点，被广泛使用。但由于软管在生产、灌装等过程中可能会出现异物落入空管内的现象，这不仅影响了产品质量和用户体验，有损企业形象，甚至还会引发重大卫生健康责任事故。因此，对软管空管异物的检测是软管空管灌装过程中不可或缺的关键质检环节。

国内大部分高速软管空管灌装机都是采用外国进口设备。该设备一般利用在灌装机上添加额外检测设备的方式对软管空管产品的灌装质量进行检测，存在检测难度较大、生产效率较低等问题。若要实现实时在线剔除，那就需要修改灌装机源程序。但灌装机原厂家的控制程序一般不开源，所以无法获取源程序并按照我们的需求进行修改。目前国内还没有成熟的软管空管检测设备可以使用，大多数生产厂家普遍采用人工抽检方式进行软管空管异物的检测。但这种检测方式存在检测数量有限、效率低和漏检率高等缺陷。

虽然国外灌装机厂商近几年也开始在新开发的灌装机上增加软管灌装质量检测设备，但存在检测功能少、价格高等不足。

传统检测算法对软管空管异物缺陷进行识别检测，往往需要一线工人根据日常工作经验识别特征，然后设定合适的兴趣区域大小和适宜的特定检测参数等。这种传统检测算法完全依赖人工经验及预先设定的阈值进行判定，其检测方法具有一定的依赖性和局限性。基于上述原因分析可知，现有市场上软管产品的质量检测方式，无法满足软管灌装行业日益严格的品质要求。随着深度学习技术的兴起，使用计算机视觉技术，结合图像缺陷检测和分类的相关技术[1-2]，可有效解决上述方法存在的不足。基于深度学习技术使软管空管异物缺陷检测更加便携化、智能化、精确化，并且还可以通过迁移学习[3]的方式适用于其他工业应用场景，从而提高产品的泛化性和竞争力。

1 检测原理

在对软管空管进行异物缺陷检测时，为了保证采集的软管空管图像质量，首先采用特定的打光方式[4]获取对比度较高的软管空管图像，紧接着对获取的清晰图像的感兴趣区域进行选择。由于工厂在实际生产中负样本一般较少，本文为了防止在训练过程中出现模型过拟合的现象（即模型训练精度较高，但测试效果很差），选择通过数据增广方式（如：随机旋转、比例缩放、大小裁剪、水平和垂直平移等）扩充负样本数据集，提高模型的检测精度及泛化能力。其中，部分软管空管异物负样本扩充如图1所示。然后通过使用不同规格的滤波器进行卷积、池化等图像处理方法提取软管空管异物图像的语义特征信息，训练深度学习软管空管异物检测模型。最后，通过执行网络推理，将待测图像转换为矩阵，实时判断软管空管是否存在异物缺陷。整个原理中的关键算法是对检测算法ShuffleNet[5]进行迁移学习，设置卷积神经网络[6]输出层的类别数目为2，分别对应NG（缺陷）和OK（合格）。通过Softmax 函数获取缺陷类别及合格类别的概率值，取最大概率值的类别即为当前判定类别，从而实现检测软管空管是否存在异物缺陷的要求。其中，软管空管异物检测方法如图2 所示。

图1 软管空管异物负样本扩充图

图2 软管空管异物检测方法图

在卷积神经网络[7]中，Softmax 分类器通常位于全连接层后面，实现对输出的特征进行分类的作用，其中Softmax 函数定义见式（1）。

式（1）中，k 表示卷积神经网络的类别数，i 表示当前需要计算的类别，其概率值在0 到1 之间，Vj 为输出向量V 中第j 个类别的值，Vi 为输出向量V 中第i 个类别的值，且所有类别的Softmax 值之和为1。

本文使用的深度学习模型构建具体过程如下：引入深度学习所需的包，加载预训练模型；利用迁移学习构建ShuffleNet 轻量级卷积神经网络，设置冻结等参数；改写ShuffleNet 卷积神经网络最后一层全连接层；添加ReLU 层、Dropout 层、Softmax 层，使用Adam 优化器进行微调；再定义使用二元交叉熵损失函数，通过动态调整学习率等参数开始训练模型。深度学习模型搭建具体流程如图3 所示。

图3 深度学习模型搭建流程图

在模型训练过程中，为了实时观测模型的模型精度、损失值及模型收敛情况，我们设计了模型训练过程模型精度值、损失值可视化。其中，软管空管异物模型训练过程中的精度值和损失值如图4(a)和图4（b）所示。

图4 模型训练精度及损失值图

2 实时检测

为了实现实时检测工业生产线上的软管产品灌装质量，本方法中的上位机程序首先引入了必要的深度学习动态链接库，紧接着读取缺陷类别文件（NG、OK），将训练后的HDF5 格式的模型转换为上位机程序所支持的PB 格式模型并加载，最后将图像转换为矩阵，进行模型推理并实时在线判断软管空管内是否存在异物。

本文使用的基于深度学习的软管空管异物检测方法，确保对每一支软管在灌装前均得到充分检测，并对存在异物的软管空管进行在线剔除、报警、停止灌装等操作，以防止软管内含有异物的缺陷产品流入市场。这不仅提高了产品的生产效率和产品质量而且还维护了企业和品牌的良好形象。

其中，模型推理结果流程图如图5 所示，原图和实时检测结果如图6 所示。

图5 模型推理结果流程图

图6 原图和实时检测结果图

3 实验结果分析

根据误检率及漏检率的定义，对传统图像检测方法及基于深度学习方法测试结果进行统计，如表1 所示。

表1 传统图像检测方法及深度学习方法测试结果

其中，误检率公式为：

漏检率公式为：

Rfalse表示误检率，Rloss表示漏检率，Dloss表示没有检测出缺陷的工业产品数量，Dfalse表示检测出缺陷但被错分的工业产品数量。Nok表示所有合格的工业产品数量，Nng表示所有缺陷的工业图像数量。

传统的工业图像缺陷分类与检测算法，往往需要事先对工业图像进行特征提取、模板匹配和分类器设计等特定的图像处理操作。这种完全依赖人工经验进行图像特征设计和选择的检测算法，因严重受到先验知识不足等人为因素的影响，不仅无法准确地描述图像数据所隐藏的高级语义特征信息，而且算法复杂，在实际工业应用上存在一定的难度。此外，随着工业产品上新缺陷的出现，后期的算法维护成本较高。本文提出的基于深度学习的软管空管异物检测算法，采用Keras 框架和改进的轻量级卷积神经网络，实现基于深度学习的实时在线检测算法，并移植到工控平台进行推理加速。相比传统依赖人工经验进行特征选择的缺陷检测算法而言，深度学习技术避免了复杂的特征提取过程，具有检测时间短、误检率和漏检率较低、准确率高以及模型的稳定性更好等诸多优点。

4 结束语

本文介绍了一种基于深度学习技术的软管空管异物检测方法，以弥补现有工业生产线产品缺陷检测技术的不足，确保用于日化产品加工的软管空管实现实时全覆盖检测，从而保证使用软管空管的相关产品质量。基于机器学习的软管空管异物检测方法，不仅降低了日化行业产品的误检率、漏检率，而且可适用于不同规格、不同尺寸和不同行业的软管空管，其算法泛化性好、异物检测准确率高。这不仅降低了企业的生产成本，而且还具有广泛的应用空间和推广价值。