基于深度学习的橡胶制品缺陷检测技术创新

2023-08-08朱世元方世鹏

粘接 2023年7期

朱世元方世鹏

摘要：橡胶制品表面缺陷会极大地影响产品的性能、安全性和可靠性。传统的基于人的视觉检测准确率低且耗时长，现有的机器视觉检测技术主要依靠人工完成，无法有效精准对橡胶制品缺陷检测。针对橡胶制品中各种缺陷检测识别问题，采用基于深度学习模型的多尺度缺陷检测方法，使用橡胶制品表面缺陷图像对该网络进行了训练和评估。研究结果显示，所建立的检测模型对橡胶制品凹坑检测准确率较高，平均精度为92.7 %，可以有效检测橡胶制品小缺陷，且基于深度学习的神经网络模型的初始总损失相对较小，在100～150个历时之间趋于稳定。

关键词：深度学习；橡胶制品；缺陷；识别；技术研究

中图分类号：TQ330.7

文献标志码：A

文章编号：1001-5922（2023）07-0026-04

Innovation on rubber product defect detection and recognition technology based on deep learning

ZHU Shiyuan，FANG Shipeng

（Yanan University，Yanan 716000，Shaanxi China

）

Abstract：Surface defects in rubber products can greatly affect the performance，safety，and reliability of the product.Traditional human based visual inspection has low accuracy and long time consumption.However，existing machine vision inspection technologies mainly rely on manual work and cannot effectively and accurately detect defects in rubber products.Therefore，in response to various defect detection and recognition issues in rubber products，a multi-scale defect detection method based on depth models is adopted.The network was trained and evaluated using surface defect images of rubber products.The research results show that the detection model established in this article has a high accuracy in detecting pits in rubber products，with an average accuracy of 92.7%.It can effectively detect small defects in rubber products.Moreover，the initial total loss of the neural network model based on deep learning is relatively small，and tends to stabilize between 100 and 150 durations.

Key words：deep learning;rubber products;defects;recognition;technical research

绝大多数传统橡胶制品不溶，难以再加工和生物降解，造成黑色污染。而将聚丁二烯基加入橡胶制品可以有效加速橡胶制品降解速率。其中聚丁二烯基橡胶制品表面质量是评价橡胶制品整体质量的重要指标［1］。研究指出受原材料运输、生产工艺水平、工人操作标准等因素的影响，聚丁二烯基橡胶制品经常出现凹坑、气泡、划痕等表面缺陷［2］。如果表面缺陷问题不能及时发现和解决，就会出现不合格的产品，这将给企业带来很大的经济负担［3］。目前，企业生产中聚丁二烯基橡胶制品表面缺陷的检测仍处于人工目视检查去除不良品的阶段［4-5］。检测效率低，劳动强度高。因此，迫切需要一种智能高效的检测方法来替代人工。

基于人工神经网络的深度学习通过将数据和低级特征转换为更抽象和复合的表示来发现其输入数据的分布式表示［6］。分析结果表明，人工神经网络的深度学习可以自动从大型训练数据集中学习高度抽象和不变的特征，而不是人为地构建低级特征;因此，它可以稳健地适应各种计算机视觉任务［7］。

且在计算机视觉中，深度学习的对象往往是自然图像，包括行人、车辆、动物和人脸等；但利用深度学习检测橡胶制品表面缺陷的研究较少［8］。因此，本文提出了一种基于深度学习的聚丁二烯基橡胶制品表面缺陷检测网络。该网络基于Faster R-CNN和特征金字塔网络（FPN），可以有效检测橡胶制品各种尺度的表面缺陷。

1 橡胶制品表面缺陷图像识别

根据聚丁二烯基橡胶制品缺陷的工艺和原因不同，分为严重危害缺陷、自然缺陷和加工缺陷［9-11］。其中，严重缺陷和自然缺陷，具有一定的形状和结构特征，如图1所示。一般来说，聚丁二烯基橡胶制品缺陷可分为：气泡、致密性差、腐烂等。实验使用的原始数据集来源于某橡胶制品公司采样所得图像。扫描获取橡胶制品图像时，扫描仪的扫描速度为170～5 000 Hz;Z方向分辨率为 0.055～0.200 mm;X方向分辨率为 0.275 5～0.550 mm;并且彩色像素分辨率可以達到（1×0.5）mm。该数据集包括5 000张橡胶制品的缺陷图。每个图像的位深度为24，大小为100×100像素级别。

2 表面缺陷检测网络模型建立

利用 FasterR-CNN对聚丁二烯橡胶制品表面缺陷进行分类、定位，建立了多尺度缺陷检测网络模型［12］。Faster R-CNN系统由特征提取网络（FEN）、区域提议网络（RPN）、感兴趣区域（ROI）以及分类和回归层组成。考虑到橡胶制品表面缺陷的特点，在基本的Faster R-CNN中加入了FPN的特征融合思想以提高缺陷检测性能。

2.1 特征提取网络

特征提取网络是一个大型的区域提议网络，可以从输入的图像中自动提取高级特征。在研究中，可以使用ResNet101来获得高层次和语义强的特征。而ResNet101的基本结构是一个瓶颈，可以有效解决网络模型性能下降的问题，并引导深度学习神经网络模型更深入的检测聚丁二烯基橡胶制品缺陷［13］。瓶颈包含3个卷积层：1×1、3×3和1×1，后面分别是“Relu”激活函数，以及“快捷连接”，即跳过一个或多个层，直接将输入映射到输出，而不增加额外参数。

2.2 区域提议网络

在特征融合之后，区域提议网络（RPN）可以生成区域建议或感兴趣的区域（ROI），即缺陷周围的矩形区域，包括每个建议中的前景（包含缺陷）的概率。改进的RPN是一个全卷积网络，主要由一个3×3的卷积层和2个同级的1×1的卷积层实现的，用于分类和回归［14］。将全卷积网络（3×3卷积层和2个1×1卷积层）附加到特征提取网络（FEN）输出的每个特征图上，然后生成几个包含每个锚点的缺陷/非缺陷估计概率以及从锚点到区域建议的预测坐标转换的向量。

2.3 改进ROI区域

改进的RPN输出的区域建议具有不同的维度，并且最终分类和回归层的输入需要相同的大小，因此ROI区域的目的是执行最大检测最大效率化，将任何建议内的特征转换为具有固定大小（例如，7×7）的向量。首先，将不同大小的区域方案划分为大小相等的部分，如7×7；然后，输出每个部分中的最大值，并且可以获得固定大小的向量［15］。此外，在进行ROI区域确定操作之前，需要将带有（x1，y1）和（x2，y2）的区域建议映射到橡胶制品特征图中。将4个特征图{P2，P3，P4，P5}输入到ROI区域中，进一步确定ROI区域范围。并将宽度（w）和高度（h）（在输入图像上）的区域分配给特征图Pk，如式（1）：

k=4+log2（wh/224）（1）

2.4 网络训练

多尺度缺陷检测网络是由网络的结构和卷积层的权重组成。当网络结构的设计完成后，需要获得卷积层的最佳权重。网络训练是一个实现权重优化并引导网络预测接近输入真实性的过程，它由前向传播和后向传播组成。前向传播是按照从输入到输出的顺序计算和存储网络的中间变量（包括输出）。后向传播是指计算网络的损失（输出与输入的真实性之差）并利用损失的梯度更新权重的方法［16］。多尺度缺陷检测网络的损失来自改进的RPN以及分类和回归层。在训练中，损失的选择是非常重要的。对于分类层和回归层，改进的RPN是端到端训练的。因此使用Fast R-CNN中的多任务损失L来训练改进的RPN：

L（pi，ti）=1Ncls∑Lcls（pi，pi*）+λ1Nreg∑ipi*×Lreg（ti，ti*）（2）

式中：i是一个小批量中的锚点索引，在分类损失中，p*和p分别为聚丁二烯基橡胶制品真实标签和预测的锚点缺陷的概率。在回归损失中，ti和ti*分别代表锚点和预测区域建议以及锚点和地面实况框之间的几何差异的向量，则ti*的计算方法为：

tx*=（Gx－Ax）/Awty*=（Gy－Ay）/Ahtw*=log（Gw/Aw）th*=log（Gh/Ah）（3）

此外，分类损失计算：

Lcls=∑i－p*i×log（pi）－（1－p*i）×log（1－pi）（4）

回归损失计算：

Lreg=∑ismooth L1（t*i－ti）（smooothL1（x）=0.5x2 ifx<1x－0.5）（5）

此外，本文使用与改进的RPN相同的损失来训练分类层和回归层，这也是端到端的训练。

3 实验环境设定

在聚丁二烯基橡胶制品表面缺陷的识别研究中，实验使用Python 3.5，PyTorch作为深度学习库，cuda 9.1和cudnn 5.1在谷歌云平台上使用8GB内存的NVIDA Tesla K80图形处理单元（GPU）进行。在训练多尺度缺陷检测网络时，本文对输入图像（分辨率为2 560×1 280）的短边进行了960倍的缩放，然后通过使其具有固定的平均值和方差对每张图像进行归一化。在计算网络的损失时，在RPN以及分类和回歸层的损失函数中都使用λ=1。此外，网络的权重通过随机梯度下降（SGD）进行改进［17］，包括0.001的学习率、0.9的动量和0.000 5的权重衰减。在网络的训练中，使用一个批处理规模（批处理指的是输入图像的数量）和50个epochs来提高性能（epoch指的是网络被训练的数量）。在评估物体检测网络的性能时，使用平均精度（AP）进行多尺度缺陷检测。

4 结果与讨论

4.1 网络模型训练损失

在网络训练的过程中，有必要对训练数据集的损失进行及时的可视化。并验证聚丁二烯基橡胶制品表面缺陷检测是否有效，可以通过损失曲线的趋势来判断。此外，损失可以指导网络中参数的调整，包括训练历时、学习率、权重衰减和结构优化［18］。多尺度缺陷检测网络的总损失包括RPN中的分类损失和回归损失，以及分类层和回归层的分类损失和位置损失。在训练中，各种损失可以分别用rpn_cls_loss（学习率）、rpn_loc_loss（训练历时）、roi_cls_loss（权重衰减）和roi_loc_loss（结构优化）表示。

训练期间的损失曲线如图2所示。研究中，网络在每个epoch中对所有训练数据集进行训练，网络的各种损失每50步记录一次（一步等于一张图片），因此所有损失曲线总共有2 700次迭代（一次迭代等于50步）。

如图2所示，各种损失曲线均呈现下降的趋势，在训练的开始阶段，损失大幅度下降，说明学习率合适，开始呈梯度下降。其中rpn_loc_loss下降幅度较小，在0～500迭代期间内，损失下降0.4，而roi_cls_loss下降幅度最大，损失下降0.5。且随着迭代次数增加，在训练到一定的历时后，损失曲线趋于稳定，且rpn_cls_loss、rpn_loc_loss、roi_cls_loss、roi_loc_loss最终损失分别稳定在0.08、0.13、0.07、0.1，进一步表明网络开始收敛。同时网络损失的下降，可以有效提高聚丁二烯基橡胶制品表面缺陷检测精度。

4.2 橡胶制品缺陷检测

为进一步评估深度学习网络模型的检测效果，对聚丁二烯基橡胶制品常见的划痕、裂纹、气泡、凹坑等缺陷进行识别检测。并统计每个缺陷类别的评估指标。由表1可知，除了气泡缺陷外，所有其他缺陷的准确率都可以保持在0.98～1.00，召回率在0.99～1.00，F1分数在0.998～1.00。气泡缺陷由于其缺陷目标小，聚丁二烯基橡胶制品有时具有致密的气孔，因此精度低于其他类型的缺陷。而研究所建立的检测模型对橡胶制品凹坑检测准确率较高，且召回率及F1分数均达到最高（1.00）。因此建立的深度学习网络模型可用于实际橡胶制品缺陷检测。

4.3 检测精度和检测速度

为了验证Faster R-CNN网络模型加入FPN的特征融合思想有效性，将本文设计的缺陷检测网络模型与YOLO v3、YOLO v5、原始Faster R-CNN和SSD网络模型在表面缺陷数据上的训练结果进行了对比，对比结果如表2所示。

不同的网络模型对聚丁二烯基橡胶制品严重缺陷有较好的检测效果，但对中等缺陷，特别是轻微缺陷的检测精度却明显下降。改进的Faster R-CNN网络模型对三种不同类型的表面缺陷的平均精度为92.7%，改进的Faster R-CNN的平均精度从83.1%提高到92.7%，对严重缺陷的平均精度为3.4%，对中等缺陷的平均精度为6.9%，对轻微缺陷的平均精度为18.5%。显然，改进后的Faster R-CNN网络模型能够更明显地提高深度较浅橡胶制品小缺陷的检测性能。此外，在检测速度方面，在保证同一检测设备的条件下，连续检测缺陷样本图像，以每秒帧数（FPS）衡量检测速度。其中，YOLO v3模型的检测速度为27帧/s，YOLO v5模型的检测速度为37帧/s，Faster R-CNN模型的检测速度为17帧/s，SSD模型的检测速度为35帧/s，而改进的Faster R-CNN模型的检测速度为15帧/s。本文设计的检测算法对聚丁二烯基橡胶制品图像的检测时间约为0.5秒，检测效率远高于目前的人工检测方法，可以满足企业实际生产环境中对橡胶制品表面缺陷的在线检测速度要求［19-20］。

4.4 网络模型精度及损失

由上述试验分析可知，改进后的Faster R-CNN算法在检测速度及准确率等指标方面上较为良好。为研究所建立网络模型的精度及损失，使用相同的数据集分别在Faster R-CNN和改进Faster R-CNN中进行实验，然后比较实验中产生的精度数据和损失数据。如图3（a）所示，Faster R-CNN在每次训练的迭代次数后计算出的精度平均值，有先下降后缓慢攀升的趋势，在后半段的数值不稳定。而改进Faster R-CNN则是一开始精度不稳定，然后慢慢爬升并稳定下来。如图3（b）所示，Faster R-CNN的总损失在50～100个历时之间趋于稳定，然后有3个相对较大的波峰。由于Faster R-CNN使用Adam优化器，它可以比SGD（随机梯度下降法）更快地收敛。而改进Faster R-CNN的初始总损失相对较小，在100～150个历时之间趋于稳定，在80个历时左右有一个小峰值。综上所述，与Faster R-CNN相比，改进Faster R-CNN在精度和总损失方面的收敛速度和收敛后的稳定性都比Faster R-CNN好。

5 结语

在聚丁二烯基橡胶制品缺陷检测领域，深度学习方法比传统的计算机视觉方法更具优势。深度学习神经网络模型不需要手动提取图像特征，可以实现端到端的输入检测。将Faster R-CNN中加入了FPN的特征融合思想以提高缺陷检测性能，并应用于聚丁二烯基橡胶制品缺陷检测领域，其平均精度可以达到92.7%，且改进的Faster R-CNN模型的检测速度为15帧/s，可以快速检测橡胶制品缺陷。

【参考文献】

［1］张涛，谢探阳，李玉梅，等.基于改进YOLOv4算法的玻璃杯缺陷识别方法研究［J］.电子测量技术，2023，46（2）：46-51.

［2］魏彬，李璐.基于图像增强技术的皮革制品表面缺陷自动检测研究［J］.中国皮革，2022，51（12）：159-162.

［3］张东岭.基于图像处理的机械材料缺陷检测技术研究［J］.粘接，2022，49（6）：39-43.

［4］问寻.实验用玻璃器皿缺陷检测研究［J］.粘接，2021，47（8）：54-57.

［5］阎昊，刘奕阳.基于深度森林的人机协同工业制品表面缺陷识别［J］.计算机系统应用，2022，31（12）：280-286.

［6］孟雨涵，沈天成，谭立，等.基于深度学习的注塑制品微缺陷快速智能检测方法初探［J］.价值工程，2022，41（20）：111-113.

［7］楼豪杰，郑元林，廖开阳，等.基于Siamese-YOLOv4的印刷品缺陷目标检测［J］.计算机应用，2021，41（11）：3206-3212.

［8］张立新.基于表面缺陷检测的金属图像识别［J］.粘接，2019，40（8）：121-123.

［9］汤光恒，邓海波，汤大昶.基于计算机视觉塑料成型缺陷多维检测的研究［J］.塑料科技，2020，48（7）：48-51.

［10］卢荣胜，吴昂，张腾达，等.自动光学（视觉）检测技术及其在缺陷检测中的应用综述［J］.光学学报，2018，38（8）：23-58.

［11］王鹏，吕家龙，李志浩，等.大厚度金属增强橡胶复合材料的无损检测试验研究［J］.材料開发与应用，2018，33（3）：56-61.