基于轻量化YOLOv4的黏稠食品灌装成品缺陷检测

张昌凡 孟德志 王燕囡

1. 湖南工业大学 电气与信息工程学院 湖南 株洲 412007

2. 广州达意隆包装机械股份有限公司 广东 广州 510530

1 研究背景

目前，在黏稠流质食品灌装生产线中，灌装成品的缺陷检测是必不可少的环节。有封盖缺陷的产品随着时间推移会出现密封不严的问题，易导致产品提前变质。贴标缺陷会影响产品口碑和消费者购买意愿。因此，对灌装成品的封盖和贴标进行检测极其必要。

在现有研究中，已有许多学者提出了灌装成品缺陷检测方法。C. Arun Prakash等[1]利用机器视觉技术对瓶盖进行检测，该方法简单、省时，检测正确率高；C. Toxqui-Quitl等[2]提出了一种基于图像频率滤波的聚对苯二甲酸乙二酯（poly(ethyleneterephthalate)，PET）瓶身缺陷检测方法，对采集的瓶身图像进行伽马自适应校正，实现了对于瓶面、瓶壁和瓶底较高准确度的检测；彭玉等[3]针对灌装成品防盗环难以检测的问题，提出了一种基于轮廓曲率的防盗环断裂检测方法，该算法检测正确率能满足生产要求。尽管上述机器视觉技术在灌装成品缺陷检测上得到了较好的应用，但需要大量的样本构建检测模型且难以同时检测多类缺陷。

近年来，深度学习技术在模型调优、特征提取、目标检测方面的优势显而易见[4]。深度学习标志性算法AlexNet的问世[5]，使深度学习技术应用于产品缺陷检测成为可能。2018年，俞芳芳等[6]利用卷积神经网络（convolutional neural network，CNN）对食用油灌装生产线全流程包装缺陷进行检测。传统CNN网络结构复杂，参数多，运算时间长，因此在保持精度阈值的前提下对网络结构轻量化设计尤为重要。林景栋等[7]从网络剪枝与稀疏化、张量分解、知识迁移和精细模块设计4个方面归纳了CNN结构优化技术。MobileNet[8]系列算法将传统卷积变成深度可分离卷积（depthwise separable convolutions，DSC），这种新的结构能在不影响准确率的前提下大大减少运算时间和参数量。

深度学习目标检测算法发展至今，已形成了以R-CNN（regions with CNN）[9]为代表的两步骤检测方法和以YOLO（you only look once）[10]算法为代表的单步骤检测算法，其中前者更注重精度，后者更注重精度与速度的平衡[11]。但是目前目标检测应用于灌装产品缺陷检测鲜有研究。如何利用单一标准实现灌装产品缺陷的多目标检测成为缺陷检测领域亟待解决的问题。

综上所述，本课题组提出了一种基于YOLOv4[12]的黏稠食品轻量级灌装成品缺陷检测方法，在单步骤目标检测算法的基础上对模型进行轻量化设计，仅利用单一规则实现对多缺陷目标快速实时的检测。

2 YOLOv4算法

2.1 网络结构

YOLOv4算法是一种端到端的单步骤目标检测方法，它省去了两步骤检测法中生成候选区域的中间步骤，从而加快对于目标的检测与识别。在框架上，其很大程度上沿袭了前代算法YOLOv3[13]的主体结构，其网络结构大致分为主干特征提取网络（Backbone）、增强特征提取网络、多尺度结果输出3个部分。

主干特征提取网络采用的是CSPDarknet53，先经最小卷积单元DBM（DarknetConv2D-BN-Mish），再经Resblock-body复杂卷积环节实现卷积操作。Resblock-body借 鉴 了CSPNet（cross-stage-partialconnections network）[14]结构，由DBM、残差结构和Concat构成。增强特征提取网络对Backbone得到的特征图进行复用，以增强其对于目标特征的表达。YOLOv4算法引入了SPPNet[15]和PANet[16]（path aggregation network）两种算法，前者可增加小尺度特征的感受野，分离出最显著的图像特征，后者则是对Backbone所得到的另外两种尺度的特征图和SPPNet输出的最小尺度特征图进行反复地上采样和下采样操作，以通过多尺度特征的融合来实现对于目标特征的优质表达。经过增强特征提取网络的特征融合，得到3种不同尺度的特征图。

2.2 预测机制

首先，YOLOv4将输入的样本分成S×S（S∈N）个非重叠区域，然后使用Anchor boxes对每个区域进行边界盒（bounding box）回归，如图1所示。通过K-means聚类算法对Anchor boxes进行聚类分析，从而得到一组尺寸固定的先验框，这些不同尺寸的先验框能够提升其对于真实目标位置预测的概率。

图1 边界盒回归Fig. 1 Bounding box regression

若某预测目标的中心位置落到某个区域，则该目标由此区域的一组先验框进行预测，这会产生多个预测边界盒。假设每个区域预测出B个边界盒和C个类别，那么模型的输出结果为S×S×(5B+C)的张量，其中每个边界盒均包含bx、by、bw、bh和置信度（con fidence）5个数值，其计算公式如下[17]：

式中：cx、cy分别为待检测区域与检测样本左上角的横纵距离；

tx、ty分别为检测区域中心点至左边界和上边界的距离；

σ(·)为Sigmoid激活函数；

pw、ph分别为先验框的宽和高；

tw、th分别为检测区域的宽和高；

bx、by分别为边界盒的中心点x、y坐标；

bw、bh分别为边界盒的宽和高。

预测边界盒会出现冗余，因此引入非极大值抑制（non-maximum suppression，NMS），以保留概率最大的边界盒，移除分数较低的边界盒。

3 灌装成品缺陷检测模型

本课题组设计了基于轻量化YOLOv4的黏稠食品灌装成品缺陷检测模型，其结构如图2所示。其主要分为6个部分，分别为成品缺陷数据集、MobileNetV3主干特征提取网络、空间金字塔池化网络（spatial pyramid pooling，SPPNet）、施加通道注意力（efficient channel attention，ECA）机制的深度可分离全面路径聚合网络（DSC-ECA-FPANet）、多尺度结果输出（Yolo Head）和检测结果可视化。

图2 基于YOLOv4算法的轻量级灌装成品缺陷检测结构框图Fig. 2 Structure diagram of filling product defect detection of lightweight based on YOLOv4 algorithm

本检测模型的具体工作流程如下：首先，将灌装成品缺陷数据输入MobileNetV3主干特征提取网络，提取多尺度特征，进而获得3个不同尺度的特征图；然后，将得到的特征图分别输入至SPPNet和DSCECA-FPANet中以实现对于多尺度特征的融合；最后，将融合后的特征图进行多尺度结果输出，从而得到既包含位置信息又包含类别信息的检测结果。

3.1 建立灌装成品缺陷数据集

实验中所需的图像样本均来自灌装生产流水线，采集设备主要包括传送带、LED光源、CCD（charge-coupled device）高速相机、光电传感器以及用于图像存储和缺陷检测的计算机，如图3所示。数据采集过程为：光电传感器检测传送带上的灌装成品，并将检测信息转换成电信号传给CCD相机，触发相机采集产品图像信息，再将图像信息传至计算机中保存，以构建用于后续的成品缺陷数据集。根据实际需求，本课题组采集了2种缺陷、7种类别共计1200张样本，其中封盖缺陷包含无盖、歪盖、正常盖3种类别，贴标缺陷包含无标、歪标、损伤标、正常标4种类别。

图3 图像采集平台Fig. 3 Image acquisition platform

本数据集的样本分布情况如图4所示。用LabelImg软件对样本进行了真实标签标定，得到1200个具有缺陷类别和位置信息的.xml文件。文件和样本均用于模型的训练和测试。

图4 采集数据类别数量情况Fig. 4 Number of collected data categories

3.2 改进主干特征提取网络

在YOLOv4中，Backbone有复杂的残差结构，标准3×3卷积操作占据了主体，导致运算时间长，算法可移植性较差。针对上述问题，本课题组引入了轻量级神经网络MobileNetV3[18]，并根据目标检测要求重置了参数大小，设计了网络特征图的多尺度输出，以便用于后续增强网络的特征复用。

MobileNetV3的核心是DSC[19]，这使参数量大幅降低，检测速度提升。公式（6）～（8）揭示了DSC参数量减少的原理[19]。

标准卷积操作是在多个输入通道上使用多个卷积核进行卷积操作。其参数计算量C为

式中：Dk为卷积核的大小；M为输入通道数；N为卷积核数量；DF为输入图像大小。

DSC分两步完成卷积操作，先在M个输入通道上使用一个卷积核逐通道卷积（Depthwise Conv.），然后通过逐点卷积（Pointwise Conv.）即利用N个1×1卷积核调整输出通道数。参数计算量C′为

将式（6）和（7）求比值，可得

通常，卷积核大小取3×3。可见，采用DSC能大幅降低网络参数。

MobileNetV3主要由Conv2D-BN-h-swish（CBH）卷积单元和bneck卷积块构成，如图5所示。CBH和普通卷积结构基本相同，区别在于引入了h-swish激活函数[18]，即

h-swish激活函数在深层特征中更能对特征有效映射，因此在网络中，bneck卷积块使用了ReLU和h-swish两种激活函数。图5b中，第2～4层卷积采用ReLU激活函数，最后3层卷积采用h-swish激活函数。而在bneck中，先用1×1的CBH提取特征，再用3×3的DSC进行卷积，施加SENet（squeeze-andexcitation networks）[20]之后，进行1×1卷积操作以调整通道，最后输出bneck结果。SENet是一种轻量级通道注意力机制，通过学习的方式对不同通道重要性进行预测，以提升有用的特征，抑制用处不大的特征。

图5 MobileNetV3网络结构Fig. 5 Network structure diagram of MobileNetv3

3.3 重构增强特征提取网络

YOLOv4的增强特征提取网络包含SPPNet和PANet。经增强特征提取网络的特征复用得到3个不同尺度特征图。SPPNet对最小尺度特征图进行处理后，同另外两个特征图输入至PANet进行特征融合。本课题组对增强特征提取网络进行重构，使其轻量化的同时，保证检测精度。

3.3.1 PANet轻量化

和Backbone类似，PANet计算繁重，采用多个3×3的DBL（DarknetConv2D_BN_LReLU）卷积，在上采样与下采样中，这些卷积操作参数量极大，导致缺陷检测时间过长。针对上述问题，本课题组引入了DSC卷积策略，通过卷积模块替换实现对PANet网络的轻量化设计。图6为PANet轻量化过程中内部卷积模块的替换示意图。

图6 PANet内部卷积结构替换示意图Fig. 6 Internal convolutional structure replacement of PANet

将3×3的DBL卷积替换3×3的DSC卷积后，DSC-PANet网络的参数计算量骤减，检测速度大幅提升，但是检测精度下降，这表明过分使用DSC卷积会使特征不能被充分利用。因此，轻量化后的PANet网络还需提升精度。

3.3.2 全面路径聚合网络

PANet通过增加不同尺度特征层之间的信息传输路径，对不同尺度特征进行融合，以实现对于目标特征的优质表达。但在PANet中，相邻特征层之间进行了特征路径聚合，而顶层特征与底层特征之间尚不存在融合路径。因此，针对PANet轻量化后导致特征融合能力不足的问题，本课题组将顶层特征与底层特征进行跨越融合（见图7虚线标识），提出了全面路径聚合网络（full path aggregation network，FPANet）。FPANet是通过增强目标特征全面表达来提升网络精度，其结构如图7所示。

图7 FPANet结构图Fig. 7 FPANet structure diagram

FPANet接受来自Backbone和SPPNet的多尺度特征图的输入，其中Feat3为SPPNet处理后的特征图。顶层特征和底层特征的跨越融合仍然通过上采样和下采样实现。上采样是通过1×1的DSC卷积和线性插值法分别负责通道调整和尺度扩张。下采样是通过DSC卷积来实现通道和特征图尺度的调整。轻量级FPANet是通过层间特征充分融合提升网络精度，且检测速度无显著降低。

3.3.3 DSC-ECA卷积结构

通道注意力（ECA）机制是深度神经网络中有效提升特征提取能力的重要方法。因此，本课题组在DSC卷积中引入ECA机制[21]，提出了DSC-ECA模块，其结构如图8所示。

图8 DSC-ECA结构图Fig. 8 DSC-ECA structure diagram

ECA的结构和SENet的相似，但ECA是通过执行大小为k的一维卷积来生成权重通道，避免了降维所带来预测精度的下降。k是由输入特征图的通道数自适应选得，具体公式[21]为

式中：C为输入样本通道数；b和γ为经验参数，设定b=2，γ=1；“odd”为对结果取奇数。同时，本文保留了最外围的残差边，以利于权重更新、趋于稳定。

本课题组对YOLOv4的增强特征提取网络进行改进后，形成了全新的施加ECA机制的深度可分离全面路径聚合网络（DSC-ECA-FPANet）。

4 实验结果与分析

4.1 模型训练与评价指标

本实验环境为Ubuntu18.04操作系统，配置Anaconda的 Python 3.7、NVIDIA RTX 2070 GPU、CUDA 10.1、cuDNN 7.6.5.32，使用Keras库编写程序。训练数据时，本课题组从数据集中选取1000张样本，其中900张用于模型训练，100张用于交叉验证，而其余200张样本用于测试模型。鉴于数据量较少不利于模型泛化能力的提升，本课题组选择迁移学习方式训练模型。先采用VOC2007数据集对网络进行预训练，接着在正式训练过程导入预训练模型分段调优。参数设定如下：输入数据的大小为416×416；为了加快训练速度，前50个Epoch冻结主干特征提取网络，只对增强特征提取网络进行权重更新，Batch size设置为8，初始学习率为0.001，而后50个Epoch解冻Backbone权重层，进行全局网络优化，Batch size设置为4，初始学习率为0.0001。

在目标检测模型评估中，常采用精确度P（precision）和召回率R（recall）两个指标评价模型的优劣，其计算方式[22]如下：

式中：TP为样本正确检测的数量；FP为样本错误检测的数量；FN为样本未被检测出的数量。

通常，分类问题存在一个决策边界，改变置信度阈值会得到不同的准确率和召回率，即得到PR（precision-recall）曲线。PR曲线与坐标轴所围成的面积为平均精确度（average precision，AP），可用于衡量模型检测效果的好坏。为了衡量模型对于所有类别AP的优劣，本课题组使用所有检测类别平均精度均值（mean average precision，mAP）评估模型。

4.2 模型评估与性能对比分析

4.2.1 模型训练评估

MobileNetV3_DSC-ECA-FPANet模型（改进网络训练后得到的最优模型）的训练和验证结果如图9所示。其中，实线为训练集loss值，虚线为交叉验证集loss值。

图9 模型loss函数曲线图Fig. 9 Loss function curve of the model

由图9可以看到，模型的loss值随着Epoch的增加而逐渐收敛，最后基本趋于稳定，这表明模型的预测结果和真实结果不断接近，预测的误差逐渐下降。此外，通过观察训练集和验证集loss曲线的吻合度可以看出，模型泛化能力达到了最佳状态。

4.2.2 性能测试

本课题组将训练好的模型导入检测程序后，对200张样本进行测试，瓶盖缺陷和贴标缺陷的部分检测结果如图10所示。从检测结果可以看出，本文所提方法可以实现对于瓶盖、贴标2种检测目标的7种缺陷类别进行有效检测。

图10 样本检测结果示例Fig. 10 Test results of sample

本课题组设置不同的置信度阈值，从而得到7种类别的精确度和召回率，每种缺陷类别的PR曲线如图11所示。其中，实线为贴标检测结果，虚线为瓶盖检测结果。

图11 PR曲线图Fig. 11 Curve of PR

由图11可以看出，本文所提方法的检测mAP值可达97.15%，能满足实际检测需要。此外，本模型对于歪标、损伤标的缺陷检测AP值略低，这可能是由于这两种缺陷的训练样本较少而导致模型对于这些缺陷的泛化能力不足。

4.2.3 性能对比分析

本课题组在加入新的策略、设计新的网络时，做了大量的成品缺陷检测实验，进而不断优化模型，以得到最优模型。改进中各模型性能测试结果如表1所示。

表1 改进中各模型性能测试比较Table 1 Comparison of performance tests of each model in this study

由表1可以看出，只有当主干网络和增强网络均采用DSC策略时，模型才能真正做到轻量化，但随之带来的是mAP值急剧下降；本文方法的mAP值仅比YOLOv4低0.07个百分点，但单个样本的检测时间缩短，约为YOLOv4的1/3。由此可见，改进后算法在保证精度的前提下极大提升了检测速度，这比较符合黏稠食品高速灌装生产成品缺陷检测的需要。

此外，为了综合评价本文模型的性能优劣，本课题组将已有成熟目标检测算法YOLOv3[13]、YOLOv4[12]、SSD[23]、Faster-RCNN[17]与本文方法进行对比。各种检测算法的测试结果如表2所示。

表2 各目标检测算法性能测试比较Table 2 Comparison of performance tests of each object detection algorithm

在表2中，由于Faster-RCNN参数计算量统计困难，因此本文未能给出。由表2可以看出，YOLOv3的精度和检测速度均无法满足要求；虽然Faster-RCNN的检测精度最高，但是检测速度最慢；本文方法既保证了精度与其它算法相差无几，又实现了检测速度的大幅提升，因此在实际生产中本文方法更具有优势。

5 结语

本研究提出了一种基于YOLOv4目标检测算法的黏稠食品轻量级灌装成品缺陷检测方法，并在灌装成品缺陷数据集上验证了该方法的有效性。研究结果表明：1）本文方法能够实现对于黏稠物料灌装成品缺陷的多目标、多类别同时检测，有效降低了生产线检测设备的成本；2）深度可分离卷积策略的应用使得模型参数计算量得到大幅下降，检测时间大大缩短，约为YOLOv4的1/3，满足了灌装成品缺陷高速检测要求；3）增强网络中，顶层特征与底层特征的融合设计和ECA的引入，加强了模型对目标特征的优质表达，进而实现了在模型参数下降的基础上保持较好的检测精度。