基于改进YOLOv5s的腌制蔬菜真空包装缺陷检测

叶宇星，孙志锋,，马风力,，陆玲霞，黄颖

基于改进YOLOv5s的腌制蔬菜真空包装缺陷检测

叶宇星1，孙志锋1,2，马风力1,2，陆玲霞1，黄颖2

（1.浙江大学 电气工程学院，杭州 310007；2.杭州力超智能科技有限公司，杭州 310014）

针对传统的基于人工的腌制蔬菜真空缺陷包装剔除效率低、漏检率高等问题，提出一种基于改进YOLOv5s的腌制蔬菜真空包装缺陷检测方法。首先，使用Ghost卷积替换CSP模块中的卷积，在提高模型特征提取能力的同时降低网络的参数量；其次，利用空间换深度（Space-to-Depth, SPD）和深度可分离卷积（Depthwise-Separable Convolution, DSConv）组合操作SPD–DSConv进行下采样，减少下采样造成的特征信息损耗；最后，在网络中引入SE注意力机制，提高算法的精确率。在自制的腌制蔬菜真空包装数据集上，改进后的网络平均精度（man Average Precision,mAP）为93.88%，模型尺寸为3.91 MB，相比原网络精度提高了2.05%，模型尺寸缩减了44.38%。文中方法能够实现腌制蔬菜真空缺陷包装的分类和定位，为基于机器人的缺陷包装剔除奠定了基础。

食品真空包装；YOLOv5s；缺陷检测

传统腌制蔬菜作为老百姓餐桌的风味佳肴历史悠久，其生产环节包括：腌制、发酵、起池、剪筋、切丝、漂淡、脱水、拌料、小包装罐装、包装封口、巴氏灭菌、产品检验。目前传统腌制蔬菜的真空包装通过罐装机实现了一体化的自动上袋、称量加料、封口、抽真空的包装流程，但是对缺陷包装的检测和剔除主要还是依赖于人工。

根据罐装机的加工流程，可以将具有缺陷的腌制蔬菜包装分为以下2类：由封口不完全造成的漏包；由自动上袋开口失败或称量加料失误造成的次包。受限于人眼的视觉敏锐度，基于人工的缺陷包装检测存在效率低、漏检率高等问题。

随着计算机技术的进步，机器视觉在食品包装缺陷检测上的应用也越发的广泛。食品包装材料具有多样性，常见的包装材料有塑料、金属、玻璃、纸质等[1]，其对应的缺陷类型也存在差异，但在检测方法上有一定的共通性。马志刚等[2]结合中值滤波、Canny算子等图像预处理和图像匹配的方法，搭建了机器视觉系统，实现了对条烟外包装的缺陷检测；Xiong等[3]提出了基于水平集映射（LSM）的方法，利用图像灰度值表示包装轮廓和缺陷位置信息，实现了对饼干缺陷包装的检测；Gao等[4]选取梯度直方图（Histogram of Oriented Gradient, HOG）特征作为图像的识别特征，并基于支持向量机（Support Vector Machine, SVM）对特征进行分类，实现了对不同表面缺陷程度的红酒包装检测；Bin-roslan等[5]将单阶段目标检测网络YOLOv5应用于塑料包装缺陷检测中，实现了高精度的塑料包装表面缺陷的实时检测。

相较于基于人工的包装缺陷检测，上述机器学习算法可以实现对特定包装缺陷的精确检测。腌制蔬菜的真空包装缺陷差异性较小，且其在传送带上运输的速度较快，目前针对食品包装检测的传统机器学习算法难以实现对其快速检测与精确定位。针对以上问题，文中提出一种基于改进YOLOv5s的腌制蔬菜真空包装缺陷检测方法，在提高缺陷包装检测精度的同时缩小模型的尺寸。首先，在CPS模块中引入Ghost卷积，在提高模型特征提取能力的同时降低网络的参数量；其次，利用空间换深度（Space-to-Depth, SPD）和深度可分离卷积（Depthwise-Separable Convolution, DSConv）的组合操作SPD–DSConv进行下采样，减少下采样过程中特征信息的损耗；最后，引入SE注意力机制，提高算法的精确率。

1 YOLOv5s模型

YOLO（You Only Look Once）系列在单阶段目标检测网络中占据了重要地位，可以快速准确地得到物体的类别和位置信息[6]。YOLOv5模型是Ultralytics团队于2020年6月提出的具有更优检测精度和速度的YOLO系列模型[7]。本文采用的YOLOv5s模型由YOLOv5按照一定比例缩小网络宽度和深度得到，兼顾了精度和速度上的要求。YOLOv5网络结构如图1所示。

YOLOv5网络结构包括输入端（Input）、主干特征提取网络（Backbone）、特征融合颈部（Neck）和输出预测端（Head）[8]。

Input部分对图像进行数据增强操作，包括Mosai增强方法，旋转、平移、缩放、错切等仿射变换方法以及HSV色彩空间增强方法。在训练时，对输入图像以一定概率进行以上数据增强方法，可以丰富数据集样本，使得训练的模型具有更好的鲁棒性[9]。

Backbone部分包括CBS模块、CSP模块[10]和SPPF模块。CBS模块为常规的卷积、批标准化（Batch Normalization, BN）和SiLU激活函数，主要负责下采样工作，Backbone的第1个CBS模块的卷积核大小为6×6，输入图像分辨率较大，采用大卷积核可以更好地获取全局特征[11]，其余CBS模块的卷积核大小均为3×3。CSP模块主要负责特征的提取，通过跨阶段结构将不同层次的特征信息进行融合，减少梯度信息的重复。SPPF模块是空间池化金字塔（Spatial Pyramid Pooling, SPP）[12]模块的改良版，将输入特征依次经过3次5×5的最大池化操作，保留了SPP模块可以有效减少重复特征的提取优点并减少了计算成本。

Neck部分包含特征金字塔（Feature Pyramid Networks, FPN）[13]和感知对抗网络（Perceptual Adversarial Networks, PAN）[14]。首先通过上采样方式融合自下而上的特征信息，再通过下采样方式将特征信息作进一步提取，实现了多层次信息的交互。

Head部分主要完成对物体类别信息和特征信息的预测。在训练过程中通过GIOU[15]损失函数对模型参数进行修正，在预测过程中通过非极大值抑制（Non-Maximum Supression, NMS）对预测的不同类别的物体的坐标信息进行校正和筛选。

2 改进YOLOv5s模型

改进的YOLOv5s网络结构如图2所示。在网络Backbone和Neck部分的CSP模块中引入Ghost卷积，替换其中的普通卷积，在提高模型特征提取能力的同时降低网络的参数量。将Backbone和Neck部分中的下采样卷积用SPD–DSConv代替，减少下采样过程中特征信息的损耗并使得网络更加轻量化，但保留Backbone中6×6的卷积，使网络可以更好地融合输入图像的局部特征。在Backbone中引入一个SE模块，增加模型的特征提取能力。

图1 YOLOv5网络结构

图2 改进YOLOv5s网络结构

2.1 Ghost卷积

腌制蔬菜完成罐装后，需要在传送带上运输到下一杀菌环节，实现运输过程中缺陷包装的实时精确检测，对进一步实现基于机器人的缺陷包装剔除有重要意义。YOLOv5s网络相较于YOLOv5网络，在深度上已经进行了极大的压缩，但要实现传送带上包装的不间断检测对网络的轻量化有更进一步的要求。

Ghost卷积利用普通卷积生成的特征图中具有冗余性的特征，采用低成本的线性变换方式在普通卷积生成的特征图基础上得到新的特征图[16]。在保持模型特征提取能力的同时减少网络的参数量。

Ghost卷积的过程如图3所示。假设输入的特征图大小为，经过普通卷积后生成不含冗余的(/2)的中间特征图；再以廉价的线性操作即分组卷积，使中间特征图的每个通道形成冗余特征图；最后将冗余特征图和中间特征图在通道上进行拼接，生成完整的的特征图。假设使用的普通卷积和分组卷积的卷积核大小均为×，则Ghost卷积中常规卷积的参数量见式（1）。

分组卷积的参数量见式（2）。

因此Ghost卷积的参数量见式（3）。

当完全由传统卷积获得输出特征图时，卷积的参数量见式（4）。

对比式（3）和式（4），可以发现Ghost卷积的参数量大约为普通卷积的1/2。CSP模块负责网络的特征提取，包含整个网络的大部分参数，将Ghost卷积替换CSP模块中的普通卷积可以有效降低网络的参数量。

图3 Ghost卷积

2.2 SPD–DSConv

腌制蔬菜包装采用真空包装的形式，在罐装机刚完成抽真空后，漏包和正常包装的差异性较小，封口不严引起的缺陷在一开始仅表现为封口处的细小差异，在杀菌等后续环节完成后才会逐渐引起包装整体的漏气，放大缺陷差异，要实现对罐装之后缺陷包装的剔除，需要实现对封口处细小差异特征的准确提取。

在常见的目标检测网络模型中，多用步长为2的卷积进行下采样，而对分辨率较小的特征来说，这种下采样方式会导致特征图细粒度信息的丢失[17]。

SPD具体方法如图4所示。采用空间换深度的操作，利用切片组合的方式将图像进行下采样，再通过卷积将通道维度信息进行融合，可以减少下采样过程中细粒度信息的丢失。

DSConv方法如图5所示。其包括逐通道卷积和逐点卷积，首先利用逐通道卷积对输入特征图每个通道进行分组卷积，生成中间特征图，再对中间特征图进行逐点卷积，采用卷积核大小为1×1，步长为1的普通卷积得到最终的特征图。假设输入和输出特征图大小为，卷积核大小为，则普通卷积操作所需参数量见式（5）。

深度可分离卷积操作所需参数量见图（6）。

综合式（5）和式（6），对通道数较多的特征来说，DSConv可以大幅减少卷积所需的参数量。SPD虽然有利于特征信息的融合，但会带来通道维度翻倍，对于普通的卷积来说，其参数量也会成倍增长，因此在SPD操作后利用DSConv来对通道维度信息进行融合，可以大幅度减少所需的参数量。

图4 SPD结构

图5 深度可分离卷积

2.3 SE注意力机制

腌制蔬菜包装在传送带上的姿态并非规则整齐的，会出现不同的形态，甚至不同的包装之间会出现不同程度的堆叠导致缺陷特征被部分遮挡，因此需要对网络的特征提取能力作进一步的增强。

SE模块是一种通道注意力，它对输入特征图进行通道特征加强，而不改变特征图的大小[18]。本文将SE模块放在Backbone的末尾，加强整体的通道特征，使后续的Neck部分能更好地对重要特征进行融合，提高模型性能。SE模块的结构如图6所示，其结构包含压缩、通道特征学习和激励。假设输入特征图的大小为××，压缩部分通过全局池化平均在空间维度上将输入特征图压缩成1×1×的特征图；通道特征学习部分首先利用卷积核大小为1×1、步长为1的卷积和SiLU激活函数得到1×1×()的特征图，其中为通道缩放因子，本文采用=16，再通过卷积核大小为1×1、步长为1的卷积和Sigmoid激活函数得到1×1×的通道权重系数；激励部分将原始输入特征逐通道乘上通道权重系数，得到带有通道注意力的特征图，其中不同的通道权重系数反映了该通道特征的重要性。

图6 SE注意力机制

3 实验结果与分析

3.1 数据集介绍

本文采用自制腌制蔬菜包装数据集，包装样本由浙江宁波某公司提供，其中缺陷包装由生产线上6 d内人工筛选而得。根据罐装机自动包装的流程，将缺陷样本类型分为漏包、次包，其中漏包的主要特征为包装封口不严密，易于漏气；次包的主要特征为包装虽然密封，但计量不准或少于设定的包装物料质量，乃至空包。根据腌制蔬菜种类的不同，数据集中包含榨菜丝、榨菜芯、榨菜片、腌萝卜等不同外观包装。根据传送带上运输包装的真实情况，同一批次中包含多个分布不均匀的包装，数据集中包含多个正常包装和缺陷包装以不同数量和不同堆叠方式放置。根据以上方式对包装样本进行数据采集，最后获得3 374张图片，并利用LableImg工具对图片中的目标进行标注，分为正常包（Normal）、次包（Defect）和漏包（Leakage），其目标数量分别为3 140、1 619、2 943。

数据集中的部分图像如图7所示，其中文本表示该样本所属的类别。

图7 自制腌制蔬菜包装数据集

3.2 环境配置

实验环境为Windows 10操作系统，选用Python语言的PyTorch 1.7深度学习框架；CPU处理器为Intel(R) Core(TM) i7–10700 CPU @ 2.90GHz；GPU为NVIDIA GeForce RTX 3060。

训练时，将数据集中图片随机划分，最终选用2 618张图片作为训练集，756张图片作为验证集，设置Batch_size为4。训练过程中，模型输入图片的分辨率为640×640；采用SGD优化器训练网络，动量参数设置为0.937，权重衰减系数为0.000 5。文中模型的学习率和损失值随迭代次数变化如图8所示。模型一共训练400批次，学习率下降策略采用余弦退火，初始学习率设置为0.01，在第300批次时降低至0.001，同时在开始训练时开启热身训练，帮助模型更好的收敛。关于热身训练的具体内容参考文献[19]。根据损失值随迭代批次的变化可以发现在迭代批次达到300时，模型在训练集上趋于收敛，因此，在300～400批次时利用验证集验证模型的效果，并保存在验证集上表现最好的模型权重，避免模型过拟合。

图8 文中模型学习率和损失值变化曲线

3.3 评价指标

文中采用平均精度（mean Average Precision,mAP）、参数量（Parameters）、浮点运算数（Floating Point Operations, FLOPs）分别评价模型的精度、空间复杂度和时间复杂度。

mAP是所有目标类别P的均值，可以同时评价模型的分类和定位性能。P为该目标类别在不同置信度下准确率和召回率绘制曲线所围面积，公式如下：

式中：p为预测为正样本且实际为正样本的样本数量；p为预测为正样本但实际为负样本的样本数量；N为预测为负样本但实际为正样本的数量；P为类别精度；为样本类别数。

3.4 结果分析

根据实际的腌制蔬菜在传送带上运输的情况，在不同的堆叠程度下验证本文算法的检测效果。实验结果如图9所示，图9中的数值为对应类别的置信度。训练好的网络可以精确地实现榨菜丝、榨菜片、榨菜芯、萝卜干等不同腌制蔬菜包装在复杂堆叠环境下的分类和定位。

为验证本文算法的有效性，在相同的验证集和训练环境配置下，通过消融实验验证所添加的各个模块效果，实验结果见表1。其中YOLOv5s–G表示在原网络中仅加入Ghost卷积，YOLOv5s–SD表示在原网络中加入SPD–DSConv模块，YOLOv5s–SE表示在原网络中加入SE注意力机制，YOLOv5s– G–SD表示在原网络中同时加入Ghost卷积和SPD–DSConv模块。由表1可知，在YOLOv5s算法基础上加入Ghost卷积后，mAP提升了2.53%，同时模型参数量下降了27.03%。表明引入Ghost卷积后的CSP模块不仅能降低网络参数量，还提高了网络的特征提取能力。用SPD–DSConv替换原本的下采样卷积后，网络在保持精度的同时还降低了网络的参数量。同时加入Ghost卷积和SPD–DSConv模块后，在不损失精度的条件下，模型尺寸下降了44.81%；在此基础上加入SE注意力机制，进一步提升了网络的特征提取能力。对比原YOLOv5s算法，本文算法各类别精度均获得了提升，且对设备的算力和内存要求较小，模型的平均精度提升了2.05%，尺寸下降了44.38%。

为进一步验证本文算法的优越性，在相同的数据集和训练环境下，将本文算法与轻量级单阶段目标检测网络YOLOv3–tiny、YOLOv4–tiny进行对比实验，结果如表2所示。

由表2可知，本文模型的各类别精度均高于YOLOv3–tiny和YOLOv4–tiny的各类别精度。相较于YOLOv3–tiny和YOLOv4–tiny，本文模型的平均精度分别提高了3.01%、2.70%，同时模型参数量分别降低了54.90%、33.50%。实验证明改进后的YOLOv5s网络能够实现快速精确地进行腌制蔬菜包装的缺陷检测。

图9 腌制蔬菜包装缺陷检测效果

表1 消融实验对比结果

Tab.1 Comparison results of ablation experiments

表2 各网络模型性能对比

Tab.2 Performance comparison of network models

4 结语

为解决传统基于人工腌制蔬菜真空缺陷包装剔除效率低、漏检率高的问题，文中提出了基于改进的YOLOv5s腌制蔬菜真空包装缺陷检测方法。在网络中引入了Ghost卷积，在保持网络特征提取能力的同时降低网络参数量，有利于实现传送带上运输的不同批次腌制蔬菜包装的实时高效检测；引入SPD–DSConv模块进行下采样，减少下采样过程中细粒度信息的丢失，有利于对腌制蔬菜缺陷包装细小缺陷特征的提取；引入SE注意力机制，进一步增强了网络对腌制蔬菜缺陷包装的特征提取能力。改进后的网络能够实现高精度的实时缺陷检测，为基于自动化腌制蔬菜缺陷包装剔除系统的构建奠定基础。

[1] 张红岩, 王永志, 刘庆红. 图像识别技术在食品包装缺陷检测中的应用[J]. 食品与机械, 2020, 36(8): 225-228.

ZHANG Hong-yan, WANG Yong-zhi, LIU Qing-hong. Application of Image Recognition Technology in Food Packaging Defect Monitoring[J]. Food & Machinery, 2020, 36(8): 225-228.

[2] 马志刚, 赵志强. 基于机器视觉的包装品质检测系统设计[J]. 包装工程, 2022, 43(21): 193-197.

MA Zhi-gang, ZHAO Zhi-qiang. Design of Packaging Quality Inspection System Based on Machine Vision[J]. Packaging Engineering, 2022, 43(21): 193-197.

[3] XIONG Kun-kun, LI Weng-sheng, DONG Shu-ai, et al. Defect Detection of Biscuit Packaging Based on Level Set Map[C]// 2022 15th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI), Beijing, China, 2022: 1-7.

[4] GAO Cong-rui. Design of Tourism Package with Paper and the Detection and Recognition of Surface Defects-Taking the Paper Package of Red Wine as an Example[J]. Journal of Intelligent Systems, 2021, 30(1): 720-727.

[5] BIN-ROSLAN M I, IBRAHIM Z, AZIZ Z A, Real-Time Plastic Surface Defect Detection Using Deep Learning[C]// 2022 IEEE 12th Symposium on Computer Applications & Industrial Electronics (ISCAIE), Penang, Malaysia, 2022: 111-116.

[6] 邵延华, 张铎, 楚红雨, 等. 基于深度学习的YOLO目标检测综述[J]. 电子与信息学报, 2022, 44(10): 3697-3708.

SHAO Yan-hua, ZHANG Duo, CHU Hong-yu, et al. A Review of YOLO Object Detection Based on Deep Learning[J]. Journal of Electronics & Information Technology, 2022, 44(10): 3697-3708.

[7] 王朕, 李豪, 严冬梅, 等. 基于改进YOLOv5的路面病害检测模型[J]. 计算机工程, 2023, 49(2): 15-23.

WANG Zhen, LI Hao, YAN Dong-mei, et al. Pavement Disease Detection Model Based on Improved YOLOv5[J]. Computer Engineering, 2023, 49(2): 15-23.

[8] HU Wen-xin, XIONG Jun-tao, LIANG Jun-hao, et al. A Method of Citrus Epidermis Defects Detection Based on an Improved YOLOv5[J]. Biosystems Engineering, 2023, 227: 19-35.

[9] 王淑青, 顿伟超, 黄剑锋, 等. 基于YOLOv5的瓷砖表面缺陷检测[J]. 包装工程, 2022, 43(9): 217-224.

WANG Shu-qing, DUN Wei-chao, HUANG Jian-feng, et al. Ceramic Tile Surface Defect Detection Based on YOLOv5[J]. Packaging Engineering, 2022, 43(9): 217-224.

[10] WANG C Y, LIAO H Y M, YEH I H, et al. CSPNet: A New Backbone that can Enhance Learning Capability of CNN[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle, WA, USA, 2020: 1571-1580.

[11] DING Xiao-hong, ZHANG Xiang-yu, ZHOU Yi-zhuang, et al. Scaling up your Kernels to 31x31: Revisiting Large Kernel Design in CNNS[C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, 2022: 11953-11965.

[12] HE Kai-ming, ZHANG Xiang-yu, REN Shao-qing, et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[13] ZHANG Y, HAN J H, KWON Y W, et al. A New Architecture of Feature Pyramid Network for Object Detection[C]// 2020 IEEE 6th International Conference on Computer and Communications (ICCC), Chengdu, China, 2020: 1224-1228.

[14] CHEN Yu-nian, WANG Yan-jie, ZHANG Yang, et, al. PANet: A Context Based Predicate Association Network for Scene Graph Generation[C]// 2019 IEEE International Conference on Multimedia and Expo (ICME), Shanghai, China, 2019: 508-513.

[15] REZATOFIGHI H, TSOI N, GWAK J, et al. Generalized Intersection over Union: A Metric and a Loss for Bounding Box Regression[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019: 658-666.

[16] HAN Kai, WANG Yun-he, TIAN QI, et al. GhostNet: More Features from Cheap Operations[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020: 1577-1586.

[17] SUNKARA R, LUO T. No More Strided Convolutions or Pooling: A New CNN Building Block for Low-Resolution Images and Small Objects[C]// European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD), Grenoble, France, 2022.

[18] CHEN Jia-dong, WU Yin-cheng, YANG Yin, et al. An Efficient Memristor-Based Circuit Implementation of Squeeze-and-Excitation Fully Convolutional Neural Networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(4): 1779-1790.

[19] HE Kai-ming, ZHANG Xiang-yu, REN Shao-qing, et al. Deep Residual Learning for Image Recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 770-778.

Vacuum Packaging Defect Detection of Pickled Vegetables Based on Improved YOLOv5s

YE Yu-xing1, SUN Zhi-feng1,2,MA Feng-li1,2,LU Ling-xia1,HUANG Ying2

(1. College of Electrical Engineering, Zhejiang University, Hangzhou 310007, China; 2. Hangzhou Lichao Intelligent Technology Co., Ltd., Hangzhou 310014, China)

The work aims to propose a vacuum packaging defect detection method for pickled vegetables based on YOLOv5s network to solve the low efficiency and high leakage rate of manual-based vacuum defect packaging rejection of pickled vegetables. Firstly, Ghost Convolution was used to replace the convolution in the CSP module, which reduced the number of parameters in the network while improving the feature extraction capability of the model; Secondly, in order to reduce the loss of feature information in down sampling, the space-to-depth (SPD) and depthwise-separable convolution (DSConv) were used in down sampling; Finally, the SE attention mechanism module was introduced in the network to improve the accuracy of the algorithm. On the dataset of homemade pickled vegetable packaging, the mean average precision (mAP) of the improved network reached 93.88 and the model size reached 3.91 MB. Compared with the original model, the mAP was increased by 2.05% and the model was reduced by 44.38%. The method in the paper enables the classification and localization of the defective vacuum packages of pickled vegetables, and lays a foundation for robot-based defective package rejection.

food vacuum packaging; YOLOv5s; defect detection

TP391.4

A

1001-3563(2023)09-0045-09

10.19554/j.cnki.1001-3563.2023.09.006

2023−02−24

宁波市现代农业专项（2022Z176）；国家重点研发计划项目（2016YFD0400405）

叶宇星（1998—），男，硕士生，主攻计算机视觉。

孙志锋（1963—），男，硕士，副教授，主要研究方向为微电网技术，人工智能等。

责任编辑：曾钰婵