基于改进轻量化YOLOv5s的卷烟厂烟草粉螟视觉检测方法

杨光露,鲁晓平,李琪,李春松,胡宏帅,刘宇濠,田富稳,张焕龙

1.郑州轻工业大学 电气信息工程学院,河南 郑州 450001;2.河南中烟工业有限责任公司,河南 郑州 450000

0 引言

烟草粉螟是卷烟厂常见害虫,它们咬食烟叶,导致卷烟口感变差、品质下降,甚至无法销售;它们大量繁殖还会堵塞设备,污染烟草原料和成品,造成生产线中断和停工,给卷烟生产带来严重经济损失[1]。因此,卷烟厂需要投入大量资源对烟草粉螟进行检测和防治[2-3]。

目前,卷烟厂普遍采取人工查数的方法检测烟草害虫,但该方法受人为因素干扰较大,费时费力,且清点易出错。随着深度学习的发展,越来越多的研究者采用基于神经网络的深度模型对害虫进行检测。刘凯旋等[4]提出了一种基于级联R-CNN的水稻害虫检测方法,该方法通过特征金字塔优化提取小目标特征,并用ROI Align替换原有ROI池化,减少了小目标特征的丢失,缓解了因害虫目标较小导致的算法识别精度低的问题,对多种水稻害虫的检测平均精度(mAP)达到94.15%。肖德琴等[5]设计了一种基于改进Faster R-CNN的田间黄板害虫检测算法,将ResNet101网络与RPN[6]网络结合作为特征提取网络,设计了多种尺寸的锚点对特征图像进行前景和背景判断,有效解决了田间黄板害虫体积小、数量多、分布不均匀等问题。陈向东等[7]研究了一种基于显著性检测的害虫图像自动分割算法,该方法可区分农田害虫的种类及判断虫害的程度,极大提高了劳动效率。苗海委等[8]提出了一种基于深度学习的粘虫板储粮害虫图像检测算法,通过改进SSD的目标框回归策略、损失函数和特征提取网络结构,以适应粘虫板储粮害虫体积小、姿态多样的特点,mAP可达81.36%。林俊宇[9]提出了一种基于机器视觉的烟虫检测方法,采用密集连接网络和改进的特征金字塔提高Mask R-CNN的特征提取和特征图利用能力,并用Soft-NMS算法提高了Mask R-CNN的密集检测能力。洪金华等[10]提出了一种基于YOLOv3[11]模型的卷烟厂烟虫识别方法,采用数据增强和K-Means++聚类方法提供充足数据,提高了模型对烟丝和烟末杂质的鲁棒性。何雨等[12]在YOLOv5s网络的基础上引入ShuffleNet v2特征提取机制来实现网络的轻量化,同时采用加权双向特征金字塔BiF-PN和边框回归损失EIOU获取特征信息更丰富的特征图,改进后的模型参数量明显减少,模型复杂度减少了46%,mAP提升到63.9%。杨锦辉等[13]提出了一种基于改进YOLOv5s的轻量化目标检测算法,通过上述多分支空洞卷积结构RFB-Bottleneck提升 PANET的特征提取能力,引入 GhostConv 减少模型参数量,但检测速度略有下降。Q.S.Yang等[14]提出了一种改进YOLOv5s的方法,通过改进跨阶段本地网络模块,调整模块数量,设计与协同注意模块相结合的骨干网络,提高了检测性能,但其对小目标的检测效果不太理想。上述算法模型复杂度较高、网络较深、参数量较多,有的虽实现了轻量化,但检测精度较低,也未能实现对害虫的实时检测,难以满足烟厂工作人员及时发现和处理烟草粉螟的实际需求。

鉴于此,本文拟提出一种新的基于改进轻量化YOLOv5s的卷烟厂烟草粉螟视觉检测方法,该方法首先设计轻量化EESP-Ghost模块;其次,基于EESP-Ghost模块构建双重注意力Ghost-bneck模块,将EESP-Ghost模块和融合高效空间金字塔的双重注意力Ghost-bneck模块引入YOLOv5s模型中,以适应因计算资源不足导致的检测精度低的问题。

1 图像数据集建立

在实际卷烟厂烟叶仓储环境中,烟虫诱捕器被用来作为吸引并捕捉烟草粉螟的主要工具。图像数据集的建立包括数据采集、数据集制作及数据集处理三部分。数据采集:通过手机或相机连续对卷烟厂内放置的含有烟草粉螟的烟虫诱捕器进行拍照采集原始图像152张,调整图片分辨率为375 dpi×500 dpi、500 dpi×375 dpi、512 dpi×512 dpi和1000 dpi×1000 dpi,共计760张图片。数据集制作:使用LabelImg对采集到害虫的数据进行标注,给其一个确定的标签。数据集处理:对数据集进行数据增强处理,以弥补所采集烟草粉螟样本图像的不足,并满足在不同场景下烟草粉螟样本图像的多样性,采用亮度、高斯噪声、平移、随机裁剪、cutout这5种数据增强方法对原始数据集进行扩充后,得到4568张烟草粉螟图像。通过上述方式可改善基于神经网络学习时由于信息不足导致学习不全面的情况,减少网络过拟合现象的发生,增强网络的泛化能力[15]。

2 基于改进轻量化YOLOv5s的烟草粉螟检测建模

2.1 模型选择

在移动设备内存和计算资源有限的条件下,寻找合适的检测器来平衡检测精度和模型复杂度是实现轻量化目标检测模型的关键。YOLOv5作为一种先进的单阶段目标检测算法,在检测速度和检测精度之间取得了很好的平衡。YOLOv5的主要网络结构分为YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x这4种类型。其中,YOLOv5s具有体积小、速度快的优点,适用于移动设备[16]。因此,本文选择YOLOv5s作为基础的网络框架,改进后用于卷烟厂烟虫诱捕器内烟草粉螟的检测。

2.2 模型轻量化改进

通过设计轻量化卷积模块对YOLOv5s主干网络进行改造,训练出一个轻量化模型,在大大减少参数量的同时,具有不逊色于原有主干网络的性能。为了进一步压缩网络参数,对原YOLOv5s中的Neck进行了改进,使用EESP-Ghost模块和融合高效空间金字塔双重注意力的Ghost-bneck模块(DA-EESP-Ghostbneck)替代PANet模块,节省了计算成本且提升了模型性能。通过3个独立预测分支YoloHead进行预测,采用YOLOv3的检测头结构和CIOU损失函数输出多尺度目标信息。基于改进轻量化YOLOv5s的烟草粉螟检测过程见图1,设计的DA-EESP-Ghostbneck模块可实现对YOLOv5s主干网络的轻量化,在减少网络参数量的同时保证了特征提取能力。构建轻量级特征融合网络(Lightweight Feature Fusion Network,LFFN)在颈部实现不同尺度特征层的融合,通过通道注意和空间注意增强特征的语义信息和细节信息的表达。YoloHead对输出的三层特征进行分类和定位,实现目标检测。这样的改进提升了对微小目标的检测能力,并保证了轻量化模型的性能和效率。

图1 烟草粉螟检测过程Fig.1 The tobacco moth detection process

图2 EESP-Ghost模块Fig.2 EESP-Ghost module

为了进一步得到所需剩余特征图,在每个有价值的特征图的基础上应用一系列廉价的线性运算生成所需剩余的S个冗余特征图。线性运算公式为:

yi,j=Φi,j(y′i) ∀i=1,…,mj=1,…,s

2.2.2 构建融合高效空间金字塔的双重注意力Ghost-bneck模块利用EESP-Ghost模块的优点,设计了适合小型神经网络的融合高效空间金字塔的双重注意力Ghost-bneck模块,在使用较少参数量的情况下,更好地利用有效信息增强通道特征,抑制无效通道特征,进一步提高网络性能。Ghost-bneck模块结构如图3所示,其公式如下:

图3 融合高效空间金字塔的双重注意力Ghost-bneck结构图Fig.3 Ghost-bneck structure diagram of dual attention merging efficient space pyramid

fout=φ(fin)+DA(fin)

其中,fin为输入特征,fout为经双重注意力Ghost-bneck模块后输出的特征,DA为经EESP-Ghost块提取特征的过程,通道注意力的公式如下:

其中,Sij为注意特征图S∈R(H×W)×(H×W);M为输入特征图;F3为浅层特征,其通过卷积层生成一个新的特征F3′;α为比例参数,初始值为0,学习过程中会随着学习时间的增加获得越来越大的权重。如果这两个位置i和j的特征表示越相近,那么它们之间的相关性就会越大,在每个位置得到的特征F3p是所有位置特征和原始特征的加权和。位置注意力公式如下:

其中,D为通道注意力矩阵;Sji为j通道对i位置的影响;F5为深度特征,其通过卷积层生成一个新的特征F5′;β为尺度参数,最终输出特征为F5C∈RC×H×W,每个通道的最终特征是所有通道特征与原始特征的加权和,模拟了特征映射之间的长期语义依赖关系。双重注意力Ghost-bneck模块类似于ResNet[18]中的残差块,其中集成了几个卷积层和跳跃连接。融合高效空间金字塔的双重注意力Ghost-bneck模块主要由两个堆叠的EESP-Ghost模块和双重注意力模块组成。第一个EESP-Ghost模块作为扩展层,增加通道数量;第二个EESP-Ghost模块减少了与快捷路径匹配的通道数量。通过快捷连接方式连接这两个EESP-Ghost模块的输入和输出,每一层之后都应用了批量归一化(BN[19])和激活函数(ReLU[20])。

为了进一步提升网络性能,引入基于通道和位置并行的双重注意力模块[21],并将其嵌入EESP-Ghost模块的跳跃连接中。双重注意力模块可更好地利用有效信息增强通道特征,抑制较少或无效的通道特征,其网络结构如图4所示。位置注意力模块通过所有位置处的特征的加权和来选择性地聚合每个位置的特征,使网络把注意力聚焦在特征图中那些与目标相关的位置;通道注意力模块通过整合所有通道映射之间的相关特征来选择性地强调存在相互依赖的通道映射。最后,将两个注意力模块输出进行融合,可更高效地利用特征图上下两层之间的信息,提高模型的表征能力,实现特征图的自适应细化。

图4 双重注意力网络结构Fig.4 Dual attention network structure

2.2.3 构建轻量级特征融合网络原YOLOv5s中的特征融合网络采用特征金字塔网络(FPN)和路径聚合网络(PAN)结构。FPN模块采用自顶向下的方式,通过上采样将高级特征映射和低级特征映射集成在一起,增强语义特征。在FPN的基础上,PAN将定位信息从浅层传递到深层,获得增强的空间特征。该网络中的卷积模块和CSP瓶颈模块占用大量的计算资源,为了进一步压缩网络参数,实现模型轻量化设计,对原YOLOv5s中的特征融合网络进行改进。主要是用EESP-Ghost模块代替原有FPN+PAN网络中的普通卷积。将原CSP瓶颈模块替换为融合高效空间金字塔的双重注意力Ghost-bneck模块,放弃自顶向下和自底向上的融合路径而直接融合深层特征和浅层特征,并删除部分卷积操作,可节省大量的计算成本,获得更好的模型性能。深层特征具有丰富的语义信息,但缺乏细节信息。利用位置注意模块从浅层特征中提取细节信息并优化深度特征;利用通道注意模块从深度特征中提取重要的通道信息并优化浅层特征。最后,将这两个注意模块的输出特征聚合,聚合过程如下:

其中,Z为聚合后输出特征;X,Y为通道数;K为比例系数;*为卷积过程。通过上述过程得到能更充分利用上下文信息的特征。

2.3 模型训练

将上述基于改进后的轻量化YOLOv5s的网络模型在构建的烟草粉螟数据集的训练集中进行训练。在训练过程中,首先,通过K-Means锚盒尺度聚类对原始图像进行处理;然后,将处理后的图像输入到改进轻量化YOLOv5s模型中;随后,根据改进轻量化 YOLOv5s中的锚盒偏移值获得预测边界盒信息,使用分类损失lossclc计算锚框与对应的标定分类是否正确,使用回归损失lossrect计算预测框与标定框之间的误差,使用置信度损失lossobj筛选置信度得分较低的预测框。YOLOv5s网络的损失函数定义为:Loss=a*lossobj+b*lossrect+c*lossclc,其中,a,b,c分别为训练出的权重,最终得出3个损失的加权和,通常置信度损失取最大权重,矩形框损失和分类损失的权重次之。YOLOv5使用CIOU loss计算回归损失,置信度损失与分类损失都采用BCE loss计算。在这3种损失函数下训练整个网络模型,并调整模型参数,使3种损失达到最小,让模型效果达到最优。

实验算法操作平台为Intel i7-9700k CPU、 NVIDIA RTX4000显卡和8GB内存硬件设备。在训练阶段,采用SGD(随机梯度下降)更新网络的权重,前50次迭代batch size大小设置为16,后250次迭代设置为8,迭代次数300次。初始学习率为0.001,权重衰减率为0.000 5,学习率衰减速率为0.01,冲量为0.937。

3 结果与分析

3.1 消融实验结果分析

本节利用烟草粉螟数据集一系列消融实验来验证每个改进部分对提出方法的有效性,包括EESP-Ghost模块、DA-EESP-Ghostbneck模块和LFFN。采用目标检测中常用的指标参数量作为准确性评价标准,由于是关于轻量级检测网络的研究,因此也将网络模型的参数量作为一个评价指标。

消融实验结果见表1。由表1可知,使用EESP-Ghost模块对YOLOv5s主干网络进行压缩后,网络的参数量仅为原始主干网络的63.22%,而平均精度仅减少了0.90%。这充分验证了本文提出的EESP-Ghost模块通过使用EESP生成有价值的特征图,以及利用低成本的线性运算生成剩余的特征图,可减少网络模型参数量;利用EESP-Ghost模块轻量级优势构建的DA-EESP-Ghostbneck模块,在参数量增加0.184 M的前提下,平均精度提升了2.37%,表明双重注意力通过关注特征图中重要的通道和位置,能确保主干网络的特征提取能力。在增加LFFN后,检测网络模型的参数量再次减少了1.115 M,同时平均精度也增加了2.9%。这进一步说明LFFN可简化特征融合的过程,通过注意引导可使融合后的特征包含丰富的语义信息和细节信息,从而提高检测性能。综上可知,本文提出的轻量级方法是有效的。

表1 消融实验结果Table 1 Comparison of ablation results

3.2 烟草粉螟数据集实验结果分析

为进一步检验本文标法的有效性,将本文方法与YOLOv5s[22]、YOLOv5m[22]、YOLOX-Tiny[23]、YOLOv4[24]、YOLOv4-Tiny[24]、YOLOv7-Tiny[25]在烟草粉螟数据集上进行训练和测试,所有实验均在相同环境下进行。实验采用精确率、召回率、平均精度、参数量作为评判标准,结果见表2。由表2可知,YOLOv5s模型参数量为7.277 M,本文方法模型参数量为3.630 M,即在应用本文方法进行轻量化后,模型参数量仅为YOLOv5s模型参数量的49.88%,且在此情况下,本文方法精确率、召回率和平均精度相较其他算法均有不同程度的提升。参数量减少表明本文提出的EESP-Ghost模块和DA-EESP-Ghostbneck模版瓶颈层可压缩网络模型,实现神经网络的轻量化。精确率、召回率和平均精度的提升表明本文方法可在保证压缩网络模型的同时提升其检测性能。其中召回率的提升最为明显,原始YOLOv5s为78.16%,本文方法达到83.51%,减少了错检的情况。另外,平均精度提升了4.37% ,进一步验证了本文方法的有效性和优越性。

表2 实验结果对比Table 2 Comparison of experimental results

3.3 烟草粉螟视觉检测系统实际应用结果分析

当烟草粉螟板上出现多个烟草粉螟粘连、重叠等情况时,会给检测带来较大挑战,容易影响检测精度,而在实际应用过程中这种检测环境是十分常见的。表3为复杂检测环境下各算法对烟草粉螟的检测效果。由表3可知,本文方法在真实检测场景下对粘附到粘虫板上的烟草粉螟进行检测时,检测置信度、正确检测数均较高。实际应用中可依据本文改进轻量化YOLOv5s的烟草粉螟视觉检测方法设计一套烟草粉螟检测系统,并将其部署在移动端设备上,有望实现对烟草粉螟的精确检测,有助于烟厂管理人员及时发现虫害,进行科学防治。

表3 复杂检测环境下各算法对烟草粉螟的检测效果Table 3 Detection effect of different methods in complex detection environments

4 结论

针对当前卷烟厂内烟草粉螟检测方法存在模型参数量大、检测速度慢、检测精度低等问题,本文提出了一种基于改进轻量化YOLOv5s的卷烟厂烟草粉螟视觉检测方法。该方法将EESP-Ghost模块和融合高效空间金字塔的双重注意力 Ghost-bneck模块引入YOLOv5s,实现对YOLOv5s的轻量化使深度神经网络在占有更小存储空间情况下的检测精度不变。其中轻量化卷积模块EESP-Ghost在减少参数量和计算量的同时扩大了感受野,更好地捕捉目标上下文信息,确保了网络的特征提取能力。另外,融合高效空间金字塔的双重注意力Ghost-bneck模块不仅充分发挥了EESP-Ghost模块轻量化的优势,而且通过双重注意力高效地利用了特征图上下两层之间的信息,使模型把注意力聚焦在特征图中与目标相关的通道和位置上。本文提出的方法在大幅减少模型参数量的同时使模型性能保持较高水平,更适合部署在移动终端等资源受限设备上,有助于烟厂管理人员及时发现虫害并进行科学防治,提升烟叶品质。