APP下载

基于轻量化CBAM—GoogLeNet的辣椒病虫害识别

2025-02-26戴敏孙文靖缪宏

中国农机化学报 2025年2期
关键词:注意力机制深度学习

摘要:针对GoogLeNet模型在自然环境下进行辣椒叶片病虫害识别时存在网络参数多、模型内存大以及训练时间长的问题,提出一种融合CBAM机制的轻量化GoogLeNet模型(CBAM—GoogLeNet)。采用CBAM注意力机制替换Inception(4b)和Inception(4c)模块,将该注意力机制插入到平均池化层之后,在全连接层中添加L2正则化,达到减小训练模型和缩短训练时长的目的,同时保证网络模型的高准确率和验证率,并结合MATLAB平台设计一款可视化的辣椒病虫害识别系统。结果表明,CBAM—GoogLeNet的模型大小相比AlexNet、VGG16、VGG19和GoogLeNet分别缩小91.2%、96.2%、96.3%和15.0%,训练时长分别减少12.7%、26.5%、62.2%和8.8%,此外,该模型的识别准确率达到99.5%,验证准确率达到97.3%,实现模型轻量化和快速精准识别的目标。为辣椒及时防治、减少损失提供一种有效的技术支持。

关键词:辣椒病虫害;精准识别;轻量化模型;注意力机制;深度学习

中图分类号:TP 391.4; S435.79""""" 文献标识码:Anbsp;"""" 文章编号:2095‑5553"(2025)"02‑0224‑07

Identification of pepper pests and diseases based on lightweight CBAM—GoogLeNet

Dai Min, Sun Wenjing, Miao Hong

(College of Mechanical Engineering, Yangzhou University, Yangzhou, 225127, China)

Abstract: In order to address the issues of numerous network parameters, large model memory and long training time in recognizing diseases and pests on pepper leaves in natural environments by using the GoogLeNet model, a lightweight GoogLeNet model incorporating the CBAM mechanism (CBAM—GoogLeNet) is proposed. In this model, Inception (4b) and Inception (4c) modules are replaced by the CBAM attention mechanism, while this attention mechanism is inserted into "the average pooling layer, and L2 regularization is added in the fully connected layer, so as to reduce the model size and shorten the training time, while ensuring high accuracy and validation rates of the network model. A visual pepper disease and pest identification system is also designed by using the MATLAB platform. The results show that the size of the CBAM—GoogLeNet model is reduced by 91.2%, 96.2%, 96.3%, and 15.0% compared to AlexNet, VGG16, VGG19, and GoogLeNet, respectively. The training time is reduced by 12.7%, 26.5%, 62.2%, and 8.8%, respectively. Additionally, the model achieves an identification accuracy of 99.5% and a validation accuracy of 97.3%, realizing the goals of model lightweighting and fast, accurate recognition. This provides effective technical support for timely prevention and control of pepper diseases and pests, and the reduction of losses.

Keywords: pepper pests and diseases; accurate recognition; lightweight model; attention mechanism; deep learning

收稿日期:2023年10月23日""""""" 修回日期:2023年12月18日

∗ 基金项目:江苏省科技项目——现代农业重点及面上项目(BE2023330);江苏省农业科技自主创新资金项目(CX(22)3117)

第一作者:戴敏,男,1987年生,安徽芜湖人,博士,副教授;研究方向为智慧农业、病虫害识别。E‑mail: daimin@yzu.edu.cn

0 引言

辣椒富含丰富的胡萝卜素、辣椒红素和辣椒素等成份[1]。根据国家统计局和CEIC数据库的数据,2024年我国辣椒种植面积已达到2"100"khm2,产能3.7×104 kt。随着辣椒种植规模的扩大,辣椒的病虫害问题更加突出,给辣椒的品质和产量造成严重影响。在早期,辣椒病虫害识别主要依靠专家经验,该方法受到环境以及人为因素影响较大且费时费力。随着人工智能技术的飞速发展,基于计算机视觉和深度学习算法的技术得到广泛应用和发展,也为病虫害识别提供新的思路[2]。CNN网络[3]、AlexNet网络[4]、VGG—16网络[5]、VGG—19网络[6]等深度学习方法在作物病虫害识别方面取得了良好的效果,但存在模型参数过多和网络结构复杂等问题。

为解决这一问题,提出了GoogLeNet[7]网络模型,该模型已成功应用在病虫识别领域。万军杰等[8]采用迁移学习技术与GoogLeNet模型相结合的方法对病虫害样本进行识别与危害程度分级;宋晨勇等[9]在GooLeNet模型的基础上减少inception模块上的数量并优化模型对苹果叶病进行诊断;黄双萍等[10]提出深度卷积神经网络GoogLeNet模型的水稻穗瘟病检测方法,穗瘟病害预测最高准确率为92.0%;Li等[11]提出了一种微调的GoogLeNet模型用来识别害虫种类;Zhang等[12]使用改进型的GoogLeNet网络架构对玉米图片进行模型训练和测试识别达到了很高的准确率。

以往的网络结构中,为降低训练误差,使用了更大的卷积层,这使得训练的参数更多计算难度加大,对于自身硬件也提出更高的要求,而GoogLeNet网络结构所提出的Inception模块,通过使用多个不同大小的卷积核和池化操作,来捕捉不同尺度的特征优化网络结构,提高模型的表达能力和分类准确率,降低计算难度和对硬件的要求。以上研究大多是将复杂的网络模型替换为GoogLeNet模型或进行参数上的微调,但GoogLeNet模型本身网络较深且有多个分支,需较大内存存储中间特征图,限制其在一些资源受限的设备上的应用。

针对上述问题,本文从减少网络参数和训练时长保证准确率方面出发,围绕辣椒病虫害识别进行详细研究,提出一种结合注意力机制的GoogLeNet轻量化改进模型,以期为辣椒及时防治减少损失提供一种快速有效的技术支持。

1 材料与方法

1.1 图像数据

使用的辣椒病虫害图像主要来源于AI"Studio官网(https://aistudio.baidu.com/index)和扬州大学机械工程学院实验室,实验室所用设备为xiaomi"mix2s(像素1nbsp;200万)。选取3种状态的辣椒图像:螨虫感染、脐腐病和健康状态。这些图像大多数是在复杂环境下采集,更贴近实际情况,如图1所示。

1.2 图像预处理

由于原始图像大都为田间采集,容易出现过拟合和识别困难的现象,故对数据集进行增强处理。借助MATLAB自编程序通过旋转、翻转、模糊、平移和锐化两两组合批量处理的方法,如图2所示,对图像数据集进行扩展,最终数据集图像总计2"416张,其中螨虫感染图像1"356张,脐腐病图像660张,健康图像400张。随机抽取数据集总数的70%作为网络的训练集,20%作为验证集,剩余的10%作为测试集。

1.3"GoogLeNet网络结构

GoogLeNet[7]网络结构如图3所示,主要由9个Inception模块和3个分类器组成,整体结构共22层,依次是3个卷积层和2个最大池化层、9个Inception模块和2个最大池化层,在Inception模块之后是全局平均池化层、全连接层和Soft层。

由图3可知,该网络结构较深,并行模块较多,易出现训练时间长和过早拟合等问题,因此,通过改进手段来改善这网络结构所存在的问题以达到优化辣椒病虫害识别结果的目的。

1.4 改进GoogLeNet网络结构

针对GoogLeNet模型存在网络参数较多、训练模型较大及训练时长较久的问题,提出融合CBAM模块的GoogLeNet轻量化改进模型(CBAM—GoogLeNet),网络结构如图4所示。通过去除模块Inception(4b)和Inception(4c)之后引入CBAM注意力机制,来减少网络参数和缩短训练时间,使模型更加轻量化,同时保证病虫害识别的准确率;并在Global"AvgPool层之后也引入CBAM注意力机制,来增强模型对重要特征的关注能力,提升模型的性能和泛化能力,并适应不同尺度的特征表示需求,满足田间复杂环境下辣椒病虫害精准识别的要求;通过在FC中增加L2正则化,来防止模型的过拟合,减少复杂度并提高模型的泛化能力。

1.4.1"CBAM注意力机制模块

CBAM模块[13]由通道注意力模块和空间注意力模块组成,是一种用于增强深度学习模型的注意力机制,如图5所示,具体表达公式如式(1)、式(2)所示。

式中: [f7×7]——卷积核大小为[7×7]的卷积操作。

CBAM的设计理念在于将通道注意力和空间注意力相融合,创造一种串行注意力结构,使模型能够有针对性地关注通道和空间信息。这种结构不仅能减少通道特征数和无关区域,还赋予整个注意力模块更好的可移植性。与原模型相比,添加CBAM的优势为:(1)CBAM的引入有助于剔除复杂环境图像中的无关特征,显著提升了模型对于细粒度任务的识别效果;(2)原网络中的Inception模块虽然通过设计稀疏网络结构提高网络表现能力,但CBAM的注意力机制与其相似,却更有效地提升网络能力的同时节约计算资源。CBAM在确保性能的同时,避免网络模型过于深层和数据稠密繁杂的问题;(3)CBAM采用串行结构,使其更容易被替换和移植到不同的网络架构中,这种设计既保持网络的相对浅层结构,又展现出色的泛化能力。

1.4.2"L2正则化

L2正则化通过在损失函数中添加权重的L2范数的平方项来约束模型参数的大小,在深度学习中有助于解决模型过拟合的问题,具体计算如式(5)所示。

[Loss_with_regularization=loss(w,x)+λw22] (5)

式中: [loss(w,x)]——模型原始损失函数;

[w]——权重向量;

[λ]——正则化参数。

全连接层作为GoogLeNet网络模型中参数量最多的部分,存在过拟合和模型参数不稳定增长的问题,而通过借助L2正则化分别对全连接层的参数和权重进行惩罚约束,可以有效缓解这些问题。(1)L2正则化通过对参数进行惩罚,使模型更倾向于学习更为简单且泛化能力更强的表示,有助于防止在训练集上的过度拟合。(2)L2正则化通过对全连接层的权重进行约束,使其保持在一个合理的范围内,避免参数过大可能导致的数值不稳定性,有助于提高模型的鲁棒性和泛化能力,使其更好地适应不同的数据分布。

2 结果与分析

2.1 超参数设置

超参数的设置在模型训练中起着至关重要的作用,找到最佳的超参数组合,可以极大程度地提高模型的性能和泛化能力。通过参考和试验类似数据集的超参数,对本文数据集进行超参数调整。优化算法选用Adam算法,具有计算效率高、内存小的优点。采用批量训练方式每个迭代使用10个样本进行训练,训练轮次为50轮,每轮迭代次数为138次,共迭代6"900次,验证频率为每10个迭代进行一次验证。初始学习率为0.000"01。L2正则化系数为0.001。训练环境为GPU执行。

2.2 训练环境

计算机配置为:Windows11操作系统,CPU为13th"Gen"Intel(R)"Core(TM)"i5-13500HX,GPU为英伟达RTX"4060"8"GB。模型的编程语言为MATLAB,编程平台为MATLAB"R2022b。

2.3 评价指标

为能够更加直观评价模型的好坏,采用准确率A、验证率V、损失值L[18]、模型大小M、训练时间T作为算法可靠性和性能的评价指标,其中模型大小M表示该模型在训练完成后所占用的计算机存储空间,单位为MB。

2.4 消融试验

针对模型不同模块进行消融试验,将CBAM—GoogLeNet、GoogLeNet以及去除Inception的GoogLeNet(GoogLeNet—Inception)进行性能对比分析,如图6和表1所示。根据图6可知,CBAM—GoogLeNet在前50轮迭代中收敛曲线虽略有波动,但也很快收敛,对比其他两个模型的性能图可知,改进后的CBAM—GoogLeNet网络模型在保证GoogLeNet网络模型的高验证率的同时又兼具GoogLeNet—Inception网络模型的较少参数量的优点。并且根据表1可得,相较其他两个模型,CBAM—GoogLeNet在训练时长方面分别缩短38%和15%,在模型大小方面,比GoogLeNet缩小15%,比GoogLeNet—Inception仅增加1%,综上可知,CBAM—GoogLeNet网络模型可以达到缩减参数量和训练时长的同时保证模型识别精度的目的。

2.5 各模型对比

为验证改进模型的优越性和先进性,选取当前识别效果较好的几个深度学习模型,即AlexNet、ResNet—18、VGG16、VGG19和GoogLeNet。在相同参数设置下,进行训练模型,如图7所示。

由图7(a)可知,所有模型的验证率均呈上升趋势且达到收敛状态,除ResNet—18网络模型,其他网络模型均达到90%以上的验证率,GoogLeNet模型在第8轮次时,最先趋于收敛,CBAM—GoogLeNet在第10轮次趋于收敛,略慢于GoogLeNet,但也达到高验证率的效果,表明CBAM—GoogLeNet具有GoogLeNet高验证率的优异性能。图7(b)为模型迭代的损失值曲线,所有模型均能达到收敛状态,CBAM—GoogLeNet和GoogLeNet两个模型损失值均低于其他模型,其中CBAM—GoogLeNet在第10轮次之前损失值略高于GoogLeNet,但在10轮次之后损失值收敛在0.2左右,优于GoogLeNet(0.3左右的损失值),表明CBAM—GoogLeNet同样具有低损失值的优点。

各模型的性能对比如表2所示,CBAM—GoogLeNet的准确率为99.5%、验证率为97.3%,均达到GoogLeNet模型的水平并且均优于其他4个网络模型,CBAM—GoogLeNet的模型大小为18.1"MB,是AlexNet、VGG16、VGG19和GoogLeNet模型大小的8.8%、3.8%、3.7%和84.9%,训练时长455"min,是AlexNet、ResNet—18、VGG16、VGG19和GoogLeNet训练时长的87.3%、90.4%、73.5%、37.8%和61.2%,其中ResNet—18模型在模型大小方面较CBAM—GoogLeNet低8.2%,但该模型在准确率、验证率和训练时长方面分别低0.2%、8.1%、10.5%,故CBAM—GoogLeNet模型的性能优于ResNet—18模型。

综上结果表明,CBAM—GoogLeNet模型凭借着轻量化和高效性的性能优于其他5种模型。

3 系统设计与可视化

为更直观地验证模型的实用性和可行性,基于MATLAB"R2022b平台开发一款辣椒病虫害识别系统,包含登入注册模块、实时采集模块和病虫害识别模块,具体流程如图8所示。

3.1 病虫害识别系统具体实现

基于MATLAB"GUI进行系统设计和运行,登入注册模块为系统的安全防护模块,在用户第一次使用系统时,可以进行账户注册,注册时用户可以设置使用账户和密码,并对设置的密码进行确认,然后输入手机号便于后续的密码修改,点击注册按钮完成注册,即可进行登录。通过上述注册环节注册完成后,使用者可以得到有效的账户名和登录密码,登录界面上进行信息输入然后进入系统。如果账户或者密码登录错误,系统会弹出错误提示对话框,点击确定按钮,界面返回至登录界面,需要重新输入账号和密码然后再次登录。

系统登录成功后进入主界面,主界面包含2个主要功能模块,分别为实时采集模块和病虫害识别模块。操作者进入实时采集模块界面,点击打开摄像头,相机所返回的实时图像就会显示在界面内,对辣椒的图像或者其他信息可以实时拍摄并保存,图像保存在当前路径文件夹下,方便随时调用查看,通过点击关闭摄像头使画面关闭。

操作者需返回到系统登录的主界面,选择病虫害识别模块,转到病虫害识别界面。点击读取,返回文件打开对话框,选择采集模块所保存的图片,产生读取状态提示,等待图片载入完成,在静态文本中返回图片名称,点击检测结果按钮,即调用训练好的CBAM—GoogLeNet模型进行识别,完成后会在静态文本框内返回辣椒的病虫害种类,并给出对应的防治建议。

3.2 识别系统测试

为验证识别系统的准确性和可靠性,从测试集中挑选出每种病虫害各50张,共150张图片,结果如图9和表3所示。改进模型对螨虫感染识别准确率达到94%,脐腐病识别准确率达到98%,健康叶片准确率达到100%。测试结果表明,改进模型对辣椒病虫害的识别效果满足精准识别病虫害的要求。

4 结论

提出一种高验证率、高效率的CBAM—GoogLeNet网络模型用于辣椒的病虫害识别,可为辣椒病虫害精准识别提一种有效的技术支持。

1)"通过去除模块Inception(4b)和Inception(4c)之后引入CBAM注意力机制,并在Global"AvgPool层之后也引入CBAM注意力机制,再通过在FC中增加L2正则化,在大大降低网络参数的同时保证准确率和验证率。通过消融试验可知,在训练时长方面,与GoogLeNet和GoogLeNet—Inception相比,CBAM—GoogLeNet分别缩短38%和15%;在模型大小方面,比GoogLeNet缩小15%,比GoogLeNet—Inception仅增加1%。综上说明,CBAM—GoogLeNet网络模型可以达到缩减参数量和训练时长的同时保证模型识别精度的目的。

2)"在相同的试验条件下,本模型与AlexNet、ResNet—18、VGG16、VGG19和GoogLeNet相比,模型大小分别缩小91.2%、-8.2%、96.2%、96.3%和15.0%,训练时长分别缩短12.7%、9.5%、26.5%、62.2%和38.8%。其中ResNet—18模型大小虽略有优势但综合准确率、验证率以及训练时长方面依旧是本模型最优。

3)"基于MATLAB平台设计的可视化辣椒病虫害识别系统,对病虫害的准确识别率在90%以上,满足精准识别要求。本模型具有在有限计算资源平台上能够实现高效率精准识别辣椒病虫害的应用前景。

参 考 文 献

[ 1 ]""""" 陈翔宇, 阿不夏合满nbsp;⋅"穆巴拉克, 秦荣艳, 等. 辣椒及其副产品在动物生产中的应用研究进展[J]. 饲料研究, 2023, 46(18): 179-182.

[ 2 ]""""" 张楠楠, 张晓, 白铁成, 等. 基于CBAM—YOLO v7的自然环境下棉叶病虫害识别方法[J]. 农业机械学报, 2023(S1):1-12.

Zhang Nannan, Zhang Xiao, Bai Tiecheng, et al. Identification method of cotton leaf pests and diseases in natural environment based on CBAM—YOLO v7 [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023(S1): 1-12.

[ 3 ]""""" Turkoglu M, Hanbay D, Sengur A. Multi‑model LSTM-based convolutional neural networks for detection of apple diseases and pests [J]. Journal of Ambient Intelligence and Humanized Computing, 2022, 13(7): 3335-3345.

[ 4 ]""""" 何前, 郭峰林, 王哲豪, 等. 基于改进AlexNet的葡萄叶部病害分类算法[J]. 扬州大学学报(自然科学版), 2023, 26(2): 52-58.

He Qian, Guo Fenglin, Wang Zhehao, et al. Grap leaf disease classification algorithm based on improved AlexNet [J]. Journal of Yangzhou University (Natural Science Edition), 2023, 26(2): 52-58.

[ 5 ]""""" Alatawi A A, Alomani S M, Alhawiti N I, et al. Plant disease detection using AI based VGG-16 model [J]. International Journal of Advanced Computer Science and Applications, 2022, 13(4): 718-727.

[ 6 ]""""" Dogra R, Rani S, Singh A, et al. Deep learning model for detection of brown spot rice leaf disease with smart agriculture [J]. Computers and Electrical Engineering, 2023, 109: 108659.

[ 7 ]""""" 许可. 卷积神经网络在图像识别上的应用的研究[D]. 杭州: 浙江大学, 2013.

[ 8 ]""""" 万军杰, 祁力钧, 卢中奥, 等. 基于迁移学习的GoogLeNet果园病虫害识别与分级[J]. 中国农业大学学报, 2021, 26(11): 209-221.

Wan Junjie, Qi Lijun, Lu Zhongao, et al. Recognition and grading of diseases and pests in orchard by GoogLeNet based on Transfer Learning [J]. Journal of China Agricultural University, 2021, 26(11): 209-221.

[ 9 ]""""" 宋晨勇, 白皓然, 孙伟浩, 等. 基于GoogLeNet改进模型的苹果叶病诊断系统设计[J]. 中国农机化学报, 2021, 42(7): 148-155.

Song Chenyong, Bai Haoran, Sun Weihao, et al. Design of apple leaf disease diagnosis system based on GoogLeNet improved model [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(7): 148-155.

[10]""""" 黄双萍, 孙超, 齐龙, 等. 基于深度卷积神经网络的水稻穗瘟病检测方法[J]. 农业工程学报, 2017, 33(20): 169-176.

Huang Shuangping, Sun Chao, Qi Long, et al. Rice panicle blast identification method based on deep convolution neural network [J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(20): 169-176.

[11]""""" Li Y, Wang H, Dang L M, et al. Crop pest recognition in natural scenes using convolutional neural networks[J]. Computers and Electronics in Agriculture, 2020, 169: 105174.

[12]""""" Zhang X, Qiao Y, Meng F, et al. Identification of maize leaf diseases using improved deep convolutional neural networks [J]. Ieee Access, 2018, 6: 30370-30377.

[13]""""" Dou S, Wang L, Fan D, et al. Classification of citrus Huanglongbing degree based on cbam‑mobilenetv2 and transfer learning [J]. Sensors, 2023, 23(12): 5587.

猜你喜欢

注意力机制深度学习
面向短文本的网络舆情话题
基于自注意力与动态路由的文本建模方法
基于深度学习的问题回答技术研究
基于LSTM?Attention神经网络的文本特征提取方法
基于注意力机制的双向LSTM模型在中文商品评论情感分类中的研究
InsunKBQA:一个基于知识库的问答系统
有体验的学习才是有意义的学习
电子商务中基于深度学习的虚假交易识别研究
MOOC与翻转课堂融合的深度学习场域建构
大数据技术在反恐怖主义中的应用展望