基于RegNet网络的马铃薯病害识别研究
2024-06-17石放王莹王新法马玉琨
石放 王莹 王新法 马玉琨
摘要：为克服传统网络模型结构固化、对马铃薯病害识别率低的问题，以PlantVillage数据集中的五类马铃薯病害为研究对象，对图像进行随机放大缩小、水平翻转、垂直翻转等操作进行数据增强。使用一种基于网络设计空间思想设计出具有高度灵活性的RegNet网络模型，利用PoLy损失函数对RegNet进行改进，并加入注意力机制，对数据增强后的马铃薯病害图片进行预测，再与传统网络模型AlexNet和GoogLeNet进行对比。试验结果表明：改进后的RegNetX在马铃薯识别方面具有良好的性能，最高准确率可达99.8%，模型准确率超过AlexNet与GoogLeNet，可为马铃薯病害识别作参考。
关键词：马铃薯；农作物病害；RegNet网络；图像识别；网络设计空间
中图分类号：S435.32； TP391.4
文献标识码：A
文章编号：2095-5553 （2024） 06-0229-06
收稿日期：2022年7月2日
修回日期：2022年9月16日
*基金项目：河南省科技攻关项目（212102110234，222102320080）；河南省高等学校重点科研项目（22A210013）；河南省博士后科研启动项目（202102090）；河南省新乡市重大科技专项（21ZD003）
第一作者：石放，男，1997年生，河南周口人，硕士；研究方向为农业信息化。E-mail： 281139088@qq.com
通讯作者：马玉琨，女，1983年生，河南新乡人，博士，副教授；研究方向为信号处理与识别。E-mail： yukuner@126.com
Research on potato disease identification based on RegNet network
Shi Fang， Wang Ying， Wang Xinfa， Ma Yukun
（Henan Institute of Science and Technology， Xinxiang， 453003， China）
Abstract： In order to overcome the problems of solidified structure of traditional network model and low recognition rate of potato diseases， five types of potato diseases in PlantVillage dataset are taken as the research object， and the images are randomly zoomed in and out， horizontally flipped， vertically flipped and so on for data enhancement. Then a RegNet network model with a high degree of flexibility is designed using a network-based design space idea， and the PoLy loss function is used to improve RegNet and the attention mechanism is added to predict the potato disease images after data enhancement， and the traditional network models are compared with AlexNet and GoogLeNet. The experimental results show that the improved RegNetX has good performance in potato recognition， the highest accuracy can reach 99.8%， and the model accuracy is higher than AlexNet and GoogLeNet， which can be used as a reference for potato disease recognition.
Keywords： potato; crop diseases; RegNet network; image recognition; network design space
0 引言
马铃薯的生产对我国居民的日常生活和国际蔬菜贸易有着重大的影响。然而在马铃薯的种植过程中，难免受到环境、气候、土壤和病害的影响，其中病害是影响马铃薯减产的重要问题。传统的马铃薯病害防治需要大量的植保人员根据他们已有的知识储备和相关种植经验，人为地去判断马铃薯是否发生了病害，这种识别的方法效率低、准确率难以保证，具有一定的滞后性。
为解决农作物病害识别的问题，国内外学者进行了相关研究。徐岩等[1]为解决马铃薯病害导致的减产问题，提出了一种基于注意力和残差思想的深度卷积神经网络模型RANet，取得了93.86%的平均识别率。蒲秀夫等[2]使用二值化卷积神经网络模型对PlantVillage数据集共54 306张图片进行识别，试验表明二值化模型的计算速度远远高于原模型且准确率可以达到96.8%。赵建敏等[3]为实现马铃薯叶片病害识别，设计了一种基于压缩感知理论的马铃薯病害图像分类方法，经对比测试，采用字典学习的图像分类方法对马铃薯三种叶片病害平均识别率可达95.33%。姜敏等[4]采用截取感兴趣区域、图片尺寸归一化等预处理方式与SSD MobileNet v1等深度学习模型结合对水稻病害进行识别，平均准确率达到了75%。党满意等[5]基于机器视觉技术对马铃薯叶部晚疫病进行检测，提出颜色纹理形状特征结合的识别方法，试验结果显示对患病中期与后期的识别率分别为90%和92.5%。于洪涛等[6]使用Retinex算法结合VGG-F网络模型对苹果病害进行识别，结果相较于原始的VGG模型，准确率提高了5%。牛冲等[7]基于图像灰度直方图特征的草莓病害识别算法对草莓蛇眼病进行识别，结果表明，SVM分类器的分类效果优于其他分类器，准确率达到90%以上。王林柏等[8]针对自然环境下马铃薯叶片病害识别率低和晚疫病斑定位难的问题，提出一种改进型的CenterNet-SPP模型，对马铃薯叶片病害进行识别，试验结果表明训练后的模型在验证集下的mAP可达90.03%，准确率为94.93%，召回率为90.34%，F1值为92.58%。
然而传统的机器学习方法与普通的卷积神经网络模型[9-12]具有识别率低、网络结构固化等局限性，基于此问题，本文使用数据增强技术对数据进行扩充以增加网络的鲁棒性，采用更具灵活性的RegNet模型对5类马铃薯病害图片进行识别，并针对识别率低的问题引入注意力机制[13-18]和PolyLoss[19]以提高识别准确率，最后与AlexNet和GooLeNet的准确率和训练时长进行对比分析，能为马铃薯病害识别作为参考。
1 RegNet网络模型
1.1 RegNet设计原理
RegNet[20]是2020年由何凯明团队在《Designing Network Design Spaces》提出的。传统神经网络的设计一般都是基于神经结构搜索（Neural Architecture Search）思想，其特点为在特定的设计空间内通过搜索算法从而寻找出最佳的参数组合，具有一定的局限性，而RegNet的设计者不再只局限于单一网络的设计，而是通过研究网络设计空间，来探索出相对不被定义的网络模型簇。
RegNet的设计者采用误差评估的方法对设计空间的质量进行评价，其表达式如式（1）所示。
F（e）=1n∑ni=11[ei 式中：n——设计空间在ImageNet上训练的模型个数； e——训练误差； F（e）——误差小于e的模型比例。 RegNet的设计者提出了初始设计空间（AnyNet）这一概念，AnyNet由三层结构组成，这种结构犹如植物的生长结构一样，分别是茎部、身体和头部。其结构如图1（a）所示。其中茎部和头部在结构中固定不变。茎部为一个3×3大小，步长为2，卷积核个数为32的普通卷积层。头部由一个全局平均池化层和全连接层组成，用于预测分类。而身体内部则是由4个阶段构成，这些阶段的分辨率r逐步降低，如图1（b）所示，每一个阶段内又由若干个模块组成，默认第一个块使用的步长为2，如图1（c）所示，但模块的参数不受限制，可以是任意可能的组合。图1中w表示网络深度，r表示分辨率，n表示输出类别的个数。 AnyNet中的block结构主分支由一个1×1的卷积核，一个3×3的组卷积，最后再接一个1×1的卷积组成，当步长为1时，捷径分支不作处理，如图2（a）所示，当步长为2时，仅通过一个1×1的卷积，如图2（b）所示。 其中w为网络深度，r为分辨率，g为组卷积中每个组的组宽，b为瓶颈比。这种模块结构被定义为“X模块”，通过X模块的各种组合可以使网络灵活地应用于各种场景，RegNetX网络就是基于此来设计的，本文使用RegNetX网络模型进行马铃薯病害识别试验。 1.2 RegNet网络改进 为解决识别率低的问题，本文在RegNetX网络中引入了注意力机制，同时使用PolyLoss损失函数替换了传统的交叉熵损失函数。 1.2.1 SE模块 SE全称Squeeze-and-Excitation，是一种注重通道的注意力机制，主要由Squeeze和Excitation两部分组成，结构如图3所示，其中W为特征图的宽，H为特征图的高，C为通道数，输入特征图大小为W×H×C。 SE模块的压缩操作实际是一个全局平均池化操作，通过压缩操作使特征图变为1×1×C向量。其流程如图4（a）所示。SE模块的激励操作由两个全连接层和两个激活函数组成，第一个全连接层有C×SERatio个神经元，输入为1×1×C，输出1×1×C×SERadio，后接一个ReLu激活函数。第二个全连接层有C个神经元，输入为1×1×C×SERadio，输出为1×1×C，后接一个Sigmoid激活函数。其流程如图4（b）所示。 最后执行scale操作，在得到1×1×C向量后，对原来的特征图进行scale操作，即通道权重相乘，原有特征向量为W×H×C，将SE模块计算出来的各通道权重值分别和原特征图对应通道的二维矩阵相乘，得出的结果输出。 1.2.2 PolyLoss损失函数 PolyLoss来自交叉熵损失函数的泰勒展开式，如式（2）所示。 LCE=-log（Pt）=∑∞j=11/j（1-Pt）j =（1-Pt）+1/2（1-Pt）2…（2） 式中：Pt——目标类标签的预测概率； （1-Pt）j——每个多项式基，在使用泰勒公式展开交叉熵后，可知其多项式系数为1/j，但这些系数过于固定，并不是所有模型和任务的最优条件。 PolyLoss在此基础上添加了一个可调整项ε1·（1-Pt），从而形成一个更为灵活的框架，通过调整ε1的值来更好地提升模型效果，其表达式如式（3）所示。 LPoly-1=（1+ε1）（1-Pt）+1/2（1-Pt）2+… =-log（Pt）+ε1（1-Pt）（3） PolyLoss可以根据不同模型调整适用参数这一特点相对于传统的交叉熵损失函数更为灵活与精准，本文使用PolyLoss代替交叉熵损失函数。 2 数据来源和数据增强 本文采取PlantVillage数据集中的马铃薯细菌斑、早疫病、晚疫病、叶霉菌、七星叶斑病五种常见病害作为研究对象，原始数据马铃薯细菌斑图片数量为2 127张、马铃薯早疫病图片数量为1 000张、马铃薯晚疫病图片数量为1 909张、马铃薯叶霉菌图片数量为952张、马铃薯七星叶斑病图片数量为1 771张，总数量为7 759张。由于原始数据量较少，又通过网络爬虫爬取部分数据，筛选可用数据，对每一类病害图片进行标注，并分别放入Tomato_Bacterial_spot、Tomato_Early_blight、Tomato_Late_blight、Tomato_Leaf_Mold、Tomato_Septoria_leaf_spot文件夹中，按8∶2的比例划分训练集和测试集。部分爬取结果如图5所示，整合后部分数据集如图6所示，图6中第三行为爬取图片。 本试验对原始数据集进行了数据增强，数据增强是一种重要的深度学习方法之一，是基于已有的训练样本数据来生成更多的训练数据，其目的就是为了使扩增的训练数据尽可能接近真实分布的数据，从而提高检测精度。此外，数据增强能够迫使模型学习到更多鲁棒性的特征，从而有效提高模型的泛化能力。本文采用的数据增强操作包括随机放大缩小、水平翻转、垂直翻转、随机度数旋转、明暗度调整、平移、添加噪声、模糊等，图7为进行过数据增强后的效果图。 经数据增强后，马铃薯细菌斑图片数量为4 650张、马铃薯早疫病图片数量为2 996张、马铃薯晚疫病图片数量为4 165张、马铃薯叶霉菌图片数量为3 478张、马铃薯七星叶斑病图片数量为4 279张，总数量为19 568张。 3 试验和结果分析 3.1 环境配置 本文试验采用个人计算机，具体参数配置见表1。 3.2 试验参数 本文使用Pytorch框架搭建RegNetX200MF网络，并采用迁移学习加快模型收敛速度，迁移学习是将在某一领域或任务中学到的知识或模式应用到不同但相关的领域或问题上，在训练过程中，模型提升的速率更快，训练结束后得到的收敛性更好，本文把在ImageNet中学习到的知识迁移到试验当中。并与AlexNet和GoogLeNet训练的结果进行对比。 RegNetX200MF设置学习率为0.001，batch size（一次训练选取的样本数量）设为16，epoch设为15，优化器选择SGD。AlexNet与GoogLeNet设置学习率为0.000 1，batch size设为32，epoch设为100，优化器选择Adam。 3.3 不同模型的结果分析 不同模型的准确率和损失值对比如图8、图9所示。由图8和图9对比可以明显看到，RegNetX200MF在第11个epoch时开始收敛，而AlexNet和GoogLeNet直至100个epoch才收敛，收敛速度远远不如RegNetX200MF。 三种网络模型的测试准确率、损失值及训练耗时如表2所示。 由表2对比可知，AlexNet和GooLeNet的准确率分别为98.9%和99.1%，RegNetX200MF的准确率最高可达99.8%，分别高于AlexNet 0.9个百分点和GooLeNet 0.7个百分点，说明RegNetX200MF在准确率上要由于AlexNet和GooLeNet。但在模型收敛后，RegNetX200MF的损失值在0.105上下轻微浮动，GooLeNet的损失值约为0.06，AlexNet的损失值最少，约在0.053左右，说明RegNetX200MF在损失值上还有改进的空间。在训练耗时上，RegNetX200MF用了5.3 h，低于GooLeNet的9.3 h，高于AlexNet的2.2 h，说明RegNetX200MF在网络结构上还有优化的空间。 3.4 不同病害的结果分析 本文使用精准率Precision、召回率Recall作为不同病害识别性能评价指标。 Precision=TNFP+TN（4） Recall=TPTP+FN（5） 式中：TP——真实值为正且预测也为正的样本数量，记为真阳性； TN——真实值为负且预测也为负的样本数量，记为真阴性； FP——真实值为负但预测为正的样本数量，记为假阳性； FN——真实值为正但预测为负的样本数量，记为假阴性。 使用RegNetX200MF模型对马铃薯细菌斑、早疫病、晚疫病、叶霉菌、七星叶斑病五类病虫害进行测试，按数据集8∶2的比例随机划分测试集，约3 900多张图片，评价结果如表3所示。 由表3可以看出，RegNetX200MF网络对马铃薯五类病害的识别的精准率平均值为98.74%，召回率的平均值为98.6%，模型表现与各类指标呈正比，且五类病害指标都比较均匀，平均值都在95%以上，说明模型表现较好，各类病害测试的混淆矩阵如图10所示，随机抽取图片对五类病害单张图片进行测试，部分结果如图11所示。 4 结论 1） 针对传统模型识别马铃薯病害准确率不高的问题，本文使用经过Poly损失函数和注意力机制改进的RegNetX200MF网络对五类马铃薯病害进行识别试验，并与传统网络模型AlexNet和GooLeNet进行对比分析。 2） 所采用的RegNetX200MF在马铃薯识别方面具有良好的性能，准确率最高可达99.8%，超过传统的AlexNet和GooLeNet，适合作用于马铃薯病害识别。 3） 综上所述，经过Poly损失函数和注意力机制改进的RegNetX200MF网络在马铃薯病害识别方面表现良好，可为农作物病害识别提供参考，对农业信息化的发展具有推动意义。 参 考 文 献 [1]徐岩， 李晓振， 吴作宏， 等. 基于残差注意力网络的马铃薯叶部病害识别[J]. 山东科技大学学报（自然科学版）， 2021， 40（2）： 76-83. Xu Yan， Li Xiaozhen， Wu Zuohong， et al. Potato leaf disease recognition via residual attention network [J]. Journal of Shandong University of Science and Technology （Natural Science）， 2021， 40（2）： 76-83. [2]蒲秀夫， 宁芊， 雷印杰， 等. 基于二值化卷积神经网络的农业病虫害识别[J]. 中国农机化学报， 2020， 41（2）： 177-182. Pu Xiufu， Ning Qian， Lei Yinjie， et al. Identification of agricultural plant diseases based on binarized convolutional neural network [J]. Journal of Chinese Agricultural Mechanization， 2020， 41（2）： 177-182. [3]赵建敏， 芦建文. 基于字典学习的马铃薯叶片病害图像识别算法[J]. 河南农业科学， 2018， 47（4）： 154-160. Zhao Jianmin， Lu Jianwen. Identification algorithm of potato diseases on leaves using dictionary learning theory [J]. Journal of Henan Agricultural Sciences， 2018， 47（4）： 154-160. [4]姜敏， 沈一鸣， 张敬尧， 等. 基于深度学习的水稻病虫害诊断方法研究[J]. 洛阳理工学院学报（自然科学版）， 2019， 29（4）： 78-83. Jiang Min， Shen Yiming， Zhang Jingyao， et al. Research on rice diseases and pests diagnosis based on deep learning [J]. Journal of Luoyang Institute of Science and Technology （Natural Science Edition）， 2019， 29（4）： 78-83. [5]党满意， 孟庆魁， 谷芳， 等. 基于机器视觉的马铃薯晚疫病快速识别[J]. 农业工程学报， 2020， 36（2）： 193-200. Dang Manyi， Meng Qingkui， Gu Fang， et al. Rapid recognition of potato late blight based on machine vision [J]. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（2）： 193-200. [6]于洪涛， 袁明新， 王琪， 等. 基于VGG-F动态学习模型的苹果病虫害识别[J]. 科学技术与工程， 2019， 19（32）： 249-253. Yu Hongtao， Yuan Mingxin， Wang Qi， et al. Recognition of apple pests and diseases based on VGG-F dynamic leaming model [J]. Science Technology and Engineering， 2019， 19（32）： 249-253. [7]牛冲， 牛昱光， 李寒， 等. 基于图像灰度直方图特征的草莓病虫害识别[J]. 江苏农业科学， 2017， 45（4）： 169-172. Niu Chong， Niu Yuguang， Li Han， et al. Strawberry disease recognition based on image gray histogram feature [J]. Jiangsu Agricultural Science， 2017， 45（4）： 169-172. [8]王林柏， 张博， 姚竟发， 等. 基于卷积神经网络马铃薯叶片病害识别和病斑检测[J]. 中国农机化学报， 2021， 42（11）： 122-129. Wang Linbai， Zhang Bo， Yao Jingfa， et al. Potato leaf disease recognition and potato leaf disease spot detection based on Convolutional Neural Network [J]. Journal of Chinese Agricultural Mechanization， 2021， 42（11）： 122-129. [9]赵晋陵， 詹媛媛， 王娟， 等. 基于SE-UNet的冬小麦种植区域提取方法[J]. 农业机械学报， 2022， 53（9）： 189-196. Zhao Jinling， Zhan Yuanyuan， Wang Juan， et al. SE-UNet-Based extraction of winter wheat planting areas [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（9）： 189-196. [10]张为， 李璞. 基于注意力机制的人脸表情识别网络[J]. 天津大学学报（自然科学与工程技术版）， 2022， 55（7）： 706-713. Zhang Wei， Li Pu. Facial expression recognition network based on attention mechanism [J]. Journal of Tianjin University （Science and Technology）， 2022， 55（7）： 706-713. [11]黄海松， 陈星燃， 韩正功， 等. 基于多尺度注意力机制和知识蒸馏的茶叶嫩芽分级方法[J]. 农业机械学报， 2022， 53（9）： 399-407， 458. Huang Haisong， Chen Xingran， Han Zhenggong， et al. Tea buds grading method based on multi-scale attention mechanism and knowledge distillation [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（9）： 399-407， 458. [12]殷献博， 邓小玲， 兰玉彬， 等. 基于改进YOLOX-Nano算法的柑橘梢期长势智能识别[J]. 华南农业大学学报， 2023， 44（1）： 142-150. Yin Xianbo， Deng Xiaoling， Lan Yubin， et al. Intelligent recognition of citrus shoot growth based on improved YOLOX-Nano algorithm [J]. Journal of South China Agricultural University， 2023， 44（1）： 142-150. [13]于雪莹， 高继勇， 王首程， 等. 基于生成对抗网络和混合注意力机制残差网络的苹果病害识别[J]. 中国农机化学报， 2022， 43（6）： 166-174. Yu Xueying， Gao Jiyong， Wang Shoucheng， et al. Apple disease recognition based on Wasserstein generative adversarial networks and hybrid attention mechanism residual network [J]. Journal of Chinese Agricultural Mechanization， 2022， 43（6）： 166-174. [14]高荣华， 白强， 王荣， 等. 改进注意力机制的多叉树网络多作物早期病害识别方法[J]. 计算机科学， 2022， 49（S1）： 363-369. Gao Ronghua， Bai Qiang， Wang Rong， et al. Multi-tree network multi-crop early disease recognition method based on improved attention mechanism [J]. Computer Science， 2022， 49（S1）： 363-369 [15]杨玥， 冯涛， 梁虹， 等. 融合交叉注意力机制的图像任意风格迁移[J]. 计算机科学， 2022， 49（S1）： 345-352， 396. Yang Yue， Feng Tao， Liang Hong，et al. Image arbitrary style transfer via criss-cross attention [J]. Computer Science， 2022， 49（S1）： 345-352， 396. [16]高雨亮， 徐向英， 章永龙， 等. 融合分组注意力机制的水稻病虫害图像识别算法[J]. 扬州大学学报（自然科学版）， 2021， 24（6）： 53-57. Gao Yuliang， Xu Xiangying， Zhang Yonglong， et al. Image recognition algorithm of rice diseases and insect pests based on shuffle attention mechanism [J]. Journal of Yangzhou University （Natural Science Edition）， 2021， 24（6）： 53-57. [17]毛腾跃， 宋阳， 郑禄. 基于多尺度与混合注意力机制的苹果目标检测[J]. 中南民族大学学报（自然科学版）， 2022， 41（2）： 235-242. Mao Tengyue， Song Yang， Zheng Lu. Apple target detection based on multi-scale and hybrid attention mechanism [J].Journal of South-Central Minzu University （Natural Science Edition）， 2022， 41（2）： 235-242. [18]骆润玫， 殷惠莉， 刘伟康， 等. 基于YOLOv5-C的广佛手病虫害识别[J]. 华南农业大学学报， 2023， 44（1）： 151-160. Luo Runmei， Yin Huili， Liu Weikang， et al. Identification of bergamot pests and diseases in complex background using YOLOv5-C algorithm [J]. Journal of South China Agricultural University， 2023， 44（1）： 151-160. [19]Leng Z， Tan M， Liu C， et al. PolyLoss： A polynomial expansion perspective of classification loss functions [C]. International Conference on Learning Representations （ICLR）， 2022. [20]Radosavovic I， Kosaraju R P， Girshick R， et al. Designing network design spaces [C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2020.
