基于深度学习的农作物病虫害识别研究进展

李正 李宝喜 李志豪 战艺芳 王利华 龚琦

摘要：为了对农作物病虫害进行有效防治、有效保障农作物健康状况，快速、精准地识别农作物病虫害是有效防治的前提条件。对农作物病虫害识别研究进行了综述，归纳了农作物病虫害识别方法的发展历程，重点分析了深度学习的网络结构、建模重点环节及6类典型架构特征，并结合当下的研究热点和应用前景，从构建公共数据集、集成多种成像技术、优化大模型性能等方向进行展望。

关键词：深度学习；农作物病虫害；图像识别；有效防治

中图分类号：S126         文献标识码：A

文章编号：0439-8114（2023）11-0165-05

DOI：10.14088/j.cnki.issn0439-8114.2023.11.029 开放科学（资源服务）标识码（OSID）：

Research progress in crop disease and pest identification based on deep learning

LI Zheng， LI Bao-xi， LI Zhi-hao， ZHAN Yi-fang， WANG Li-hua， GONG Qi

（Institute of Environment and Safety， Wuhan Academy of Agricultural Sciences， Wuhan  430207，China）

Abstract： In order to effectively prevent and control crop diseases and pests， and ensure crop health， rapid and accurate identification of crop diseases and pests was a prerequisite for effective prevention and control.A review was conducted on the research on crop pest and disease identification， summarizing the development process of crop pest and disease identification methods. The focus was on analyzing the network structure， modeling key links， and six typical architectural features of deep learning. Combined with current research hotspots and application prospects， prospects were made from the construction of public datasets， integration of multiple imaging technologies， and optimization of large model performance.

Key words： deep learning； crop diseases and pests； image recognition； effective prevention and control

糧食安全是国之根本。病虫害作为主要的风险因素，严重制约农作物的正常生长及农产品质量安全［1］。随着气候变化加剧，耕种方式不断调整，农作物病虫害近年来呈多发、频发态势。农作物病虫害常与温度、湿度、光照、土壤水分、化肥农药等因素相关，具有普遍性、致病性特点，部分病害还具有传染性，发生在作物生长的全周期，甚至波及到存储、运输和销售环节。受损作物不仅生理机能变差，而且其组织结构也会发生不同程度扭曲，以至在外部形态上表现异常。如不及时采取人工干预防治，会直接导致产量降低、品质变差，严重时会出现作物局部或全株死亡。“十三五”期间，病虫害造成的粮食损失占中国全年总产量的2.16%～2.59%。据专业机构预测，2023年中国小麦、水稻、玉米、马铃薯等农作物病虫害发生面积为2.03亿hm2次，同比增加24.1%［2］。因此，提早识别判定农作物病虫害类型及损害程度对于针对性地实施综合防治具有重要指导意义。

1 农作物病虫害识别方法发展历程

在早期农作物病虫害的识别采取人工现场辨识方式，农民和专业农技人员根据经验通过目视或者将植物样本切片送到实验室检测等方式来分析病虫害发生的原因。由于病虫害覆盖面广、种类繁多，必须依靠专业知识或种植经验才能对其作出诊断。但部分病害虫害特征较相似，不易区分，人工识别方法存在主观性强、工作量大、检出率低等突出问题，容易延误患病作物的最佳救治时机。

随着计算机网络技术的兴起，利用机器学习进行病虫害识别的研究得到深入发展［3］。机器学习对作物外部图像特征进行标记分类，通过数据分析、数据挖掘等技术揭示数据之间存在的关联信息，从而自动检测受害情况，较大程度地提升识别效率和准确度。传统的机器学习算法包括最小二乘法［4］、支持向量机［5］、K-means均值聚类算法［6］、主成分分析法［7］等，不同的模型和算法针对不同问题呈现特定的优势。郑建华等［8］将支持向量机作为机器学习模型分类器用以区分葡萄黑腐病、褐斑病、轮斑病，从HSV颜色直方图特征、HOG特征、RGB颜色矩、GLCM纹理特征4类信息中提取高纬病害特征，该方法对褐斑病的检出率达98%。雷雨等［9］结合主成分分析法和最大类间方差法来提取小麦条绣病图像特征，从而实现了分类分级检测。乔雪等［10］在马铃薯病虫害图像特征标记任务中，采用基于K-means的图像分割方法，能够准确、完整地将暗头豆芫菁、重花叶病毒病及黄痿病病斑从彩色图像中提取出来，在农业病虫害治理方面具有较高的应用价值。由于机器学习的特征依靠人工提取，在复杂环境背景下，尤其对小样本数据和局部特征不明显的任务目标，无法自主捕捉高级语义特征，学习效率低、泛化性不强，很难取得理想的识别效果。

当前，大数据助推智慧农业快速发展，数字化转型成为农业现代化建设的必然选择，利用深度学习技术分析农作物病虫害成为新的研究热点。与传统的机器学习算法相比，深度学习完全依靠数据驱动，无需人工干预，所以能最大化地利用数据本身蕴含的信息来进行目标检测。其深层次网络结构可容纳丰富的语义信息，即使在复杂应用场景中也能够快速、准确地完成目标定位和图像分类任务，在病虫害图像分析中显现出良好的识别性能。何怀文等［11］基于深度学习构建了植物病虫害智能识别系统，并将深度网络收敛稳定后的模型部署到服务器端，根据用户上传的病虫害图片，对15种病害和30种虫害特征进行识别分类，检出率为92%，平均识别速度为0.85秒/张。高雨亮［12］采用不同的深度学习优化器训练Inception-ReaNetV2、MobileNet、VGG、ResNet50 4类卷积神经网络，再将多模型进行融合集成，进一步提升病虫害的识别准确率。赵越等［13］提出一种基于深度学习的马铃薯叶片病害分类方法，采用VGG深度网络提取目标深层次特征，对照卷积后的特征图谱，在目标候选区域中通过计算回归分类置信度得出某种病害的概率，对马铃薯早疫病、晚疫病的识别精度达99.5%。

2 基于深度学习的农作物病虫害识别技术

2.1 深度学习

深度学习［14］以神经网络为基础，通过建立一定数量的神经元计算节点和多层次运算结构实现特征分层，将初始的低层特征表示转化为高层特征表示，从而完成自主学习过程。其网络结构包含输入层、隐藏层和输出层3部分。其中，输入层接收外部数据；隐藏层负责特征提取，通过激活函数对不同类型的数据进行线性划分；输出层产生最终结果。根据信号传播方向，将深层神经网络划分为前馈神经网络［15］和反馈神经网络［16］，典型的前馈神经网络包含卷积神经网络和全连接前馈神经网络，反馈神经网络包含递归神经网络和长短期记忆模型。其中，卷积神经网络在病虫害识别中应用较广。

卷积神经网络［17］是一类包含卷积运算的深层神经网络，由卷积层、池化层、激活函数和全连接层构成。卷积层利用过滤器在前层图像上选择相应的图像区域完成卷积运算，再按一定的步长做滑动运算，依次提取图像的像素级特征。池化层用于降低特征向量维度，通过调整池化窗口的大小和平移步长进一步优化模型性能。激活函数将卷积结果进行非线性函数变换，输入端数据与输出端数据构成非线性映射关系，提升模型的非线性表达能力，常用的激活函数有ELU函数、ReLU函数、Sigmoid函数。全连接层紧随单卷积层块，是一种传统的多层感知器，能将提取的多层图像特征进行高度融合，再通过回归分类计算，得到最终输出结果。

2.2 病虫害识别的重点环节

深度学习模型识别农作物病虫害包括数据预处理、数据增强、深度网络框架选择和模型优化4个步骤［18］。

1）数据预处理是建立模型的第一步，高质量、大规模、高标注的数据集对训练深度神经网络有较大的帮助，为了使公开数据集或自主拍摄获得的图像更适用于网络计算，对输入数据采取针对性的预处理，包括调整尺寸、图像分割、归一化、灰度化等。

2）数据增强是通过几何变换、空间变化、颜色变换、随机生成等方式创建同类数据的不同变体，不实质性增加数据，能够弥补数据集总量较小、结构单一的问题，提升样本数量和模型性能，减少过拟合风险。

3）深度网络框架选择关乎系统响应速度和目标识别准确率，建立高性能模型的重点就是设计出恰当的特征提取器，它通常是由多个卷积层和池化层组成的复杂网络结构，需要依据具体任务目标和网络模型特点设计合理的网络深度和层次结构。

4）为提升网络模型的时间效率和空间效率，在深度学习中融合多种优化策略是当前的热点研究方向。郑丽丽［19］根据害虫颜色、形态、灰度等属性特征，使用决策树进行初步分类，再构建TensorFlow深度学习模型分析原始病害图像，通过Booting算法按照不同权重将2类识别器进行线性组合，输出最终结果。试验表明，融合模型在识别任务中比单一模型性能更好。魏超等［20］对6种深度网络模型进行初始化训练和迁移训练，采用的损失函数由交叉熵和正则化项组成。姚建斌等［21］在VGGNet16深度网络框架下，采用渐变的学习率和迁移学习构建小麦病虫害精准识别网络模型，平均识别准确率高达95%。

2.3 6类基础网络模型

1）LeNet-5模型。LeNet-5模型由Lecun等［22］于1998年提出，包含2层卷积层、2层池化层、2层全连接层、1层输出层，每层网络都包含可训练参数。该模型参数较少，输入数据为32 px×32 px的灰度图，卷积层负责图像空间特征采集，池化方式为平均池化，全连接层中的每个节点均与输入层的各节点相连接。何前等［23］基于LeNet-5框架构建玉米病害分类模型，对输入图像进行随机旋转、图像增强和尺寸裁剪等预处理操作后，增加了3层卷积层和池化层，并且在卷积层和全连接层中添加Dropout层防止过拟合，可同时识别玉米大斑病、锈病、叶斑病及正常玉米图像。张善文等［24］在LeNet-5网络架构的基础上，设计出包含11个隐层的卷积神经网络模型，直接从归一化后的数据中提取高层次抽象特征，采用Softmax分类器对黄瓜彩色病害叶片图像进行分类，在1 200幅黄瓜病害叶片图像中，6类病害的检出率达90.32%。Liang等［25］基于Lenet5框架构建出一种深层卷积神经网络模型，包含4个卷积层、4个最大池化层和3个完全连接层，激活函数采用ReLU函数，该模型可有效提取水稻稻瘟病病害特征，具有良好的抗干扰性和鲁棒性。

2）AlexNet模型。AlexNet模型由Krizhevsky等［26］提出，是由LeNet-5模型改进得来，由5个卷积层、3個聚合层和3个全连接层组成，采用最大池化方法和分段线性ReLU激活函数，能有效减少幂函数运算，改善梯度弥散问题。Brahim等［27］基于AlexNet网络框架建立番茄病害识别模型，自动提取原始图像特征，再利用视觉方法分析病害特征，可快速定位叶片中的病害区域，识别准确率为99.18%。杨国国等［28］先使用显著性区域检测方法定位茶园害虫目标，再构建卷积网络模型，期间不断调整AlexNet网络的卷积步幅，并对全连接层部分神经元进行随机抑制，试验证明优化后的网络模型平均识别准确率大幅提升。刘婷婷等［29］构建AlexNet深度网络模型来识别水稻纹枯病，使用随机失活正则化方法将中间层的部分神经元置零，有效降低了全连接层的过拟合，对自然光线下拍摄的水稻图片进行识别分类，纹枯病的检出率达97%。

3）VGG模型。VGG模型由Simonyan等［30］提出，由5个卷积层、3个全连接层、1个输出层组成，通过反复叠加3 px×3 px的小卷积核与2 px×2 px的最大池化层最终形成深层网络，这种设计能够极大地减少网络参数，加快收敛速度，增强非线性映射功能。VGG模型包括VGG-11、VGG-13、VGG-16和VGG-19，因其结构简单、应用性强而深受关注。鲍文霞等［31］通过迁移学习优化VGG-16网络结构，采用选择性核卷积模块和全局平均池化方式代替原本的全连接层，有效避免了过拟合，提高了多尺度特征提取效率和收敛速度，对苹果叶片表面微小病斑识别准确率达94.7%。周云成等［32］在VGG框架的基础上构建10种番茄器官分类网络模型，将128 px×128 px和64 px×64 px规格的RGB图像作为输入，训练方式采用小批量随机梯度下降法，构建TDNet检测器，分析候选区域内的图像特征，试验表明该模型在复杂环境背景下能有效识别番茄的果、花和茎等部位。

4）ResNet模型。2014年He等［33］提出了ResNet模型，通过短路机制引入残差结构，将输入数据跳过中间层直接输给输出层，以此保留浅层特征信息，从而简化学习目标和难度，避免特征丢失、信息损耗。计雪伟等［34］基于残差网络改进的卷积神经网络识别农作物病虫害，通过改进后的ResNet模块优化网络性能，结果表明在公开数据集PlantVillage上的识别准确率为98.8%。王春山等［35］在ResNet18主体架构的基础上构建改进型多尺度残差轻量级病害识别模型，利用多尺度特征提取模块改变残差层连接方式，将7 px×7 px大卷积核替换为7 px×1 px卷积核和1 px×7 px卷积核，再进行群卷积操作，有效缩减模型总体尺寸和计算量，对包含15种病害的19 517张图片进行识别分类，检出率为95.95%。Marriam等［36］构建了一种稳健的深度学习模型来识别番茄叶病，将ResNet-34作为特征提取器，在噪声、模糊、颜色、大小和光照变化的情况下，仍然能对叶片病害区域进行快速检测，其分类准确率高达99.97%，测试时间缩短至0.23 s。

5）GoogleNet模型。GoogleNet模型［37］是2014年ImageNet挑战赛的冠军模型，主要由Inception模块构成，采用1 px×1 px卷积核，极大地缩减了网络参数，使训练过程快速达到收敛状态，并且在避免梯度消失问题上表现良好。Mohanty等［38］对PlantVillage公开数据集中14种农作物的26种病虫害进行识别，结果表明GoogleNet模型具有良好的病虫害识别精度。Zhang等［39］在GoogleNet架构基础上，采取卷积组合的方式构建卷积层，为提高模型的识别效率，在训练过程中不断修正线性单位函数，该方法将8种玉米叶片病害平均检出率提高到98.9%。Ashraful等［40］使用基线训练法对3种基于Inception-v3网络框架的模型（Inception-v3_flatten-fc模型、Inception-v3_GAP模型、Inception-v3_GAP_fc模型）进行了训练，随着训练数据集增加，这3类深度模型均提高了玉米叶病害的识别率。

6）MobileNet模型。MobileNet模型［41］是一种轻量级神经网络，利用深度可分离卷积结构将标准卷积分解为深度卷积和逐点卷积，输入特征矩阵的各通道匹配独立的卷积核完成卷积操作，逐点卷积用于创建深度层输出的线性组合，这种方式能极大地减少模型参数和运算量，适用于移动端和嵌入式设备［42］。王哲豪等［43］在MobileNet V2框架的基础上，通过迁移学习构建番茄病害识别模型，相比VGG-16和ResNet50模型，MobileNet V2模型对番茄病害识别准确率更高、训练时间更短、占用存储空间更小，可搭载移动设备进行实时识别。孙俊等［44］将坐标注意力机制用于MobileNet V2模型的倒残差结构中，选取多种跨尺度特征融合方案分析目标信息，通过分组卷积操作提升农作物叶片病害分类效果。

3 小结与展望

科学高效的识别技术为农作物病虫害检测和防治提供依据，是农情信息检测预警的重要手段，本研究综述了基于深度学习的农作物病虫害识别技术，分析了该方法的网络结构、重点建模环节及6类典型架构特征。

1）构建大型农作物病虫害公共数据集。目前国内相关的公共数据集较少，大部分研究都采用网络收集、自行拍摄、数据增强等方法增加样本容量。而深度学习模型依靠数据驱动，只有高质量的数据才能够帮助深层次网络训练出高性能模型。因此，需要搭建大型作物生长周期数据库和作物常见的病虫害分类数据库。

2）综合多种成像技术获取农作物信息。对于农作物而言，异常的生理性状态是由内而外逐步发生的，一旦表层出现异样，说明在作物内部早已发生一定程度的损伤和病变。为提早判断农作物的健康状态，弥补作物表层图像的滞后性、片面性缺点，结合可见光成像、红外成像、高光谱成像等技术，通过多途径获取农作物内部、外部生长信息来提升病虫害识别效能。

3）全面提升深度学习模型性能。一方面，要继续完善理论研究，为改进网络结构、降低算法复杂度和提高模型性能等提供依據，融合多模态处理技术和优化策略，突破深度学习模型在数据、算力和不可解释性等方面的瓶颈，提升鲁棒性、准确性和计算速度。另一方面，要注重科研成果的应用与推广，借助移动应用端、嵌入式设备实现复杂环境背景下的农作物病虫害检测识别与多元化综合治理，对于中国高标准农田建设具有重要意义。

参考文献：

［1］ 赵彦茜，肖登攀，唐建昭，等.气候变化对我国主要粮食作物产量的影响及适应措施［J］.水土保持研究，2019，26（6）：317-326.

［2］ 刘 杰，曾 娟，杨清坡，等.2023年农作物重大病虫害发生趋势预报［J］.中国植保导刊，2023，43（1）：32-35.

［3］ 翟肇裕，曹益飞，徐焕良，等.农作物病虫害识别关键技术研究综述［J］.农业机械学报，2021，52（7）：1-18.

［4］ SUYKENS J， VANDEWALLE J. Least squares support vector machine classifiers［J］. Neural processing letters，1999，9（3）：293-300.

［5］ CORTES C， VAPNIK V. Support-vector networks［J］. Machine learning， 1995， 20（3）： 273-297.

［6］ SARO J，KAVIT A. Review：Study on simple K-mean and modified K-mean clustering technique［J］.International journal of computer science engineering and technology，2016，6（7）：279-281.

［7］ PEARSON K. On lines and planes of closest fit to systems of points in space［J］. Philosophical magazine，1901，2（11），559-572.

［8］ 鄭建华，朱立学，朱 蓉.基于多特征融合与支持向量机的葡萄病害识别［J］.现代农业装备，2018（6）：54-60.

［9］ 雷 雨，韩德俊，曾庆东，等.基于高光谱成像技术的小麦条锈病病害程度分级方法［J］.农业机械学报，2018，49（5）：226-232.

［10］ 乔 雪，潘 新，王欣宇，等.基于G-R分量与K-means的马铃薯病虫害图像分割［J］.内蒙古农业大学学报（自然科学版），2021，42（3）：84-87.

［11］ 何怀文，蔡显华，杨毅红.基于深度学习的园林植物病虫害智能识别系统［J］.现代计算机，2022，28（15）：112-116.

［12］ 高雨亮.基于深度学习的水稻病虫害识别系统设计与实现［D］.江苏扬州：扬州大学，2022.

［13］ 赵 越，赵 辉，姜永成，等.基于深度学习的马铃薯叶片病害检测方法［J］.中国农机化学报，2022，43（10）：183-189.

［14］ SCHMIDHUBER J.Deep learning in neural networks：An overview ［J］. Neural networks，2014，61：85-117.

［15］ LESHNO M， LIN V Y，PINKUS A，et al. Multilayer feedforward networks with a nonpolynomial activation function can approximate any function ［J］.Neural networks，1993，6（6）：861-867.

［16］ DU X，VASUDEVAN R， JOHNSON-ROBERSON M. Bio-LSTM： A biomechanically inspired recurrent neural network for 3-D pedestrian pose and gait prediction［J］.IEEE robotics and automation letters， 2019， 4（2）：1501-1508.

［17］ TETILA E C， MACHADO B B， MENEZES G K， et al. Automatic recognition of soybean leaf diseases using UAV images and deep convolutional neural networks［J］. IEEE geoscience and remote sensing letters， 2019， 17（5）：903-907.

［18］ 李子涵，周省邦，赵 戈，等.基于卷积神经网络的农业病虫害识别研究综述［J］.江苏农业科学，2023，51（7）：15-23.

［19］ 郑丽丽.基于决策树与卷积神经网络的害虫识别算法［J］.洛阳师范学院学报，2020，39（5）：32-35.

［20］ 魏 超，范自柱，张 泓，等.基于深度学习的农作物病害检测［J］.江苏大学学报（自然科学版），2019，40（2）：190-196.

［21］ 姚建斌，张英娜，刘建华.基于卷积神经网络和迁移学习的小麦病虫害识别［J］.华北水利水电大学学报（自然科学版），2022，43（2）：102-108.

［22］ LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

［23］ 何 前，郭峰林，方皓正，等.基于改进LeNet-5模型的玉米病害识别［J］.江苏农业科学，2022，50（20）：35-41.

［24］ 张善文，谢泽奇，张晴晴.卷积神经网络在黄瓜叶部病害识别中的应用［J］.江苏农业学报，2018，34（1）：56-61.

［25］ LIANG W J， ZHANG H， ZHANG G F，et al. Rice blast disease recognition using a deep convolutional neural network［J］. Scientific reports，2019，9（2）：217-223.

［26］ KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks［EB/OL］.https：//blog.csdn.net/weixin_36670529/article/details/99976379，2022-09-12.

［27］ BRAHIM I， BOUKHAL F A， MOUSSAOU I. Deep learning for tomato diseases： Classification and symptoms visualization［J］. Applied artificial intelligence， 2017， 31（4）： 299-315.

［28］ 杨国国，鲍一丹，刘子毅.基于图像显著性分析与卷积神经网络的茶园害虫定位与识别［J］. 农业工程学报，2017，33（6）：156-162.

［29］ 刘婷婷，王 婷，胡 林.基于卷积神经网络的水稻纹枯病图像识别［J］.中国水稻科学，2019，33（1）：90-94.

［30］ SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition［EB/OL］.https：//blog.csdn.net/weixin_36670529/article/details/102961210，2022-06-16.

［31］ 鲍文霞，吴 刚，胡根生，等.基于改进卷积神经网络的苹果叶部病害识别［J］.安徽大学学报（自然科学版），2021，45（1）：53-59.

［32］ 周云成，许童羽，郑 伟，等.基于深度卷积神经网络的番茄主要器官分类识别方法［J］.农业工程学报，2017，33（15）：219-226.

［33］ HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］.IEEE transactions on pattern analysis and machine intelligence， 2014，37（9）：1904-1916.

［34］ 计雪伟，霍兴赢，薛 端，等.基于深度学习的农作物病虫害识别方法［J］.南方农机，2020，51（23）：182-183.

［35］ 王春山，周 冀，吴华瑞，等.改进Multi-scale ResNet的蔬菜叶部病害识别［J］.农业工程学报，2020，36（20）：209-217.

［36］ MARRIAM N， TAHIRA N， ALI J， et al. A robust deep learning approach for tomato plant leaf disease localization and classification［J］. Scientific reports，2022，12（1）：1-18.

［37］ CAO F K，BAI T，XU X L.Vehicle detection and classification based on highway monitoring video［J］.Computer systems & applications，2020，29（10）：267-273.

［38］ MOHANTY S P， HUGHES D P， SALATHE M. Using deep learning for image-based plant disease detection［J］. Frontiers in plant science，2016，7：1419-1437.

［39］ ZHANG X H， QIAO Y， MENG F F， et al. Identification of maize leaf diseases using improved deep convolutional neural networks［J］. IEEE sccess，2018，6：30370-30377.

［40］ ASHRAFUL H， SUDEEP M， CHANDAN K D， et al. Deep learning-based approach for identification of diseases of maize crop［J］. Scientific reports，2022，12：10140.

［41］ HOWARD A G，ZHU M，CHEN B，et al. MobileNets：Efficient convolutional neural networks for mobile vision applications［J/OL］.https：//blog.csdn.net/qq_41200212/article/details/129598358，2023-04-11.

［42］ SANDLER M， HOWARD A， ZHU M， et al. MobileNet V2： Inverted residuals and linear bottlenecks［EB/OL］.https：//blog.csdn.net/qq_40243750/article/details/126651115，2022-09-01.

［43］ 王哲豪，范麗丽，何 前.基于MobileNet V2和迁移学习的番茄病害识别［J］.江苏农业科学，2023，51（9）：215-221.

［44］ 孙 俊，朱伟栋，罗元秋，等.基于改进 MobileNet-V2 的田间农作物叶片病害识别［J］.农业工程学报，2021，37（22）：161-169.