基于改进MobileNet-V2的田间农作物叶片病害识别

孙 俊，朱伟栋，罗元秋，沈继锋，陈义德，周 鑫

基于改进MobileNet-V2的田间农作物叶片病害识别

孙 俊，朱伟栋，罗元秋，沈继锋，陈义德，周 鑫

（江苏大学电气信息工程学院，镇江 212013）

农作物病害是造成粮食产量下降的重要因素，利用智能化手段准确地识别农作物病害有利于病害的及时防治，该研究基于改进的MobileNet-V2识别复杂背景下的农作物病害，对未来覆盖各种作物的智能化病害识别工作具有重要意义。首先创建含有11类病害叶片及4类健康叶片的农作物数据集，采用数据增强操作构造不同的识别场景。其次在原始模型MobileNet-V2的基础上，嵌入轻量型的坐标注意力机制，建立通道注意力与位置信息的依赖关系。然后对网络中不同尺寸的特征图采取上采样融合操作，构建兼具网络高、低层信息的新特征图。此外，采用分组卷积并删除模型中不必要的分类层，减少模型参数量。试验结果表明：改进模型的参数量为2.30 ×106，改进模型的识别准确率在背景复杂的农作物叶片病害数据集中达到了92.20%，较改进前提高了2.91个百分点。相比EfficientNet-b0、ResNet-50、ShuffleNet-V2等经典卷积神经网络架构，改进模型不仅达到了更高的识别准确率，还具有更平稳的收敛过程以及更少的参数。该研究改进的模型较好地平衡了模型的复杂度和识别准确率，为深度学习模型移植至田间移动病害检测设备提供了思路。

农作物；病害；复杂背景；轻量型；上采样；参数量

0 引 言

中国农业领域的生产方式正处在由手工向智能化转变的过渡期[1]，在此期间，农业种植结构不断地发生变化，农作物受病害侵袭的情况也愈发严重。病害不仅抑制了农作物的健康成长，还降低了作物质量及产量[2]。当前农作物病害诊断大多仍依赖于专家的丰富知识及经验[3]，但由于专家人数有限、病害种类繁多、病斑分布不规律[4]等原因，在某些情况下，即便是专家也无法对病害进行及时精准的甄别[5-6]，因此，如何利用人工智能技术有效识别农作物病害显得尤为重要。

近年来，基于卷积神经网络（Convolutional Neural Network，CNN）的图像分类[7]、目标检测[8]等技术开始崭露头角，其高效处理海量数据并学习数据特征的能力[9]为农作物病害的防治工作提供了一条可行的途径。孙俊等[10]将批归一化、全局池化加入到传统的AlexNet模型中，得到了一种收敛迅速的新模型，该模型在含有14种植物26类病害的公共数据集Plant Village上获得了99.56%的平均测试准确率。赵立新等[11]利用迁移学习并辅以数据增强后的棉花病害数据集，基于预训练模型进行再训练，缓解了原模型的过拟合问题。Bao等[12]基于Inception模块和残差模块融合的特征提取网络进行学习率、dropout等参数的选择及优化，得到了一个性能更稳定的模型。Khan等[13]基于相关系数的分割方法，将叶片病害感染区域与背景分离，利用采取了预训练策略的VGG16和AlexNet提取特征，最后嵌入并行特征融合步骤以进行特征融合，分类准确率达到98.6%。Too等[14]基于Plant Village对DenseNet、VGG16、ResNet-50等模型进行评估，其中DenseNet达到了最好的分类效果。Rangarajan等[15]对AlexNet、VGG16采用了微调及迁移学习的策略，提出了两种能够快速收敛的模型，并在含有7种病害类别的番茄数据集上分别获得了97.29%、97.49%的分类准确率。尽管上述基于卷积神经网络的农作物病害识别研究取得了优异的成果，但其应用场景大多局限于简单的实验室环境，田间环境下的病害识别则需要应对复杂的背景环境和匮乏的移动端内存带来的挑战。因此，为了在保证可移植性的前提下，提升模型在田间环境下的识别性能和抗干扰能力，大量学者展开了田间环境下的叶片病害识别研究。

Tang等[16]在轻量型神经网络模型ShuffleNet-V1和ShuffleNet-V2中添加了注意力机制，通过提高参数利用率，实现了高质量的空间编码，经过改进的两种模型具有较高的实时性和识别性能。Shin等[17]从硬件内存和模型推理速度等角度出发，对比分析了AlexNet、SqueezeNet、GoogLeNet、SqueezeNet-mod1和SqueezeNet- mod2等模型的性能，为实现在线作物病害管理提供了理论依据。王春山等[18]为了提高模型在硬件条件受限情况下的运行能力，改变残差连接方式以及卷积方法，显著地降低了模型的参数量及内存空间。Ap等[19]针对复杂背景下的农作物病害数据集应用3种不同的CNN模型，通过串联融合植物病害的上下文信息，改善了模型的识别性能。Chen等[20]按病斑面积大小将病害分为易见病害和细微病害，并进一步对叶片表面上的细微病害特征进行增强，基于改进的MobileNet-V2识别多类农作物病害。许景辉等[21]利用改进的VGG-16模型，对其收集的田间玉米病害图像进行识别，获得了更快的收敛速度及更高的识别性能。曾伟辉等[22]针对真实环境下模型识别效果易受各种噪声影响的问题，提出了一种高阶残差卷积神经网络，获得了良好的抗干扰性。

上述研究虽然突破了简单背景环境的限制，减少了模型参数量，但其采用的模型仅仅依赖于网络的高层信息进行特征分析、病害识别等工作，缺少对网络低层细节信息的利用，因此上述模型的识别性能仍有提升空间。综上，本研究通过重新分配模型注意力，改变特征连接方式，融合高层特征及低层特征，进行分组卷积等设计手段，对复杂背景下4种农作物的11类病害叶片及4类健康叶片进行训练及测试，改善了原MobileNet-V2中存在的特征提取单一，微小特征提取难等问题，为深度学习模型移植至田间移动病害检测设备提供了思路。

1 试验数据

1.1 数据采集

简单背景下的叶片病害图像，其背景环境单一，无法为田间真实环境下的病害识别工作提供更进一步的指导，因此试验应用的数据集均具有复杂的背景环境。如图1所示，原数据集包括4种农作物（苹果、木薯、玉米、棉花）的11类病害叶片图像（苹果混合疾病、苹果锈病、苹果疮痂病、木薯细菌枯萎病、木薯褐条病、木薯绿色斑点、木薯花叶病毒、玉米空叶病、玉米枯萎病、玉米锈病、棉花铃疫病）及4种农作物健康叶片图像，共计3 503张，均获取于Kaggle官方数据网站（https://www.kaggle.com）。原始叶片病害样本的详细数量情况如表1所示，其中图像增强前的数据集样本总量过少，且不同病害类别之间的样本数量差距较大，数量分布极不均衡，棉花健康叶片的样本数量甚至是苹果锈病样本数量的4倍之多，采用该类型数据集会使样本量大的类别在若干次迭代训练中积累较大的误差，因此本研究对数据集进行预处理以便后续的使用。

1.2 数据预处理

数据集中样本分布失衡的情况会导致模型出现过拟合、特征提取困难等负面效应，为了保证模型的学习效果，同时构建更多自然条件下的病害识别场景，使模型能够更加适应恶劣条件下的工作环境，增强模型的鲁棒性，预处理过程中使用Python中的工具库OpenCV对原始数据集进行以下3种增强操作：1）随机亮度增强、减弱：模拟真实田间环境下不同的光照条件；2）90°、180°、270°旋转：模拟识别设备的不同拍摄角度；3）随机噪声：模拟夜间、恶劣天气等条件下叶片病害图像含噪的情况。最终获得样本数量充足且分布均衡的农作物叶片病害数据集，叶片病害图像共计10 371张，如表 1所示。

表1 数据集详细信息

2 模型结构

2.1 MobileNet-V2的优点与不足

为了使CNN模型学习到更为丰富的特征信息，大量研究者从增加网络深度的角度出发，不断地堆叠卷积层及池化层，如ResNet系列模型便利用残差连接方式[23]，将模型层数从初始的18层扩展到了50层、101层，甚至是152层。虽然堆叠层数的设计方式能够提升模型的性能，但是模型的参数量以及计算成本在不断上升，并且网络层数与精度构成的性价比曲线也在逐渐趋于饱和，该类大模型很难适配当今计算资源受限的移动设备。2019年Sandler等[24]提出的MobileNet-V2则是一款轻量型的模型，其结构参数如表2所示。首先，它沿用了MobileNet-V1中提出的深度可分离卷积以减少卷积核参数量，加快模型运行速度。其次，针对传统瓶颈层（Bottleneck，BN）先降维后升维的设计，创新性地提出了倒置残差模块（如图2a所示，先升维，后降维），该结构不仅能够显著减少模型推理期间所需的内存，还保证了瓶颈层中的逐通道卷积层（Depthwise Convolution，DWConv）能够接收到丰富的特征信息。最后，为了解决高维特征压缩至低维特征时出现的特征损失问题，MobileNet-V2将图2a所示的第二个1×1逐点卷积（Pointwise Convolution）操作后紧跟的非线性激励函数ReLU6改进为线性操作Linear，其余位置的非线性激活函数保持不变，从而保留了特征信息的多样性，增强了目标特征的表达能力。

表2 MobileNet-V2的内部参数[24]

注：表示数据集的类别数。Conv为卷积操作，Bottleneck是将特征维数先增后降的结构，Avgpool为全局平均池化。

Note:represents the number of categories in the datasets.Conv is an operation of convolution, Bottleneck is a structure that increases the feature dimension first and then decreases, and Avgpool is a global average pooling operation.

然而，本试验应用的农作物叶片病害数据集具有背景复杂、病斑面积大小不一、病斑区域分布广等特点，面对该类型的数据集，MobileNet-V2存在感兴趣区域分散、特征提取尺度单一等不足。因此，本试验针对MobileNet-V2识别复杂背景下农作物叶片病害存在的不足，以MobileNet-V2作为基本网络骨架，对其进行一系列的改进。

2.2 模型改进

2.2.1 坐标注意力机制

注意力机制能够将有限的计算资源分配给图像中信息量占比最高的部分，它能够更好地聚集网络模型对待识别目标的注意力，减少无关背景的影响。一般的注意力机制（如SENet[25]）仅仅考虑建立模型内部特征图中通道信息之间的依赖关系，将全局平均池化注入到模型通道中，进而对特征图的全局信息进行编码，并覆盖至原特征图。因此，位置信息在视觉空间结构中很难被保留下来，从而导致模型无法突出图像中的感兴趣区域。坐标注意力（Coordinate Attention，CA）机制通过在像素坐标系上的有效定位，使模型能集中注意于感兴趣区域，获取更大区域内的信息，从而更有效地区分背景与前景，最终达到更好的目标分类效果。该机制首先对输入特征图分别进行水平和垂直方向上的平均池化，随后通过维度移位、维度拼接、降维等操作实现空间信息编码，最后将空间信息与通道特征加权融合，达到同时兼顾通道信息和位置信息的目的，帮助模型更好地定位到感兴趣对象。由于该研究应用的数据集含有丰富的目标与背景信息，基于传统模型来区分二者的差异无疑是困难的，而在传统模型中加入CA则能从注意力的分配方面来改善模型性能。此外，CA是一种轻量型的模块，避免了过多的运算开销。如图2b所示，试验中将坐标注意力模块添加进MobileNet-V2的倒置残差模块中（3～18层的Bottleneck），总计16层。此外，CA的结构如图2c所示。

2.2.2 多尺度特征金字塔

神经网络的低层特征具有较小的感受野，对图像中像素占据较少的小目标更加敏感，因而低层特征具有更充分的目标细节信息以及更准确的目标位置信息，但是低层特征仅仅提供目标的轮廓、颜色、纹理等浅层信息，用来处理复杂任务的高级语义信息很难被网络捕捉。与之相反，网络的高层特征具有较大的感受野，更多地关注图像的全局特征，拥有更丰富、抽象的语义信息。一幅图像中往往存在一些不同的目标，其中简单的目标通过低层特征便能被检测区分，而复杂的目标则需要更高层的抽象特征辅助才能更好地被识别。在实际环境中，农作物叶片上的病害可能存在面积大小不一、病害区域分布广等问题。因此，针对类似情况，融合低层特征与高层特征的特征图能够提供更多、更精确的目标信息，其结构如图3所示，此处改进在图3中的第2、4、7、14、18层后添加了旁支（Lateral layer，1×1 Conv），并将特征维度调整成统一的96，随后将获得的高层信息（如图3中7×7×96的特征图P1）上采样2倍，并将其与较低一层（如图3中14×14×96的特征图P2）的同尺寸特征图进行融合，基于融合后的特征图进行Softmax等分类工作，总共进行4次上采样及特征融合操作。然而，在实际情况中，过多的上采样次数及特征融合分别会导致特征信息质量下降和特征重复，从而影响最终的识别准确率。因此试验另外设计了7种跨尺度特征融合的方案与图3中的方案进行对比探究，方案1～7中的融合手段分别对应P1+P3、P1+P4、P1+P5、P2+P4、P2+P5、P3+P5、P1+P3+P5（“+”表示融合），P1～P5分别可由原特征图C1～C5经过Lateral及相应的融合操作得到，不同方案中特征图上采样放大的倍数有所区别，其中方案7如图4所示。

注：Conv和Lateral分别表示卷积核为3×3和1×1的卷积操作；Lateral的作用是引出不同尺寸的特征图，并调整维度；BN表示MobileNet-V2中的瓶颈层；Up表示将特征图尺寸扩大2倍，并将其与上一层的特征融合。

2.2.3 优化模型参数量

与此同时，引入坐标注意力机制和多尺度特征融合策略的新模型仅仅修改了原模型的1～18层，并且改进模型将Softmax分类层安排在每次特征图上采样融合之后，图像数据流无需经过后续网络层便能得到最终的分类结果，因此删除19～21层不仅不会影响最后的分类结果，还能够减少一定的参数及内存。

2.3 评价指标

为了客观评价改进模型的性能，该研究采用4种分类评价指标[26]进行评估。

1）查全率R表示正确预测为第类病害的图像样本数量占所有第类病害样本数量的比例，见式（1）。

式中TP表示第类中正确分类的叶片病害样本数量，FN表示第类中错误分类的叶片病害样本数量。

注：Lateral表示卷积核为1×1的卷积操作；4× up代表对特征图尺寸进行4倍扩增，扩增倍数可根据不同方案进行修改；可选取P1、P2、P3、P4、P5中的不同组合进行上采样操作，此图仅选取P1、P3、P5。

Note: Lateral represents convolution operations with kernels of 1×1; 4× up means to enlarge the size of feature maps by 4 times, and the magnification can be modified according to different schemes; Different combinations of P1, P2, P3, P4 and P5 can be selected for up sampling, but only P1, P3 and P5 are selected in this figure.

图4 跨尺度特征融合方案中的一种结构

Fig.4 A structure in cross scale feature fusion schemes

2）查准率P表示正确预测为第类病害的图像样本数量占所有类中预测为第类病害的样本数量的比例，见式（2）。

式中FP表示除第类之外，其他所有类中图像错分为第类病害时的样本总量。

3）1加权分数表示查全率和查准率的调和平均数，取值范围为0到1，取值越高代表模型的输出结果越好，见式（3）。

4）模型参数量

模型的分类准确率是评价该模型总体性能的重要指标之一，但对于一些特定的任务，模型除了需要满足一定的精度要求外，也需要满足模型移植至移动端所需的低内存消耗等要求。

2.4 模型对比

本试验以MobileNet-V2作为基础模型，在此基础上进行了消融试验以验证该研究提出的改进方法的有效性。同时，为了展示改进模型具有一定的竞争力，从识别准确率和模型参数量等方面出发，将其与经典的CNN架构（如EfficientNet-b0、ShuffleNet-V2、ResNet-50）进行对比。

3 试验环境及参数配置

3.1 试验环境

试验均在Ubuntu 18.04 LTS 64位系统环境下运行，采用能够支持GPU加速和动态神经网络的Pytorch 1.6版本的深度学习开源框架，配合CUDA 9.1进行训练。计算机搭载的处理器为Intel Core i7-10700K @ 3.80GHz 八核，内存为32 GB，显卡为GTX 2080Ti。

3.2 参数设置

试验过程中将数据集按4∶1比例划分为训练集和测试集两部分，分别用作模型的训练与测试。所有模型的全连接层修改为15，代表11类病害叶片及4类健康叶片。农作物病害图像尺寸均设置为224×224像素，受硬件条件约束的批处理大小（Batch-size）则设置为32，模型迭代次数共计100 epoch。为了模型的识别准确率能够更好地收敛，所涉及的试验采用了学习率衰减策略，初始学习率设置为0.02，每经过10 epoch，学习率便衰减为原来的80%。所有的训练模型采用Adam优化器，其参数设置为默认。同时，为避免模型发生过拟合，在全连接层前添加了参数设置为0.2的Dropout层。

4 结果与分析

4.1 消融试验结果分析

对比2.2.2节中提出的8种特征融合方法，结果见表 3。总体上看，采用跨尺度特征融合策略的方案1～6与方案8相比存在着模型参数量减少、准确率下降的情况。而方案7较方案8在识别准确率、模型参数内存等方面展现出了一定的优势，该结果说明较多的上采样融合次数不仅会影响特征图的质量，还会造成目标特征丢失、模糊等问题。同时，比较方案1、2、3和4、5可知，受信息丢失的影响，融合两张尺寸跨度越大的特征图，其识别效果下降越明显，这也间接说明了每种尺度的特征图在识别工作中均具有一定的影响力。方案6和7的对比结果表明，融合了P1之后的模型识别精度提高了1.34个百分点，进一步说明了高层特征对整个跨尺度特征融合结构的重要性。综合各方因素后的结果表明，方案7的应用结果更加优秀，在后续的试验中均采用方案7的特征融合方式。

为了展现CA相比其他注意力机制的优势所在，本试验在MobileNet-V2相同的网络层之间分别添加了SE注意力模块、BAM注意力模块、CA注意力模块，并应用到测试集上，最终获得了如图5所示的混淆矩阵。总体上看，图5中4种模型在测试集上获得的识别准确率分别为89.29%、89.35%、89.42%、90.97%。该结果表明，相比其他3类模型，添加了CA的MobileNet-V2能够更精准地辨别复杂环境下的病害特征，这与表4中编号2得到的数据结果契合。然而，图5中的细节显示，相比其他农作物病害而言，木薯细菌枯萎病与木薯褐条病被错误分类的情况较为严重。为解释产生该现象的原因，对这2类病害的特征进行观察并部分概括。如图6所示，木薯细菌枯萎病初期呈现湿色病斑、白色黏液等症状，后期叶片颜色转变为黄褐色，出现枯萎、腐烂等症状，而木薯褐条病的发病症状与木薯细菌枯萎病的后期症状较为类似，叶片均产生黄褐色斑纹，并伴随叶片枯萎。感染了花叶病毒的木薯叶片表现为黄化、卷曲，与前两类病害的特征也极为相似，很难通过肉眼进行直接分辨。因此，图5中的4种模型对特征极其相似的木薯类病害的分类情况并不理想，这不仅暴露出相似病害特征之间的细小区别未被模型有效利用的问题，还为该研究将上述2种改进方法进行有效组合提供了思路。

表4中的试验结果表明：1）在增加可接受的模型参数量的前提下，融合两种改进策略模型的性能优于单独采用其中一种策略的模型性能；2）两种改进策略能够有效地融合，在MobileNet-V2的基础上，改进模型在复杂背景下的病害识别准确率提高了2.91个百分点。

表3 跨尺度特征融合

注：方案4、5、6删除了相应的Bottleneck，释放了参数量及内存。P1，P2，P3，P4，P5的大小分别为7×7、14×14、28×28、56×56、112×112。

Note: Plans 4, 5, and 6 remove appropriate Bottlenecks, freeing up the number of parameters and storage. The size of P1, P2, P3, P4 and P5 are 7×7, 14×14, 28×28, 56×56, 112×112, respectively.

表4 基于MobileNet-V2的消融试验结果

注：基础网络为MobileNet-V2。

Note: Basic network is MobileNet-V2.

4.2 与经典CNN架构对比分析

从模型竞争力角度出发，将该研究改进的模型与EfficientNet-b0[27]、ResNet-50、ShuffleNet-V2[28]进行对比探究，结果如图7所示。EfficientNet系列模型较好地平衡了网络宽度、深度与分辨率之间的关系，其识别准确率超过一般CNN模型4～5个百分点[27]。从图中可以观察到，改进模型的识别准确率与EfficientNet-b0相比，高出约0.65个百分点，然而改进模型的参数量却不足EfficientNet-b0参数量（5.30×106）的一半[27]。ShuffleNet-V2是一款轻量型的模型，其模型参数量（3.50×106）大幅低于一般的CNN模型架构[28]，在该试验中，它的识别准确率相比其他3种模型稍显逊色，最大差距达到3.17个百分点，且收敛过程起伏较大。ResNet-50是广泛应用于工程领域的模型，具有较好的特征提取能力，在试验中同样表现出了良好的分类性能，但ResNet-50耗费的内存和计算资源十分庞大，较难满足模型的移植条件[23]。

注：Pro代表本文改进模型。

综上所述，该研究改进的模型在识别准确率和参数内存方面取得了良好的平衡，能够较好地满足移动端对复杂情况下农作物叶片病害识别的要求。

5 结 论

本研究立足于田间环境下的农作物病害识别任务，更加贴近实际生活中的生产需要。针对复杂环境下农作物病害特征具有分布区域广、病斑面积大小不一等特点，本研究分析原始模型MobileNet-V2存在的不足，并加以改进，改进模型在识别准确率及参数内存之间取得了良好的平衡。嵌入坐标注意力机制的改进方式通过在像素坐标系上的有效定位，使模型能集中注意于大范围的叶片区域，从而提高了模型对病害特征的提取能力；多尺度特征融合解除了一般卷积神经网络架构仅能依靠网络高层信息进行分类的限制，将高层特征和富含细节信息的低层特征加以融合，该设计提高了模型对病害特征的全局把控能力。与原始模型MobileNet-V2相比，改进模型的病害识别准确率提升了2.91个百分点，与经典卷积神经网络架构进行对比，改进模型具有更出色的识别性能、更平稳的收敛过程以及更少的参数内存。综上，本研究改进的模型能够更出色地识别田间复杂背景下的多类农作物叶片病害，为深度学习模型移植至田间移动病害检测设备提供了思路。

[1] 高万林，李桢，于丽娜，等. 加快农业信息化建设 促进农业现代化发展[J]. 农业现代化研究，2010，31(3)：257-261.

[2] 王东方，汪军. 基于迁移学习和残差网络的农作物病害分类[J]. 农业工程学报，2021，37(4)：199-207.

Wang Dongfang, Wang Jun. Crop disease classification with transfer learning and residual networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 199-207. (in Chinese with English abstract)

[3] 钟昌源，胡泽林，李淼，等. 基于分组注意力模块的实时农作物病害叶片语义分割模型[J]. 农业工程学报，2021，37(4)：208-215.

Zhong Changyuan, Hu Zelin, Li Miao, et al. Real-time semantic segmentation model for crop disease leaves using group attention module[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 208-215. (in Chinese with English abstract)

[4] Sun J, Wang L, Wu X, et al. Identification of crop diseases using improved convolutional neural networks[J]. IET Computer Vision, 2020, 14(7): 538-545.

[5] Ub A, Rdc B, Ds C, et al. Comparison of convolution neural networks for smartphone image based real time classification of citrus leaf disease[J]. Computers and Electronics in Agriculture, 2020, 177(4): 105661.

[6] 孙俊，何小飞，谭文军，等. 空洞卷积结合全局池化的卷积神经网络识别作物幼苗与杂草[J]. 农业工程学报，2018，34(11)：159-165.

Sun Jun, He Xiaofei, Tan Wenjun, et al. Recognition of crop seedling and weed recognition based on dilated convolution and global pooling in CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(11): 159-165. (in Chinese with English abstract)

[7] Jiang P, Chen Y, Liu B, et al. Real-time detection of apple leaf diseases using deep learning approach based on improved convolutional neural networks[J]. IEEE Access, 2019, 7: 59069-59080.

[8] 孙俊，谭文军，武小红，等. 多通道深度可分离卷积模型实时识别复杂背景下甜菜与杂草[J]. 农业工程学报，2019，35(12)：184-190.

Sun Jun, Tan Wenjun, Wu Xiaohong, et al. Real-time recognition of sugar beet and weeds in complex backgrounds using multi-channel depth-wise separable convolution model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(12): 184-190. (in Chinese with English abstract)

[9] Abade A, Ferreira P A, Vidal F. Plant diseases recognition on images using convolutional neural networks: A systematic review[J]. Computers and Electronics in Agriculture, 2021, 185: 106125.

[10] 孙俊，谭文军，毛罕平，等. 基于改进卷积神经网络的多种植物叶片病害识别[J]. 农业工程学报，2017，33(19)：209-215.

Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209-215. (in Chinese with English abstract)

[11] 赵立新，侯发东，吕正超，等. 基于迁移学习的棉花叶部病虫害图像识别[J]. 农业工程学报，2020，36(7)：184-191.

Zhao Lixin, Hou Fadong, Lü Zhengchao, et al. Image recognition of cotton leaf diseases and pests based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(7): 184-191. (in Chinese with English abstract)

[12] Bao Wenxia, Huang Xuefeng, Hu Gensheng, et al. Identification of maize leaf diseases using improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 160-167.

鲍文霞，黄雪峰，胡根生，等. 基于改进卷积神经网络模型的玉米叶部病害识别(英文稿)[J]. 农业工程学报，2021，37(6)：160-167. (in English with Chinese abstract)

[13] Khan M A, Akram T, Sharif M, et al. CCDF: Automatic system for segmentation and recognition of fruit crops diseases based on correlation coefficient and deep CNN features[J]. Computers and Electronics in Agriculture, 2018, 155: 220-236.

[14] Too E C, Yujian L, Njuki S, et al. A comparative study of fine-tuning deep learning models for plant disease identification[J]. Computers and Electronics in Agriculture, 2018, 161: 272-279.

[15] Rangarajan A K, Purushothaman R, Ramesh A. Tomato crop disease classification using pre-trained deep learning algorithm[J]. Procedia Computer Science, 2018, 133: 1040-1047.

[16] Tang Z, Yang J, Li Z, et al. Grape disease image classification based on lightweight convolution neural networks and channelwise attention[J]. Computers and Electronics in Agriculture, 2020, 178(2): 105735.

[17] Shin J, Chang Y K, Heung B, et al. A deep learning approach for RGB image-based powdery mildew disease detection on strawberry leaves[J]. Computers and Electronics in Agriculture, 2021, 183(3): 106042.

[18] 王春山，周冀，吴华瑞，等. 改进Multi-scale ResNet的蔬菜叶部病害识别[J]. 农业工程学报，2020，36(20)：209-217.

Wang Chunshan, Zhou Ji, Wu Huarui, et al. Identification of vegetable leaf diseases based on improved Multi-scale ResNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 209-217. (in Chinese with English abstract)

[19] Ap A, Msc D, Ag A, et al. Crop conditional Convolutional Neural Networks for massive multi-crop plant disease classification over cell phone acquired images taken on real field conditions[J]. Computers and Electronics in Agriculture, 2019, 167: 105093.

[20] Chen J, Zhang D, Nanehkaran Y A. Identifying plant diseases using deep transfer learning and enhanced lightweight network[J]. Multimedia Tools and Applications, 2020, 79(7): 31497-31515.

[21] 许景辉，邵明烨，王一琛，等. 基于迁移学习的卷积神经网络玉米病害图像识别[J]. 农业机械学报，2020，51(2)：230-236.

Xu Jinghui, Shao Mingye, Wang Yichen, et al. Recognition of corn leaf spot and rust based on transfer learning with convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 230-236. (in Chinese with English abstract)

[22] 曾伟辉，李淼，张健，等．面向农作物病害识别的高阶残差卷积神经网络研究[J]．中国科学技术大学学报，2019，49(10)：781-791.

Zeng Weihui, Li Miao, Zhang Jian, et al. Research on high-order residual convolution neural network for crop disease recognition application[J]. Journal of University of Science and Technology of China, 2019, 49(10): 781-791. (in Chinese with English abstract)

[23] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//IEEE. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 770-778.

[24] Sandler M, Howard A, Zhu M, et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]//IEEE. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City: IEEE, 2018: 4510- 4520.

[25] Jie H, Li S, Gang S, et al. Squeeze and excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 42(8): 2011-2023.

[26] 刘阳，高国琴. 采用改进的SqueezeNet模型识别多类叶片病害[J]. 农业工程学报，2021，37(2) ：187-195.

Liu Yang, Gao Guoqin. Identification of multiple leaf diseases using improved SqueezeNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 187-195. (in Chinese with English abstract)

[27] Tan M, Le Q V. EfficientNet: Rethinking model scaling for convolutional neural networks[C]//Proceedings of the 36thInternational Conference on Machine Learning. Long Beach, CA: PMLR, 2019.

[28] Ma N, Zhang X, Zheng H T, et al. ShuffleNet V2: Practical guidelines for efficient cnn architecture design[C]//15th European Conference on Computer Vision (ECCV). Munich: Springer, 2018, 11218: 122-138.

Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2

Sun Jun, Zhu Weidong, Luo Yuanqiu, Shen Jifeng, Chen Yide, Zhou Xin

(,,212013,)

Crop pests and diseases are emerging threats to global food security in recent years. Manual diagnosis has also been a serious constraint to recognizing the crop diseases in modern agriculture. The latest Convolutional Neural Network (CNN) models have opened up a new way to control diseases with the development of deep learning. However, a complex real environment in the field has posed a great challenge on the general model for disease recognition, due to the single background of the leaf disease images taken in the laboratory. In this study, an improved MobileNet-V2 was proposed to recognize the diseases of crop leaves in the fields, thereby optimizing the parameters for higher accuracy under the complex background. The specific procedures were as followed. Firstly, an image dataset was collected in the field for the disease classification, including 11 kinds of diseased leaves and 4 kinds of healthy leaves of four crops. A series of enhancement operations were then performed on the disease images, including random brightness, and noise. Secondly, a coordinate attention mechanism was added in the 3-18 layers of the basic MobileNet-V2 model. The Region of Interest (ROI) was effectively positioned to concentrate on the disease regions in the pixel coordinate system, thereby to better identify the background and foreground information of the targets. Since the areas of disease spots were different, it was easy to miss some details of the diseases only when using the high-level features. Thus, a feature pyramid module was added to the model using a multi-scale feature fusion. As such, the low-level features were combined with the high-level features, providing for more targets information and better recognition. The specific sampling was operated from the 7×7 to 14×14 feature map, where the same size was fused. Finally, the unnecessary classification layer was removed to optimize the parameter memory of the improved model, where the operation of group convolution was adopted. Compared with the original, the classification accuracy of the improved model was enhanced by 2.91 percentage points, with a little increase in the parameter memory, indicating superior performance. The times of up-sampling were significantly reduced to deal with the feature overlap, where all aspects of indicators were improved than before. Additionally, the improved model was used to better distinguish the similar target features and different lesion areas in detail. In contrast, the recognition accuracy was 0.65 percentage points higher than the EfficientNet-b0a CNN model, indicating a fewer half number of parameters. The improved model also presented much fewer parameters suitable for the mobile terminal, compared with the classical ResNet-50 CNN architecture. Consequently, the improved model can be widely expected to better identify the crop leaf diseases under a complex background, indicating more stable convergence with less parameter memory. This finding can provide strong theoretical support to reliably transplant the new CNN model into the mobile terminal for the disease classification.

crops; diseases; complex background; lightweight; up-sample; parameters

10.11975/j.issn.1002-6819.2021.22.018

S126

A

1002-6819(2021)-22-0161-09

孙俊，朱伟栋，罗元秋，等. 基于改进MobileNet-V2的田间农作物叶片病害识别[J]. 农业工程学报，2021，37(22)：161-169.doi：10.11975/j.issn.1002-6819.2021.22.018 http://www.tcsae.org

Sun Jun, Zhu Weidong, Luo Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.22.018 http://www.tcsae.org

2021-08-04

2021-10-08

江苏高校优势学科建设工程（三期）资助项目（PAPD-2018-87）；江苏大学大学生科研立项资助项目（20AB0019）

孙俊，博士，教授，博士生导师，研究方向为计算机技术在农业工程中的应用。Email：sun2000jun@ujs.edu.cn

中国农业工程学会会员：孙俊（E041200652S）