改进RegNet识别多种农作物病害受害程度

杜甜甜，南新元，黄家興，张文龙，马志侠

改进RegNet识别多种农作物病害受害程度

杜甜甜，南新元※，黄家興，张文龙，马志侠

（新疆大学电气工程学院，乌鲁木齐 830017）

针对传统农作物病害识别方法效率低、受害程度识别不准确的问题，提出了一个基于深度迁移学习和改进RegNet的多种农作物病害受害程度识别模型。该模型首先在RegNet输入端进行在线数据增强，用以提高训练样本的多样性；其次在模型的特征提取层引入了有效通道注意力机制，用以提高模型的特征提取能力；然后在模型的分类层引入多尺度特征融合策略，用以提高模型对细粒度特征的分类能力；最后使用深度迁移学习来优化模型的整体性能，加快模型的收敛速度，提高模型的泛化能力。试验结果表明，改进后的网络模型在农作物病害受害程度数据集上准确率达到了94.5%，相较于RegNet原模型准确率提高了10.4个百分点。改进后的模型具有更好的特征提取能力，对细粒度特征有更强的分类能力，该模型为农作物病害类型及其受害程度的识别提供了一种有效方法。

农作物；模型；病害；RegNet；ECA注意力机制；多尺度特征融合；迁移学习

0 引 言

农业是一个国家的基础性产业，关乎民生发展，如何提高农作物产量已经成为各国面临的重要问题之一。农作物病害是影响农作物产量的主要因素，及时准确掌握农作物病害类型及其受害程度是解决农作物病害的首要问题[1]。当下社会基层农技人员流失，农民对农作物病害类型及其严重程度无法精准判断，造成化学试剂滥用，导致作物减产，造成经济损失。因此，研究出一种高效、低成本的农作物病害识别方法，用于快速准确识别农作物患病类型及其受害程度[2]，具有较强的现实意义。

近年来，随着计算机性能的发展，使得以卷积神经网络[3]为代表的图像分类、目标检测等技术得到了极大的提升，这为农作物病害的识别提供了新的解决方案。Jia等[4]通过构建VGG-18和迁移学习相结合的卷积神经网络实现对番茄10种病害的分类。孙俊等[5]在MobileNetv2中引入坐标注意力机制，并采用分组卷积删除模型中冗余的分类层，有效地减少了模型的参数量。鲍文霞等[6]使用迁移学习将在ImageNet数据集上学习到的先验知识迁移到苹果叶部病害数据集上，并使用选择性核卷积作用在瓶颈层，对苹果的5种叶部病害达到了良好的识别效果。黄雪峰[7]提出使用Inception模块和ResNet模块相结合，用以提高玉米叶部病害的识别准确率。Zhou等[1]提出了一种重构残差密集网络用来识别番茄的叶部病害，该网络结合了深度残差网络和密集网络的优点，提高了识别精度。张善文等[8]在VGG-16中引入可形变卷积，提高了对形变图像特征的表达能力。Elhoucine等[9]使用超参数优化的方法改进MobileNet，通过使用5种不同的优化器进行训练，同时对学习率等参数进行调参，实现了对大豆健康叶片、大豆角叶斑病和大豆豆锈病的分类。牛学德等[10]提出利用迁移学习改进DenseNet对9类番茄叶部病害进行分类，提高了分类精度。何东健等[11]提出了一种改进残差网络的葡萄霜霉病分级模型，在ResNet-50的残差体中引入最大池化层并加入了Dropout，有效避免了模型过拟合并提高了分类精度。温长吉等[12]在ResNet-50的基础上引入CBAM（Convolutional Block Attention Module, CBAM）注意力模型和跨层非局部模块，实现了对不同种类农作物病害的识别。

上述研究主要从模型选取、迁移学习和注意力机制等方面进行改进，虽取得了较好的结果，但依旧存在模型体积大、参数量多，对嵌入式设备不友好的问题，也存在因数据集样本小，导致训练所得的模型泛化能力弱、容易产生过拟合等问题。并且上述研究仅针对农作物病害类型进行分类，没有针对其受害程度进行划分，易造成农药滥用或防治不到位等情况，无法达到对农作物病害精准防治的目的。基于此，本文首先使用在线数据增强扩充样本数据集，然后以RegNet网络为基础引入了ECA（Efficient Channel Attention，ECA）通道注意力机制和多尺度特征融合策略，最终提出一种基于深度迁移学习的农作物病害受害程度识别模型（ECA-Multi-RegNet-DeepTL，RegNet-EMTL），以期通过对农作物叶部病害细微特征进行有效提取，提升农作物病害受害程度分类准确率，同时解决农作物病害由于分类类别多、样本数量少所造成的训练不充分、过拟合等问题，为农作物病害类型及其受害程度的精准识别提供思路。

1 材料与方法

1.1 数据集描述

本文采用的数据集包含两个部分，分别用于迁移学习和农作物病害受害程度模型训练。其中： Mini-ImageNet数据集[13]具有复杂的生活背景，用以训练模型对粗粒度特征的提取能力，以便使用迁移学习缓解农作物病害数据集样本少的问题，该数据集包含100种农作物类别，共计60 000张样本。PlantVillage植物病害图像库，该库包含14种农作物，共26种农作物病害样本信息。通过对两个数据集筛选整理，本文选取了包含健康叶片和不同受害程度叶片等共计19种样本。同时，本文利用Python网络爬虫工具抓取了在线农业问答平台的数据，用以对本文农作物病害数据集进行扩充。最终，本次农作物病害受害程度试验数据集共6 041张，按照4∶1的比例划分为4 837张训练集和1 204张测试集。数据集中各病害类型及其受害程度样本统计如表1所示。数据集样例如图1所示。

表1 数据集样本统计信息

1.2 数据预处理

为了增加数据集的多样性，提高模型的泛化能力，增加噪声数据，避免出现过拟合现象，使模型更加适应自然条件下的病害识别。本文采用在线数据增强策略，用以节约数据集收集扩充的时间和空间。在线数据增强（Data Increase，DataIncr）[14-16]即在网络前端对输入网络的每一批次图像进行数据扩充，而后再将增强后的数据输入到网络中进行训练。该操作增强了数据输入网络的随机性，增加了农作物病害样本的多样性。本文的数据增强方式及处理效果如下图2所示。

图1 农作物病害数据样本示例图

图2 数据预处理示例图

2 农作物叶部病害模型构建

2.1 RegNet网络模型

RegNet网络[17]主要通过调节参数来调整模型分布，以此来获得不同的网络结构来处理不同分类任务。主要参数包括：每个RegStage中Block的次数d、每个RegStage中输出矩阵的Channel数w和Block中每个Group的宽度。通过对这几个参数的调节，使网络的性能达到最优的同时极大地减少了模型的参数量，加快了训练速度。RegNet设计空间网络的主体由3部分组成，分别包括输入层Steam、骨干层Body和输出层RegHead，其结构如图3和表2所示。

注：di代表block的次数，g代表每个组的宽度，s是步距，wi是输出矩阵的通道数，1×1、3×3是卷积核的尺寸，r为缩减系数。

表2 RegNet网络结构

注：GAP为全局平均池化。Dropout为随机失活神经元函数。FC为全连接层。

Note: GAP is global averaging pooling. Dropout is a random inactivated neuron function, and FC is a fully connected layer.

Steam层用来对不同尺寸的输入数据进行预处理，输入图像经过一个步长为2、卷积核大小为3×3的普通卷积输出一个32×112×112维的特征图。骨干层Body通过堆积大量的RegStage来增加模型容量，提取多种农作物病害类型的数据特征，增强模型的表征能力。Body由4个RegStage堆叠而成，每个RegStage由一系列的Block堆叠而成。Block为带有分组卷积的残差结构，如图3（Block）所示，左边实线为步距=1的情况，右边虚线为步距=2的情况，图中代表图片缩减系数，当步距stride等于1时，输入输出的保持一致，当等于2时输出的为输入的一半。最后将提取到的农作物病害特征信息传入由全局平均池化（Global Average Pooling，GAP）、随机失活神经元函数（Dropout）和全连接层（Fully Connected layer，FC）构成的RegHead输出层进行分类。

2.2 改进的RegNet网络

2.2.1 注意力机制

由于农作物病害数据主要采集于田间环境，导致数据集背景复杂、干扰信息多、噪声大。对于模型而言，噪声的存在会影响模型对病害特征的学习。而注意力机制的作用在于使模型关注重要的病害特征，弱化其他干扰因素，以此来提高模型对农作物病害的识别能力。

ECA（Efficient Channel Attention）[18]是一种有效的通道注意力机制，采用的是一种不降维的局部跨通道交互策略，即在通道上采用一维卷积进行滑动滤波，此策略在节省了参数的同时也进行了跨通道交互，同时还避免了通道削减。ECA模型结构如图4所示。

注：H、W、C分别为特征图的高宽及通道数，代表Sigmoid激活函数。表示矩阵的加权操作。

从图4中可以看出，输入图像首先通过一个GAP获取未降维的所有特征信息，然后再通过一个自适应一维卷积进行特征权重的提取，最后通过Sigmoid激活函数，将特征信息映射到[0,1]之间，提高了图像中有效特征的获取。自适应一维卷积主要是通过参数来调整输入通道的大小。描述如式（1）所示：

2.2.2 改进的多尺度特征融合策略

现有多尺度特征融合算法如特征金字塔网络（Feature Pyramid Networks，FPN）[19]、金字塔注意网络（Pyramid Attention Networks，PAN）[20]等均针对不同尺度特征图之间的融合，但是忽略了在同一层上不同区域之间的特征融合。在农作物病害分类中，病害所属类别需要利用具有大感受野的特征进行判断，对其受害程度则需要利用具有小感受野的特征进行判断，因此可以通过融合不同感受野特征信息来提高模型的整体性能。由于本文中需要对农作物病害受害程度进行划分，即进行图像的细粒度识别。因此为了提高识别的准确率，提出了改进的空间金字塔池化方法，用以提升模型在不同尺度间对农作物病害受害程度分类的精度，强化同一卷积层内不同区域之间、不同特征之间的关联性，避免不同作物之间同种病害的误识别。因此，使用多尺度特征融合方法更加适应本文的农作物病害受害程度分类，改进的多尺度特征融合网络如图5所示。

注：Conv为卷积操作，3×3、5×5和7×7代表卷积核的尺寸。MaxPool 代表最大池化，2×2代表池化核的大小。多尺度金字塔中特征矩阵分别采用1、2和3倍最大池化下采样。S×S代表特征图的大小，512是其通道数。

由图5可以看出，多尺度特征融合模块分为多尺度卷积和多尺度金字塔融合两个模块。对于左侧的多尺度卷积部分，首先对输入图像使用3×3、5×5、7×7不同大小卷积核进行卷积操作，以获取同层卷积的层内不同尺度的特征图。然后，对特征图采取2×2大小的池化核进行最大池化下采样，并进行拼接（Concat）获取多层卷积特征图。把多层卷积特征图通过1×1卷积进行降维，生成××512维的特征图，并以此作为多尺度特征金字塔的输入。多尺度特征金字塔的主要作用是对特征图进行池化，通过选取不同大小的池化核对多层卷积特征图进行池化，池化过程中使用Padding填充使特征图尺度不发生变化，最后通过对池化后的特征图进行拼接，输出一个2 048维的特征向量。通过特征融合模块，在不改变分辨率的情况下实现多尺度特征融合，然后通过特征金字塔来增强特征的复用，以此提高模型的泛化能力。

2.2.3 深度迁移学习

深度迁移学习即采用深度学习的方法进行迁移学习，其中基于领域自适应（Domain adaptation，DA）的迁移学习是深度迁移学习的代表[21]。根据目标域是否有标签，可以进一步分为有监督、半监督和无监督的DA，其核心是减少源域和目标域的分布差异[22]。在本文中由于目标域均为有标签，所以使用有监督的DA，且源域和目标域同为分类任务，所以迁移方式为同构迁移。

首先在源域Mini-ImageNet1000分类的数据集上进行预训练，使网络模型参数达到最佳状态，而后将训练好的模型迁移至本文的农作物病害分类识别上面。但是由于源域和目标域的标签空间不同且训练数据和测试数据分布不均，故本文采用微调（Fine-tune）[23]方法对网络参数进行微调。通过冻结模型中的steam输入层、body骨干层中的前两个RegStage中的所有参数，只在浅层网络中使用Mini-ImageNet数据集的参数和权重，避免了繁重地从头训练的任务，极大地加快了模型训练的速度，同时提高了模型的泛化性能。用小样本农作物病害在深层网络中重新训练使得网络的性能更加满足个性化需求。通过迁移学习初始化模型参数，该方式即减少了训练时间，又确保了目标域农作物病害特征提取不丢失，加快了模型的收敛速度，提升了模型的训练效果。

2.2.4 农作物病害识别模型

本文提出了一种改进RegNet的新网络结构用于农作物病害受害程度识别模型（RegNet-EMTL），其模型框架如图6所示。首先把图像送入Steam模块进行特征提取，该模块由Conv2d卷积、BN（Batch Normalization）批量归一化和ReLU激活函数构成，即图6中的CBR_模块，其中代表卷积核的大小。然后把特征图输入Body中，Body由4种RegStage组成，每个RegStage均包含BottleNeck_结构，其中BottleNeck_1与BottleNeck_2差别在于，为1时捷径分支上增加了一个Conv2d层和一个BN层。最后，把Body的输出送入RegHead中的多尺度特征融合模块，再通过1×1卷积进行降维，之后再通过全局平均池化和全连接层进行分类。RegNet-EMTL相较于原模型，首先在Body中对每一个RegStage中的Block内的分组卷积残差结构进行改进，在分组卷积后加入了ECA通道注意力模块，使其进一步聚焦图像的特征分布，改善模型的特征提取能力。然后，在RegHead中引入改进的多尺度特征融合模块，使不同感受野特征图进行融合，进一步提高模型的识别准确率。

3 试验环境与结果分析

3.1 试验环境配置与评价指标

本文试验环境为Windows10操作系统，运行内存为16 GB，搭载Intel Core i7 10875处理器，GPU采用NVIDIA GTX2060 6 G，CUDA版本为10.1，深度学习框架为Pytorch 1.7.1，编译环境为Pycharm/Python。试验批次（Batch Size）为16，迭代次数为100，动量参数设置为0.9，采用随机梯度下降法（Stochastic Gradient Descent, SGD）来优化模型的各个参数，并且在最后的全连接层之前利用Droupout函数随机失活神经元个数，丢弃率为0.25，用来缓解模型的过拟合现象，加快模型的训练速度。初始学习率（Learn Rate）设置为0.001。在本文中RegNet各个自由变量分别取0=13，0=24，0=1，=13。

注：CBR-x是一个基本单元，Conv2d是卷积，BN为批量归一化，ReLU为激活函数；RegStage1～ RegStage 4分别为4个阶段，其中每个阶段均包含BottleNeck模块；ECA为有效通道注意力。

为了全方面评价本文提出的对19类农作物病害识别模型RegNet-EMTL的分类性能，本文将采用准确率（Accuracy）、精准率（Precision）、召回率（Recall）、1分数以及模型大小来评价模型的性能[24]。

3.2 试验结果与分析

3.2.1 消融试验

1）数据增强策略对模型的影响

为验证在线数据增强策略的有效性，本文以RegNet原模型为基础开展对比试验。试验参数设置均相同，试验结果如表3所示。在引入在线数据增强策略后，模型的识别准确率提升3.9个百分点，说明采用在线数据增强策略可以有效地扩充训练样本的多样性，提升模型的泛化能力。基于此，在本文其他消融试验中，均默认采用在线数据增强策略。

表3 数据增强策略下RegNet模型识别准确率

2）注意力机制对模型的影响

对比不同注意力机制对模型的影响效果，本文在RegNet相同的网络层之间分别添加了（Squeeze-and-Excitation，SE）[25]注意力模块、（Coordinate Attention，CA）[26]注意力模块和ECA注意力模块，并通过测试集进行验证，试验结果如表4所示，混淆矩阵如图7所示。

表4 结合不同注意力机制模型识别准确率

注：SE、CA、ECA分别为挤压与激发注意力、坐标注意力、有效通道注意力机制。RegNet均为数据增强策略下模型，下同。

Note: SE, CA, and ECA are squeeze and excitation attention, coordinate attention, and efficient channel attention mechanisms, respectively. RegNet is the model with data enhancement strategy, same below.

由表4可知，在引入SE注意力机制、CA注意力机制和ECA注意力机制后模型平均精度相较于原模型分别提升了0.4个、1.0个和1.5个百分点，可见RegNet在引入注意力机制后可以获得更好的性能。对比可知，RegNet+ECA模型相较于RegNet+SE模型和RegNet+CA模型，添加了ECA注意力机制的RegNet网络在病害受害程度识别任务中性能提升最为显著，因此本文选取ECA注意力机制对模型进行优化。

分析图7混淆矩阵图发现，尽管RegNet+ECA模型在大多数类别上识别准确率高于其他3种模型，但是，对部分同种病害的不同受害程度，如葡萄一般黑腐病A1和严重黑腐病A2、苹果一般褐斑病B3和严重褐斑病B4误分类情况严重，与其他3种模型相比并无优势。究其原因，可能与该模型RegHead分类层对相似病害特征之间的细小差别无法有效区分有关，需要进一步改进，提升分类精度。

注：主对角线上数字代表分类正确的样本数量，其余为分类错误的样本量。

3）多尺度特征融合模块对模型的影响

针对模型不能有效区分病害特征细微差别，进而导致性能欠佳的问题，本研究在RegNet+ECA的基础上，通过在RegHead分类层中引入改进的多尺度特征融合模块来对不同感受野特征图进行融合，同时强化同一卷积层内不同区域之间特征的关联性，使模型关注上下文信息，最终分类准确率提升，提升了2.4个百分点，引入多尺度特征融合模块后模型的识别效果如表5和图8所示。

表5 引入多尺度特征融合模块模型的识别准确率

注：Multi为多尺度特征融合模块。

Note: Multi is a multi-scale feature fusion module.

图8 RegNet+ECA+Multi模型混淆矩阵图

4）迁移学习对模型的影响

本文采用简单迁移学习（Transfer Learning，TL）和深度迁移学习（Deep Transfer Learning，DeepTL）两种方式进行训练，以此来选取合适的迁移学习方式对模型进行改进。简单迁移学习即指冻结RegHead之前的特征提取层进行参数迁移。深度迁移学习即指冻结了模型的steam输入层和body骨干层的前两个RegStage。最后，通过设置相同的试验参数进行试验，其试验结果准确率曲线图如图9所示。

注：TL为迁移学习，DeepTL为深度迁移学习。

通过图9可以看出，模型加入迁移学习后，在训练初期由于初始权重的存在使得模型已学习一些基本的网络特征，所以训练效果上升比较快，但是在训练后期农作物病害的个性化特征愈加突显，若仅仅使用简单迁移学习则不能满足个性化的特征提取要求。所以使用深度迁移学习既满足了在训练初期的浅层网络中共用基本参数的思想，又在深层网络中训练了农作物病害的深层特征，达到了比较好的试验效果。经过深度迁移学习后的RegNet-EMTL模型的准确率为94.5%，较未引入深度迁移学习模型ECA-Multi-RegNet的准确率提升了2.7个百分点且深度迁移学习后的模型收敛速度更快。最终，本文所提的RegNet-EMTL模型相较于RegNet原模型对农作物病害受害程度分类准确率提高了10.4个百分点，实现了对农作物病害受害程度的精准识别。

3.2.2 对比试验

为评估本文提出的（ECA-Multi-RegNet-DeepTL，RegNet-EMTL）模型对病害受害程度识别的有效性和优越性，本文选取了常用于分类的VGG-16、ResNet-50、InceptionV3、ConvNeXt[27]和Vision Transformer（ViT）[28]网络模型进行性能比较，训练参数设置均相同。对比试验结果如表6及图10所示。

表6 不同模型大小和识别准确率

图10 不同模型识别准确率曲线

如表6所示，本文提出的RegNet-EMTL模型相较于ResNet-50、VGG-16、InceptionV3 和 ConvNeXt识别准确率分别增加了2.1、6.0、3.7和1.6个百分点，而模型大小均小于这些模型。对比较新的非卷积分类模型ViT，发现该模型体积大，分类精度低，并不适合本文分类任务。从图11中可以看出，本文所提模型相较于其他模型，在迭代次数为30时就趋于平稳状态，达到了快速收敛。而其他模型抖动严重，收敛速度慢，识别准确率低。主要原因在于训练数据集的背景复杂、数据样本少，易造成网络过拟合、泛化能力弱的问题。综上，本文提出的模型准确率均高于其他卷积模型，且模型体积更小，便于部署在移动设备上。

3.2.3 模型性能评价结果

改进后的RegNet-EMTL模型在不同农作物病害及其受害程度上的识别结果如表7所示，可以看出该模型在健康叶片上面的分类识别准确率较高，葡萄健康叶片和苹果健康叶片的识别准确率达到了100%。除苹果褐斑病外，其余各类病害精准率、召回率、1分数均超过90%。通过计算可以得到模型的精准率为94.5%，召回率为94.4%，1分数为94.3%，表明模型具有较好的识别准确率。

3.2.4 模型特征提取可视化

对卷积神经网络模型进行可视化，有助于理解模型的每层特征图的输出，以此了解模型所学习的特征。根据可视化的特征图，可以进一步调整模型的参数，提升模型的各项性能。

表7 RegNet-EMTL模型在农作物病害及其受害程度数据集上的识别结果

图11为改进模型RegNet-EMT训练后对不同病害的各层输出特征的提取效果。可以看出，卷积神经网络的学习是有层次性的。

图11 各模块输出可视化图

RegNet网络的特征提取包括之前的输入层Steam和RegStage1～RegStage4，输出特征图如图11。原图经过输入层Steam后其特征没有发生明显的变化，基本保留了原始图像的所有信息。之后经过特征提取层RegStage1到RegStage4，随着卷积层数的加深，视觉内容的相关性越来越少，更多呈现的是农作物病害的纹理特点。在通过最深的特征提取层RegStage4后，其特征图越来越抽象，最后通过分类层RegHead对其特征进行分类。在图11中，通过横向对比不同种类农作物在各个层间提取的特征图，可以看出不同种类农作物叶片轮廓特征及病害特征均不同。如图11第四列A5中健康葡萄叶片最终的特征提取图全为黑色，表明该叶片并未患病，而第三列A6中一般葡萄枯叶病最终输出的特征图中包含了病斑特征。同时，根据中间层的可视化输出可以看出，本文所改进的RegNet-EMTL模型可以很好地提取农作物病害特征信息，用来对农作物病害进行分类识别研究。

4 结 论

为解决传统农业中依赖人工进行农作物病害情况识别导致的误判和错判问题，本文提出了一种基于改进RegNet的农作物病害识别方法。首先，通过在线数据增强增加训练样本的多样性；其次，引入有效通道注意力机制提高模型的特征提取能力；然后，添加改进的多尺度特征融合策略，将最终分类特征与图像的全局特征共用，以判断农作物病害所属的子类类别；最后，使用深度迁移学习，加速模型收敛，提升模型性能。最终，本文所提模型增强了对农作物病害特征的提取能力，提高了农作物病害受害程度的分类识别准确率，对农作物病害受害程度的识别准确率达到94.5%，相较于RegNet原模型提高了10.4个百分点，且均高于VGG-16、ResNet-50、InceptionV3和ConvNeXt等主流分类网络，表明了该方法对于农作物病害受害程度分类识别具有一定的优越性。

[1] Zhou C, Zhou S, Xing J, et al. Tomato leaf disease identification by restructured deep residual dense network[J]. IEEE Access, 2021, 9: 28822-28831.

[2] 王彦翔，张艳，杨成娅，等. 基于深度学习的农作物病害图像识别技术进展[J]. 浙江农业学报，2019，31(4)：669-676.

Wang Yanxiang, Zhang Yan, Yang Chengya, et al. Advances in new nondestructive detection and identification techniques of crop diseases based on deep learning[J]. Acta Agriculturae Zhejiangensis, 2019, 31(4): 669-676. (in Chinese with English abstract)

[3] LeCun Y, Kavukcuoglu K, Farabet C. Convolutional networks and applications in vision[C]//Proceedings of 2010 IEEE International Symposium on Circuits and Systems. Paris France: IEEE, 2010: 253-256.

[4] Jia S, Jia P, Hu S. Automatic detection of tomato diseases and pests based on leaf images[C]//2017 Chinese Automation Congress (CAC). Jinan China: IEEE, 2017: 2537-2510.

[5] 孙俊，朱伟栋，罗元秋，等. 基于改进MobileNet-V2的田间农作物叶片病害识别[J]. 农业工程学报，2021，37(22)：161-169.

Sun Jun, Zhu Weidong, Luo Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract)

[6] 鲍文霞，吴刚，胡根生，等. 基于改进卷积神经网络的苹果叶部病害识别[J]. 安徽大学学报（自然科学版），2021，45(1)：53-59.

Bao Wenxia, Wu Gang, Hu Gensheng, et al. Apple leaf disease recognition based on improved convolutional neural network[J]. Journal of Anhui University (Natural Science), 2021, 45(1): 53-59. (in Chinese with English abstract)

[7] 黄雪峰. 基于深度卷积神经网络的玉米叶部病害识别算法及系统实现[D]. 合肥：安徽大学，2021.

Huang Xuefeng. Maize Leaf Disease Recognition Algorithm and System Implementation Based on Deep Convolutional Neural Network[D]. Hefei: Anhui University, 2021. (in Chinese with English abstract)

[8] 张善文，许新华，齐国红，等. 基于可形变VGG-16模型的田间作物害虫检测方法[J]. 农业工程学报，2021，37(18)：188-194.

Zhang Shanwen, Xu Xinhua, Qi Guohong, et al. Detecting the pest disease of field crops using deformable VGG-16 model[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2021, 37(18): 188-194. (in Chinese with English abstract)

[9] Elhoucine E, Recep E, Lahcen E. Beans leaf diseases classification using MobileNet Models[J]. IEEE Access, 2022, 10: 9471-9482.

[10] 牛学德，高丙朋，南新元，等. 基于改进DenseNet卷积神经网络的番茄叶片病害检测[J]. 江苏农业学报，2022，38(1)：129-134.

Niu Xuede, Gao Bingpeng, Nan Xinyuan, et al. Detection of tomato leaf disease based on improved DenseNet convolutional neural network[J]. Jiangsu Journal of Agricultural Sciences, 2022, 38(1): 129-134. (in Chinese with English abstract)

[11] 何东健，王鹏，牛童，等. 基于改进残差网络的田间葡萄霜霉病病害程度分级模型[J]. 农业机械学报，2022，53(1)：235-243.

He Dongjian, Wang Peng, Niu Tong, et al. Classification model of grape downy mildew disease degree in field based on improved residual network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(1): 235-243. (in Chinese with English abstract)

[12] 温长吉，王启锐，陈洪锐，等. 面向大规模多类别的病虫害识别模型[J]. 农业工程学报，2022，38(8)：169-177.

Wen Changji, Wang Qirui, Chen Hongrui, et al. Model for the recognition of large-scale multi-class diseases and pests[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(8): 169-177. (in Chinese with English abstract)

[13] Vinyals O, Blundell C, Lillicrap T, et al. Matching networks for one shot learning[C]//Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: 2016: 3637-3645.

[14] Larson S, Zheng A, Mahendran A, et al. Iterative feature mining for constraint-based data collection to increase data diversity and model robustness[C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing(EMNLP).Punta Cana, Dominican Republic: 2020: 8097-8106.

[15] 叶中华，赵明霞，贾璐. 复杂背景农作物病害图像识别研究[J]. 农业机械学报，2021，52(S1)：118-124，147.

Ye Zhonghua, Zhao Mingxia, Jia Lu. Image recognition of crop diseases in complex background[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(S1): 118-124, 147. (in Chinese with English abstract)

[16] 甘雨，郭庆文，王春桃，等. 基于改进EfficientNet模型的作物害虫识别[J]. 农业工程学报，2022，38(1)：203-211.

Gan Yu, Guo Qingwen, Wang Chuntao, et al. Recognizing crop pests using an improved EfficientNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(1): 203-211. (in Chinese with English abstract)

[17] Ilija R, Kosaraju R P, Girshick R, et al. Designing network design spaces[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA: 2020: 10428-10436.

[18] Wang Q, Wu B, Zhu P, et al, ECA-Net: efficient channel attention for deep convolutional neural networks[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle, WA, USA: 2020: 11531-11539.

[19] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: 2017: 2117-2125.

[20] Mei Y, Fan Y, Zhou Y. Image super-resolution with non-local sparse attention[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: 2021: 3517-3526.

[21] Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2009, 22(10): 1345-1359.

[22] 李茂莹，杨柳，胡清华. 同构迁移学习理论和算法研究进展[J]. 南京信息工程大学学报（自然科学版），2019，11(3)：269-277.

Li Maoying, Yang Liu, Hu Qinghua. A survey on theories and algorithms about homogeneous transfer learning[J]. Journal of Nanjing University of Information Science and Technology (Natural Science Edition), 2019, 11(3): 269-277. (in Chinese with English abstract)

[23] 陈立福，武鸿，崔先亮，等. 基于迁移学习的卷积神经网络SAR图像目标识别[J]. 中国空间科学技术，2018，38(6)：45-51.

Chen Lifu, Wu Hong, Cui Xianliang, et al. Convolution neural network SAR image target recognition based on transfer learning[J]. Chinese Space Science and Technology, 2018, 38(6): 45-51. (in Chinese with English abstract)

[24] 苏仕芳，乔焰，饶元. 基于迁移学习的葡萄叶片病害识别及移动端应用[J]. 农业工程学报，2021，37(10)：127-134.

Su Shifang, Qiao Yan, Rao Yuan. Recognition of grape leaf diseases and mobile application based on transfer learning[J] Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(10): 127-134. (in Chinese with English abstract)

[25] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: 2018: 7132-7141.

[26] Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: 2021: 13713-13722.

[27] Liu Z, Mao H, Wu C Y, et al. A convnet for the 2020s[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, LA, USA: 2022: 11976-11986.

[28] Meng L, Li H, Chen B C, et al. AdaViT: adaptive vision transformers for efficient image recognition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, LA, USA: 2022: 12309-12318.

Identifying the damage degree of various crop diseases using an improved RegNet

Du Tiantian, Nan Xinyuan※, Huang Jiaxing, Zhang Wenlong, Ma Zhixia

(,,830017,)

Crop yield has been one of the most prominent issues in the world in recent years. However, crop diseases have posed a great threat to crop yield. It is a high demand to timely and accurately detect crop disease types and the degree of damage. The manual recognition can rely only on skilled technicians. But, the visual fatigue of humans can easily lead to reduce the accuracy rate. The current machine learning cannot consider the correlation between the attributes in the data set, resulting in low recognition accuracy. In this study, a network model was proposed to identify the damage degree of multiple crop diseases using deep transfer learning and improved RegNet. The model contained four aspects as follows. Firstly, an online data enhancement was carried out at the input side of this model. Nine strategies were selected for the data enhancement, such as the HSV color variation, grayscale transformation, and Gaussian noise. The diversity of data samples increased while reducing the time and space for the data set collection expansion. As such, the over-fitting of the network was alleviated during this time. Secondly, the Efficient Channel Attention (ECA) mechanism was introduced into the feature extraction layer of the model for the cross-channel interaction. The model was then improved to extract more subtle features, particularly for the crop disease features. As such, a higher accuracy of recognition was achieved for the crop disease damage, which increased by 1.5 percentage points, compared with the original model at the same model size. In addition, a multi-scale feature fusion was introduced into the classification layer of the model. A spatial pyramid pooling was adopted to highly improve the accuracy of the model. The degree of crop disease damage was classified at different scales, especially for the fine-grained features. Correspondingly, the accuracy of crop disease damage recognition increased by 2.4 percentage points. Finally, deep transfer learning was used to optimize the overall performance of the model. The convergence speed was accelerated to improve the generalization ability of the model. The recognition accuracy was improved by 2.7 percentage points, compared with the strategy without deep transfer learning. The experimental results show that the improved RegNet network model achieved 94.5 percentage points accuracy on the dataset of crop disease damage level, which was 10.4 percent higher than the original one. The recognition accuracy of the improved model was improved by 2.1, 6.0, 3.7, and 1.6 percentage points, respectively, compared with the commonly-used classification network models, such as ResNet50, VGG16, InceptionV3, and ConvNeXt. Consequently, higher accuracy of recognition and smaller model size were achieved in the improved classification model, compared with the rest. The better performance of feature extraction and stronger classification ability were also obtained for the fine-grained features during this time. The finding can also provide a promising way to identify the crop disease types and the degree of damage.

crops; models; disease; RegNet; ECA attention mechanism; multi-scale feature fusion; transfer learning

10.11975/j.issn.1002-6819.2022.15.016

TP391.41

A

1002-6819(2022)-15-0150-09

杜甜甜，南新元，黄家興，等. 改进RegNet识别多种农作物病害受害程度[J]. 农业工程学报，2022，38(15)：150-158.doi：10.11975/j.issn.1002-6819.2022.15.016 http://www.tcsae.org

Du Tiantian, Nan Xinyuan, Huang Jiaxing, et al. Identifying the damage degree of various crop diseases using an improved RegNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 150-158. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.016 http://www.tcsae.org

2022-05-07

2022-06-20

国家自然科学基金项目（52065064）

杜甜甜，研究方向为计算机视觉、农业信息化。Email：1539263020@qq.com

南新元，教授，研究方向为机器视觉、模式识别、工业控制Email：nxyxd@sina.com