基于改进MobileNetV2 模型的农作物叶片病害识别研究

王焕鑫，沈志豪，刘 泉，刘金江

（1.南阳师范学院生命科学与农业工程学院，河南 南阳 473000；2.南阳师范学院计算机科学与技术学院，河南 南阳 473000）

受全球气候和环境因素的影响，农作物病害频繁发生，成为影响农业经济作物产量和质量的主要危害之一。农作物病害的发病率越来越高，病害也越来越复杂，因此，研究农作物病害的预防、诊断和补救措施显得尤为重要。传统的病害识别方法完全依赖于工作者的肉眼观察以及个人经验判断，具有主观性强、识别效率低等缺点。因此，实现对农作物病害的快速准确识别具有重要意义。

随着机器学习及其相关行业技术不断革新，越来越多的研究者使用机器学习技术鉴定农作物病害。基于传统机器学习的农作物病害分类识别的实现需要先提取图像的颜色、形状、纹理等特征，再使用支持向量机、人工神经网络等进行分类[1⁃2]。宋凯等[3]针对玉米叶片病害特点，使用机器学习方法分割图像并提取病灶特征，最后使用支持向量机对玉米叶部病害进行分类，结果表明，支持向量机具有良好的分类能力。张建华等[4]提出了一种在自然环境条件下基于棉花病斑特征，使用粗糙集和BP神经网络对棉花病害识别的方法，实现特征向量的优选，且对棉花病害的平均识别正确率达到92.72%。然而机器学习这种方法对设备要求较高，无法应用于多个场景。近年来，深度学习技术不断发展并广泛应用在农作物病害识别方面。不同学者在对作物病害识别准确率提升方面使用了不同的方法，如使用AlexNet 和GoogLeNet 等网络[5]、数据集扩充[6]或引入新的损失函数[7]等。但基于AlexNet[8⁃9]、VGGNet[10⁃11]、ResNet[12⁃14]等网络的农作物病害图像识别模型参数量大，难以在实际农业生产中部署到计算资源有限的低性能移动端设备。研究者们进一步提出了轻量型网络模型结构，如MobileNet[15]、ShuffleNet[16]等，以及轻量型网络模型常用的设计结构深度可分离卷积（Depthwise separable convolution，DWConv）和分组卷积（Group convolution，GConv），为实际生产过程中模型部署在移动端提供了有力支撑[17⁃20]。在此基础上，提出一种改进MobileNetV2 轻量级网络结构，改进模型在保持高准确率的同时减少模型参数，降低对移动设备的性能要求，为轻量型农作物病害识别模型部署在低性能设备上的相关研究提供参考。

1 材料和方法

1.1 数据来源

从公开数据集PlantVillage 中挑选出玉米、辣椒、土豆和番茄4 种常见农作物图像数据作为试验材料。数据集包含4 种常见农作物（玉米、辣椒、番茄、马铃薯）的15 种病害叶片图像以及4 种健康图像，共计26 639 张。原始的叶片病害数据集的详细数据情况如表1所示。

表1 数据集详细信息Tab.1 Data set details张

续表1 数据集详细信息Tab.1（Continued）Data set details张

1.2 数据预处理

因为部分样本数量分布极不均衡，数量差距过大，若使用差异过大的数据集对模型训练，易导致在若干次迭代训练中积累较大的误差，故本研究对数据集进行平衡处理以便于后续的模型训练及分类识别。根据过抽样方法使用Python 脚本对原始数据集样本数量过少的类别进行随机镜像、随机旋转等操作，以模拟实际使用中不同的拍摄角度，对样本数量过多的类别进行随机选取，将每种类别的图像数量维持在1 000 张上下，优化数据集。最终获得样本数量足够而且分布较为均衡的农作物叶片病害数据集，其中叶片病害图像总共19 738 张。而后根据数据集的划分，使用Python 脚本随机将平衡后的数据集按照8∶1∶1的比例划分为相应的训练集、验证集和测试集（表1）。

1.3 网络设计

为追求更高的准确度，在不损失网络性能的前提下，改进MobileNetV2 来适当减少网络的计算参数，其对比结果如下。

1.3.1 MobileNetV2 MobileNetV2[21]是 2018 年Google 公司在MobileNetV1 的基础上进行改进所提出的轻量化网络模型结构并构建了比V1 版本更深层的模型结构，同时准确度更高。MobileNetV2 模型首先引进了更多的结构设计，因此相比较下训练速度下降，需要更长的时间进行训练；其次，模型的参数数量相比于MobileNetV1增加了1倍以上，增加了内存和计算负担。虽然MobileNetV2 相比于MobileNetV1 提高了准确性，但是相对于更深层次的神经网络，它的精度仍然存在一定的限制。MobileNetV2所使用的基本模块如图1所示。在图1中，当输入步距参数为1时使用模块1进行网络构建，输入特征图维度与输出特征图维度相同。当输入步距参数为2 时，使用模块2 进行网络构建，代替池化层，起到减少网络参数量的作用。

图1 MobileNetV2基本模块Fig.1 MobileNetV2 basic modules

1.3.2 改进模型的设计 因本试验的数据集中，农作物叶片病害有着病斑区域分布不均匀、病斑大小不一等特点，所以MobileNet易出现感兴趣区域提取不足、降维过程丢失部分特征等缺点，因此针对以上的不足之处，以MobileNetV2 为骨干网络，对其进行改进。改进MobileNetV2 模型的bottleneck 如图2所示，与初始MobileNetV2 相比，在模块中引入了高效通道注意力（ECA）机制，提升感兴趣区域特征的提取能力；使用注意力特征融合（AFF）模块以替换简单的特征层相加，减少在特征融合时造成小目标信息的丢失；通过模型剪枝，将模型中冗余的层除去，以提升模型性能。

图2 ECA_AFF_bottleneck模块Fig.2 ECA_AFF_bottleneck module

1.3.2.1 ECA 模块 注意力机制是将重要的特征赋予更大的权重，使其在训练过程中被网络所注重。普通的通道注意力机制可以有效提升网络性能，但较为复杂的注意力模块也会使网络的参数量增加。因此，WANG 等[22]提出一种新的ECA 模块，如图3所示。

图3 ECA模块Fig.3 ECA module

该模块去掉了降维的卷积层，直接将输入的特征图进行全局平均池化（Global average pooling，GAP），避免通道降维对通道注意力学习带来的负面影响。接着使用卷积核大小为K 的1D 卷积将每个通道与其临近K 个通道进行卷积操作，实现局部跨通道间的信息交互。1.3.2.2 AFF 模块 为解决普通的特征融合结构中应用场景有限、容易在融合时损失小目标的特征、无法应对语义及尺度不一致的特征等缺点，引入了AFF 模块来代替MobileNetV2 基本模块中简单的叠加特征融合。AFF 是DAI等[23]提出的一种新的特征融合结构，AFF模块如图4所示。

图4 AFF模块详细结构Fig.4 Detailed structure of AFF module

AFF模块可以表示为式（1），其中Z是融合后的特征，X是特征映射，Y是残差分支，⊗表示元素相乘，M（X+Y）表示融合权重，取值范围在0～1。图4b的AFF 模块中虚线表示1-M（X+Y），同样取值范围在0～1，使得网络能够在X与Y之间进行软选择或加权平均化。

为解决病斑图像分布不均匀以及部分样本的病斑图像区域过小的问题，将传统的特征融合模块替换为AFF 模块，不仅能够避免不同尺度之间特征融合所带来的问题，同时AFF 模块中的MS-CAM 模块结合了全局信息以及局部信息，能够避免简单的特征相加或拼接造成的小目标特征丢失。

1.3.2.3 模型剪枝 为解决深度神经网络中存在巨大的计算冗余，从模型结构与卷积方式的角度对模型进行轻量化改进，通过模型剪枝删减掉模型中冗余的滤波器以达到提高模型性能、减少参数量以及降低过拟合的风险。主要步骤包括模型载入、滤波器重要性评分、模型剪裁、模型微调4个步骤。剪枝算法流程如下：

①使用改进MobileNetV2 模型训练初始的农作物病害识别模型。

②计算模型中bottleneck 的所有滤波器所对应的重要性评分，如式（2）：

其中，mi为第i个滤波器的重要性评分；ai为第i个滤波器对应的BN层的缩放系数；| |Wi为滤波器i中第j个卷积核的L1范数大小；k为卷积核数量。

③将bottleneck的评分相加，对重要性评分最低的bottleneck进行删除，压缩模型。

④在病害数据集上验证模型性能，若性能降低则将模型进行微调后重复②③，若评估满足要求则停止剪枝。算法流程如图5所示。

图5 改进MobileNetV2的剪枝流程Fig.5 Improved MobileNetV2 pruning process

经由以上层数（layers）调整、bottleneck 模块优化和模型剪枝操作步骤优化后，所设计改进的农作物病害识别模型如图6所示。

图6 MobileNetV2与改进MobileNetV2Fig.6 MobileNetV2 and improved MobileNetV2

1.3.3 模型评价指标 为了客观地对模型性能进行评价，采用混淆矩阵以及3 种评价指标来评估[24]。准确率（Accuracy，Acc）、查准率（Precision，P）、查全率（Recall，R）计算公式如下：

其中，TPi表示第i类已经被正确分类过的样本数量；FNi表示第i类已被错误分类的总的样本数量；FPi表示除第i类样本之外，被分类为第i类的已存样本数量；TNi表示除第i类样本外，已经分类正确的样本数量。

2 结果与分析

2.1 不同模型性能对比结果

对MobileNetV2 网络进行改进，并利用其对PlantVillage 开源叶片数据进行分类。对经典网络MobileNetV2、ShuffleNetV2-0.5X、EfficientNet-b0 进行测试，训练过程损失值曲线与验证集准确率曲线如图7所示。

通过图7 可知，在经过第13 个轮次训练后，各模型均趋于稳定，训练集损失值逐渐收敛，初始MobileNetV2 的损失值稳定在0.21，ShuffleNetV2-0.5X、EfficientNet-b0 网络稳定在0.20，而改进MobileNetV2 模型则低于其余3 种模型，稳定在0.17左右，说明改进MobileNetV2 模型稳定性高于其余3种模型。在图7b 的验证集准确率曲线中，从第13个轮次开始，改进MobileNetV2 模型的识别准确率明显高于其余3 种模型，达到了98.4%，说明改进MobileNetV2模型的泛化能力更强。

图7 不同网络模型的损失值（a）和准确率（b）Fig.7 Loss values（a）and accuracy（b）of different network models

2.2 不同模型评价指标对比结果

如表2所示，改进MobileNetV2模型在最高准确率、平均查准率和平均查全率方面都是最高，参数量仅高于ShuffleNetV2-0.5X，但准确率高于其1.1个百分点。对比初始 MobileNetV2，改进MobileNetV2 模型在参数量方面低于初始模型15.37%，且准确率提高了0.9 个百分点，原因在于去除冗余层，同时在模块内加入了ECA 模块与AFF 模块，达到了提升准确率的同时降低模型对内存的消耗，体现了改进模型的优越性。

表2 4种网络模型评价指标对比Tab.2 Comparison of evaluation indexes of four network models

2.3 改进模型测试结果

使用改进MobileNetV2 模型对测试集进行测试，各分类结果的评价结果如表3 所示。由表3 可知，各农作物病害识别的准确率、查准率和查全率都保持在较高水平，其中准确率保持在88.6%～100.0%，平均为97.9%；查准率保持在94.1%～100.0%，平均为98.0%；查全率保持在88.7%～100.0%，平均为97.9%。表明改进MobileNetV2模型在既定的数据集中表现良好，可以应用于农作物病害识别。

表3 改进MobileNetV2模型对测试集的分类结果Tab.3 Classification results of the improved MobileNetV2 model on the test set%

续表3 改进MobileNetV2模型对测试集的分类结果Tab.3（Continued）Classification results of the improved MobileNetV2 model on the test set%

混淆矩阵如图8 所示，其中交叉部分代表识别正确的分类，其余部分则表示识别错误的种类。从图8 可知，准确率较低的主要是番茄晚疫病和玉米北方叶枯病，其中番茄晚疫病主要被错误识别为马铃薯晚疫病与番茄早疫病，而玉米北方叶枯病主要被错误识别为玉米灰叶斑病和锈病。之所以造成识别错误，是因为叶片的相似度较高，一定程度上造成误判。

3 结论与讨论

本试验研究了轻量级卷积神经网络的农作物病害图像识别技术，在对实际应用中轻量级网络MobileNetV2 所存在的一些问题进行分析后，针对性地提出了改进方案：①加入ECA 注意力机制，缓解特征提取过程中出现的感兴趣区域特征提取不足的情况，增加网络的特征提取能力；②使用AFF模块替换简单的特征相加，减少特征融合时造成的特征丢失，提高模型对小尺度目标的检测能力；③减少模型层数，降低模型参数量，以降低其对部署设备的性能要求。结果表明，改进的方案能够有效地提升模型的识别能力，与经典的轻量型MobileNetV2、ShuffleNetV2-0.5X、EfficientNet-b0 相比，改进MobileNetV2 模型在性能方面更好，识别准确率达到了98.4%。

因此，未来的研究目标将着眼于如何在复杂背景下，不降低农作物病害识别准确率的同时降低模型参数，减少对设备的内存消耗，以便在低性能设备上部署，进一步提升模型的实际生产应用价值。