改进Multi-scale ResNet的蔬菜叶部病害识别

王春山，周 冀，吴华瑞，滕桂法,4，赵春江，李久熙

改进Multi-scale ResNet的蔬菜叶部病害识别

王春山1,2,3,4，周 冀1，吴华瑞2,3，滕桂法1,4，赵春江2,3※，李久熙5

（1. 河北农业大学信息科学与技术学院，保定 071001；2. 国家农业信息化工程技术研究中心，北京 100097；3. 北京农业信息技术研究中心，北京 100097；4. 河北省农业大数据重点实验室，保定 071001；5. 河北农业大学机电工程学院，保定 071001）

基于深度网络的蔬菜叶部病害图像识别模型虽然性能显著，但由于存在参数量巨大、训练时间长、存储成本与计算成本过高等问题，仍然难以部署到农业物联网的边缘计算设备、嵌入式设备、移动设备等硬件资源受限的领域。该研究在残差网络（ResNet18）的基础上，提出了改进型的多尺度残差（Multi-scale ResNet）轻量级病害识别模型，通过增加多尺度特征提取模块，改变残差层连接方式，将大卷积核分解，进行群卷积操作，显著减少了模型参数、降低了存储空间和运算开销。结果表明，在PlantVillage和AI Challenge2018中15种病害图像数据集中取得了95.95%的准确率，在自采集的7种真实环境病害图像数据中取得了93.05%的准确率，在准确率较ResNet18下降约3.72%的情况下，模型的训练参数减少93%左右，模型总体尺寸缩减约35%。该研究提出的改进型Multi-scale ResNet使蔬菜叶部病害识别模型具备了在硬件受限的场景下部署和运行的能力，平衡了模型的复杂度和识别精度，为基于深度网络模型的病害识别系统进行边缘部署提供了思路。

图像处理；病害；图像识别；多尺度；轻量化；残差层；ResNet18

0 引 言

据农业农村部最新统计，中国蔬菜种植面积目前已突破2 000万hm2，产量在7亿t以上，产值超2万亿元，蔬菜总产值约占种植业总产值的35%[1]。在各类蔬菜上发生的病害种类有500多种，每年因各种病害造成的损失超过1 000亿元。研究表明大多数的蔬菜病害通过叶部侵染，因此叶部症状分析是实现病害识别的重要手段之一。近年来，随着深度学习在图像分类中的优异表现[2-6]，基于深度学习的蔬菜叶部病害识别模型逐渐成为了研究的热点[7-10]。张善文等[11]和马浚诚等[12]分别在LeNet基础上设计了黄瓜叶部病害识别的网络模型，取得了理想的识别效果；王艳玲等[13]和李淼等[14]在AlexNet和VGG网络上引入迁移学习提高了识别准确率，并解决了训练样本少的问题；郭小清等[15]对AlexNet进行了加宽，采用多种尺度的卷积核，使图像特征得到不同层次的提取，并去掉批量归一化（batch normalization）层，从而减少了网络参数量，最终将模型应用到移动端，在电脑端识别平均准确率为92.7%，在移动端识别真实场景的图片准确率为89.2%；而吴瑞华[16]、胡志伟等[17]和曾伟辉[18]则进一步在残差网络上引入注意力、高阶残差和参数共享机制提高了病害识别的细粒度水平、准确率和鲁棒性；Too等[19]评估了VGG16、Inception V4、具有50、101和152层的ResNet和121层的DenseNet，其中DenseNet在PlantVillage上的识别准确率达到了99.75%；刘洋等[20]为了实现手机端的病害识别，对MobileNet和Inception V3网络的模型尺寸、所占内存、识别精度等方面做了比较。

尽管深度网络模型在蔬菜病害识别任务上取得了优异表现，但是考虑到有些应用场景需要将其移植到硬件资源受限的嵌入式或者移动设备上，它仍面临模型参数量巨大、训练耗时长、存储空间大等方面约束[21-22]。因此，如何在保证模型识别准确率的前提下，对模型进行紧凑和精简设计已经成为亟待解决的问题。一方面蔬菜叶部病害特征通常表现在不同大小的区域内，模型需要多尺度感受野捕获不同范围的病害特征。另一方面，由于考虑到在移动端和嵌入式设备进行部署时对存储和计算能力的限制，需在保障准确率的前提下尽量压缩模型的复杂度。

综上，本研究通过增加多尺度特征提取模块，改变残差层连接方式，将大卷积核分解，进行群卷积操作等设计手段，改进了经典残差网络ResNet18的多尺度识别能力，显著压缩了模型参数量、降低了存储空间和运算开销。将模型的准确率与复杂度控制在合理的范围之内，为硬件受限的场景下，部署和运行基于深度网络模型的病害识别系统进行了探索。

1 材料与方法

1.1 数据来源

本研究共采用2种数据集，数据集1来自PlantVillage中10种番茄病害图像（番茄早疫病、番茄晚疫病、番茄叶霉病、番茄细菌性斑点病、番茄斑枯病、番茄黄曲病、番茄二斑叶螨病、番茄轮斑病、番茄病毒病和健康）3种土豆病害（土豆早疫病、土豆晚疫病和健康）和AI Challenge2018比赛中辣椒的2种病害（辣椒疮痂病和健康）共19 517张。数据集1中的样本均为实验室环境下拍摄的简单背景叶部病害图像。数据集2来自采集蔬菜病害图像（番茄健康、番茄白粉病、番茄早疫病、黄瓜健康、黄瓜白粉病、黄瓜病毒病、黄瓜霜霉病）共2 855张。数据集2中的样本均为实际生产环境下拍摄的复杂背景叶部病害图像。2种数据集均按照7∶2∶1的比例分别划分训练集、测试集和验证集，其中数据集1和数据集2的健康图像和病害图像示例如图1所示。

图1 2种数据集示例

1.2 数据增强

数据增强主要出于2种考虑，一是尽可能的增加病害图像的数量；二是尽量模拟实际环境中的不同光线和多种角度的拍照效果。为了模拟实际环境中拍照角度的随机性，光照强度的变化，叶片上可能存在灰尘等情况，本研究2个数据集均采用了相同的5种增强方式，1）平移缩放旋转：图像本身不发生变化，只是图像的位置、方向进行改变，可模拟不同机位的图像数据；2）随机裁剪缩放：图像进行随机位置裁剪，可以挑选不同位置的图像进行训练；3）随机亮度对比度增强：图像进行随机强度的亮度和对比度增强，可以增加病斑与叶片的差别和模拟不同的光照强度；4）随机Gamma噪声：图像增加随机Gamma噪声，可以模拟不同质量的图像数据；5）垂直翻转：图像沿着水平线进行垂直位置翻转，可以模拟不同相机角度的图像数据，最终经过数据增强后训练数据增加到134 232张。

2 模型改进

2.1 ResNet18优点与不足

自AlexNet以来，越来越深的网络为解决更复杂的问题被提出，如VGG16、VGG19、GoogleNet。但是随着网络深度的加深带来了梯度消失、梯度爆炸等问题，2015年He等[6]提出了ResNet，解决了深层网络梯度消失的问题。ResNet18共有18层，网络的输入为224×224的三通道图像，经过第一层卷积后图像降维到112×112，通道数增加到64，在经过最大池化层后图像进一步降维到56×56，通道数不增加，经过前两步操作后进入残差部分，每经历一部分残差图像降维一半，通道数增加到原来的2倍，图像降维通过步长为2的卷积层实现，经过4次残差操作后图像降维到7×7，通道数增加至512，最后连接平均池化层和全连接层。ResNet18虽然解决了梯度消失问题，但是在硬件资源受限的蔬菜叶部病害识别使用场景下，仍存在特征提取尺寸单一、模型参数多、资源需求大等问题。

2.2 ResNet18改进步骤

本研究针对ResNet18存在的问题和蔬菜病害的特点设计了一种改进版本的Multi-scale ResNet，该网络借鉴了ResNet18的主体架构，Multi-scale ResNet网络结构如图2所示，在5个方面做了如下改进：

1）更新残差层连接方式

ResNet18通过学习相邻网络层残差来更新学习参数，改进两层残差连接使得网络不仅学习相邻网络层的误差也可以学习相邻两层网络误差，从而网络更新更加细腻，特征学习更加充分。

2）添加多尺度提取特征

在ResNet18残差模块中只进行了2个卷积核大小为3×3的卷积层堆叠实现图像特征提取，但是蔬菜病害症状复杂多样，病斑大小不一，颜色和发病部位均不相同。例如，番茄早疫病初期为水渍状褐色小斑点，后转为圆形或椭圆形暗褐色病斑；番茄溃疡病发病初期发生部位为下部叶片，后为叶部边缘最后整片叶片枯萎；番茄晚疫病病斑初期为暗绿色水渍状病斑，后为暗褐色、黑褐色，本网络将残差模块设置成2个通道，第一个通道采用卷积核大小为7×7的卷积层加上卷积核大小为3×3的卷积层，第二个通道采用卷积核大小为5×5的卷积层加上卷积核大小为3×3的卷积层，并在输出部分将两通道的特征图相加，在整个残差模块中重复2次，最终构成了完整的多尺度特征提取残差模块。

3）改进特征图降维方式

ResNet18将残差模块之间的特征图降维卷积层放到残差模块里面，使得每个残差模块直接相连，本网络将残差模块中的特征图降维卷积层剥离出来，放置于2个残差模块之间，这样既可以使网络学习层间误差又可以学习网络层的输出特征，并且在一定程度上简化了网络的复杂程度。

注：Conv1-1和Conv1-2代表卷积核为7×7的卷积层分解之后的卷积层1-1和卷积层1-2；Conv2、Conv3和Conv4分别代表卷积层2、卷积层3和卷积层4；残差块中Conv1_1_1、Conv1_1_2和Conv2_1_1、Conv2_1_2分别代表卷积核7×7分解之后的卷积层1_1_1、卷积层1_1_2和卷积层2_1_1、卷积层2_1_2；残差块中Conv1_2_1、Conv1_2_2和Conv2_2_1、Conv2_2_2分别代表卷积核5×5分解之后的卷积层1_2_1、卷积层1_2_2和卷积层2_2_1、卷积层2_2_2；残差块中Conv1_12、Conv2_12、Conv1_22和Conv2_22代表卷积核为3×3的卷积层1_12、卷积层2_12、卷积层1_12和卷积层2_22; 代表特征图相加。 Note: Conv1-1 and Conv1-2 represent convolution layer 1-1 and convolution layer 1-2 after 7×7 convolution kernel decomposition; Conv2, Conv3, and Conv4 represent convolution layer 2, convolution layer 3 and convolution layer 4, respectively; Conv1_1_1, Conv1_1_2 and Conv2_1_1, Conv2_1_2 in residual block represent convolution layer 1_1_1, convolution layer 1_1_2 and convolution layer 2_1_1, convolution layer 2_1_2 after 7×7 convolution kernel decomposition, respectively; Conv1_2_1, Conv1_2_2 and Conv2_2_1, Conv2_2_2 in residual block represent convolution layer 1_2_1, convolution layer 1_2_2 and convolution layer 2_2_1, convolution layer 2_2_2 after 5×5 convolution kernel decomposition, respectively; Conv1_12, Conv2_12, Conv1_22, and Conv2_22 in residual block represent convolution layer 1_12, convolution layer 2_12, convolution layer 1_12 and convolution layer 2_22 with 3×3 convolution kernel, respectively;represents feature map addition.

4）进行大卷积核分解

在2.2小节中使用7×7和5×5的卷积核获取多尺度特征的同时也导致了网络的训练参数大大增加。为了在不改变网络卷积核感受野的前提下，压缩模型的参数量，进行了大卷积分解。Inception网络结构采用了2种方法进行卷积核分解，第一种方法是使用3个3×3卷积核代替1个7×7卷积核，使用2个3×3卷积核代替1个5×5卷积核；第二种方法是使用7×1卷积核加上1×7卷积核代替7×7卷积核，使用5×1卷积核加上1×5卷积核代替5×5卷积核。这2种方法都能保证分解后的卷积核感受野不发生变化，理论分析第二种方法的训练参数缩减效果比第一种更明显，本研究借鉴了Inception网络第二种方法进行大卷积核的分解。

5）进行群卷积

在残差块结构中的3×3卷积核的卷积层采用群卷积操作，群卷积可以显著的压缩模型训练参数，使训练参数缩减为原始训练的1/（为组数），并且由于特征被分为多个组，在向后传递特征时前一层的特征将被分到后一层的多个特征图，增加了特征的使用率。

2.3 评价指标

评价一个病害识别模型的性能有多种评价指标，使用不同的评价指标可以从不同角度对模型识别效果进行评价，本研究使用以下4种评价方式对网络模型的性能进行评价。

2.3.1 平均识别准确率

平均识别准确率（，%）指模型中预测正确的样本与全部观测值的比值，如式（1）所示

式中TP、FP分别表示测试集中第类病害样本预测正确的和预测错误的样本数，表示病害种类数。平均识别准确率可以衡量模型对于整个蔬菜病害数据集15种病害的识别精度，便于从宏观角度对比不同模型的识别性能。

2.3.2 最高识别准确率

模型的最高识别准确率（%）与平均识别准确率不同之处在于其可以衡量一个模型的最佳性能，以便保存模型达到最佳性能时的模型参数。

2.3.3 模型训练时间

模型训练时间是衡量一个模型性能的重要参数，模型训练时间少有助于进行参数学习，即使在没有图形处理器（Graphics Processing Unit，GPU）的情况下也应能够快速训练，有利于模型参数的更新。

2.3.4 模型尺寸

随着不同网络模型精度的不断提高，在提高识别精度的同时考虑模型的部署和运行所需的硬件资源，过于复杂的网络模型占用大量的存储和运算资源，限制了它们在硬件资源受限场景下的部署和运行，所以模型的尺寸大小也是需要考虑的关键因素之一。

3 试验设计

本试验与对照组均在Ubuntu18.04环境下进行，处理器为Intel core i9 9820X，内存为64G，显卡为GeForce RTX 2080Ti 11G DDR6，采用深度学习框架Pytorch，配合Cuda10.1进行训练，试验设计和对照过程中网络批处理大小（batch-size）设置为32，样本输入尺寸均采用224×224，所有网络模型均迭代次数为50轮。

3.1 Multi-scale ResNet不同设计方案比较

本研究从卷积核大小、通道数量、残差层连接方式及残差块数量、卷积分组等角度对Multi-scale ResNet进行了组合设计，设计方案如表1所示，不同方案性能参数对比如表2所示，可得出如下结论：

1）通道设计方面

比较方案1和方案2可知，在相同的卷积核大小和残差层连接方式情况下，双通道比单通道得到的最高准确率高，在方案6中使用了三通道，虽然准确率和收敛时间均比方案1和方案2效果好，但经过验证是两层连接设计起到了决定性作用。

2）卷积核设计方面

在方案1和方案3中采用了相同的通道设计和残差层连接设计，卷积核分别使用了大卷积核和小卷积核，最终大卷积核的最高准确率比小卷积核的最高准确率高，并且方案3达到最高准确率的时间也比方案1快，但是方案3采用大卷积核并没有使用卷积核分解和群卷积操作，所以增加了模型的训练参数。

3）残差层连接设计方面

在方案4和方案5中均采用相同的卷积核大小和通道设计，方案5中采用2个残差块就可以达到方案4中4个残差块的准确率，从而说明采用两层通道连接可以在精简网络参数的前提下提高模型的准确率。

表1 Multi-scale ResNet设计方案

表2 Multi-scale ResNet设计方案性能对比结果

4）分组设计方面

前6种方案中均采用了不分组方法，方案7采用分组方案设计，从模型训练参数来看，采用分组方法可以显著的降低模型的复杂程度，但是模型准确率随之下降了大约1.5%。

5）残差块数量设计方面

为了进一步降低模型的复杂程度，方案4和方案7将残差块数量由4块降低到2块，在总体上维持原有准确率的同时显著的压缩了模型的总体大小。

3.2 与对照组比较

本研究采用的对照组网络分别为ResNet18、ResNet50、AlexNet、VGG16和SqueezeNet，其中对照组模型最终分类层均为15类。由表3可知本研究提出Multi-scale ResNet的模型整体大小比对照组的几种网络都小，在数据集1中验证集上最高识别准确率基本与VGG16持平，仅比ResNet18减少2%左右，在数据集2中测试集上的平均识别准确率仅比ResNet18减少3.72%，但是本模型尺寸比ResNet18尺寸缩小约35%，模型训练参数比ResNet18减少93%左右，显著的精简了模型尺寸。剩余几种对照组网络在模型大小和模型准确率方面都不及本网络，并且2个数据集上Multi-scale ResNet训练达到最高识别准确率所用时间仅比SqueezeNet慢。由图3可知，Multi-scale ResNet 的准确率和参数量之间的差值，准确率与模型所占内存之间的差值在对照组中均为最大，由图4可知本网络在数据集1中训练集上损失值下降的过程十分平滑，在数据集2中训练集和验证集上损失值下降和准确率上升过程都较为平滑，没有出现大范围损失值震荡的现象，因此Multi-scale ResNet在兼顾了模型准确率的同时实现了模型的精简和压缩，为模型在硬件受限的场景下部署奠定了基础。

图3 模型参数大小、总体大小和准确率对比

表3 对照组模型对比

图4 Multi-scale ResNet与对照组模型在数据集1和数据集2中最高识别准确率和损失值对比

4 结果与分析

将Multi-scale ResNet模型分别应用到数据集1和数据集2中的测试集上，得出混淆矩阵（图5）和混淆矩阵（图6）。其中，混淆矩阵包含了简单背景下数据集1中测试集中预测正确和错误的样本图像数，混淆矩阵包含了复杂背景下数据集2中测试集中预测正确和错误的样本图像数。在混淆矩阵中，主对角线数字为预测正确样本图像数量，其他位置的数字为预测错误样本图像数量。

由图5可知，混淆矩阵中显示了数据集1中测试集上每一类病害的识别准确率和每种类别被错分的情况，其中可以发现种类8（番茄晚疫病）和种类12（番茄轮斑病）的识别错误率较高，结合混淆矩阵可以发现错分种类分别为4、5、6、7、8、10、11。从总体来看，其他种类被分为种类8和种类12的情况频繁发生，分析原始数据集发现被错分的病害种类中，类间差异小，类内差异大是病害被错分的最主要原因，如图7a～图7c所示为种类8番茄晚疫病的部分样本图像，在发病早期病叶并没有什么明显的变化，在发病中期和发病晚期与发病早期有明显不同，发病中期出现病斑，到发病晚期病叶大范围枯萎，并且出现变色现象，如图7d～图7f所示为种类11（番茄二斑叶螨病）和种类6（番茄早疫病）中被预测为种类12（番茄轮斑病）的病害图像，可以发现3种病害症状表现十分相似，人工也很难辨别。但15种病害的平均识别准确率为95.95%，在不引入迁移学习的前提下基本满足蔬菜叶部病害检测要求。

注：0为土豆健康、1为土豆早疫病、2为土豆晚疫病、3为辣椒健康、4为辣椒疮痂病、5为番茄细菌性斑点病、6为番茄早疫病、7为番茄健康、8为番茄晚疫病、9为番茄叶霉病、10为番茄斑枯病、11为番茄二斑叶螨病、12为番茄轮斑病、13为番茄病毒病、14为番茄黄曲病。主对角线数字为预测正确图像数量，其他数字为预测错误图像数量。

注：0为番茄健康、1为番茄白粉病、2为番茄早疫病、3为黄瓜健康、4为黄瓜白粉病、5为黄瓜病毒病、6为黄瓜霜霉病。主对角线数字为预测正确图像数量，其他数字为预测错误图像数量。

图7 简单背景下数据集1中测试集被错分的典型番茄病害

由图6可知，混淆矩阵中显示了数据集2中测试集上每一类病害的识别准确率和每种类别被错分的情况。其中可以发现种类1（番茄白粉病）的识别准确率最低，并且被错分的图像中大部分被错分为种类2（番茄早疫病），经过分析发现种类1和种类2在数据整体分布上呈现相似性，即类间差异小，如图8所示，2种类别的叶片均错综复杂的铺满整张图像。最终数据集2中测试集的平均识别准确率为93.05%，较简单背景的数据集1中测试集的准确率有所下降。

本研究使用2种数据集训练得到的模型互相测试，发现使用复杂背景图像训练测试简单背景图像得到的识别准确率会比使用简单背景图像训练测试复杂背景图像得到的识别准确率高，但是两者得到的识别准确率均在30%以下，在模型应用到实际生产中时应该尽可能的使模型的训练集和测试集服从独立同分布，使得模型能够发挥最大的功效。

图8 复杂背景下数据集2中测试集被错分的典型番茄病害

5 结 论

本研究在分析了残差网络（ResNet18）的优点与不足后，继承了它的残差学习优点，克服了其缺少多尺度提取特征、网络模型训练参数多、训练用时长等缺点。提出了改进型Multi-scale ResNet蔬菜叶部病害识别网络，其特点包括：1）添加了多尺度特征提取模块，使病害特征得到不同卷积核尺寸的提取；2）将网络使用的大卷积核分解，使网络参数减少并增加网络层数；3）增加残差层连接层数，使网络能够学习两层之间的差；改进网络降维方式，使网络学习特征更加充分；4）进行群卷积操作，使模型训练参数大大减少，并且增大特征利用率。改进的Multi-scale ResNet蔬菜叶部病害识别模型参数数量仅为755 055个，模型大小仅68.75 MB，参数数量较ResNet18缩减93%左右，模型总体尺寸缩减约35%。显著地减少了模型参数数量进而降低了模型的存储和计算开销，克服了传统深度模型因参数和计算量过大不适用于边缘部署的缺点。较好的平衡了模型的复杂度和识别精度，为基于深度网络模型的病害识别系统进行边缘部署提供了思路。

[1] 国家统计局. 2019中国统计年鉴[M]. 北京：中国统计出版社，2019.

[2] Lecun Y, Bengio Y, Hinton G E, et al. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[3] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25thInternational Conference on Neural Information Processing Systems, Siem Reap, Cambodia, 2012: 1097-1105.

[4] Rawat W, Wang Zenghui. Deep convolutional neural networks for image classification: A comprehensive review[J]. Neural Computation, 2017, 29(9): 2352-2449.

[5] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, 10(1): 1-9.

[6] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(9): 1904-1916.

[7] Mohanty S P, Hughes D P, Salathe M, et al. Using deep learning for image-Based plant disease detection[J]. Frontiers in Plant Science, 2016, 7: 1419-1419.

[8] Ferentinos K. Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture, 2018, 145: 311-318.

[9] Grinblat G L, Uzal L C, Larese M G, et al. Deep learning for plant identification using vein morphological patterns[J]. Computers and Electronics in Agriculture, 2016, 127: 418-424.

[10] Ngugi L C, Abelwahab M, Abo-Zahhad M. Recent advances in image processing techniques for automated leaf pest and disease recognition: A review[J/OL]. Information Processing in Agriculture, 2020, [2020-04-21], https: //doi. org/10. 1016/j. inpa.

[11] 张善文，谢泽奇，张晴晴. 卷积神经网络在黄瓜叶部病害识别中的应用[J]. 江苏农业学报，2018，34(1)：62-67. Zhang Shanwen, Xie Zeqi, Zhang Qingqing. Application research on convolutional neural network for cucumber leaf disease recognition[J]. Jiangsu Journal of Agricultural Sciences, 2018, 34(1): 62-67. (in Chinese with English abstract)

[12] 马浚诚，杜克明，郑飞翔，等. 基于卷积神经网络的温室黄瓜病害识别系统[J]. 农业工程学报，2018，34(12)：186-192. Ma Juncheng, Du Keming, Zheng Feixiang, et al. Disease recognition system for greenhouse cucumbers based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 186-192. (in Chinese with English abstract)

[13] 王艳玲，张宏立，刘庆飞，等. 基于迁移学习的番茄叶片病害图像分类[J]. 中国农业大学学报，2019，24(6)：124-130. Wang Yanling, Zhang Hongli, Liu Qingfei, et al. Image classification of tomato leaf diseases based on transfer learning[J]. Journal of China Agricultural University, 2019, 24(6): 124-130. (in Chinese with English abstract)

[14] 李淼，王敬贤，李华龙，等. 基于CNN和迁移学习的农作物病害识别方法研究[J]. 智慧农业，2019，1(3)：46-55. Li Miao, Wang Jingxian, Li Huarong, et al. Method for identifying crop disease based on CNN and transfer learning[J]. Smart Agriculture, 2019, 1(3): 46-55. (in Chinese with English abstract)

[15] 郭小清，范涛杰，舒欣. 基于改进Multi-scale AlexNet的番茄叶部病害图像识别[J]. 农业工程学报，2019，35(13)：162-169. Guo Xiaoqing, Fan Taojie, Shu Xin. Tomato leaf diseases recognition based on improved Multi-scale AlexNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 162-169. (in Chinese with English abstract)

[16] 吴华瑞. 基于深度残差网络的番茄叶片病害识别方法[J]. 智慧农业，2019，1(4)：42-49. Wu Huarui. Method of tomato leaf diseases recognition method based on deep residual network[J]. Smart Agriculture, 2019, 1(4): 42-49. (in Chinese with English abstract)

[17] 胡志伟，杨华，黄济民，等. 基于注意力残差机制的细粒度番茄病害识别[J]. 华南农业大学报，2019，40(6)：124-132. Hu Zhiwei, Yang Hua, Huang Jiming, et al. Fine-grained tomato disease recognition based on attention residual mechanism[J]. Journal of South China. 2019, 40(6): 124-132. (in Chinese with English abstract)

[18] 曾伟辉. 面向农作物叶片病害鲁棒性识别的深度卷积神经网络研究[D]. 合肥：中国科学技术大学，2018. Zeng Weihui. Research on Robust Recognition of Crop Leaf Diseases based on Deep Convolution Neural Network[D]. Hefei: University of Science and Technology of China, 2018. (in Chinese with English abstract)

[19] Too E C, Yujian L, Njuki S, et al. A comparative study of fine-tuning deep learning models for plant disease identification[J]. Computers and Electronics in Agriculture, 2019, 161: 272-279.

[20] 刘洋，冯全，王书志. 基于轻量级CNN的植物病害识别方法及移动端应用[J]. 农业工程学报，2019，35(17)：194-204. Liu Yang, Feng Quan, Wang Shuzhi. Plant disease identification method based on lightweight CNN and mobile application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 194-204. (in Chinese with English abstract)

[21] 雷杰，高鑫，宋杰，等. 深度网络模型压缩综述[J]. 软件学报，2018，29(2)：251-266. Lei Jie, Gao Xin, Song Jie, et al. Survey of deep neural network model compression[J]. Journal of Software, 2018, 29(2): 251-266. (in Chinese with English abstract)

[22] 李江昀，赵义凯，薛卓尔，等. 深度神经网络模型压缩综述[J]. 工程科学学报，2019，41(10)：1229-1239. Li Jiangyun, Zhao Yikai, Xue Zhuoer, et al. A survey of model compression for deep neural networks[J]. Chinese Journal of Engineering, 2019, 41(10): 1229-1239. (in Chinese with English abstract)

Identification of vegetable leaf diseases based on improved Multi-scale ResNet

Wang Chunshan1,2,3,4, Zhou Ji1, Wu Huarui2,3, Teng Guifa1,4, Zhao Chunjiang2,3※, Li Jiuxi5

(1.,,071001,; 2.,100097,; 3.,100097,; 4.,071001,; 5.,,071001,)

Although the performance of the deep network-based image recognition model of vegetable leaf disease is excellent, it is still difficult to deploy to the edge computing equipment, embedded equipment, mobile equipment, and other areas of agricultural Internet of Things (IoT) due to the problems of huge parameters, long training time, high storage cost, and calculation cost. Therefore, how to reduce the size of the model while ensuring the accuracy of model recognition has become a hot issue. Based on the study of the advantages and disadvantages of ResNet18, this study proposed an improved Multi-scale ResNet lightweight disease recognition model. The Multi-scale ResNet had made improvements in network structure design, multi-scale feature extraction, feature mapping dimensionality reduction, and complexity reduction. In order to test the effectiveness of the network, this study used two datasets. Dataset 1 used 15 vegetable diseases in the public dataset of the Plantvillage and the AI Challenge2018, and dataset 2 was self-collecting 7 disease images. Each image was resized to 224 × 224 using bilinear interpolation. In order to prevent overfitting due to too few data, the original dataset was enhanced through translation, scaling and rotation, random clipping and scaling, random brightness contrast enhancement, random gamma noise, and vertical flip. The original dataset was expanded to 134 232, and the training set, verification set, and test set were divided according to the ratio of 7∶2∶1. The experimental scheme included model structure design and comparison with other models. In the model structure design experiment, five options were included convolution kernel design, channel design, residual layer connection design, grouping design, and residuablock number design. The effectiveness of network design mode was verified by changing one design method by fixing other design methods. Finally, the network structure of Multi-scale ResNet was determined, including the network structure of using large convolution kernel and group convolution, two channels, two-layer connection mode, and two residua blocks. The accuracy of Multi-scale ResNet on dataset 1 and dataset 2 reached 95.95% and 93.05% respectively. Compared with other models (AlexNet, VGG16, ResNet50, SqueezeNet), the improved Multi-scale ResNet has the least number of parameters and the smallest model volume. And the accuracy of Multi-scale ResNet was 3.72% lower than the original ResNet18, but the training parameters of the model were reduced about 93% and the overall size of the model was reduced about 35%. The minimum size of Multi-scale ResNet was 68.75 MB, and the accuracy was only about 1.5% lower than ResNet50. Moreover, the loss value of the model decreases smoothly, and there was no similar oscillation phenomenon of the original ResNet18 and ResNet50. Experiments showed that the Multi-scale ResNet has the characteristics of small size and high accuracy. It made the vegetable leaf disease identification model had the ability to deploy and run in the scene of limited hardware. It overcame the shortcomings of the traditional depth model which was not suitable for edge deployment because of its large parameters and calculation. It could meet the urgent need of realizing long-term, large-scale, and low-cost automatic identification of vegetable diseases under the condition of resource constraints.

image processing; diseases; image recognition; multi-scale; lightweight; residual layer; ResNet18

王春山，周冀，吴华瑞，等. 改进Multi-scale ResNet的蔬菜叶部病害识别[J]. 农业工程学报，2020，36(20)：209-217.doi：10.11975/j.issn.1002-6819.2020.20.025 http://www.tcsae.org

Wang Chunshan, Zhou Ji, Wu Huarui, et al. Identification of vegetable leaf diseases based on improved Multi-scale ResNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 209-217. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.20.025 http://www.tcsae.org

2020-07-07

2020-08-28

国家大宗蔬菜产业技术体系（CARS-23-C06）；国家重点研发计划（2019YFD1101105）；国家自然科学基金项目（61771058）；河北省重点研发计划项目（20327402D）；河北省研究生创新资助项目（CXZZBS2020103）

王春山，在职博士生，副教授，主要从事人工智能、智慧农业、图像识别研究。Email：chunshan9701@163.com

赵春江，研究员，中国工程院院士，博士生导师，主要从事人工智能、智慧农业、智能农业装备和农业信息技术研究。Email：zhaocj@nercita.org.cn

10.11975/j.issn.1002-6819.2020.20.025

S511

A

1002-6819(2020)-20-0209-09