基于改进Multi-Scale AlexNet的番茄叶部病害图像识别

2019-08-23郭小清范涛杰

农业工程学报 2019年13期

郭小清，范涛杰，舒欣

郭小清，范涛杰，舒欣

（南京农业大学信息科技学院，南京 210095）

番茄同种病害在不同发病阶段表征差异明显，不同病害又表现出一定的相似性，传统模式识别方法不能体现病害病理表征的动态变化，实用性较差。针对该问题，基于卷积神经网络提出一种适用于移动平台的多尺度识别模型，并基于此模型开发了面向农业生产人员的番茄叶部病害图像识别系统。该文详细描述了AlexNet的结构，分析其不足，结合番茄病害叶片图像特点，去除局部响应归一化层、修改全连接层、设置不同尺度卷积核提取特征，设计了基于AlexNet的多感受野识别模型，并基于Android实现了使用此模型的番茄叶部病害图像识别系统。Multi-ScaleAlexNet模型运行所耗内存为29.9MB，比原始AlexNet的内存需求652MB降低了95.4%，该模型对番茄叶部病害及每种病害早中晚期的平均识别准确率达到92.7%，基于此模型的Andriod端识别系统在田间的识别率达到89.2%，能够满足生产实践中移动平台下的病害图像识别需求。研究结果可为基于卷积神经网络的作物病害图像识别提供参考，为作物病害的自动化识别和工程化应用参考。

图像处理；病害；图像识别；算法；卷积神经网络；番茄病害；多尺度

0 引言

番茄叶部发生病害会严重影响产量与品质，且诸多病害都是从叶部开始发病，进而蔓延到整个植株[1]，及时准确地识别出叶部病害类型是病害综合防治的关键。近年来，基于图像的模式识别技术在农作物病害诊断领域取得广泛应用[2-4]。传统针对作物病害识别的算法是通过提取、筛选颜色、纹理、形状等特征来进行的，但同种病害在不同发病阶段病症差异明显，多种病害可能表现出相似的病理表征，这些复杂的自然因素使传统的模式识别方法在解决番茄病害识别问题时普适性较差。基于图像的病害识别本质上是图像分类问题，深度卷积神经网络在图像识别领域的应用是新的研究热点[5-12]。杨国国等[13]利用图像的显著性分析定位茶园害虫的位置，通过缩减网络层数、减少卷积核数目等改进AlexNet[14]模型，并结合Dropout等优化方法提升了模型的准确性与效率，优化后的模型对茶园23种害虫平均识别准确率达到88.1%。孙俊等[15]通过使用Batch Normalization、Global Average Pooling[16]、缩小卷积核尺寸等方法改进AlexNet网络模型，提升了准确率，减少了模型所需参数，对简单背景下14种作物的26种病害识别平均准确率达到99.56%，对田间的复杂背景识别率较低。王艳玲等[17]将迁移学习应用于原始AlexNet网络中，对10种类别番茄叶片的平均识别准确率达到95.62%。Aravind等[18]利用原始AlexNet、VGG16网络，结合迁移学习分别在识别7种分割后的番茄叶片上取得97.29%、97.49%的准确率。采用迁移学习虽然可以使模型快速收敛，达到较好地识别效果，但也受限于必须使用原始的网络结构，原始AlexNet和VGG16模型结构复杂，参数众多，极大的限制了模型的实际应用和部署。

相较于传统的模式识别方法，基于深度卷积网络（convolutional neural network, CNN）的病害识别方法摒弃了复杂的图像预处理和特征提取操作，采用端到端的结构简化了识别流程。在ILSVRC竞赛中涌现的AlexNet、VGG[19]、ResNet[20]、Inception[21-24]等不断刷新通用目标识别的准确率。也有学者根据移动设备和嵌入式设备的应用需求，改进设计了轻量化的卷积模型，典型的代表有MobileNet[25]、SqueezeNet[26]等，但鲜少相关实践应用的报道。本文将依据最新的CNN理论研究成果与番茄叶部病害图像本身的特点，研究并开发面向农户的番茄叶部典型病害识别系统，以期为作物病害的自动化识别和工程化应用提供参考。

1 数据来源

1.1 样本数据

本文的番茄叶部图像数据，一部分(5 127张)取自PlantVillage(http://www.plantvillage.org)数据库，该数据库收录了大量的植物病害图像。一部分(639张)拍摄于南京农业大学牌楼基地，采用索尼DSC-WX350，分辨率4 896×3 672像素，自动白平衡、光学对焦，在户外晴天对番茄叶部正面主体进行拍摄，从番茄种植到收获完毕的整个生育期内共采集到8种类别的番茄叶部图像样本(健康样本和7种病害样本)，且每种病害图像样本包含不同的发病阶段。

从获取的番茄病害样本可知，番茄病害的识别主要有以下2个难点：1）不同病害的表征具有一定的相似性; 2）同种病害不同的发育阶段表征差异明显。

1.2 数据增强

获取的各类病害样本分布极不均匀，细菌性斑点病989张，斑枯病243张，黄曲病373张，早疫病586张，晚疫病953张，花叶病952张，轮斑病1 036张，健康样本634张。在深度学习中，样本分布不均匀会影响模型识别的准确率[27-28]，故对数量较少的样本数据进行增强处理。数据增强时要符合实际应用条件，不能随意扩增，例如颜色是不同病害的主要表征之一，在做图像增强时不能改变原来图像的颜色。为模拟自然拍摄条件下的复杂环境影响，在Tensorflow框架下结合opencv完成样本图像数据增强。主要采用如下数据增强手段：1）随机裁剪(Random Crop)：在较大图像的不同区域随机裁剪出局部图像从而得到更多的数据。2）翻转(Flip)：沿着图像的水平方向和垂直方向进行翻转，不会改变病斑部分与健康部分的相对位置，模拟自然条件下的拍摄角度的随机性。3）旋转(Rotation)：以图像中心为原点旋转一定的角度获取新的图像。4）颜色抖动(Color Jittering)：改变图像的亮度、饱和度、对比度、色调等。由于色调是区分番茄不同病斑的重要指标，模拟自然环境下拍摄时的亮度差异，仅改变图像的亮度。5）缩换变化(Zoom)：按照一定比例放大或缩小图像，有助于识别多种尺度下的目标。6）添加噪声(Add Noise)：对图像添加一定的噪声可以得到新的图像，本文对图像添加椒盐噪声和高斯噪声，模拟拍摄不同清晰条件的样本。增强后的样本数据集为：细菌性斑点病989张，斑枯病945张，黄曲病1 086张，早疫病1 129张，晚疫病953张，花叶病952张，轮斑病1 036张，健康1 259张。

1.3 试验环境

本文所使用的试验平台为Ubuntu 16.04LTS，内存为16GB，搭载Intel® Core™ i7-6700hq，@ 2.4GHz x8 处理器，显卡NVIDIA GeForce 960m(4G)，采用深度学习框架Tensorflow1.4[19]和Keras2.1[21]。

2 改进Multi-scale AlexNet模型

2.1 AlexNet结构与不足

AlxeNet发表于2012年，并以显著优势获得了年度ILSVRC竞赛冠军。AlexNet网络要求输入图像的尺寸为(224×224×3)，共计8层。第一层接受图像输入后，经过卷积层、局部响应归一化层和最大池化层，输出形状为(27×27×96)的张量并向下传递；第二层的数据流向依次为卷积层、最大池化层和局部响应归一化层，输出张量形状为(13×13×256)；第三层和第四层分别只包含一个卷积层，经过2层的卷积操作后输出形状为(13×13×384)；第五层的数据流向依次为卷积层和最大池化层，输出形状为(6×6×256)；第六层和第七层为全连接层，每层各有神经单元4 096个(6×6×256=4 096)，文献[29]中作者为减轻过拟合，在第六层和第七层设置了dropout，取值为0.5；第八层为输出层。

AlexNet用到的诸多技巧为卷积神经网络的工业化应用奠定了基础，但AlexNet整个网络模型包含6亿3000万个连接，6 000万个参数和近65万个神经元，过多的参数使模型在训练中极易出现过拟合现象。采用Tensorflow框架训练完毕后的模型文件652 MB，严重限制了AlexNet在移动平台的应用。

2.2 多尺度AlexNet模型设计

针对AlexNet模型的局限性、番茄病害识别的难点及移动平台存储空间和运算速度有限的应用需求，在保证病害识别模型准确率的前提下，尽可能缩减模型大小、提升运行效率。

2.2.1 改进设计步骤

1）去除局部响应归一化层

局部响应归一化(local response normalization, LRN)来源于神经生物学中的侧抑制机制，即被激活的神经元会抑制相邻的神经元，归一化的目的是起到“抑制”作用。在卷积神经网络的发展中，LRN逐渐被摒弃，经典的卷积模型VGGNet、ResNet、GoogleNet等都去除了LRN结构。VGGNet作者在其2014年的论文中指出：LRN没有提升卷积网络在ILSVRC数据集上的性能，却增加了运算时间。基于上述原因Multi-Scale AlexNet模型去除了LRN结构。

2）修改全连接层

全连接层通常置于卷积神经网络的后端，起到分类的作用。在用于图像识别时，会使得特征权值过于密集，从而造成模型的过拟合，增加模型训练的难度。近年来的研究[20-24]表明，通过对网络结构的高效设计，可以通过简化全连接层减少模型的参数。参考已有研究成果[13]，对Multi-Scale AlexNet全连接层做了去除fc6、fc7，添加平均池化的结构设计。

3）添加多种感受野尺寸

对输入图像用不同尺寸的卷积核进行卷积，可以同时提取多种局部特征，得到不同特征上的响应。深度卷积神经网络中，底层卷积提取边缘、颜色、纹理等简单信息，高层卷积完成特征的抽象，卷积层越靠后，提取的信息越接近目标对象[30]。

AlexNet模型中的第一层采用了11×11的大尺寸卷积核，通常认为在底层设置大尺寸卷积更趋向于响应粗粒度特征 (如边缘、轮廓特征)[15]。识别番茄叶部的不同病害时，需要考虑如下问题: 1)病害发病初期，病斑微小，捕捉细节纹理困难，造成模型的过拟合，增加模型训练难度。微小的颜色差异(细粒度特征)是区分不同病害的关键。图1中分别代表发病早期的番茄细菌性斑点病、轮斑病、早疫病、晚疫病、斑枯病、花叶病、黄曲病和健康叶片，每幅图像中圆圈部分代表叶片的发病部位，病斑微小，与健康叶片的差异不大，病斑的边缘、轮廓等信息不明显，肉眼难以区分。2)不同病害在发病的某个阶段表现出相似的颜色、纹理、轮廓特征。图2表示细菌性斑点病、早疫病、斑枯病3种病害发病图中晚期。3种病害的病斑中心都呈现出棕色的斑点，斑点外围变黄并向四周蔓延。3种病害在颜色、轮廓和纹理等方面表现出一定的相似性。3)同一种病害在不同发病阶段，病症差异明显。图3代表番茄花叶病的早、中、晚发病图，和番茄早疫病的早、中、晚发病图。随着病情持续，病斑轮廓、边缘差异加大，叶片在轮廓、颜色、纹理等方面均表现出明显的差异。已有的相关病害识别文献[2-4,13,15,29,31]在识别多种病害时，鲜少考虑以上问题。

综上所述，识别番茄叶部病害类别，既要考虑不同病害的细粒度特征，又要考虑不同病害的粗粒度特征，综合提取多种特征是表征病害动态变化的关键。因此在Multi-Scale AlexNet模型第一层设置不同尺寸的卷积核，以改善网络底层对不同粒度特征的响应。

图1 番茄典型病害早期发病叶部图像

图2 番茄细菌性斑点病、早疫病、斑枯病叶部图像

图3 番茄花叶病、早疫病在不同阶段的发病图

采用4种不同尺度 (1×1)、(3×3)、(5×5)和(7×7)，个数分别为32、32、16和16的卷积核并行提取样本图像特征，然后合并为同一个张量继续向下传递。这四种尺寸的卷积核在VGGNet、Inception系列、ResNet中被广泛使用，充分验证了其在图像识别、目标定位中的优越性。因采用了多尺寸卷积结构。

2.2.2 模型结构与参数设置

Multi-Scale AlexNet共计6层，部分参数设置参考原AlexNet模型，整个网络模型的详细结构和参数如图4所示。

图4 Multi-Scale AlexNet结构与参数

2.3 评价指标

移动平台的性能约束，要求识别模型在保证精度的同时快速响应用户的操作，并尽可能压缩模型运行的内存需求，以便于提供良好的用户体验。因此采用移动端较敏感的3个指标评价识别系统的性能。

2.3.1 平均识别准确率

平均识别准确率(average accuracy, AA)是检验模型性能的最重要指标。

2.3.2 前向传播速率和反向传播速率

模型的运行速率是影响模型应用的重要指标。前向传播速率(forward propagation rate, FPR)指样本数据从输入网络到输出结果所用的时间，前向传播速率越短，表示模型识别速度越快。反向传播速率(backward propagation rate, BPR)指网络权重与偏置从输出层到输入层更新一轮所用的时间，反向传播速率越短，表示模型更新迭代的速度越快，有利于模型的训练和更新。

2.3.3 内存需求

内存需求是影响模型在移动平台应用的重要指标。移动平台内存空间有限，运行消耗的内存过大会导致应用启动慢、后台易杀死、系统更新耗费流量等问题，严重影响用户的使用体验。因此在保证精度的同时，尽可能压缩模型大小，是模型在移动平台应用的关键。

2.4 试验分析

对比试验均采用AdamOptimizer优化更新参数，初始学习率设定为0.003，损失函数为交叉熵(cross-entropy)，权值初始化方法采用Xavier，偏置全部初始化为0，分类层采用softmax函数，每个模型更新迭代(epoch)1 200次，每个批次(BatchSize)32个样本，训练过程中，每次迭代输入之前会随机打乱(shuffle)。以增强后的8 349张图像为基准数据集，训练集、验证集、测试集比例为7:2:1。

本文设计了5种试验方案（表1所示）进行性能分析。

表1 试验方案

2.4.1 改进后性能分析

1）局部响应归一化层对模型的影响

由表2可知，去除LRN层后，模型大小无变化，识别准确性仅下降0.6个百分点，但前向传播速率和反向传播速率显著加快。因此后续对比试验以方案2为基础去除LRN层。

表2 各试验方案性能对比

2）全连接层设计对模型的影响

去除LRN层后，分别将全连接层修改为全局平均池化和全局最大池化后的试验对比。

由方案2、3、4可知，AlexNet模型的参数几乎全部集中于全连接层，重新设计全连接层后，模型大小仅相当于原来的4.3%，模型大小缩减为30.2 MB。方案5的内存需求比原始AlexNet的内存需求652 MB降低了95.4%。简化全连接层不仅提升了准确性，也提升了模型的前向传播速率和反向传播速率，适于模型在移动平台的应用。由表2可知，添加全局平均池化后的模型准确率最高，故后续改进以方案3为基础在全连接层采用全局平均池化。

3）多尺度感受野对模型的影响

引入多尺度感受野后的AlexNet模型在测试集上的准确率提升了3.2个百分点，表明引入多尺度感受野后模型提取的特征更能准确的表征不同病害。由于采用了多个较小尺寸的卷积核，模型参数减少，模型运行所需的内存需求降低，但多个卷积操作稍微增加了模型的运行时间。

2.4.2 与其他识别模型对比

选取2类识别模型进行对照试验。一类是基于传统模式识别的方法[31]，该方法在病害诊断领域应用广泛。另一类是基于深度学习的方法，近年来已在病害识别、分割等领域初步应用。

1）与传统模式识别方法的对比与分析

对照试验的设计过程参考文献[31]，该文献设计了一种基于颜色、纹理加SVM的病害识别方法。数据集包含7种病害样本早、中、晚3个不同的发病阶段，训练集、验证集、测试集比例为7:2:1。由于传统模式识别方法在特征提取、图像分割部分不支持GPU加速，2种方法的对比试验在相同的CPU上进行，识别时间表示识别单张图像的平均用时，重复600轮。试验结果（表3）表明：Multi-Scale AlexNet对图像的输入要求低，能在更短的时间内完成病害识别任务，在保留背景且不进行病斑分割的条件下，其在识别早、中、晚3个不同发病阶段的病害叶片时，均取得较高的识别准确率，且整体识别准确率达到92.7%。

表3 Multi-Scale AlexNet与传统模式识别方法的试验对比

传统模式识别方法对图像的输入要求苛刻，在进行分类之前，图像需要经过去背景、病斑分割等复杂流程，这些预处理流程严重影响了模型的识别速度和识别精度，且提取有限的颜色、纹理、形状特征不能准确地反映病害特征的动态变化。同种病害在不同的发病阶段其颜色、纹理、形状差异明显，导致传统模式识别方法在识别不同发病阶段的病害时，准确性存在较大差异；而不同病害又具有一定的相似性，因此其整体识别准确率偏低。

2) 与其他卷积神经神经网络的对比与分析

目前采用卷积神经网络进行病害识别的文献较少，本文选取了3种具有代表性的卷积结构进行对比试验。第一种是基于MobileNet的识别方法，该方法谷歌于2017年发布，是一种小尺寸、高精度的卷积模型，能够满足移动平台的图像识别需求；第二种是基于弹性动量的卷积神经网络方法[29]，该方法在LeNet-5[32]的基础上改进得来，其在识别果体病害图像方面取得了较好的效果；第3种是基于SequeezeNet的识别方法，该方法通过高效的卷积设计，在保证精度的同时极大的缩减了模型大小。对比试验在相同的GPU上测试输入单张图像(BatchSize=1)的平均耗时，共测试600轮，对比后果见表4。

表4 Multi-Scale AlexNet与其他卷积网络模型的试验对比

试验结果表明，LeNet-5准确性最差，原因在于LeNet-5要求图像的输入尺寸较低，病害图像在压缩后大量的有用信息被丢弃导致其准确率只有27.4%。MobileNet在未经任何优化的前提下，依然得到了91.9%的准确率，表明其所采用的深度可分卷积(Depthwise Convolutional)单元具有一定的泛化性。番茄病斑在中晚期开始扩大和蔓延，由于MobileNet和SequeezeNet大量采用1×1和3×3的小尺寸卷积核，因此其在识别发病中期和晚期的图片时准确率均低于Multi-Scale AlexNet, 表明增加多种尺度感受野有利于识别不同发病阶段的病害。由于MobileNet采用的深度可分离卷积单元和SequeezeNet采用的fire model结构，网络内部均涉及数量众多的小尺寸卷积操作和频繁的特征拼接，故耗时较长。Multi-Scale AlexNet相比与MobileNet和SequeezeNet，图像输入尺寸一致，识别时间更短，准确率最高，综合三种评价指标，更适合在移动平台识别不同发病阶段的番茄病害。

3 基于Multi-Scale AlexNet模型的番茄叶部病害识别系统

以Multi-Scale AlexNet模型为基础，开发基于Android平台的番茄叶部病害识别系统。系统的设计流程如图5所示。Multi-Scale AlexNet要求输入格式为彩色图像，用户采集任意尺寸上传后，系统通过缩放将图像尺寸统一为224×224×3。由于Multi-Scale AlexNet模型分类层采用的是softmax函数，该函数会输出各类别的概率分布，系统会把最大概率值所对应的标签作为结果向用户返回。由于在图像输入环节存在诸多不确定性，此处设定阈值为0.5，当最大类别标签的概率值大于或等于0.5时，向用户返回识别结果，概率值小于0.5时，请求用户重新输入一张图片。出于交互友好性考虑，图像的输入提供现场拍摄和本地上传2种方式，识别结果除了向用户直接展示，也可以将识别结果以截图的形式保存于本地，方便用户查看，系统运行界面如图6所示。

图5 番茄病害识别系统流程设计

图6 基于Android的病害识别系统界面

系统完成后用自采集样本(87张，取自测试集)进行工程化测试，测试结果如表5所示。

表5 Android平台番茄叶部病害识别系统应用测试

识别系统能够在普通安卓平台完成5帧/s左右的识别速度，由于自采集样本较开源数据集背景复杂，因此测试结果准确率偏低。后续将加入基于深度学习的快速定位、分割等算法，排除背景干扰，提升实践性能。

4 结论

本文在分析AlexNet结构和详细参数的基础上指出其存在的不足，结合8种番茄叶部图像样本的识别难点及移动端对病害图像识别模型的运行要求，设计了Multi-Scale AlexNet模型，并基于此模型实现Android端的识别系统。去除局部响应归一化层LRN、简化全连接层的设计能够加快识别模型的运行速率，缩减模型所需参数；引入多尺度感受野提取特征能更准确地表征不同病害，也有利于提升不同发病阶段病害的识别准确率。与传统模式识别方法及其他卷积神经网络模型的对比试验显示，该模型能较好地平衡识别准确率和运行所耗的内存需求，运行效率高，模型的平均识别准确率达到92.7%。基于该模型实现的番茄病害识别系统，能够在普通安卓平台完成5帧/s的识别速度，并在自采集样本上达到89.2%的识别准确性，初步满足移动平台番茄病害识别的生产需求。

[1] 苏春国. 番茄常见病虫害综合防治建议[J]. 农民致富之友, 2017(23): 155.

[2] 刘涛，仲晓春，孙成明，等. 基于计算机视觉的水稻叶部病害识别研究[J]. 中国农业科学，2014，47(4): 664－674.Liu Tao, Zhong Xiaochun, Sun Chengming, et al. Recognition of rice leaf diseases based on computer vision[J]. Scientia Agricultura Sinica, 2014, 47(4): 664－674. (in Chinese with English abstract)

[3] 王美丽，牛晓静，张宏鸣，等. 小麦叶部常见病害特征提取及识别技术研究[J]. 计算机工程与应用，2014，50(7)：154－157.Wang Meili, Niu Xiaojing, Zhang Hongming, et al. Research on feature extraction and recognition of common diseases of wheat leaf[J]. Computer Engineering and Applications, 2014, 50(7): 154－157. (in Chinese with English abstract)

[4] 王献锋，张善文，王震，等. 基于叶片图像和环境信息的黄瓜病害识别方法[J]. 农业工程学报吗，2014，30(14)：148－153.Wang Xianfeng, Zhang Shanwen, Wang Zhen, et al. Recognition of cucumber diseases based on leaf image and environmental information[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(14): 148－153. (in Chinese with English abstract)

[5] Yi D, Lei Z, Li S Z. Age Estimation by multi-scale convolutional network[C]// Asian Conference on Computer Vision. Springer, Cham, 2014: 144－158.

[6] Yang H F, Lin B Y, Chang K Y, et al. Automatic age estimation from face images via deep ranking[C]// Proc. British Machine Vision Conference. 2015.

[7] Rothe R, Timofte R, Gool L V. DEX: Deep EXpectation of apparent age from a single image[C]// IEEE International Conference on Computer Vision Workshop. IEEE, 2016: 252－257.

[8] Girshick R. Fast R-CNN[C]// IEEE International Conference on Computer Vision. IEEE, 2015:1440－1448.

[9] Ren S, Girshick R, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Trans Pattern Anal Mach Intell, 2015, 39(6):1137－1149.

[10] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]// Computer Vision and Pattern Recognition. IEEE, 2016:779－788.

[11] Liu W, Anguelov D, Erhan D, et al. SSD: Single Shot MultiBox Detector[C]// European Conference on Computer Vision. Springer, 2016:21－37.

[12] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C] // Conference on Computer Vision and Pattern Recognition.IEEE, 2017:6517－6525.

[13] 杨国国，鲍一丹，刘子毅. 基于图像显著性分析与卷积神经网络的茶园害虫定位与识别[J]. 农业工程学报，2017，33(6)：156－162.Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156－162. (in Chinese with English abstract)

[14] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012: 1097－1105.

[15] 孙俊，谭文军，毛罕平，等. 基于改进卷积神经网络的多种植物叶片病害识别[J]. 农业工程学报，2017，33(19)：209－215.Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209－215. (in Chinese with English abstract)

[16] Lin M, Chen Q, Yan S. Network In Network[C]//International Conference on Learning Representations. 2014:1－10.

[17] 王艳玲，张宏立，刘庆飞，等. 基于迁移学习的番茄叶片病害图像分类[J]. 中国农业大学学报，2019，24(6)：124－130. Wang Yanling, Zhang Hongli, Liu Qingfei, et al. Image classification of tomato leaf diseases based on transfer learning[J]. Journal of China Agricultural University, 2019, 24(6): 124－130. (in Chinese with English abstract)

[18] Aravind K R, Raja P, Aniirudh R. Tomato crop disease classification using pre-trained deep learning algorithm[J]. Procedia Computer Science, 2018, 133: 1040－1047.

[19] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2014-12-19]. https://arxiv. org/abs/1409. 1556.

[20] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770－778.

[21] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2014:1－9.

[22] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]// International Conference on Machine Learning. 2015: 448－456.

[23] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[C]// Computer Vision and Pattern Recognition. IEEE, 2016:2818－2826.

[24] Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, Inception-ResNet and the impact of residual connections on learning[C]// Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, 2016:4278－4284.

[25] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[EB/OL]. [2017-01-17]. https://arxiv. org/abs/1704. 04861.

[26] Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size[EB/OL]. [2016-11-4]. https://arxiv. org/abs/1602. 07360.

[27] Bruzzone L, Serpico S B. Classification of imbalanced remote-sensing data by neural networks[J]. Pattern Recognition Letters, 1997, 18(11): 1323－1328.

[28] Pulgar F J, Rivera A J, Charte F, et al. On the impact of imbalanced data in convolutional neural networks performance[C]// International Conference on Hybrid Artificial Intelligence Systems. Springer, Cham, 2017: 220－232.

[29] 谭文学，赵春江，吴华瑞，等. 基于弹性动量深度学习神经网络的果体病理图像识别[J]. 农业机械学报，2015，46(1)：20－25.Tan Wenxue, Zhao Chunjiang, Wu Huarui, et al. A deep learning network for recognizing fruit pathologic images based on flexible momentum[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(1): 20－25. (in Chinese with English abstract)

[30] 李松，魏中浩，张冰尘，等. 深度卷积神经网络在迁移学习模式下的SAR目标识别[J]. 中国科学院大学学报， 2018，35(1)：75－83.Li Song, Wei Zhonghao, Zhang Bingchen, et al. Target recognition using the transfer learning-based deep convolutional neural networks for SAR images[J]. Journal of University of Chinese Academy of Sciences, 2018, 35(1): 75－83. (in Chinese with English abstract)

[31] 秦丰，刘东霞，孙炳达，等. 基于图像处理技术的四种苜蓿叶部病害的识别[J]. 中国农业大学学报，2016，21(10)：65－75. Qin Feng, Liu Dongxia, Sun Bingda, et al. Recognition of four different alfalfa leaf diseases based on image processing technology[J]. Journal of China Agricultural University, 2016, 21(10): 65－75. (in Chinese with English abstract)

[32] Lecun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 2014, 1(4): 541－551.

Tomato leaf diseases recognition based on improved Multi-Scale AlexNet

Guo Xiaoqing, Fan Taojie, Shu Xin

(,,210095,)

The symptoms of the same tomato disease in different stages are obviously different, and different diseases show some similarities. Traditional pattern recognition methods can not reflect the dynamic changes of the pathological characterization, and the practicability is poor. To solve this problem, this paper proposed a Multi-Scale AlexNet recognition model for mobile platform based on convolutional neural network (CNN), and implemented a tomato leaf disease image recognition system for agricultural workers based on Android. Many parameters and large memory utilization of traditional AlexNet model are unfit for mobile platform, this paper adjusted the network structure of the traditional model by removing the local response normalization(LRN) layer, modifying the full connection layer, setting up different convolution kernel extraction features, designed a multi- scale recognition model based on the AlexNet. The model consists of 6 layers. It can optimize the training time and memory utilization and achieve high precision. After removing the LRN layer, there was a 30% decrease in running time. Extending the single convolution kernel into multi-scale (1´1,3´3,5´5,7´7) convolution kernel then fused at the first layer, removing full connection layer 6 and 7, and taking the place of global average pooling layer, then the model size was only 30.2 M. The forward propagation rate (FRP) and backward propagation rate (BPR) were reduced, and the global average pooling is better than the global maximum pooling on recognition accuracy. So the Multi-Scale AlexNet model used global average pooling in the 5th layer. In image preprocessing phase, in order to avoiding over fitting of the trained model caused by the unbalanced distribution of sample numbers, we had zoomed, flipped, color jittering, add noise and rotated the original pictures of dataset randomly to get the augmented dataset, and used 70% of the pictures as the train dataset and the rest as the validation dataset(20%) and test dataset(10%). These pictures were quantized to 224´224 dpi for Multi-Scale AlexNet training, and the original dataset and augmented dataset were used to train models. In order to validate the performance of the proposed model, comparative tests were done between Multi-Scale AlexNet and traditional pattern recognition method. It repeated 600 tests. The results showed that the CNN model achieved 92.7%, the high average recognition accuracy of each disease and each disease in the early, middle and late stages. Compared with the other CNN Net model(MobileNet, SequeezeNet, LeNet-5), the Multi-Scale AlexNet achieved the highest recognition accuracy, and reached 95.8% on the late stage disease dataset, but the SequeezeNet model used less memory. The MobileNet and SequeezeNet model reached lower recognition accuracy on the middle and late stages dataset, that because their convolution size was small. The recognition system was implemented on Android platform, and then test was done on field dataset. The results showed that the average recognition accuracy was 89.2%, its less value was due to thecomplex background of image. Then the system can meet the requirements of disease image recognition on mobile platform in production practice. The research results provide a method for disease image recognition based on convolution neural network, and provide a reference for automatic identification of crop diseases and engineering applications.

image processing; disease; image recognition; algorithms; convolutional neural network; tomato diseases; multi-scale

10.11975/j.issn.1002-6819.2019.13.018

S511

1002-6819(2019)-13-0162-08

2018-09-24

2019-02-18

中央高校基本业务费项目(KYZ201547)；国家自然科学基金项目(61602248)；江苏省自然科学青年基金项目(BK20160741)

郭小清，山西繁峙人，博士，讲师，主要从事基于视觉的作物病害诊断、机器学习方面研究。Email：gxqing@njau.deu.cn

郭小清，范涛杰，舒欣. 基于改进Multi-Scale AlexNet的番茄叶部病害图像识别[J]. 农业工程学报，2019，35(13)：162－169. doi：10.11975/j.issn.1002-6819.2019.13.018 http://www.tcsae.org

Guo Xiaoqing, Fan Taojie, Shu Xin. Tomato leaf diseases recognition based on improved Multi-Scale AlexNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 162－169. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.13.018 http://www.tcsae.org