基于迁移学习ResNet网络的樱桃叶片白粉病的图像识别

刘亚恒　张鹏超　徐鹏飞　呙生富

摘要：针对在复杂环境下樱桃叶片病害识别准确率低的问题。本文在ResNet-50网络的基础上提出了一種改进方法，以AVE-pooling为下采样层，Dropout、Dense层减少过拟合和增强分类效果，并采用Softmax分类器进行分类，利用迁移学习方法进行网络微调，从而提高了白粉病的识别率。结果表明，这种改进方法的迁移学习获得了99.98%的准确率，相比未改进迁移学习的97.42%提高了2.56%。实验表明，本文提出的网络改进方法和迁移方式可以提高樱桃白粉病识别的准确率。

关键词：樱桃白粉病;迁移学习;深度学习;ResNet-50网络;图像识别

中图分类号：TP391      文献标识码：A

文章编号：1009-3044（2022）08-0012-04

1引言

樱桃白粉病是樱桃早期的病害，对樱桃的产量、质量都会有巨大影响。准确识别是防治白粉病的基础。传统的识别方法主要依靠专家或者经验丰富的果农田间辨识，不仅费时、费力，而且识别效率低。也有学者通过传统机器学习方法改善这一问题[1]，但仍迫切需要一种高效、准确的识别方案。

自2012年AlexNet赢得ImageNet挑战赛以来，卷积神经网络得到飞速发展，很多学者将其应用在农业领域，孙俊等[2]、MOHANTY等[3]采用卷积神经网络对多种植物进行识别，准确率得到很大的提高。BRAHIMI等基于AlexNet网络进行西红柿病害识别[4]。黄双萍等采用GoogLeNet对水稻穗瘟病进行检测，准确率高达92%[5]。也有学者发现大数据集训练时间长、小数据集训练的网络泛化能力低的问题，于是迁移学习方法得到了广大学者青睐。龙满生[6]、郑一力[7]、赵立新[8]、许景辉[9]等学者利用迁移学习的方式在小数据集上分别实现了油茶、玉米、棉花等作物的病害识别，且获得较高的准确率。

CNN在图像处理方面具有自学习能力强的优点，通过对数据的抽象分析，获取大量的数据特征，进而快速准确将数据实现分类。因此，本文利用卷积神经网络进行樱桃的白粉病害识别，特别是在ResNet-50网络基础上进行改进，并利用迁移学习在小样本数据上微调。

2理论基础

2.1残差网络

ResNet[10]在2015年赢得ImageNet大规模视觉识别挑战赛（ImageNet Large Scale Visual Recognition Challenge， ILSVRC）冠军而闻名，它完美解决了深度神经网络中“梯度消失”的问题，得到广大学者的引用。残差单元可表示为：

公式（4）中，[?loss?xL]为第L个残差单元的损失函数，若不通过权重层的传递为：[?loss?xL];通过权重层的传递为：[?loss?xL??xLi=lL-1F（xi，Wi）]，前者公式保证了参数信号可以直接传递到浅层的[xl]，也保证了梯度不会出现梯度消失的现象，因为后者公式结果不可能为-1。

2.2迁移学习

迁移学习是通过将一个训练好的神经网络初始化另一个训练任务的方法[11-13]。具体做法为，将预训练的卷积层作为图像特征提取层，全连接层接收特征向量，进行识别分类[14]。于是，将预训练卷积层与适合的全连接层组合为新的网络模型，进行处理新任务[15]。

迁移学习需要保持模型中卷积层的结构不变，将训练好的权重载入卷积层[13]。接下来，设计适合新任务的全连接层，用新任务的全连接层取代原来的全连接层，并与先前的卷积层构成新任务的训练模型[12]。训练模型的方式可分为两种：第一种是把前[n]层冻结，使前[n]层的权重信息不参与到训练中，只使用后面几层的权重信息进行训练，这种方法的优点是需要的样本数据集少，缺点是随着层冻结[n]数值增大、训练的效果却逐步降低，这种方法是最基本的迁移学习;第二种是不冻结前[n]层、全程参与训练但不断调整他们的参数，实现更好的网络性能，这种方法为迁移学习+fine-tuning[16]。

3模型构建

3.1 搭建ResNet-50网络

ResNet-50网络与ResNet其他网络结构类似，图像数据先进入input stem提取特征，接着进入重复16次的残差块，深度提取特征，最后经由平均池化层、激活函数Softmax输出结果，其结构如图2所示。

在图2中，conv_1层的输入尺寸为：7*7*64，经过最大池化层进入conv_2，conv_2是由三个残差块构成，其输入和输出的尺寸为：1*1*64，1*1*256，conv_3是由四个残差块构成，其输入尺寸为1*1*128，输出尺寸为：1*1*512，conv_4是由六个残差块构成，其输入尺寸为：1*1*256，输出尺寸为：1*1*1024，conv_5是由三个残差块构成，其输入尺寸为：1*1*512，输出尺寸为：1*1*2048。其中，conv_2、conv_3、conv_4、conv_5每个残差块之间都是由激活函数连接。

3.2改进方案

收集的樱桃白粉病图片数据集小，ResNet-50网络模型训练的分类效果非常不理想。因此，使用基于ResNet-50网络的迁移学习的方法实现樱桃病害的小数据集分类。本次迁移学习保存ResNet-50模型的卷积块，设计全新的连接与分类模块，改进后模型如图3所示。

如图3所示，图像进入卷积层提取特征后，进入平均池化层池化，减小卷积层的参数误差，接着进入Dropout层进行正则优化，减小过拟合，再进入Dense层进行稠密化分类，使提取的特征经过非线性变化，最后映射到输出上，再用Relu函数激活，然后再次进入Dropout层、Dense层;两次经过Dropout、Dense层，可以进一步减少过拟合，加快收敛，最后用Softmax激活分类。其中ReLU激活函数具有计算简单、收敛速度快等优点[10]，其表达式为：65E71114-E2A4-42E9-96FB-4A0F5E09D398

用冻结的Conv_1、2、3层与新设计的全连接模块代替原本的ResNet-50网络，再把训练好的卷积层权重迁移到上述新構建模型的卷积层中，最后用收集到的樱桃图像对新模型进行训练，训练完成的新模型即可对樱桃病害图像进行检测与识别。

4模型构建与试验结果分析

4.1图像采集

试验所需要的数据来自陕西省汉中市西乡县樱桃沟樱桃园，为了体验复杂的背景环境，采集过程中，从不同的角度进行拍摄;拍摄的时间段为三个时间段，分别是早上、中午、傍晚。利用华为手机摄像头，设置正常的拍照模式，分辨率为640像素×480像素，采集樱桃白粉病叶片和健康叶片1050幅和850幅。

4.2图像预处理

首先将采集的数据随机处理为8：2的训练集和测试集，然后将训练集图片进行数据扩充，分别包括图片旋转、平移、翻转、颜色增强等处理方式，将原来的图像扩充到5700幅，作为训练集使用。同时缩放图像数据到训练所需要的像素：224像素*224像素。

4.3实验环境

实验需要的环境如表1所示。

4.4实验训练

由于设备的影响，在实验中，设置每批次参与训练和测试的图像数量都为16，即batchsize为16，为了增强训练效果，将动量参数设为0.9，学习率设为0.0001，分别训练未改进网络的迁移学习、改进的全新学习、改进迁移学习三种情况，其具体的情况如表2，其结果如图4所示，其训练和验证最高准确率如表3所示。

4.5结果分析

4.5.1三种方式结果对比

图5是三种情况下训练的准确率，由图5可知，改进迁移学习可以提高白粉病的训练准确度，最高达到100%。美中不足的是，图4所示的改进全新学习的拟合波动比较大，拟合效果较差。

图6所示验证集准确率与训练准确结构相同，改进迁移学习、改进全新学习、未改进迁移学习三种不同情况验证集的准确率最高为99.98%、98.94%、97.42%。改进迁移学习相比未改进迁移学习的验证准确率提高2.56%，改进全新学习相比未改进迁移学习提高1.52%，改进迁移学习相比改进全新学习提高较少，仅有1.04%。由此可也得出改进迁移学习提高了白粉病的识别率。

4.5.2模型检验

为了方便观察，用Python将测验脚本程序可视化，通过OpenCV库将测验图像的种类以及准确率都展示在图片上，便于对比以及分析研究。现选择改进迁移学习的训练方式，选择两幅樱桃叶片进行测验，其预测结果如图7所示，上半部分为樱桃健康和白粉病的叶片，下半部分为樱桃叶片测验的分类和准确率，结果表明樱桃白粉病的概率为99.997%，接近100%，健康叶片的概率为99.50%。通过实验表明，本文提出的改进迁移学习的训练机制对白粉病识别的准确率得到提高，可以推广到在线诊断，目标识别等其他领域。

5结论

针对樱桃白粉病的识别准确率低的问题，本文提出的改进ResNet的方法，提高了白粉病的识别率，并基于迁移学习微调的方法对白粉病的识别，准确率高达99.98%，接近100%。本文的创新点在于全连接部分双层密集化处理，提高分类的精度，双层Dropout减少训练过程发生的过拟合现象，提高识别的精度。相比于未改进的ResNet网络，在小数据上减少发生过拟合现象，识别的准确率更高、效果更好。

参考文献：

[1] Gassoumi H，Prasad N R，Ellington J J. Neural Network based om approach for insect classification in cotton ecosystems[C].Proc of International Conference on Intelligent Technologies，2007：1.

[2] 孙俊，谭文军，毛罕平，等.基于改进卷积神经网络的多种植物叶片病害识别[J].农业工程学报，2017，33（19）：209-215.

[3] Mohanty S P，Hughes D P，Salathé M.Using deep learning for image-based plant disease detection[J].Frontiers in Plant Science，2016，7：1419.

[4] Brahimi M，Boukhalfa K，Moussaoui A.Deep learning for tomato diseases：classification and symptoms visualization[J].Applied Artificial Intelligence，2017，31（4）：299-315.

[5] 黄双萍，孙超，齐龙，等.基于深度卷积神经网络的水稻穗瘟病检测方法[J].农业工程学报，2017，33（20）：169-176.

[6] 龙满生，欧阳春娟，刘欢，等.基于卷积神经网络与迁移学习的油茶病害图像识别[J].农业工程学报，2018，34（18）：194-201.

[7] 郑一力，张露.基于迁移学习的卷积神经网络植物叶片图像识别方法[J].农业机械学报，2018，49（S1）：354-359.

[8] 赵立新，侯发东，吕正超，等.基于迁移学习的棉花叶部病虫害图像识别[J].农业工程学报，2020，36（7）：184-191.

[9] 许景辉，邵明烨，王一琛，等.基于迁移学习的卷积神经网络玉米病害图像识别[J].农业机械学报，2020，51（2）：230-236，253.

[10] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[11] 石祥滨，房雪键，张德园，等.基于深度学习混合模型迁移学习的图像分类[J].系统仿真学报，2016，28（1）：167-173，182.

[12] 庄福振，罗平，何清，等.迁移学习研究进展[J].软件学报，2015，26（1）：26-39.

[13] 黄家才，舒奇，朱晓春，等.基于迁移学习的机器人视觉识别与分拣策略[J].计算机工程与应用，2019，55（8）：232-237.

[14] 刘嘉政.基于深度迁移学习模型的花卉种类识别[J].江苏农业科学，2019，47（20）：231-236.

[15] 郑泽宇，顾思宇.TensorFlow：实战Google深度学习框架[M].北京：电子工业出版社，2017.

[16] 郑远攀，李广阳，李晔.深度学习在图像识别中的应用研究综述[J].计算机工程与应用，2019，55（12）：20-36.

【通联编辑：唐一东】65E71114-E2A4-42E9-96FB-4A0F5E09D398