基于k-means分割和迁移学习的番茄病理识别

黎振 陆玲 熊方康

摘要：针对有背景干扰的番茄病理叶片，将k-means分割与迁移学习相结合，提出一种基于k-means分割和迁移学习的方法对番茄病害叶片进行识别。首先对原始图像进行一系列预处理，再将处理后的图像进行k-means分割，得到叶片边缘的最小矩阵图像，之后进行去噪处理，简化突出图像特征，再根据预处理后的图像特点，优化改进迁移的VGG16网络结构，构建 CNN 模型对预处理后图像进行识别。结果显示，通过分割后训练方式平均精度提升了0.37百分点，通过冻结迁移的VGG16网络第1个卷积模块并修改全连接层的方法提升了5.4%左右。因此本研究认为通过分割、冻结VGG16第1个卷积层模块的参数并修改全连接层可以提升番茄病理识别率。

关键词：农作物病虫害;k-means分割;卷积神经网络;迁移学习;VGG16

中图分类号： TP391.41文献标志码： A

文章编号：1002-1302（2021）12-0156-06

收稿日期：2020-11-07

基金项目：国家自然科学基金（编号：61761003）。

作者简介：黎 振（1997—），男，江西南城人，硕士，主要从事深度学习和图像处理研究。E-mail：243502783@qq.com。

通信作者：陆 玲，硕士，教授，硕士生导师，研究方向为计算机图形学，数字图像处理，计算机可视化。E-mail：luling@ecit.cn。

农作物病虫害一直是农业领域面临的巨大挑战之一，它不仅会影响农业生产，还会影响食品安全[1] 。根据相关统计和分析，从2015年到2019年，全国农作物病害的受灾面积从1 926万hm2到 2 176.98万hm2 不等。根据全国农业技术推广服务中心的预测，2020 年我国农作物病害的受灾面积将累计达到 3 亿 hm2，造成相当大的粮食与经济损失[2]。其中马铃薯晚疫病在西南大部、东北北部、华北北部和西北东部产区偏重流行，风险高，发生面积2 800万亩（1 hm2=15亩）。为了更好地预防番茄病虫害的发生，快速检测出属于哪种病虫害是预防病虫害最主要的方法之一。由于病害的症状复杂多变，业余人员对病理的诊断往往存在较大偏差，只有专业人员才能进行准确的识别;但人工识别所消耗的时间也较长，还需要耗费大量的人力物力进行诊断[3]。因此，研究快速准确检测马铃薯病害的诊断系统变得至关重要。随着计算机视觉与神经网络的快速发展，图像识别率不断增高，人工智能技术正逐步应用于农作物耕作、采摘、病害检测等方面[4]。

随着图像处理技术的发展，越来越多的研究人员使用数字图像处理技术对农作物进行识别。田海韬等从彩色空间中利用欧式距离直接分割芽眼区域，在灰度空间中对图像进行中值滤波后利用模糊技术对图像进行增强，之后利用动态阈值分割法分割芽眼区域，结合2个空间的分割结果后利用数学形态学处理方法标记出芽眼，最终得到识别率为96%左右[5]。郭小清等通过选择HSV（hue，saturation，value，色相，饱和度，色明度）模型中的4维H分量等量分割波段作为颜色特征，基于灰度差分統计的均值、对比度和熵3维特征作为纹理特征，融合7维特征向量作为支持向量机（SVM）分类器的输入，用粒子群算法（PSO）优化SVM模型参数，最终得到识别率平均为90%[6]。

上述识别方法既有优点又有缺点，传统的数字图像处理方法具有应用广泛、处理精度高、灵活性高等特点，但处理后的图像需要在专业人员的指导下进行观察与评估。已有研究证明卷积神经网络识别图像不需要执行繁琐的预处理、特征提取以及特征分类的步骤。曾伟辉等提出了一个高阶残差卷积神经网络，包含5层卷积层，4个残差模块，1个全局平均池化层和1个Softmax层对农作物病害进行识别[7]。张建华等利用卷积神经网络直接从输入数据的原始表示中学习有用的叶片特征，证明使用深度学习的混合局部-全局特征学习方法可以提高识别性能[8]。经过训练的模型可以很快地对图像进行分类，但训练大型神经网络是非常耗时的，且需要大量的数据集对网络进行训练。迁移学习通过迁移在大型数据集上训练过的模型参数，来对现有数据集进行训练。Lee等在VGG-16网络模型基础上，优化全连接层层数，并用6标签SoftMax分类器替换原有VGG-16网络中的SoftMax分类器，优化了模型结构和参数，通过微型迁移学习共享预训练模型中卷积层与池化层的权值参数[9]。余小东等采用迁移学习方式并结合深度学习提出了一种基于残差网络（ResNet 50）的 CDCNNv2 算法，通过对农作物进行病害识别，最终识别率在91%左右[10]。Lee等使用迁移VGG16并搭配Adam优化器来对大豆豆荚进行识别，识别率高达98.41%[9]。

结合上述的研究方法，本研究提出了一种基于 k-means 分割和迁移学习的方法对番茄病理进行识别，可以在减少训练时间的同时，加快模型的收敛速度。首先对数据集进行k-means分割等预处理方法简化突出数据特征，根据处理后的数据特点改进迁移的VGG16模型，构建识别迁移学习模型识别番茄病害，最后通过试验，验证了本方法的有效性。

1 图像数据集

本研究采用公开数据集AI Challenger 2018 所提供的11 494张马铃薯病理图像作为数据集，此数据集共包含9类病害图像（白粉病、早疫病、晚疫病、叶霉病、斑点病、斑枯病、红蜘蛛损伤、黄花曲叶病病毒、花叶病病毒）和1种健康图像（图1）。

2 数据预处理

为了减小背景、光照等其他干扰因素的影响，首先对原始图像进行去噪，再对图像进行分割，选取叶片的最小矩阵区域，简化突出图像的特征，便于神经网络模型能够更加准确的对叶片病理特征进行识别。图像预处理的整体流程如图2所示。

2.1 去噪和k-means分割

由于原始图像中有些斑点状的噪声，为了减少这些噪声对选取叶片边界的影响，使用高斯滤波对图像进行去噪。本研究主要采用的高斯核是3×3的高斯核：

116121

242

121

由于高斯核中的数值满足高斯分布，所以更加重视中心的像素点，能在好的去噪情况下，将特征更好地显现出来（图3）。

k-means算法：先从样本集中随机选取K个样本作为簇中心，并计算所有样本与这K个簇中心的距离，對于每一个样本，将其划分到与其距离最近的簇中心所在的簇中，对于新的簇计算各个簇的新的簇中心。对于图像数据而言，可将图像的像素值进行聚类，颜色即像素值相近的像素会形成一类。

根据聚类中心，将所有样本点分为最相似的类别。这需要一个有效的盘踞，平方差是最常用的度量方式，如下：

c（i）=minj‖x（i）-μj‖;（1）

μj=1|ci|∑X∈ciX。（2）

式中：x（i）为像素点，i=1，2，…，n，共n个像素点;c（i）为x（i）最相似的类别，即x（i）被分至该类，j=1，2，…，K，共K个类别。

通过k-means聚类算法，将相同像素值聚为一类，聚类后结果如图4所示。

根据聚类后的图像，发现前景的像素值更低，为了更好地区分前后景，之后将聚类后图像进行阈值处理（图5）。

由于阈值处理后有些背景也被算法当成是叶片的边界，所以先通过中值去噪的方法将图像中的干扰因素降低，再通过形态学操作将背景中的干扰因子去除，使得叶片的边界能清晰地显现（图6）。

此时，背景部分就没有干扰因素对叶片的边界发生干扰了，然后笔者所在课题组通过OPENCV中的FindContours函数找到叶片的最小外界矩阵。通过最小外界矩阵对原彩色图像进行分割，截图到叶片区域，减少了背景对叶片特征提取的干扰。截取结果如图7所示。

由于神经网络的输入图像大小一般为256×256且为了防止出现模型过拟合，将分割后像素值小于256的图像进行像素值重新调整操作，使图像的像素值大于或等于256。

2.2 数据增强

卷积神经网络可能会由于数据不足存在过拟合问题，过拟合使模型泛化能力变差，不能很好地运用在新的数据集检测上，为了防止出现过拟合问题，本研究采取数据增强的方法来防止模型过拟合。将分割后的图片进行随机旋转、平移、加光照、人工加噪和镜像等操作对图像数据进行增强。使得神经网络能更好和更多地学习到数据特征。为了作比较，本研究将原图像数据集进行同样的数据增强操作，以此来与分割后再增强的数据集作对比。将11 494张原始图像增强到24 551张图片，按照 9 ∶1 的比例划分训练集和测试集。

3 迁移学习模型

3.1 迁移学习

近几年，迁移学习[10]逐渐成为深度学习中的一个热门领域。由于从头训练一个新的高性能的卷积神经网络所需要耗费的时间很长，而且需要大量的数据对网络进行训练，过程显得十分漫长。在实际应用中往往拥有的数据无法对一个全新的网络进行训练，但又想利用深度学习的高性能分析能力，所以迁移学习应运而生。迁移学习是运用已有的知识对不同相关领域问题进行求解的一种机器学习方法，其目标是完成知识在相关领域之间的迁移[11-13]。本研究利用迁移预训练网络模型的方法进行试验[这些预训练模型已在大型数据集（ImageNet）大赛上训练好，具有很强的鲁棒性和泛化能力][14]。本研究迁移的是VGG16网络模型，VGG16是由牛津大学计算机视觉组开发的一个卷积神经网络结构，至今仍被认为是一个具有较强性能的图像识别模型，该网络主要特点是网络结构简单并且易于实现，使得其具有研究价值。

VGG网络中通过堆叠2个3×3的卷积核替代5×5的卷积核，堆叠3个3×3的卷积核替代7×7的卷积核，一方面减少了参数的数量，另一方面通过这种方法进行了更多的非线性映射，提高了模型的拟合能力。

3.2 模型构建

卷积神经网络直接用原始图像的全部像素作为输入，进行卷积池化等操作，找寻使特征表达最优的参数。结合卷积神经网络的知识，卷积神经网络的前几层主要提取图像的边框特征[15]，研究图像经过VGG16神经网络每卷积模块后的特征图（图8）。

通过特征图的观察，发现经过第1个卷积层模块后的图像，背景部分还比较清晰，下一次卷积层模块还会继续提取图像背景的特征，但随着卷积模块的深入，所提取的特征更倾向于叶片的特征。由于迁移学习迁移的是网络的权重，对于提取图片边缘特征的卷积层模块，可以冻结模块的权重，对于提取图像内部关键特征的卷积层模块，可以重新训练权值。首先笔者所在课题组对迁移的VGG16模型进行微调，将在Image数据集上训练好的VGG16网络模型进行迁移，然后对其全连接层进行修改，并在最后一层后接上一个改进的softmax逻辑分类器[16]。

然后，在修改后的VGG16网络结构（图9）中，冻结第1个卷积层模块的权重[17]，训练剩下卷积层模块的权重，让模型能更好地对图像的核心特征进行提取，减少一些边缘特征对最后准确率的影响。

4 试验与结果分析

4.1 试验环境

本试验均在Window10中实现，运行环境是Jupyter Notebook，使用开源深度学习框架Pytorch作为开发环境，设置初始学习率为0.001，并随着网络的收敛程度进行下降，使用Adam优化器对网络的评估和参数进行优化[18-20]。试验过程中采用NIVIDIA GTX2060GPU对模型训练进行加速，存储采用 16 G 的内存，CPU采用i5-10400F。

4.2 试验方法与结果

本研究主要设置了4组试验，比较普通数据增强和使用k-means分割后的数据增强的识别率以及只修改训练全连接层和冻结1个模块训练剩下模块的识别率。首先设置试验1，比较使用k-means分割和未使用k-means分割进行数据增强后两者的差异，同时设置一个未使用任何数据增强用来做对照。结果见表1。

其中Data1表示普通数据增强，Data2表示先对原有图像进行k-means分割后，再进行数据增强，Data3表示未进行任何数据增强。

表1结果显示，使用k-means分割后的识别率和损失值都要优于使用k-means分割。在识别率上提升了0.37百分点。同时可以看出，使用任何方式的数据增强都要比不做数据增强的方法识别率高。使用通过k-means分割后再增强的数据集比较只训练全连接层和冻结第1个模块训练其他模块的识别率，结果见表2。

其中VGG16表示冻结全部卷积层，只训练全连接层，N-VGG16表示冻结第1个卷积层模块，训练其他层，A-VGG16表示重新开始训练一个新的VGG16模型。训练过程中只训练全连接层和冻结第1个模块训练其他模块的准确率变化曲线如图10所示。

由表2和图10可以看出，迭代训练10次后，冻结卷积层训练全连接层和冻结第1个卷积层模块训练其他层的准确率均逐渐趋于稳定，且冻结第1个卷积层模块训练其他层准确率均优于只训练全连接层的VGG16网络，说明本研究通过冻结第1个模块训练其他模块的方法有效提升了网络的性能;训练完成后，冻结第1个模块训练其他模块在验证集上的准确率为97.92%，相比只训练全连接层提高了约4%。

5 结论

本研究提出一种将图像预处理与迁移学习相结合的方法，实现了对番茄病理的有效识别。

对于获取的原始图像，首先通过k-means分割、去噪等预处理操作简化突出其特征，再根据预处理后的图像特点对迁移的VGG16网络做出微调，并冻结第1个模块的权重，提升网络性能，构建改进迁移学习模型对番茄病理进行识别。

试验结果表明，本研究的方法对番茄病理的识别效果较好，并通过数据增强的方式，使其拥有较好的鲁棒性。可为后续研发番茄病理识别程序提供技术支持。下一步工作考虑如何提高对批量图像数据进行分割时，能较好地满足所有图片的需求，达到精准分割，并且能减少一些干扰因素如背景和前景相似时，能更好地对背景前景进行分割。

参考文献：

[1]Tai A P K，Martin M V，Heald C L. Threat to future global food security from climate change and ozone air pollution[J]. Nature Climate Change，2014，4（9）：817-821.

[2]姜玉英，刘万才，黄 冲，等. 2020 年全国农作物重大病虫害发生趋势预报[J]. 中国植保导刊，2020，40（2）：37-39.

[3]张 琦，张荣梅，陈 彬. 基于深度学习的图像识别技术研究综述[J]. 河北省科学院学报，2019，36（3）：28-36.

[4]Swietojanski P，Ghoshal A，Renals S. Convolutional neural networks for distant speech recognition[J]. IEEE Signal Processing Letters，2014，21（9）：1120-1124.

[5]田海韬，赵 军，蒲富鹏. 马铃薯芽眼图像的分割与定位方法[J]. 浙江农业学报，2016，28（11）：1947-1953.

[6]郭小清，范涛杰，舒 欣. 基于图像融合特征的番茄叶部病害的识别[J]. 湖南农业大学学报（自然科学版），2019，45（2）：212-217，224.

[7]曾伟辉，李 淼，张 健，等. 面向农作物病害识别的高阶残差卷积神经网络研究[J]. 中国科学技术大学学报，2019，49（10）：781-790.

[8]张建华，孔繁涛，吴建寨，等. 基于改进VGG卷积神经网络的棉花病害识别模型[J]. 中国农业大学学报，2018，23（11）：161-171.

[9]Lee S H，Chan C S，Mayo S J，et al. How deep learing extracts and learns leaf features for plant classification[J]. Pattren Recognition，2017，71：1-13.

[10]余小东，杨孟辑，张海清，等. 基于迁移学习的农作物病虫害检测方法研究与应用[J]. 农业机械学报，2020，51（10）：252-258.

[11]Tan C，Sun F，Kong T，et al. A survey on deep transfer learning[C]//27 International Conference on Artificial Neural Networks and Machine Learning-ICANN 2018. Rhodes，Greece，2018：270-279.

[12]闫壮壮，闫学慧，石 嘉，等. 基于深度学习的大豆豆荚类别识别研究[J]. 作物学报，2020，46（11）：1771-1779.

[13]刘嘉政. 基于深度迁移学习模型的花卉种类识别[J]. 江苏农业科学，2019，47（20）：231-236.

[14]龙明盛. 迁移学习问题与方法研究[D]. 北京：清华大学，2014：34-89.

[15]Krizhevsky A，Sutskever I，Hinton G E. ImageNet classification with deep convolutional neural networks[M]. Hinton E. Communications of the ACM，2017：6

[16]Jang Y H，Lee H，Hwang S J，et al. Learning what and where to transfer[C]. Proceeding of the 36th International Conference on Machine Learning，2019：3030-3039.

[17]白 洁，张金松，刘倩宇. 基于卷积网络特征迁移的小样本物体图像识别[J]. 计算机仿真，2020，37（5）：311-316.

[18]Huang G，Liu Z，Maaten L D，et al. Densely connected convolutional networks[C]//IEEE Conference on Computer Vision and Pattern Recognition.Hawaii，USA，2017：2261-2269.

[19]趙建敏，李 艳，李 琦，等. 基于卷积神经网络的马铃薯叶片病害识别系统[J]. 江苏农业科学，2018，46（24）：251-255.

[20]梁万杰，曹宏鑫. 基于卷积神经网络的水稻虫害识别[J]. 江苏农业科学，2017，45（20）：241-243，253.