基于深度学习的马铃薯病害智能识别

陈从平，钮嘉炜，丁 坤，姜金涛

(1. 常州大学机械与轨道交通学院，江苏 常州 213164；2. 内蒙古智诚物联股份有限公司，内蒙古 乌兰察布 012000)

1 引言

马铃薯生长过程中出现的各种病害严重影响了马铃薯的产量和品质，在大面积、无人化种植的情况下，需要通过信息化、自动化的手段来识别马铃薯生长过程中的病害，以提高马铃薯病害诊断的实时性与准确性。

机器视觉是目前用于监测作物生长期病害有效的技术手段之一，其原理主要是通过识别作物叶片病斑特征来对其进行病害诊断。在使用传统机器学习方法识别作物病害方面，范振军等[1]根据SIFT(Oriented FAST and Rotated BRIEF)[2]和ORB(Scale Invariant Feature Transform)[3]关键特征点提取病害的ROI区域，基于支持向量机(SVM)分类器融合纹理和颜色特征实现马铃薯病害识别。赵建敏等[4]使用最大类间方差法(OTSU)分割出马铃薯叶片中的病斑，再提取病斑颜色、形状和纹理特征使用SVM分类器完成马铃薯病害识别。Mohammadpoor等[5]使用模糊C均值算法突出显示每片葡萄叶的患病区域，最后使用SVM判断葡萄叶片是否患病。在使用深度学习方法识别作物病害方面，胡志伟等[6]基于注意力卷积块和残差卷积块提出注意力残差网络ARNet(Attention residual network)，采用44295张图片训练模型，实现番茄病害的识别。Bin Liu等[7]采集和扩充了107366幅葡萄叶图像，搭建密集的Inception卷积神经网络(DICNN)模型，能有效地识别葡萄叶病害。Wan jie等[8]提出了一种基于CNN的稻瘟病诊断系统，该模型在5808张患病图像的数据集上进行了训练，在识别准确度方面实现了令人满意的性能。

然而，虽然上述研究方法都能够在一定程度上有效地识别相应的病害，但均是以人工采摘出的独立叶片图像作为样本，忽略了作物生长环境中背景图像的干扰信息，而实际监测应该在真实的种植环境中进行，需要在复杂的背景下分割出叶片及叶片上的病斑图像，这给该技术的实际应用带来了极大的挑战。

本文以机器视觉在线监测马铃薯在真实的生长环境下的病害为研究对象，着重解决马铃薯叶片、病斑分割、病斑特征提取、病害类型诊断等关键技术问题。首先采用深度学习方法从复杂背景中分割出马铃薯叶片，经自适应增强后将叶片补图转换到HSV颜色空间，通过对补图的H分量像素值重新赋值实现病斑提取；最后构建一维卷积神经网络实现马铃薯病害的识别。

2 复杂背景下马铃薯叶片分割

由于实际场景中的马铃薯叶片处于复杂背景下，需要提取丰富的语义信息才能将叶片与背景准确分割。深度学习具有强大的语义提取功能，其中基于深度学习的DeepLabv3+网络采用了空间金字塔池化模块，能够在多尺度下获取马铃薯叶片图像的语义特征信息，提高了分割的准确率[9]，因此本文选择DeepLabv3+网络完成复杂背景下马铃薯叶片的分割。

2.1 数据集制作

在实际场景中拍摄600幅含病斑的马铃薯叶片图像，然后通过旋转、平移、亮度调整等操作将图像数量扩充至2000幅，其中1700幅图像用于训练马铃薯叶片分割模型，300幅图像用于训练和测试马铃薯病害识别模型，最后将图像调整为224×224分辨率，部分样本如图1所示。

图1 马铃薯叶片图像

2.2 语义分割模型

DeepLabv3+结构如图2所示，首先图像在Encoder部分经过Xception的特征提取模块提取特征图像，再将特征图像通过空间金字塔池化模块(ASPP)实现多尺度特征提取，最后使用1×1的卷积完成通道的压缩。在Decoder模块中，先将Encoder模块得到的特征信息通过4倍的上采样操作，后与Xception提取的特征信息经过1×1的卷积降维后进行拼接，再通过3×3的卷积进行特征融合，最后采用4倍上采样。对搭建的DeepLabv3+网络模型进行训练，并用训练好的网络对马铃薯叶片进行分割，部分结果如图3所示，可见获得了良好的分割效果。

图2 DeepLabv3+网络结构

图3 叶片分割

3 病斑提取

马铃薯病害类型主要由叶片病斑特征来体现，因而在诊断之前，还需要将病斑从叶片中分割。为提高病斑分割时边缘的准确性，首先对叶片图像进行增强，再求其补图，进一步转换到HSV颜色空间下，最后根据H分量对其上的病斑进行提取。

3.1 自适应对比度增强

由于已分割出来的叶片图像为RGB彩色图像，如果纯粹的分别对R、G、B三通道分量图像增强，并直接对增强后的三通道分量图像合并则会引起图像色相的变化，其图像颜色会发生改变，因此为解决增强后图像色相发生变化，首先将叶片图像由RGB颜色空间转换成HIS颜色空间，而H和S通道分别表示色调和饱和度不需要对其增强，所以只需对I(亮度)通道分量图像进行对比度增强。

设I(i，j)为(2n+1)×(2n+1)像素大小的窗口中心点的像素值，则点(i，j)的2n+1邻域内像素平均值m(i，j)和标准方差σ分别为

(1)

(2)

其中n为非负整数，k和l表示为在(2n+1)×(2n+1)像素大小的窗口内的坐标值。

9月，秋高气爽,硕果累累。清风送来凉爽，天空一片蔚蓝。我和夫人应中国兵器淮海集团的盛情邀请，前往山西长治，参加他们建厂80周年暨军民融合论坛等一系列活动。

令μ为I分量图像的全局像素平均值，β为[0，1]区间的参数值，则对I(i，j)增强后的像素值G(i，j)可表示为

(3)

对增强后的I通道分量图像与H、S通道分量图像重新合并，再转换合并后的图像颜色空间，由HIS颜色空间转换为RGB颜色空间，完成叶片图像的对比度增强。

设对比度增强后图像为Q，因为图像Q是R、G、B三通道图像，则其任意通道的互补像素值C(i，j)可表示为

C(i，j)=255-Q(i，j)

(4)

图像Q经过式(4)分别求出其R、G、B三通道分量图像的互补图像，对求出的各个分量的互补图像合并，最终得到图像Q的补图。

3.2 病斑分割

对自适应对比度增强后的叶片图像求出的补图进一步的利用颜色空间转换，转换到HSV颜色空间下，然后提取H分量，按式(5)对H分量重新赋值，进而获得病斑图像，并经形态学操作去除病斑周围可能存在的部分噪点，提取出完整的病斑，其过程和结果如图4所示。

(5)

其中H(i，j)表示对某像素点H分量的赋值，H.mean()表示H分量的平均像素值。

图4 病斑提取过程

4 病斑特征提取

马铃薯病害主要为早疫病和晚疫病，其病斑具有丰富的纹理、颜色和形状特征，其中，在纹理方面，早疫病会出现同心轮纹，而晚疫病没有类似的轮纹状纹理，因而该类特征易于用模型来量化描述；在颜色和形状方面，这两种病害的病斑均近似为褐色，且都近似于圆形，这两类特征难以用模型来完备地定义和提取。由于纹理特征属于人工定义的特征，不能够完整的描述病斑图像的表征信息，且人工定义的特征在特征学习和识别方面有一定的局限性，而深度学习网络模型提取的特征信息是人工无法定义的更深层次的抽象特征，因此采用深度学习网络进一步提取病斑特征。常用于提取特征的深度学习网络主要有VGG16[10]，ResNet[11]，AlexNet[12]等，其中VGG16在图像分类和检测方面都具有良好的效果并且结构简洁，所以采用VGG16网络提取病斑特征，并和纹理特征进行融合。

纹理特征提取方面，通过计算病斑灰度游程矩阵参数来反映图像中纹理的粗细、均匀程度和变化情况[13-14]，常用的灰度游程矩阵参数有11个，即短游程优势、长游程优势、灰度不均匀性、长游程不均匀性、游程百分比、低灰度级游程优势、高灰度级游程优势、短游程低灰度级优势、短游程高灰度级优势、长游程低灰度级优势和长游程高灰度级优势，各个参数的含义见表1所示。

采用VGG16网络实现特征提取，其结构如图5所示。将VGG16提取出特征向量记为N，并且和特征向量M拼接融合构成一维特征向量，记为X，X=[M，N]。

图5 VGG16网络结构

5 病害识别

由于最终融合出的特征向量X属于一维向量，因此搭建一维卷积神经网络进行病害识别。一维卷积神经网络虽然只有一个维度，但仍具备和CNN同样的优点，同时因为一维卷积神经网络处理的是一维向量，在卷积的过程中不会产生太多的参数，所以大大减少了计算量[15-16]。搭建如图6所示的一维卷积神经网络。

图6 一维卷积神经网络结构

以交叉熵作为损失函数对马铃薯健康叶、早疫病和晚疫病进行分类实验，每种类型选用70个样本进行训练，采用随机梯度下降方法训练模型，学习率设置为0.001，epoch设置为80，计算每轮epoch的损失并绘制如图7的损失曲线。

图7 损失曲线图

由图7可知，当模型训练到65个epoch时，损失值趋于稳定，表明模型已经收敛。

训练完成的模型通过计算准确率P、召回率R和F1的值来评价性能，其计算公式分别如下：

(6)

(7)

(8)

其中，FP、TP、FN和TN分别表示假阳性、真阳性、假阴性和真阴性。使用90幅测试样本输入模型测试，获得的混淆矩阵见表2所示，并且通过混淆矩阵计算出每种类型的准确率、召回率以及F1值分别见表3所示。

表2 混淆矩阵

表3 准确率、召回率和F1值

可见在90幅测试样本中，健康叶、早疫病和晚疫病都具有较好的识别准确率、召回率和F1值，在马铃薯病害识别方面达到较高的准确率，表明本文方法能准确有效地识别复杂背景下的马铃薯病害。

6 结论

本文提出了一种基于深度学习的马铃薯叶片病害智能识别的方法，面对复杂的背景通过语义分割网络Deeplab V3+分割出马铃薯叶片，接着使用自适应对比度增强方法增强病斑与叶片间的对比度并求出补图，然后对补图进行HSV的颜色空间转换，将H分量的像素值重新赋值实现病斑的提取。在识别方面，融合病班图像的纹理特征和采用VGG16网络获得的特征，利用搭建的一维卷积神经网络实现病害的识别，在准确率、召回率和F1值上都具有较好的效果。因此本文方法能够在复杂背景下准确的识别马铃薯病害。在后续的研究中，可以在叶片分割、特征提取等方面进一步优化处理，提高识别准确率。