基于物联网和深度卷积神经网络的冬枣病害识别方法

张善文，黄文准，尤著宏

(西京学院 信息工程学院， 陕西 西安 710123)

基于物联网和深度卷积神经网络的冬枣病害识别方法

张善文，黄文准，尤著宏*

(西京学院 信息工程学院， 陕西 西安 710123)

针对传统的作物病害识别方法中人为提取的分类特征，对复杂作物病害图像的形状、光照和背景比较敏感等问题，提出一种基于物联网和深度卷积神经网络(DCNN)的冬枣病害识别方法。DCNN由1个输入层、4个卷积层、3个下采样层、1个全连接层和1个输出层组成。利用该方法能够提取冬枣病害图像的有效特征，并识别病害类型，避免了传统作物病害识别方法中繁琐的特征提取过程。在4种冬枣病害果实数据库上进行了冬枣病害识别实验，识别率达到92%以上。试验结果表明，该方法适合利用物联网采集的大规模视频病害图像进行冬枣病害识别。

冬枣病害识别；冬枣病害图像；深度卷积神经网络(DCNN)；特征提取

冬枣是我国近年来兴起的第二代水果，甘甜味美，营养丰富，被誉为“百果之王”和“活维生素片”。近年来冬枣病害严重影响了冬产量和质量，常见的主要病害包括锈病、炭疽病和烂果病等10多种。目前冬枣病害的诊断基本上凭借植保专家和果农往年的经验，通过人工观察果树发病症状，再与已有的病害症状图片和文字解释做比较进行病害诊断。由于不同大棚的冬枣的自然生长环境差异较大，以及冬枣病害症状的复杂多样性，所以人工观察方法经常出现偏差。随着计算机、图像处理和物联网技术的发展，出现了很多基于计算机的作物自动识别方法[1-3]，其识别原理基本相同：首先对采集的病害图像进行预处理，然后提取分类特征，再选择分类器进行病害识别。这些方法在很大程度上关于提取什么特征以及提取多少特征等问题具有盲目性。现在能够利用果园大棚内的视频摄像设备实时采集病害叶片和果实图像，然后通过互联网传送到远程计算机，再利用计算机自动识别病害类型[4-6]。然而，由于作物病害图像的复杂多样性，特别是物联网视频设备采集到的病害图像是海量、高度冗余、含噪(图1)的，使得很多传统的作物病害识别方法不能有效地从这些图像中提取出较好的特征。深度学习是一个新的机器学习研究领域，通过更“深”层次的训练，可以很好地模拟人脑运作，解决复杂的图像和语音识别等实际问题。深度学习能够自主学习病害图像的特征，减少人工干预，提高图像识别效率[7-9]。本文在深度学习模型及其应用研究的基础上，提出一种基于深度卷积神经网络(DCNN)的冬枣病害识别方法。该方法能够从病害图像中自动学习良好的病害识别特征，从而克服了人工选取特征的盲目性。通过试验，该方法在冬枣病害识别中取得了较好的识别效果。

1 深度卷积神经网络(DCNN)

DCNN已成为语音分析和图像识别等众多科学领域的研究热点。由于该网络可以直接输入原始图像，避免了传统图像识别算法中复杂的图像预处理、特征提取和选择等过程，因而得到了广泛的实际应用[9-10]。权值共享网络结构使之更类似于生物神经网络，降低了网络的复杂度，减少了权值的数量。该网络提取的特征对图像的平移、比例缩放、旋转等形变具有高度不变性。图2为DCNN的一般结构，由1个输入层、3个卷积层、2个下采样层、1个全连接层和1个分类层组成。由图2看出，DCNN是一个多层神经网络，每层由多个二维特征平面组成，每个平面由多个相互独立的神经元组成，卷积层与下采样依次连接，最后由全连接层输出特征到分类层。

DCNN的两个重要操作是卷积和下采样，DCNN通过卷积能够得到更有效的特征；下采样即降采样操作。在图2中，第一个卷积层对图像的邻域进行卷积得到图像的局部邻域特征，即对图像的每个小区域都进行卷积运算，后面卷积层的神经元对前一层的局部感受也进行卷积运算提取特征，而下采样层对上一层得到的特征的相邻像素之间进行取平均或最大值的操作，得到新的特征映射图。多次重复上述步骤，并把最后得到的特征值连接成一个向量输入到最后的分类层，得到识别结果。其中，卷积核被看作训练参数，卷积层被看作对输入图像进行“抽象”的操作，经过几次卷积后，能够提取出图像的“特征值”。卷积操作具有平移不变性，能够支持神经元学习到鲁棒性较高的特征；下采样层是在一个小区域内，使用池化方法将小邻域内的所有特征点整合得到一个新的特征，即对图像进行二次采样，通过减小中间过程产生的特征图的维数，从而减小参数规模，降低计算复杂度，也可以防止过拟合。下采样层的空间尺寸不应太大，太大会丢失较多结构信息。也有人不建议设置下采样层，而是在卷积层增大步幅来降低图像尺寸；全连接层是一维向量构成的网络层，是对输入数据的特征表达。卷积层的每幅特征图表示图像的一种特征，层数越高，特征越抽象，设置全连接层的目的是将底层各特征图的特征结合到一起，然后采用分类器进行分类。图2的全连接层中设计的神经元个数是2 048，每个神经元都与上一层全部的神经元相连接。

图1 冬枣病害图像示例Fig.1 Winter jujube disease images

图2 基于DCNN的冬枣病害识别模型结构示意图Fig.2 Net architecture of DCNN for winter jujube disease recognition

DCNN一般采用Softmax作为输出层的分类器进行病害类型识别，输出不同预测结果的概率分布，通过调整参数，使得正确标签对应的概率最大[11]。假设图像训练集中有C类病害的N幅病害图像，经过卷积、下采样以及全连接操作后，得到的第i幅图像的特征向量和对应的类别标签记为(x(i)，r(i))(i=1，2，…，N)，其中ri∈{1，2，…，C}。则在输出层的Softmax分类器的输出为：

(1)

式中，wi为全连接层中2 048个神经元与Softmax分类器的i个输出神经元相连接的权重。

利用Softmax分类器的DCNN的损失函数为

(2)

式中，t为由模型的激励函数f(x)=max(0，x)输出的一个C×1矩阵，tlable为训练样本标签，是一个C×1的二值矩阵。

DCNN模型训练的优劣主要由损失函数确定，训练与测试的损失值越低，则模型训练得越好。在Softmax输出层前加入dropout层[12]，利用dropout方法随机断开下采样层的网络节点，所以实际的训练参数就会减少，由此可以有效抑制模型的过拟合，提高算法的泛化能力。采用dropout方法的DCNN与传统的神经网络训练类似，利用随机梯度下降法求解模型参数。DCNN通过前向传播计算DCNN的实际输出值，然后计算实际输出值与理想输出值的差，构造误差损失函数：

(3)

模型训练目的就是最小化损失函数值。模型中的损失函数，在训练阶段用于评估网络输出结果与实际值的差异。然后用损失函数的值更新每个神经元之间的权重值。DCNN中的激励函数，根据一系列的输入值，神经元之间连接的权值以及激励规则，刺激神经元。

2 基于DCNN的冬枣病害识别方法

将DCNN应用于冬枣病害识别问题中，其识别过程流程图如图3所示。

主要步骤描述如下。

步骤1：对每一幅输入的彩色冬枣病害图像进行归一化和ZCA (zero-phase component analysis)白化等预处理。ZCA白化是在保证数据各维度的方差相等的同时去除它们之间的相关性，降低输入数据的冗余，且尽量保持原数据不变。

步骤2：将预处理后的彩色图像任意划分为训练集和测试集。将训练集中的每幅彩色图像的三个颜色通道分别送到一个单独的DCNN进行训练，训练后分别得到对应的特征表示，使用全连接将训练的特征维数降低，且保留输入图像的大部分信息。在DCNN中需要利用有标签数据微调训练整个网络的参数。

图3 基于DCNN的冬枣病害识别流程图Fig.3 Flowchart of winter jujube disease recognition based on DCNN

步骤3：利用训练集图像得到的特征向量再训练分类器。

步骤4：将测试集图像输入到训练好的DCNN，得到特征向量，再将其输入到训练好的分类器进行病害分类识别。

3 结果与分析

为了验证本文提出的冬枣病害识别方法的有效性，在陕西省大荔县冬枣大棚果园的物联网监控视频中采集冬枣常见的炭疽病、烂果病、缩果病、黑点病4种病害果实各100幅图像，进行病害识别实验。图4为病害图像示例。通过MATLAB R2013a及其深度学习工具箱(Deep Learn Toolbox-master)进行仿真实验，实验平台为基于Windows 7操作系统的工作站(Intel(R) Xeon(R) E5-2650 v2 CPU and 32 GB 内存)。

由于目前没有公开的冬枣病害图像数据库，而深度学习模型训练需要大量的样本，所以我们通过旋转、颜色和亮度变化、尺寸缩放等，将一幅图像扩充为50幅图像，由此模拟基于物联网监控视频的多种自然环境条件，则共得到4种病害的图像4×100×50=20 000幅。图5为一幅图像经过旋转等变化得到的20幅图像。

A, 炭疽病Anthracnose B, 烂果病Rotten fruit disease

C， 缩果病Shrink fruit disease D， 黑点病Black spot图4 冬枣病害果实图像及其分割的病斑图像Fig.4 Winter jujube disease images and corresponding spot images

由于冬枣病害图像复杂、多样，需要将每幅图像裁剪为大小148×148，对每幅病害图像进行ZCA白化和归一化预处理，降低图像之间的相关性，然后利用K-均值聚类分割方法分割出病斑图像，处理结果见图6所示。图4给出了4种病害果图像对应分割的病斑图像。

将4种病害的400幅原始图像对应的病斑图像组成数据库1，将扩展后的20 000幅图像对应的病斑图像组成数据库2。下面分别在两个数据库中进行病害识别实验，验证本文提出的方法的有效性。由于SVM分类器对大数据高维特征的分类性能较好，所以分类器选择SVM代替Softmax分类器。

(1) 从数据库1中的每种病斑图像中任意选择80幅共320幅作为训练集，其余的共80幅作为测试集。由于该数据库1中图像不够多，不足以满足DCNN训练需求，我们对图像进行分代重复使用，即训练图像随机打乱一次称为一代，对于每一代图像，按照每批80幅图像从头到尾进行读取，载入内存进行训练。一代图像使用完毕后重新随机打乱图像，进入下一代训练。

(2) 从数据库2中的每种病斑图像中任意选择4 000幅共16 000幅作为训练集，其余的共4 000幅作为测试集。

训练集用于训练DCNN模型以及SVM分类器，测试集用于测试所提出的方法的性能。图2只是一个DCNN样例，在实际应用中可以增加卷积层、下采样层和全连接等提供模型性能。计算训练集病斑图像的均值，在训练和测试模型时，将输入图像减去训练集的均值，能够降低数据间的相似性和相关性，提高训练速度。为了得到一个适合用于病害识别的DCNN模型，首先在分割出的彩色病斑图像上进行对比实验，选择彩色测试集病斑图像上的分类精度高的方法作为最终病害识别模型。经过在训练集和测试集上的多次实验验证，本试验针对病斑图像数据库所设计的DCNN的结构为5个卷积层、4个下采样层和2个全连接层。病害识别过程如图3所示。利用DCNN逐层提取病斑图像的高维分类特征，训练DCNN和SVM的参数。在DCNN训练过程中，卷积模板选择为9×9×3，再以4个像素大小的步长对输入图像进行卷积，病斑图像及其各个卷积层、下采样层和全连接层的维数大小见图2。训练完成后，能够实现从病斑图像中提取到病害类型的映射，即根据病害果实的症状通过DCNN和SVM判断出病害的类型。网络构建中利用线性修正单元(ReLUs)作为各卷积层的网络输出函数，数，能够加快网络的计算速度。在池化层采用dropout方法随机断开网络节点，防止算法的过拟合，在网络微调中采用随机梯度降法逐层计算DCNN的参数。采用自适应学习率的动量梯度下降法优化模型，为保证学习的稳定性将学习率设置为0.01，迭代1 000次后学习率减为0.001，训练目标为0.001，权重衰减系数为0.001，最大训练次数为500。为了表明本文所提出的方法的有效性，我们与3种果实病害识别方法进行比较：改进的和差直方图(ISDH)[11]、基于颜色、纹理和形状特征(CTS)[13]和基于图像处理(IP)[14]。识别结果如表1所示。

图5 由一幅图像经过旋转和扰动以及颜色、亮度变化得到的20幅图像Fig.5 Twenty images generated by rotation， color and brightness changes of a disease image

A， 原始图像; B， 灰度图像; C， ZCA白化; D， 白化彩色图像; E， 分割的病斑; F， 分割的彩色病斑A， Original image; B， Gray image; C， ZCA whiten; D， Whiten color image; E， Segment lesion; F， Color lesion图6 病害图像的预处理Fig.6 Preprocessing of disease images

由表1看出，本文方法在数据库2上的识别率很高，但在数据库1上的识别率很低。原因是数据库1不够大，不能适合一个多层的DCNN模型。其他三种方法在数据库1上识别率都高于在数据库2上，其原因是利用传统基于特征提取的病害识别方法提取的分类特征对图像的旋转、光照变化等比较敏感。而利用深度学习模型能够学习到比较有用的、对图像的旋转和光照等具有不变性的特征。通过综合比较，本文提出的冬枣病害分类模型在大型数据库上有着明显的优势，能够应用于基于物联网的冬枣病害识别系统。

表1四种方法在两个数据库上的识别率和方差

Table1The recognition rates and variances on two databases by four methods %

方法MethodISDHCTSIP本文方法Ourmethod数据库1Database184.53±2.6186.53±3.3583.16±2.4161.35±6.42数据库2Database283.23±1.5682.23±2.8380.16±2.6292.35±2.17

4 结论

基于物联网的作物病害识别方法研究一直是计算机视角、复杂图像处理和机器学习领域的一个重要的研究方向。由于作物病害图像的复杂性，使得很多作物病害识别方法不能提取到较好的分类特征。本文将DCNN应用于冬枣病斑图像识别中，能够学习到较好的稳定的分类特征，避免了传统的特征提取方法的不足，而且这些特征对图像的旋转、光照和缩放具有较好的不变性。在4种冬枣常见病害的数据库上进行了实验验证，结果表明本文提出的方法在大型病害图像数据库上是有效可行的。同时可以看到，与经典的特征提取方法相比，本文提出的基于DCNN的病害识别方法中模型结构设置、参数选择与调节等都比较复杂，而且利用不同的参数学习到的特征对图像的表示不同。如何较快设置模型结构、选择合适参数和采取较好的训练方式等问题是我们下一步需要重点解决的问题。

[1] 杨国安.冬枣病虫害综合防治技术[J].北京农业，2015(19):46-47.

YANG G A. Winter jujube diseases and pests comprehensive prevention and control technology[J].BeijingAgriculture，2015(19):46-47. (in Chinese)

[2] 李新良，秦玉玲.枣树主要病虫害的防治措施[J].现代园艺，2016(13):147-148.

LI X L， QIN Y L. The main measures of prevention and control of diseases and pests of winter jujube[J].ModernGardening， 2016(13):147-148. (in Chinese)

[3] 王永，刘芹，张兴甫.冬枣黑斑病的识别和防治研究[J]. 湖北植保，2016(4):46-50.

WANG Y， LIU Q， ZHANG X F. The identification and control of winter jujube black spot[J].HubeiPlantProtection，2016(4):46-50. (in Chinese)

[4] 陈光绒，李小琴.基于物联网技术的农作物病虫害自动测报系统[J].江苏农业科学，2015， 43(4): 406-410.

CHEN G R， LI X Q. Automatic monitoring and forecasting system for crop diseases and pests based on Internet of things technology[J].JiangsuAgriculturalSciences，2015， 43(4): 406-410. (in Chinese with English abstract)

[5] 王翔宇，温皓杰，李鑫星.农业主要病害检测与预警技术研究进展分析[J].农业机械学报， 2016.09: 271-282.

WANG X Y， WEN H J, LI X X. Research progress on detection and early warning technology of major diseases in agriculture[J].TransactionsoftheChineseSocietyforAgriculturalMachinery， 2016.09: 271-282. (in Chinese with English abstract)

[6] 李建荣.大区农业中病虫害灾变临界的物联网监控[J].计算机仿真，2014，31(4):229-232.

LI J R. IOT monitoring of cataclysm crisis in regional agricultural plant diseases and insect pests[J].ComputerSimulation， 2014，31(4):229-232. (in Chinese with English abstract)

[7] SCHMIDHUBER J. Deep learning in neural networks: An overview[J].NeuralNetworks， 2015， 61:85-117.

[8] LI S， CHAN A B. 3D human pose estimation from monocular images with deep convolutional neural network [M]// CREMERS D， REID I， SAITO H， et al. Computer Vision—ACCV 2014. Springer， Cham， 2014:332-347.

[9] SLADOJEVIC S， ARSENOVIC M， ANDERLA A， et al. Deep neural networks based recognition of plant diseases by leaf image classification[J].ComputationalIntelligence&Neuroscience， 2016 (6):1-11.

[10] PIERRE B， PETER S. The dropout learning algorithm[J].ArtificialIntelligence， 2014， 210: 78-122.

[11] 吴军， 肖克聪. 基于深度卷积神经网络的人体动作识别[J]. 华中科技大学学报(自然科学版)， 2016， 44(S1):190-194.

WU J， XIAO K C. Human activity recognition based deep convolutional neural networks[J].JournalofHuazhongUniversityofScienceandTechnology(NatureScienceEdition)， 2016， 44(S1):190-194. (in Chinese with English abstract)

[12] DUBEY S R， JALAL A S. Fruit disease recognition using improved sum and difference histogram from images[J].InternationalJournalofAppliedPatternRecognition， 2014， 1(2):199-220.

[13] DUBEY S R， JALAL A S. Apple disease classification using color， texture and shape features from images[J].SignalImage&VideoProcessing， 2015， 10(5):819-826.

[14] SHERLIN V， NAYANA S， SWAPNALI Y. Learning-based fruit disease detection using image processing[J].InternationalJournalofInnovativeandEmergingResearchinEngineering， 2016， 3(2):96-100.

(责任编辑张 韵)

Recognitionmethodofwinterjujubediseasesbasedoninternetofthingsanddeepconvolutionalneuralnetwork

ZHANG Shanwen， HUANG Wenzhun， YOU Zhuhong*

(CollegeofInformationEngineering，XijingUniversity，Xi’an710123，China)

Focusing on the problem of traditional crop disease recognition methods that the artificially designed features are more susceptible to the crop disease image shapes， illumination and background， a recognition method of jujube disease was proposed based on the internet of things and deep convolutional neural network (DCNN). The network model was composed of input layer， 4 convolutional layers， 3 down-sampling layers， fully-connection layer and output layer. The proposed method can extract effective features of winter jujube disease image and recognize the diseases， avoiding the complicated feature extraction process of the traditional crop disease method. The proposed method was verified on the winter jujube fruit disease database， and the recognition rate was above 92%. The experimental results showed that the proposed method was suitable for winter jujube disease recognition on the large-scale disease database collected by internet of things.

winter jujube disease recognition; winter jujube disease image; deep convolutional neural network; feature extraction

张善文， 黄文准， 尤著宏. 基于物联网和深度卷积神经网络的冬枣病害识别方法[J]. 浙江农业学报， 2017，29(11)： 1868-1874.

10.3969/j.issn.1004-1524.2017.11.13

2016-07-12

国家自然科学基金项目(61473237)；陕西省自然科学基础研究计划(2016GY-141)

张善文(1965—)，男，陕西西安人，博士，教授，研究方向为模式识别及其应用。E-mail: wjdw716@163.com

*通信作者，尤著宏，E-mail: youzhuhong@xijing.edu.com

TP391.41

A

1004-1524(2017)11-1868-07