基于自适应判别深度置信网络的棉花病虫害预测

王献锋，张传雷，张善文，朱义海



基于自适应判别深度置信网络的棉花病虫害预测

王献锋1，张传雷2※，张善文1，朱义海3

（1. 西京学院理学院，西安 710123；2. 天津科技大学计算机科学与信息工程学院，天津 300457；3. Tableau Software，西雅图 WA 98103）

作物病虫害预测是病虫害防治的前提，利用深度学习预测作物病虫害是一个有效且具有挑战性的研究课题。该文针对深度置信网络（deep belief network，DBN）在作物病虫害预测中的训练耗时长和容易收敛于局部最优解等问题，将自适应DBN和判别限制玻尔兹曼机（restricted boltzmann machine，RBM）相结合，利用棉花生长的环境信息，提出一种基于自适应判别DBN的棉花病虫害预测模型。该模型由3层RBM网络和一个判别RBM（discriminative restricted boltzmann machine，DRBM）网络组成，通过3层RBM网络将棉花生长的环境信息数据转换到与病虫害发生相关的特征空间，通过自动学习得到层次化的特征表示，再由DRBM预测棉花病虫害的发生概率。该模型将自适应学习率引入到对比差度算法中，通过自动调整学习步长，解决了在传统DBN模型训练时学习率选择难的问题；在学习过程中通过在DRBM中引入样本的类别信息，使得训练具有类别针对性，弱化传统RBM无监督训练时易出现特征同质化问题，提高了模型的预测准确率。对实际棉花的“棉铃虫、棉蚜虫、红蜘蛛”虫害和“黄萎病、枯萎病”病害的平均预测准确率为82.840%，与传统BP神经网络模型（BPNN）、强模糊支持向量机模型（SFSVM）和RBF神经网络模型（RBFNN）分别提高19.248%，24.916%和27.774%。

病害；预测；模型；棉花；深度置信网络；自适应判别

0 引 言

棉花在种植过程和整个生育期中会不断受到病虫害的影响，病虫害防治是棉花植保科技工作者和广大棉农长期以来所面临的主要问题。中国棉花病虫害约有40余种，其中发生频繁的“棉铃虫、棉蚜虫、红蜘蛛”虫害和“黄萎病、枯萎病”病害是棉田的主要病虫害，对棉花生产的危害范围大、持续影响时间长，而且造成的损失较大[1-2]。传统的病虫害识别和预测方法主要依靠农民和专家经验预测病虫害发生、判断病虫害种类以及受害区域和严重程度，再进行喷洒农药。该类方法的预测和识别效果主观性强，往往导致资源浪费和环境污染。研究表明，棉花病虫害的发生具有一定的规律，也是一个循序渐进的过程，棉花生长中后期是多种病虫害的高发期，而且棉花病虫害的发生、发展和流行与棉花生长环境的温度、湿度、降雨、风、光照和CO2等多种因素相关[3-4]。例如，雨水是棉花细菌侵染和传播的主要条件，适温、高湿有助于大多类病虫的繁殖和扩散，而CO2浓度有助于作物光合作用，从而提高作物对病虫害的免疫力。要防治病虫害，首先要预测病虫害的发生时期和识别病虫害的类别。利用农作物生长的环境信息预测病虫害发生和流行趋势，是当前计算机科学和模式识别等领域研究的一个应用性很强的研究方向[5]。刘俊稚[6]研究了几种典型植物对大气CO2浓度升高的生理和病理响应，指出了CO2浓度直接和间接地影响到作物病虫害发生。石盼[7]开发了一种基于物联网技术、无线通信技术等多种技术为一体的农作物病虫害诊断系统，通过农作物病虫害的视频采集与温度、湿度、CO2浓度等各种环境信息和专家诊断系统对作物病虫害进行检测和诊断，取得了较好的效果。随着遥感、互联网、物联网等技术的不断发展，为棉花病虫害准确预测和科学防治提供了可能[8-9]。赵庆展等[10]等设计了一套基于移动GIS的棉田病虫害信息采集系统，该系统以当前主流的Android/IOS手机操作系统为平台，运用GPS定位、离线地图加载、图形绘制等技术，实现了病虫害发生位置及属性信息的快速采集。赵冰梅等[11]预测了新疆兵团2017年棉花主要病虫害发生趋势，提出了相应的防治对策和综合防治措施，为棉花病虫害防治提供了参考。

农业物联网技术拓宽了农业病虫害预测的覆盖面，实现了实时在线的农作物病虫害的自动预警。基于农业物联网的农作物病虫害早期预测和初期检测已成为一个新的研究方向。陈光绒等[12]提出了一种基于物联网技术的农作物病虫害自动测报系统；王翔宇等[13]研究了农业主要病害检测与预警技术；张恩迪等[14]研发了一套基于物联网的农业虫害智能监控系统，能够自动采集农田环境信息、害虫数目。尽管现有的很多作物预测方法、技术和系统在一定条件下对一种或几种作物取得了较高的预测率。由于作物病虫害的发生和发展涉及到的因素很多，而且各个因素之间存在着复杂的相互作用和相互影响[15-16]，使得现有的作物病虫害预测模型的表达能力和泛化能力有限，预测准确率不高，很多预测模型还不能满足实际作物病虫害预测系统的要求。

深度学习是近年来人工智能和模式识别领域的一种新颖的、非常有效的机器学习方法，已经在植物物种识别和植物病害识别中取得了成功应用[17-18]。深度置信网络（DBN）是一种双向深度网络方法，具有较强的数据预测能力，被广泛应用于空气污染预报和交通流预测等实际问题[19-20]。Lü等[21]提出了一种基于深度自编码网络模型的交通流预测模型，取得了理想的预测精度；Hu等[22]提出了一种基于深度神经网络的短期风速预测方法，并通过仿真试验证明了深度神经网络在风速预测中的优越性；Zhao等[23]提出了一种基于深度学习的原油价格预测模型。由于DBN的每个限制波尔兹曼机RBM（restricted boltzmann machines，RBM）需要多次迭代更新权值参数，且每次迭代后权值更新的方向不尽相同，所以权值在更新过程中的每一步调节不一定一直向着损失函数减小的方向进行，可能导致网络的收敛速度降低，也可能出现“早熟”、难以收敛等问题。为此，出现了一些自适应DBN和监督式DBN模型[24-25]。尽管DBN及其改进方法都在一定程度上取得了较高的预测结果，但DBN在农作物病虫害预测中的应用的文献报道很少。由于作物病虫害发生受到多种环境因素的影响，准确地预测作物病虫害发生具有相当大的实用性和挑战性。本文将自适应DBN和判别DBN模型相结合，提出了一种基于自适应判别DBN（ADDBN）的棉花病虫害预测模型，并进行了试验验证。

1 材料与方法

1.1 数据获取与处理

1）数据采集。从2011年至2016年，每年的5月1日至9月30日，利用农业物联网传感器，在陕西省渭南市大荔县10个棉花种植示范基地采集棉花常见的、危害比较严重的“棉铃虫、棉蚜虫、红蜘蛛”虫害和“黄萎病、枯萎病”病害发生后5 d内的12种环境信息：发病季节、土壤盐分、土壤是否连种、土壤温度和湿度、空气温度和湿度、光照强度、雨日数、降水量、CO2浓度和农药使用次数[4,14]，从早上8点到下午5点采集日平均温度、日平均相对湿度和日平均光照。

2）环境信息离散化。参考文献[10,12]对环境信息进行离散化：将光照强度由强到弱设置为4个等级：0.7、0.5、0.3和0.1；将农药使用量由多到无设置为4个等级：0.7、0.4、0.2和0；按照土壤没有连种、连种1次、连种2次及以上将土壤是否连种信息分别设置为3个等级：0、0.2和0.4；根据历史数据按照月份将不同类病虫害的发生期划分为5个等级：0.9、0.7、0.5、0.3和0.1；农作物病虫害发生程度一般定义如下：0级表示没有病虫害发生；1级（轻发生）表示病虫零星发生，不需要化学防治；2级（偏轻发生）表示作物无明显受害损失；3级（中等发生）表示已造成局部明显损失；4级（偏重发生）表示已造成严重损失[26-27]。

3）归一化。对离散化后的每类环境信息进行归一化[28]：

4）环境信息特征向量。将每天采集的各个环境信息进行日平均，最后组成一个12维的向量，作为当天的环境信息向量样本，得到7 550个向量。

由于采集的环境信息部分数据缺失或不合理，本文共选择了6 000个有效环境信息向量进行病虫害预测试验。

1.2 自适应判别深度置信网络(adaptive discrimination deep belief network，ADDBN)

ADDBN是由多个RBM和一个判别RBM (discliminative restricted boltzmann machines，DRBM)组成的一种概率生成模型，每个RBM只有可见层节点与隐层节点之间有连接权值，而可见层节点之间和隐层节点之间无连接。通过自低向上逐层训练RBM，每一个RBM训练出的特征将作为下一层RBM的输入，利用DRBM调整神经元之间的权重，最后得到一个预测效果稳定的ADDBN预测模型。为了说明RBM与DRBM之间的区别，图1给出了RBM和DRBM的结构图。

图1 RBM和DRBM基本结构

1.2.1 限制玻尔兹曼机(RBM)

由于RBM的可见层神经元或隐层神经元的激活状态之间是相互独立的，通过能量函数可以得到可见层和隐层的条件概率，第个隐层神经元和第个可见神经元输出的条件激活概率分别表示为：

1.2.2 判别RBM(DRBM)

通过能量函数可以得到可见层和隐层的条件激活概率分别为：

比较式（3）和式（5）可以得到，在DRBM中标签层参与了隐层条件激活概率的计算。

1.2.3 自适应学习率

RBM的快速学习过程通过一个对比散度算法（contrastive divergence，CD）实现。使用CD算法对构成DBN的所有RBM逐一进行无监督训练。各参数的更新准则如下：

由式（9）看出，当连续2次迭代后参数更新方向相反时，学习率会减小；当连续2次迭代后参数更新方向相同时，学习率会加大。

1.2.4 ADDBN的结构

图2 ADDBN模型

ADDBN的训练过程与DBN类似，分为无监督的预训练和有监督的微调2个阶段[25,29]：

1.2.5 基于ADDBN的棉花病虫害预测模型

为了减小棉花病虫害预测模型的训练和运行时间，本文采用的ADDBN模型结构为1个输入层、3个RBM隐含层和1个DRBM层。基于ADDBN的棉花病虫害预测过程如图3所示。

在ADDBN中，输入层的输入数据为归一化后的环境信息特征向量，输出层的节点数为5，表示3种虫害和2种病害，模型训练后的输出结果为5个节点输出的最大值对应的病虫害类型。该模型的主要过程描述如下：

1）数据采集和预处理。采集与棉花病虫害发生相关的环境信息，包括气候、气象信息、土壤信息等12种数据，组成原始数据集，然后结合棉花病虫害的历史数据，对每类数据进行量化、归一化，组成每个样本为12维的特征向量，作为预测模型的输入样本集，再将所有样本划分为训练样本集和测试样本集。其中，训练集用于训练预测模型，测试集用于对模型性能进行测试；

图3 基于ADDBN的棉花病虫害预测模型

2）构造基于ADDBN的棉花病虫害预测模型。由试验对ADDBN的结构进行优化设置，包括RBM的层数、各个RBM和DRBM的输入和输出的节点数等；

3）训练阶段。利用训练样本训练基于ADDBN的预测模型。根据CD算法中参数每次迭代方向的异同来动态调整学习率。

4）计算实际输出和目标输出的误差，使用与模型权重相关的函数表示这个误差，再利用共轭梯度算法调整权重矩阵，最后得到误差函数达到最小的网络权重矩阵；

5）测试阶段。将测试样本输入到训练好的预测模型中，计算棉花病虫害的预测结果；

6）预测结果分析。在分类层，将重复采样的分类结果平均，得到预测模型的预测结果。

2 试验与分析

试验的硬件环境为内存32GB、CPU Intel(R) Core(TM) i7-4790 8*3.60GHZ、GPU GeForce GTX Titan X，训练速度使用单核Intel3.47GHZ的15倍以上，深度学习架构为Tensorflow，编程语言为python。在预测模型中，第一层RBM的可视层节点数为12，对应12种环境信息，输出结果为病虫害发生类型。试验数据为2011年到2016年的5月1日—9月30日的每天采集的12种环境信息的日平均值，再归一化后的向量样本[28]。

由于DBN对相关的初始参数比较敏感，为了获得高效的预测准确率，首先需要确定3个参数：ADDBN的层数、每一隐层的节点个数和训练ADDBN模型需要的迭代次数。为此，利用全部样本进行大量试验对比获得较优的3个参数值[30]。模型评价指标选择为均方误差，即当误差值较大时，说明模型的预测能力较低；反之则说明模型预测精度较高。当输出训练样本集的预测误差达到最小时的模型作为最终输出模型[21,24-25]。采用10-折交叉验证法对6 000个环境信息向量进行病虫害预测试验，即将6 000个样本数据集分成10份，每份600个，依次将其中9份作为训练数据集训练模型，然后将剩余的1份作为测试集输入到训练好的模型进行病虫害预测试验，重复训练多次，由试验结果来确定所提出模型的参数。在试验中，输入神经元数为12，输出神经元数为5。为了简化预测模型，初步选择2~4个RBM和一个DRBM进行训练。训练时采用自适应学习率，分组训练大小设置为32，动量为0.5。试验发现，在RBM层数大于4时，预测模型的效果随着层数的增加而有所降低，预测训练时间也随之增加，这说明预测模型的效果与RBM层数增长之间并非成正比关系。在此基础上进一步确定各层神经元数量，经过反复试验，得到每个隐层神经元数为264时获得的高层特征效果最佳。最终确定的模型结构为1个输入层、3个RBM和一个DRBM。试验中，各节点输出值大于等于0.90，则判定为该类，预测结果为正确识别样本数与测试集中总样本数的百分比。经过以上模型训练后，再重新进行10-折交叉验证法试验，得到10个测试结果，将10次试验结果的平均值作为1次10-折交叉验证的试验结果。重复进行10-折交叉验证试验50次，计算50次试验的平均值，得到棉花的3种虫害和2种病害的平均预测试验结果见表1。为了表明本文提出方法的有效性，表1中还给出了基于BP神经网络的（BPNN）[26]、基于强模糊支持向量机（SFSVM）[31]和基于RBF网络（RBFNN）[32]的棉花3种虫害2种病害的预测结果。为了说明本文方法的有效性，给出了基于传统DBN的识别结果，其中DBN的网络结构和初始参数与ADDBN相同，只是将最后一层的DRBM替换为BP神经网络，并采用固定学习率为0.3[30]。为了说明本文方法的可行性，比较本文方法与BPNN、SFSVM、RBF和DBN的时间复杂度。在一次10-折交叉验证的10次试验中，在本文方法和4种比较方法中，设置训练终止条件都为2次连续迭代预测结果的误差为0.001，在PC机中计算各种方法的10次试验训练时间的平均值，作为各种方法的训练时间；然后计算得到10个预测结果的预测时间的平均值，作为各种方法的预测时间，见表2。

为了说明自适应学习率对网络训练收敛性的影响，将ADDBN与传统的DBN在3个不同的固定学习率（0.1、0.3和0.6）情况下，对训练收敛性的影响进行比较。试验采用10-折交叉验证法。图4给出了DBN（取3个固定学习率）和ADDBN在相同的隐藏层数及节点数的情况下，不同的迭代次数对应的预测结果。其中DBN（0.1）、DBN（0.3）和DBN（0.6）分别表示学习率为0.1、0.3和0.6时的DBN模型对应的预测率。

表1 基于5种预测模型的棉花病虫害的预测准确率

表2 5种预测方法的训练时间和预测时间

图4 不同迭代次数下ADDBN和DBN（n= 0.1、0.3和0.6）的预测准确率

3 讨 论

从表1可以看出，基于DBN和ADDBN的棉花病虫害预测模型的预测准确率远高于其他3种预测模型，其原因是这两种预测模型充分利用了12种环境信息，能够从复杂的环境信息中深度挖掘到影响棉花病虫害发生和发展的主要预测特征，从而得到较高的预测结果。ADDBN比传统的预测方法BPNN、SFSVM和RBFNN的平均预测准确率分别提高了19.248%、24.916%和27.774%。其原因是传统模型的预测方法是完全基于输入样本特征的，不可避免引入了不相关因素等噪声，导致预测准确率不高。ADDBN比现有的DBN的预测准确率提高了2.784%，其主要原因是ADDBN在学习过程中能够将类别信息引入到模型训练中，使训练具有监督性，由此弱化传统RBM在无监督训练时出现训练时间长和过拟合问题，从而提高了数据拟合度。

由表2可以看出，相对于浅层学习方法（SVM）和浅层神经网络（BPNN和RBFNN），DBN和ADDBN的训练阶段的耗时很长，则时间复杂度较高，但是测试阶段都比较快，所以可以应用于作物病虫害预测任务。ADDBN比DBN的训练时间快2 673 s，其原因是ADDBN采用了自适应学习率，能够较快收敛到最优解。

从图4可以看出，随着迭代训练次数的增加，病虫害的预测率有所提升。在迭代次数不多时，DBN和ADDBN的预测结果差别不大，但当迭代次数大于600时，ADDBN的预测结果明显优于DBN。特别地，当迭代次数增加时，网络的收敛速度显著加快，直至趋于稳定。原因是ADDBN采用了自适应学习率，在模型学习过程能够朝着权值参数最优值的方向优化。由图4也可以看出，DBN中学习率越大，则收敛速度快，但过大可能引起模型不稳定；学习率越小，则收敛速度较慢。图4结果说明，学习率是DBN的一个重要参数。

因获取环境信息数据源的渠道单一，而且本研究所用数据量有限，下一步将尝试扩大训练样本和测试样本数据量，使用更多历史数据训练所提出的预测网络，构建基于该网络的病虫害预测系统。

值得指出的是，本文主要讨论了棉花病害和虫害发生的预测模型。由于没有得到作物病害和虫害同时发生情况下的环境信息数据，所以本文没有考虑两者同时发生的情况。实际上，病害和虫害同时发生也是可能发生的一种情况。由于病害和虫害同时发生的预测问题比单一的病害或虫害发生的预测问题复杂很多，目前鲜见此类预测模型。这也将是下一步研究的主要方向之一。

4 结 论

面对海量、复杂、多变的环境信息，传统的基于浅层学习算法的作物病虫害预测模型难以从高维复杂的环境信息中学习到与病虫害发生相关的预测特征，所以得到的预测准确率不高、模型不稳定。本文以相对湿度、平均气温、降雨量和日照时数等12种环境信息，建立基于ADDBN的棉花病虫害预测模型。在棉花的3种虫害和2种病害的环境信息数据集上进行了试验验证，并与其他3种预测模型进行了比较。结果表明：

1）该模型整合了海量、多源的环境信息数据，能够深度挖掘与病虫害发生相关的环境信息之间内在的关系，在一定程度上克服了基于传统神经网络的作物病虫害预测方法的缺陷，与传统的BPNN相比，预测准确率提高了19.248%；与DBN相比，预测准确率提高了2.784%。

2）该模型采用自适应学习率，克服了DBN中固定学习率出现的收敛速度慢和容易陷入局部最优的问题，训练时间缩短了2 673 s。

3）该模型为农作物病虫害预测提供了一种新思路。但文中还存在一些问题：关于ADDBN的隐含层数、隐含层神经元数等的设置几乎没有理论依据和行之有效的统一的设置方法，一般依靠经验和试验设置，再多次进行调整，由此花费的时间比较长，限制了基于ADDBN的棉花预测模型的应用范围。下一步研究重点为寻找ADDBN的参数设置的思路和依据，进一步研究当病害与虫害同时发生时，如何利用ADDBN进行病虫害预测。

[1] 赵冰梅，李贤超，王俊刚. 2011年新疆兵团棉花病虫害发生特点及原因分析[J]. 中国棉花，2012，39(3)：9－11.Zhao Bingmei, Li Xianchao, Wang Jungang. Analysis of the characteristics and causes of cotton disease and insect pests in Xinjiang Corps in 2011[J]. Chinese cotton, 2012, 39(3): 9－11. (in Chinese with English abstract)

[2] 赵冰梅，李贤超. 新疆兵团棉花中后期主要病虫害发生趋势及防治对策[J]. 中国棉花，2012，39(17)：13－14. Zhao Bingmei, Li Xianchao. Occurrence trend and control countermeasures of main cotton diseases and insect pests in middle and later stage of xinjiang production and construction crops[J]. Chinese cotton, 2012, 39(17): 13－14. (in Chinese with English abstract)

[3] 叶彩玲，霍治国，丁胜利，等. 农作物病虫害气象环境成因研究进展[J]. 自然灾害学报，2005，24(1)：90－97. Ye Cailing, Huo Zhiguo, Ding Shengli, et al. Advance in study on formation of meteorological environment causing crop's diseases and insect pests[J]. Journal of Natural Disasters, 2005, 14(1): 90－97. (in Chinese with English abstract)

[4] 陈怀亮，张弘，李有. 农作物病虫害发生发展气象条件及预报方法研究综述[J]. 中国农业气象，2007，28(2)： 212－216 Chen Huailiang, Zhang Hong, Li You. Summary of meteorological conditions and forecasting methods of crop diseases and insect pests development[J]. Chinese Journal of Agrometeorology, 2007, 28 (2): 212－216. (in Chinese with English abstract)

[5] 王翔宇，温皓杰，李鑫星，等. 农业主要病害检测与预警技术研究进展分析[J]. 农业机械学报，2016，47(9)： 266－277.Wang Xiangyu, Wen Haojie, Li Xinxing, et al. Research progress analysis of mainly agricultural diseases detection and early warning technologies[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(9): 266－277. (in Chinese with English abstract)

[6] 刘俊稚. 几种典型植物对大气CO2浓度升高的生理和病理响应研究[D]. 杭州：浙江大学，2010.Liu Junzhi. Study on Eco-physiological and Pathological Pesponses of Several Typical Plant Species to Elevated Atmospheric CO2[D]. Hangzhou: Zhejiang University, 2010. (in Chinese with English abstract)

[7] 石盼. 基于嵌入式的设施农作物病虫害诊断终端系统的研究与设计[D]. 银川：北方民族大学，2016.Shi Pan. The Research and Design of Amenities Crop Pests and Diseases Diagnostic Terminal System Based on Embedded Technology[D].Yinchuan: Beifang Univesity of Nationality, 2016. (in Chinese with English abstract)

[8] Qinghai He, Benxue Ma, Duanyang Qu. Cotton pests and diseases detection based on image processing[J]. Telkomnika, 2013,11(6): 3445－3450.

[9] Supriya S Patki, G S Sable. A review: cotton leaf disease detection [J]. IOSR Journal of VLSI and Signal Processing, 2016,6(3):78－81.

[10] 赵庆展，靳光才，周文杰，等. 基于移动GIS的棉田病虫害信息采集系统[J]. 农业工程学报，2015，31(4)：183－190. Zhao Qingzhan, Jin Guangcai, Zhou Wenjie, et al. Information collection system for diseases and pests in cotton field based on mobile GIS[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(4): 183－190. (in Chinese with English abstract)

[11] 赵冰梅，李红，李贤超. 2017年新疆兵团棉花主要病虫害发生预测及防治对策[J]. 中国棉花，2017，44(4)：1－2.Zhao Bingmei, Li Hong, Li Xianchao. Prediction and prevention and control of the main diseases and insect pests of cotton in Xinjiang Corps in 2017[J]. Chinese Cotton, 2017, 44(4): 1－2. (in Chinese with English abstract)

[12] 陈光绒，李小琴. 基于物联网技术的农作物病虫害自动测报系统[J]. 江苏农业科学，2015，43(4)：406－410. Chen Guang rong, Li Xiaoqin. Automatic measurement and report system of crop diseases and insect pests based on Internet of things technology[J]. Jiangsu agricultural science, 2015, 43(4): 406－410. (in Chinese with English abstract)

[13] 王翔宇，温皓杰，李鑫星. 农业主要病害检测与预警技术研究进展分析[J]. 农业机械学报，2016，47(9)：266－277. Wang Xiangyu, Wen Haojie, Li Xinxing. Analysis of the research progress on the detection and early warning technology of major agricultural diseases[J]. Transaltions of the Chinese Society for agricultural machinery, 2016, 47(9): 266－277. (in Chinese with English abstract)

[14] 张恩迪，张佳锐. 基于物联网的农业虫害智能监控系统[J]. 农机化研究，2015(5)：229－234. Zhang Endi, Zhang Jiarui. Intelligent monitoring system of agricultural pests based on IOT[J]. Journal of Agricultural Mechanization Research, 2015(5): 229－234. (in Chinese with English abstract)

[15] Sannakki S, Rajpurohit V S, Sumira F, et al. A neural network approach for disease forecasting in grapes using weather parameters[C]// International Conference on Computing. IEEE, 2013: 1－5.

[16] Mingwang Shi. Based on time series and RBF network plant disease forecasting[J]. Procedia Engineering, 2011, 15: 2384－2387.

[17] Mads Dyrmann, Henrik Karstoft, Henrik Skov Midtiby. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72－80.

[18] Sladojevic S, Arsenovic M, Anderla A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience, 2016(6): 1－11.

[19] 尹文君，张大伟，严京，等. 基于深度学习的大数据空气污染预报[J]. 中国海军管理，2015(6)：46－52. Yin Wenjun, Zhang Dawei, Yan Jing, et al. Large data air pollution forecast based on deep learning [J]. Chinese Navy Management, 2015(6): 46－52. (in Chinese with English abstract)

[20] 罗向龙，焦琴琴，牛力瑶，等. 基于深度学习的短时交通流预测[J]. 计算机应用研究，2017，34(1)：91－93. Luo Xianglong, Jiao Qinqin, Niu Liyao, et al. Short-term traffic flow prediction based on deep learning[J]. Application Research of Computers, 2017, 34(1): 91－93. (in Chinese with English abstract)

[21] Lü Y, Duan Y, Kang W, et al. Traffic flow prediction with big data: a deep learning approach[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(2): 865－873.

[22] Hu Q, Zhang R, Zhou Y. Transfer learning for short-term wind speed prediction with deep neural networks[J]. Renewable Energy, 2016, 85: 83－95.

[23] Zhao Y, Li J, Yu L. A deep learning ensemble approach for crude oil price forecasting[J]. Energy Economics, 2017, 66: 9－16.

[24] 乔俊飞，王功明，李晓理，等. 基于自适应学习率的深度信念网设计与应用[J]. 自动化学报，2017，43(8)：1339－1349 Qiao Junfei, Wang Gongming, Li Xiaoli. Design and application of deep belief network with adaptive learning rate[J]. Acta Automatica Sinica, 2017, 43(8): 1339－1349. (in Chinese with English abstract)

[25] Zhao Z, Jiao L, Zhao J, et al. Discriminant deep belief network for high-resolution SAR image classification[J]. Pattern Recognition, 2017, 61: 686－701.

[26] 胡小平，梁承华，杨之为，等. 植物病虫害BP神经网络预测系统的研制与应用[J]. 西北农林科技大学学报(自然科学版)，2001，29(2)：73－76.Hu Xiaoping, Liang Chenghua, Yang Zhiwei, et al. Development and application of the BP neural network prediction system on plant diseases and pests[J]. Journal of Northwest Science-Technology University of Agriculture and Forest (Nat. Sci. Ed.), 2001, 29(2): 73－76. (in Chinese with English abstract)

[27] 陈兵，李少昆，王克如，等. 棉花黄萎病病叶光谱特征与病情严重度的估测[J]. 中国农业科学，2007，40(12)： 2709－2715. Chen Bing, Li Shaokun, Wang Keru, et al. Spectrum characteristics of cotton single leaf infected by verticillium wilt and estimation on severity level of disease[J]. Scientia Agricultura Sinica, 2007, 40(12): 2709－2715. (in Chinese with English abstract)

[28] 姜培刚. 气候变化对昌邑市农作物病虫害发生程度的影响[D]. 泰安：山东农业大学，2015. Jiang Peigang. Influence of Climate Change on the Occurrence of Crop Diseases and Insect Pests in Changyi[D].Tai’an: Shandong Agricultural University, 2015. (in Chinese with English abstract)

[29] Larochelle H, Mandel M, Pascanu R, et al. Learning algorithms for the classification restricted Boltzmann machine[J]. Journal of Machine Learning Research, 2012, 13(1): 643－669.

[30] 周兆永，何东健，张海辉，等. 基于深度信念网络的苹果霉心病病害程度无损检测[J]. 食品科学，2017，38(14)：297－303. Zhou Zhaoyong, He Dongjian, Zhang Haihui, et al. Non- destructive detection of moldy core in apple fruit based on deep belief network[J]. Food Science, 2017, 38(14): 297－303. (in Chinese with English abstract)

[31] 杨志民，梁静，刘广利. 强模糊支持向量机在稻瘟病气象预警中的应用[J]. 中国农业大学学报，2010，15(3)： 122－128. Yang Zhimin, Liang Jing, Liu Guangli. Application of strong fuzzy support vector machine on weather early warning of rice blast[J]. Journal of China Agricultural University, 2010, 15(3): 122－128. (in Chinese with English abstract)

[32] 符保龙. RBF网络在农业病虫害预测中的应用研究[J]. 安徽农业科学，2008，36(1)：388－389. Fu Baolong. Application research of RBF network in forecasting agricultural disease and insect pest[J]. Journal of Anhui Agricultural Sciences, 2008, 36(1): 388 －389. (in Chinese with English abstract)

Forecasting of cotton diseases and pests based on adaptive discriminant deep belief network

Wang Xianfeng1, Zhang Chuanlei2※, Zhang Shanwen1, Zhu Yihai3

(1.710123,; 2.300457,; 3.98103,)

Cotton diseases and pests seriously affect cotton quantity. Timely and accurate prediction of diseases and pests is very important for crop growers to effectively prevent and monitor cotton diseases and pests. Cotton diseases and pests can be forecast by environmental and weather information. Through various sensors in the internet of things, it is easy to acquire a lot of environmental and weather information, and many cotton existing prediction methods, techniques and systems have been proposed. However, the occurrence and development of cotton diseases and pests involve various factors, among which there are complex interactions and mutual influences. The traditional prediction model of cotton diseases and insect pests has limited expression ability and generalization ability, and the accuracy of prediction is not high. Many existing prediction models cannot meet the actual needs of pest and disease prediction system. Therefore, the prediction of cotton diseases and pests is still a challenging problem in computer vision. In recent years, deep learning networks have won numerous contests in pattern recognition and machine learning. Deep belief network (DBN) is one of the most widely used deep learning models and has been successfully applied in many fields. DBN is a superposition model composed of several restricted Boltzmann machines (RBM). However, in DBN, there are a lot of problems, such as time-consuming to pre-train, easy to get into the local optimal solution, unsupervised training and poor generalization. An adoptive discriminant deep belief network (ADDBN) is proposed to solve the time-consuming problem in the pre-training process of DBN, and then a forecasting model of cotton diseases and pests is proposed based on environmental information and ADDBN. ADDBN is constructed by three RBMs (restricted Boltzmann machine) and a discriminant RBM (DRBM). In DRBM, the label information is introduced to training process of RBM, and the discriminant information is added into learning process through constraint on the similarity of feature vectors to improve the forecasting rate. In ADDBN, an adaptive learning rate is introduced into the contrastive divergence algorithm to accelerate the model convergence. Comparing with DBN, the proposed model has two advantages, (1) adaptive learning rate is introduced into the contrast algorithm to automatically adjust learning step, which can solve the problem to choose the learning rate in the training traditional DBN model; (2) the class information of samples is introduced into DRBM in the learning process. Then the model can be targeted trained, which can weaken the characteristic homogeneous in unsupervised training the traditional RBM and improve the forecasting accuracy of the model. Finally, a series of experiments were carried out on a dataset of cotton diseases and pests to test the performance of ADDBN. The results showed that the convergence rate is accelerated significantly and the forecasting accuracy is improved as well. The experiment results on the environmental information database of "three worms and two diseases" of cotton in recent 6 years showed that the proposed prediction model has better prediction effect than the traditional prediction model such as BPNN, SFSVM and RBFNN, the prediction performance is improved by 19.248%, 24.916% and 27.774% respectively. It is an effective method to predict crop pests and diseases with faster convergence rate, good generalization ability and higher prediction effect.

diseases; forecasting; models; cotton; deep belief network (DBN); adoptive discriminant

10.11975/j.issn.1002-6819.2018.14.020

TP391

A

1002-6819(2018)-14-0157-08

2018-02-03

2018-04-09

国家自然科学基金项目(61473237)

王献锋，男，西安人，副教授。研究方向为机器学习及其在植物病虫害识别与预测中的应用。Email：wangxianfeng@xijing.edu.cn

张传雷，男，山东沂源人，副教授。研究方向为深度学习及其应用。Email：al7647@Gmail.com

王献锋，张传雷，张善文，朱义海.基于自适应判别深度置信网络的棉花病虫害预测[J]. 农业工程学报，2018，34(14)：157－164. doi：10.11975/j.issn.1002-6819.2018.14.020 http://www.tcsae.org

Wang Xianfeng, Zhang Chuanlei, Zhang Shanwen, Zhu Yihai. Forecasting of cotton diseases and pests based on adaptive discriminant deep belief network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 157－164. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.14.020 http://www.tcsae.org