基于参数指数非线性残差神经网络的脐橙病变叶片识别

杨国亮，许 楠，康乐乐，龚 曼，洪志阳

(江西理工大学 电气工程与自动化学院，江西 赣州 341000)

基于参数指数非线性残差神经网络的脐橙病变叶片识别

杨国亮，许 楠*，康乐乐，龚 曼，洪志阳

(江西理工大学 电气工程与自动化学院，江西 赣州 341000)

摘 要：提出一种参数指数非线性(PENL)函数来改进残差网络，利用深度学习的新方法识别脐橙叶面病变，减少了整流线性损失，提升了训练效果。以脐橙叶面图像为样本，进行CNN训练，以区分出病变、缺素、正常及非此类物种4种类型，实现了对于脐橙疾病检测迅速且方便应用的分类模型，相比于传统植物病变识别方法具有极大的优势，最终识别准确率达到了97.18%～98.86%。

关键词：神经网络；脐橙；病变识别；深度学习；残差

赣南地区为我国最大脐橙产区，脐橙也是赣南地区最大的农业特色支柱产业，但频发的柑橘疾病对于该产业产生了巨大的冲击。由于某些疾病特征在初期无法被人肉眼分辨，而专业检测普及不够且成本较高，这导致疾病预防困难极大，发现时已经无法挽救，损失严重[1]。这表明确实需要一种方便且成本低廉的检测系统来预测脐橙可能的疾病，使得农户在发现异常且肉眼不能区分时借助该系统识别病变。目前，人工经验观察和田间病理检测仍是脐橙疾病识别的主要手段。

计算机视觉的进步为植物病变识别提供了新思路，并延伸了农业领域的计算机视觉应用市场。出现了诸多利用诸如人工神经网络[2]等机器视觉技术识别和分类植物病变的手段。数字图像处理技术在病变识别领域显示了极大的潜力，将数字图像处理技术与其他技术的结合可以更好地支持特征提取。

在植物疾病识别领域，一些学者做了大量研究工作。濮永仙[3]利用图像分割提取烟草叶面病害区域，结合双编码遗传算法和支持向量机识别病害，达到较好效果；李修华等[4]采用红边近红外光谱技术建立果树叶疾病分类模型，分类准确率达到90%；马淏等[5]利用可见近红外光谱技术建立黄龙病费舍尔线性判别模型，模型分类精度在90%以上；Barbedo等[6]建立了关于植物疾病记载及交流的网站，并建立了相应病菌图像库；Sladojevic等[7]采用了与本文相似的深度学习方法进行植物的分类与疾病检测，分类准确率达到了96.3%；Sankaran等[8]利用近红外光谱与热成像相结合的方式识别柑橘疾病，分类精度为87%；梅慧兰等[9]利用5类不同柑橘叶面高光谱图像建立了精度为96.4%的偏最小二乘判别模型；在此基础上，孙旭东等[10]又结合了峰值比判别法，最终分类精度为96.3%。虽然国内外学者对植物病变识别做了诸多研究工作，但应用深度学习这种算法实践的仍然寥寥无几，Sladojevic等[7]的深度学习检测研究虽然利用了新方法，但其数据来自不同物种的15类，缺乏专用性；数据来源为网络搜索，所有样本类别均人视觉可辨，缺乏公信度；且其应用网络为初期的CaffeNet，无法与目前更为深层的新生网络相匹配，尽管如此其准确率仍然较高。本文采用更深层的深度学习算法训练分类模型以实现病变识别，提出了参数指数非线性单元(parameter index non-linear unit)，修正和缓解残差网络激活层的缺陷，提高优化能力，以达到精确识别的目的。

1 基本原理

深度学习的主要思想是利用人的大脑神经网络原理，建造虚拟的数学神经网络进行特征学习，代替人手工提取的低级特征而获得目标样本的细微高级特征，从而进行分类识别或检测。在1998年出现的Lenet被认为是现代深度学习的开始，到2012年，首次出现了深层的卷积神经网络Alexnet，它突破性地采用了当时最新的防止过拟合的算法“退出(Dropout)”[11]，并且网络并行结构被首次应用，从而实现多GPU的运行，在图像处理领域效果明显，由此催生了深度学习的研究热潮。当然，现代计算机硬件的飞速发展和大数据库的不断开发也给了深度学习发展极大的支持。

ILSVRC2016比赛结果显示，场景分类(scene classification)的TOP5错误率已经降低至0.090 1，在1000类的分类任务中能够达到如此精度可见深度学习图像分类已经足够成熟去应用。本文利用深度学习框架Caffe[12]来实现训练残差网络分类模型，并利用模型识别病变。

1.1 CNN(卷积神经网络)实现

CNN的先进是指他们具有的对图像高级特征丰富的学习能力，而不是在其他图像分类方法中使用的人工提取的低级特征[13]。在CNN中，隐层中的卷积核将图像分割成“特征图”。通过不断的分割计算得到共享的权重与偏置，从而达到学习的效果。特征图中的神经元搜索相同的特征，这些神经元独立连接到下层中不同的神经元。基本上，这些特征图是在图像上应用卷积的结果，而其特征信息被用来更新权值。公式(1)和公式(2)描述了CNN中最主要的卷积层和下采采样层的构建公式。

图1 传统机器学习(上)与深度学习(下)的对比Fig.1 Comparison of traditional machine learning(top) and deep learning(below)

(1)

其中：oij为第i层的第j个特征图；oij(x，y)为oij中的元素；tanh()为双曲正切函数；bij为特征图oij的偏置；Kij为与oij相连的上一层的特征图符号集合；wijk为oij和o(i-1)j的卷积核；Ri为该层卷积核的行数；Ci为该层卷积核的列数。

(2)

其中：采样区域大小为l1×l2，gij表示oij增益系数；Ni表示第i个卷积层采用N×N的卷积核。

CNN的训练过程分为前向传播和反向传播，而前向传播负责信息传递，反向传播负责参数更新。公式(3)和公式(4)、(5)分别表示了前向传播与反向传播的基本原理。

Oi=Fn(Fn-1(…F2(F1(Xiw(1)+b(1))w(2)+b(2))…)w(n)+b(n))。

(3)

其中：w(n)表示第n层的权值；b(n)表示第n层的偏置；Fn()是第n层的激活函数。

(4)

(5)

其中：Ei是第i个样本的误差；oik是第i个样本输出层第k个神经元的输出；Tik是第i个样本输出层第k个神经元的期望输出。

1.2 残差网络(ResNet)

残差网络(ResNet)是在2015年由He等[14]提出的一种新的深度学习网络，最深可达到152层卷积。为了解决深层网络过拟合的问题，该作者提出了“残差(residual)”结构来解决梯度消失的问题，如图2。

该作者利用图像处理中的残差向量编码原理通过重新定义某一层输入，将一个问题分解成多个尺度直接的残差问题，能够很好地起到优化训练的效果。即为了解决本层输入由于上一层卷积所产生的信息损失而由旁边的专门通道将前层的输入直接传递，避免了卷积损失。在Caffe中靠元素连接层(eltwise)实现优化的链接问题。

图2 Residual结构示意图Fig.2 Residual structure diagram

这些资料表明，残差网络具有强大的泛化能力。本文由于数据量较小，为了避免高度深层CNN的过拟合，采用20层的ResNet来进行训练。所采用的20层ResNet包括20个卷积层，19个非线性层(激活函数)，9个元素连接层，1个池化层和1个全连接层。如图3显示了ResNet20简单结构图，图中采用了本文的激活函数PENLU。

2 参数指数非线性函数

2.1 激活函数

图3 采用的改进后的ResNet20结构Fig.3 Improved ResNet20 structure

激活函数是为了解决神经网络中线性模型表达能力不够从而加入非线性因素的函数，通过该函数把特征保留，去除一些数据中的冗余，并最终映射出来。神经网络的激活函数包括从早期的线性函数(linear function)、阈值函数(threshold function)，到后来的S形函数(sigmoid function)、双极S形函数、双曲正切函数，再到现在常用的ReLU(rectified linear units)函数[15]，应用一定的数理学原理达到自身所能起到的效果。作为应用最广泛的ReLU函数，它节省了计算量，能够避免反向传播时的信息丢失，并且能够造成网络的稀疏性[18]。而它也衍生了诸如PReLU(parametric rectified linear unit)[16]、LReLU(leaky rectied linear unit)[17]等激活函数。而后为了解决ReLU系列函数负半轴部分线性导致的缺陷，由Clevert等[17]提出了参数指数线性单元(exponential linear units，ELU)作为激活函数，它融合了S形函数和ReLU，具有左侧不为零的软饱和特性。它的线性部分如同ReLU一样能够缓解梯度消失，而左侧不为零的软饱和能够让ELU对输入变化或噪声更鲁棒。

公式(6)、(7)、(8)分别为函数ReLU、PReLU和ELU的数学表达式。

f(x)=max(0，x)。

(6)

可见，ReLU在x<0时硬饱和。由于x>0时导数恒为1，从而保证ReLU在图像信息为正值时保持梯度不衰减，进而缓解梯度消失问题。

(7)

PReLU中负部分的参数α是可学习而非固定的，训练时只需给他一个初始值，之后可根据训练的深入而不断的进行参数修正。与ReLU相比，PReLU中引入了额外的参数，不必担心过拟合，且收敛速度更快。

(8)

类似于PReLU，ELU的参数α起到同样的效果，但是其负部分调整为非线性，具有左侧不为零软饱和特性，它的总体输出均值接近于零，所以收敛速度更快。

2.2 参数指数非线性单元(PENLU)

初始的激活函数如S形函数、双曲正切函数等均具有右侧饱和特性，这导致了梯度消失的问题一直得不到解决，使得神经网络几十年停滞不前。ReLU系列函数的出现解决这一问题，而ELU的出现又调整了ReLU的负部缺陷。但是整流线性函数(ReLU)和指数线性函数(ELU)两种类型的激活函数之间仍然存在着无法弥合的缺陷。对于负部分，ReLU或PReLU能够表示线性函数族，而不是非线性函数族，ELU能够表示非线性函数族，而不是线性函数族。这些明显的缺陷在某种程度上破坏了使用特定激活功能的那些网络结构的代表性能力。文献[19]指出，使用ELU的批次归一化(BN)可能会损害分类准确性，而ResNet特有的残差结构使其需要进行批次归一化处理，所以传统的激活函数在训练时很可能达不到最好的分类效果。对于正部分，由于ReLU正部导数恒定为1，这导致了梯度的不衰减，解决了梯度的消失。另外，随着训练的推进，总会有部分神经元落入到ReLU具有的硬饱和区，使得这部分神经元丧失学习能力，导致该部分神经元权重无法更新，这种现象被称为“神经元死亡”[20]。该现象的经常出现使得初始学习率设置必须异常小心，设置偏大则会导致过多的“神经元死亡”。

为了解决以上问题，本文提出一种新的多参数的具有学习能力的激活函数——参数指数非线性单元(parametric exponential non-linear units，PENLU)，它具有PReLU和ELU的双重优点，且有效缓解了ReLU系列函数所导致的神经元死亡现象。可以使得深层网络具有更好的分类性和收敛性，能够带来更好的泛化性能。

研究发现，ELU(exponential linear unit)与LReLU性能一致，而与PReLU差距较大[20]。由PReLU引入可更新参数的启发，保留参数α不变，但是为了更好地与ELU的融合，引入参数β使之能够进一步控制ELU的函数形状。这种调整也保留了缓解神经元死亡的特性。得到公式(9)。

(9)

α和β为正则化参数。α，β固定为1时，退化为ELU；β固定为很小的值时，近似为PReLU；当α=0时，该函数等价于ReLU。

为了解决正部分不可调节参数的缺陷，本文引入参数η来使线性正部分调节为非线性，且参数的变化可以调节至线性状况。这种调节使得函数正部分既能使梯度不会无止尽衰减，又可以增加收敛速度。最终得到PENLU的表达式，如公式(10)。

(10)

当η=1时，函数正部分退化为线性x。η的减小控制正部分梯度增长的放缓，只要参数η非大幅减小，理论上不会导致不能收敛。

图4中可见，PENLU正负均调节为非线性，且不对称，它与S形和正切函数最大的区别是它不会趋于某一值而趋于右饱和，只是梯度逐渐减小。而左侧软饱和特性也保留了ELU的优点。其函数参数α、β、η更新规则遵循反向随机梯度下降算法(SGD)，如公式(11)，式中各参数的偏导数即代表梯度。

(11)

类似于卷积层，随着训练的不断推进，通过SGD规则不断更新3个参数的值。PENLU引入的多参数，使得它比其前身更加灵活可变，PENLU可以在ReLU和ELU之间自适应的更新参数α、β、η，调节其函数形状。由于参数的可调节，所以ReLU和ELU系列均可视为PENLU的特殊情况。

PENLU的优势在于同时具备ReLU、PReLU和ELU的优点，具有左侧软饱和但右侧不饱和且参数可调的性质，且保留了缓解神经元死亡的功能。

图4 四种激活函数图像Fig.4 Four activation function images

本文将PENLU应用到残差网络中，以取代原本不具备学习能力的ReLU激活函数。第3节阐述了验证PENLU函数效果的具体实验过程，并对相关实验结果做了分析，以证明该函数在一定条件下确实具有较强的优化能力。值得注意的是，本文仅针对PENLU在20层以上的深层神经网络中的作用进行分析验证。

3 实验过程及模型测试

本模型的训练需要GPU的加速计算功能，需要电脑配置NVIDIA GeForce GTX 1080型显卡，基于Ubuntu14.04操作系统实验，并安装配置由BVLC[21]开发的深度学习框架Caffe，Caffe框架适用于研究实验和行业部署。 该框架的底层核心由C++语言开发，并提供命令行、Python和MATLAB接口，且Caffe与cuDNN库的集成加速了Caffe模型的训练。

本次实验数据来源为赣州地区中年脐橙树木，在与种植户的广泛沟通和考察后，利用像素为1300万的redmi3s相机在同一实验田中选择不同患病树木的叶子、不同正常树木的叶子以及不同正常树木上因缺素泛黄的叶子摘下后在相同的背景下拍摄采集样本。最终去除掉不合格图片样本后，选择带黄化病树叶、因缺素泛黄树叶、正常嫩黄色新叶各960片，以每种树叶800片作为训练样本，150片作为验证样本，10片用作模型效果测试；采集性状与脐橙树叶类似的苹果、香梨等其他叶片400片，以其中330片作为训练样本，60片作为验证样本，10片用作模型效果测试。

图5 正常嫩黄新叶(左)、缺素泛黄叶(中)和患病变黄叶(右)Fig.5 Normal new leaf(left)，nutrient deficient leaves(middle) and diseased leaves(right)

在拍摄过程为了避免周围环境的影响，提高分类效果，需保持拍摄背景统一，拍摄焦距尽量均匀，使叶面占据图片中央位置，且占据整个图像面积的50%以上。拍摄过程全部在背阴面，角度为正面，以检验该系统对于光照不足下的图像分类效果。将训练集和验证集的所有有效图片缩放为统一大小256×256像素，将每一类图片重新按规律命名并且制作标签文件。最后制作对应的均值文件及Caffe框架可用的LMDB(lightning memory-mapped database)文件备用。

本文根据具体要求进行了多次对比实验，分别为原始ResNet、改进ResNet(选用PENLU并采用不同参数初始值)、选用PReLU和ELU做激活函数的ResNet。在保持参数η不变的情况下，经过实验得到当α=0.25，β=1时能够达到最好的分类效果，所以实验仅对参数η进行具体分析。以参数η的初始值为变量进行多次试验，得到相应精度的分类模型。

3.1 实验过程及其结果

实验一：原始残差网络训练实验。首先改原始ResNet最后输出通道为4。在优化求解文件中，设置每批次输入10张训练图片，分273次将所有训练样本全部输入，该程序运行30000次的迭代运算，每遍历迭代运算一次后使用验证集验证一次，每500次迭代运算之后进行一次结果的输出显示，每10000次迭代运算之后进行一次学习率的衰减改变并且打印一次快照模型。初始学习率为0.01，学习率衰减策略使用“多步数(multistep)”方式。训练后得到了需要的模型，且输出准确率为97.18%。

实验二：进行PENLU网络实验。将PENLU在Caffe上实现的相关代码存入对应文件，然后对Caffe重新编译使之能够具有实现PENLU函数计算的能力(所需代码已上传至github)。将原始ResNet中ReLU层替换为PENLU后，优化求解文件设置沿用实验一并保持不变。将网络结构文件中参数η初始值在一定范围按规律设置不同值，进行多次试验，试验数据结果如表1所示。

实验三：PReLU和ELU激活函数实验。本实验沿用实验一的具体设置，只将激活函数分别修改为PReLU和ELU进行实验，结果表明，ReLU、PReLU、ELU与PENLU的最优准确率分别为97.18%、96.86%、93.96%和98.82%。

表1 初始参数η不同值下的训练结果

结果显示，PENLU相对于其他3种激活函数在精度上具有无可比拟的优势。另外，当η减小一定幅度后，训练深度较大时，有助于学习效果的提升。当η减小幅度较大时，训练精度会迅速下降，最终出现不能学习或学习效果极差。除此之外，为了显示非线性函数的优越性，补充了另外一组对比实验，将原始ResNet的初始学习率提高一个量级，即至0.1，发现神经元死亡现象严重导致不能训练，而将参数初始值设定为η=0.7的改进ResNet初始学习率提高一个量级到0.1，发现训练精度仍能达到81%。

由实验结果对比证明，在激活函数PENLU参数初始值α=0.25，β=1不变的情况下，合理设置η参数初始值能够有效提高网络学习状况。最终当η=0.85时结果最优，相比于原始ResNet提高约1.5%。需要注意的是，PENLU缓解了神经元死亡，提高了训练效果，扩大了初始学习率的设置范围，但是其参数初始值需要根据不同情况进行相应的调整。如图6、7分别为原始ResNet、PReLU-ResNet、ELU-ResNet与PENLU-ResNet(η=0.85)输出准确率曲线和验证损失部分对比曲线。

图6、7中结果显示，PENLU精度最高而ELU最差。不但证明了PENLU较其他3种激活函数具有优势，而且证实了ELU在有BN时效果较差。

3.2 模型有效性测试

图6 输出验证准确率对比Fig.6 Comparison of output validation accuracy

为了检验模型的实际应用有效水平，利用40张测试图片对最终经过改进的残差网络训练得出的精度最高的模型进行测试。制定的评判标准为：测试分类概率达到80%以上即将该图片判归为那一类。为此，修改和创建了相关工具和代码后可以单张或批量进行测试。经过模型测试，最终测试效果准确度达到了100%，无一张图片判别错误。为了观察模型收敛更新情况，输出其权值图如图8。

图7 验证损失变化Fig.7 Verification of loss change

图8中每张右下角标注了为哪一卷积层得出的权值可视图。可以看出其所有权值非常平滑、美观，说明网络收敛效果很好。

图9中每一个小方块显示了对应特定滤波器的相应特征图。本文输出了灰度特征图像，通过观察每层的响应特征图，可以判断模型的结构设计(如每层通道数)是否合理，如果大量的响应特征图都重复出现或者全为接近0的值，则可以通过减少通道数目以提高网络效率。从响应特征图中看出特征非常均衡，说明滤波器通道数设置的很合理。

图8 卷积层1、8、15的权重可视化Fig.8 Visualization of convolution layer 1，8，15 weight

图9 患病测试叶面图像经过卷积层1、8、15时输出的特征图Fig.9 Output map of foliage image after convolution layer 1，8，and 15

4 结论

事实证明，深度学习应用于农业计算机识别检测的潜力巨大。本文提出了参数指数非线性单元改进残差网络，利用深度学习框架作为实验工具，以地方产业脐橙病变图像为样本，经过改进残差网络(ResNet)的训练得到模型，最终模型检测结果达到100%，输出模型准确率达到98.86%。所实现的结果相比于其他相关技术具有明显优势。

本研究首先证明了本文所提出的参数指数非线性函数在一定条件下能够提高深度学习神经网络的训练精度；其次，该方法能够以极低的成本达到较高准确率的检测，并为今后植物病害检测技术提供了一个新的思路，特别是对赣南地区脐橙病变识别提供了一个崭新的检测方法，对今后脐橙产业的技术研究起到促进作用。今后，本团队将继续进行参数指数非线性函数(PENLU)在深度学习相关领域的优化和植物病变识别方面的研究，力求调整参数指数非线性函数在神经网络中达到最优并着力将本次研究的成果转化为实际应用，开发相关植物疾病检测的移动端应用软件，丰富植物疾病图像库，使该方法能够作为植物病变识别的现实手段。

：

[1] 马小焕.赣南脐橙产业发展现状分析及展望[J].绿色科技，2015(11):147-148.

MA X H.Status and prospect of Gannan navel orange industry[J].JournalofGreenScienceandTechnology，2015(11):147-148.(in Chinese)

[2] 毕立恒.基于叶片图像算法的植物种类识别方法研究[J].浙江农业学报，2017，29(12):2042-2148.

BI L H.Plant species recognition based on leaf image algorithm[J].ActaAgriculturaeZhejiangensis，2017，29(12):2142-2148.(in Chinese with English abstract)

[3] 濮永仙.基于病斑特征融合的烟草病害图像检索方法[J].河南农业科学，2015，44(2):71-76.

PU Y X.Image searching method of tobacco disease based on disease spot feature fusion[J].JournalofHenanAgriculturalSciences，2015，44(2):71-76.(in Chinese with English abstract)

[4] 李修华，李民赞，LEE W S，等.柑桔黄龙病的可见近红外光谱特征[J].光谱学与光谱分析，2014，34(6):1553-1559.

LI X H，LI M Z，LEE W S，et al.Visible-NIR spectral feature of citrus greening disease[J].SpectroscopyandSpectralAnalysis，2014，34(6):1553-1559.(in Chinese with English abstract)

[5] 马淏，吉海彦，LEE W S.基于Vis-NIR光谱的柑橘叶片黄龙病检测及其光谱特性研究[J].光谱学与光谱分析，2014，34(10):2713-2718.

MA H，JI H Y，LEE W S.Detection of citrus greening based on Vis-NIR spectroscopy and spectral feature analysis[J].SpectroscopyandSpectralAnalysis，2014，34(10):2713-2718.(in Chinese with English abstract)

[6] BARBEDO J G A.A review on the main challenges in automatic plant disease identification based on visible range images[J].BiosystemsEngineering，2016，144:52-60.

[7] SLADOJEVIC S，ARSENOVIC M，ANDERLA A，et al.Deep neural networks based recognition of plant diseases by leaf image classification[J].ComputationalIntelligenceandNeuroscience，2016，6:1-11.

[8] SANKARAN S，MAJA J M，BUCHANON S，et al.Huanglongbing(citrus greening) detection using visible，near infrared and thermal imaging techniques[J].Sensors，2013，13(2):2117-2130.

[9] 梅慧兰，邓小玲，洪添胜，等.柑橘黄龙病高光谱早期鉴别及病情分级[J].农业工程学报，2014，30(9):140-147.

MEI H L，DENG X L，HONG T S，et al.Early detection and grading of citrus huanglongbing using hyperspectral imaging technique[J].TransactionsoftheChineseSocietyofAgriculturalEngineering，2014，30(9):140-147.(in Chinese with English abstract)

[10] 孙旭东，刘燕德，肖怀春，等.正常、缺素和黄龙病柑桔叶片高光谱成像快速诊断[J].光谱学与光谱分析，2017，37(2):551-556.

SUN X D，LIU Y D，XIAO H C，et al.Rapid diagnosis of sound，yellow and citrus greening leaves with hyperspectral imaging[J].SpectroscopyandSpectralAnalysis，2017，37(2):551-556.(in Chinese with English abstract)

[11] HINTON G E，SRIVASTAVA N，KRIZHEVSKY A，et al.Improving neural networks by preventing co-adaptation of feature detectors[J].ComputerScience，2012，3(4):212-223.

[12] 赵永科.深度学习:21天实战Caffe[M].北京:电子工业出版社，2016.

[13] OQUAB M，BOTTOU L，LAPTEV I，et al.Learning and transferring mid-level image representations using convolutional neural networks[C].2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Columbus，OH，USA，2014:1717-1724.

[14] HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Las Vegas，NV，USA，2016:770-778.

[15] GLOROT X，BORDES A，BENGIO Y.Deep sparse rectifier neural networks[C].Proceedings of the 14th International Conference on Artificial Intelligence and Statistics(AISTATS)，Fort Lauderdale，USA,2011.

[16] HE K，ZHANG X，REN S，et al.Delving deep into rectifiers:Surpassing human-level performance on imagenet classification[C].2015 IEEE International Conference on Computer Vision(ICCV)，Santiago，Chile，2015:1026-1034.

[17] MAAS L，HANNUN Y，NG A.Rectier nonlinearities improve neural network acoustic models[C].Proceedings of the 30th International Conference on Machine Learning，Atlanta,Georgla,USA,2013:111-120.

[18] CLEVERT D A，UNTERTHINER T，HOCHREITER S.Fast and accurate deep network learning by exponential Linear Units(ELUs)[EB/OL].[2017-05-01].https://arxiv.org/abs/1511.07289.

[19] IOFFE S，SZEGEDY C.Batch normalization:accelerating deep network training by reducing internal covariate shift[C].Proceedings of the 32nd International Conference on International Conference on Machine Learning，Lille，France，2015:448-456.

[20] LI Y，FAN C，LI Y，et al.Improving deep neural network with multiple parametric exponential linear units [EB/OL].[2017-04-28].https://arxiv.org/abs/1606.00305.

[21] JIA Y Q，SHELHAMER E，DONAHUE J，et al.Caffe:convolutional architecture for fast feature embedding[C].Proceedings of Tile 22nd ACM Intemational Conference on Muhimedia,New York，USA，2014:675-678.

Identificationofnavelorangelesionsleavesbasedonparametricexponentialnon-linearresidualneuralnetwork

YANG Guoliang，XU Nan*，KANG Lele，GONG Man，HONG Zhiyang

(SchoolofElectricalEngineeringandAutomation，JiangxiUniversityofScienceandTechnology，Ganzhou341000，China)

Abstract:In order to better identify navel orange leaf lesions.The paper proposed a parametric exponential nonlinear function asactivation function to improve the residual network and provided a new method of deep learning to identify lesions of navel orange leaves，which reduced the linear loss of rectification and improves the training effect.In this paper，CNN was used as a training tool，and navel orange leaf images were selected as training samples to discriminate the four types of diseased，deficient，normal and non-species.This new identification method had the great advantage of being convenient to use and more accurate for the identification of traditional plant diseases，and finally reached the accuracy rate of 97.18%-98.86%.

Key words:neural networks;navel orange;disease identification;deep learning;residual

中图分类号：S126

A

文章编号：1004-1524(2018)06-1073-09

收稿日期：2017-08-17

基金项目：国家自然科学基金(51365017)

作者简介：杨国亮(1973—)，男，江西丰城人，博士，教授，主要研究方向为图像处理与模式识别。E-mail:ygliang30@126.com

，许楠，E-mail:xunan003@126.com

10.3969/j.issn.1004-1524.2018.06.26

(责任编辑张 韵)