基于SENet和深度可分离卷积胶囊网络的茶树叶部病害图像识别

牟文芊,董萌萍,孙文杰,杨晓霞*,王秀美

基于SENet和深度可分离卷积胶囊网络的茶树叶部病害图像识别

牟文芊1,董萌萍1,孙文杰1,杨晓霞1*,王秀美1

山东农业大学信息科学与工程学院, 山东 泰安 271018

茶树是重要的经济作物，叶部病害的发生直接影响其产量和质量。针对胶囊网络在茶树叶部病害图像识别中识别率低和参数量大的问题，提出了一种基于SENet和深度可分离卷积胶囊网络的茶树叶部病害图像识别算法。首先，由于尚无茶树叶部病害图像标准数据集，构建了茶树叶部病害图像数据集。其次，在胶囊网络中引入深度可分离卷积，并在深度可分离卷积层后加入SENet。实验结果表明，提出算法的识别准确率为94.20%，相同条件下优于其它模型。

胶囊网络; 压缩激发网络; 深度可分离卷积; 茶树叶部病害

中国是茶树种植大国，也是茶园面积增速最快的国家。茶树叶部病害识别与防治可以有效地提高茶叶的产量和质量。目前，茶树叶部病害识别主要依靠人工，专业性强，费时费力，且当茶树叶部病害特征不够明显时，人工识别易判断错误。

深度学习作为人工智能的核心技术，具有图像和语音识别速度快和准确率高的优势。近年来，广泛应用于农作物病虫害识别并取得了较大进展。Mohanty等[1]分析了PlantVillage数据库中的54306幅植物叶子图像，共14种作物和26种作物病害，利用GoogLeNet结构，对80%的彩色图像进行迁移学习训练，达到了较高的准确率。Ramcharan等[2]应用学习迁移训练卷积神经网络（Convolutional Neural Networks，CNN）对木薯3种病害和2种害虫进行识别，利用Inception V3模型，测试精度高。张善文等[3]针对黄瓜的病害识别设计了基于LeNet的11层深度卷积神经网络。相较于传统的图像识别方法，该方法具有更高的准确率，更快的识别速度，但是需要大量的训练时间。Oppenheim等[4]利用CNN成功的应用于马铃薯病害的图像识别。Zhao等[5]以棉花叶部病害图像为研究对象，利用迁移学习和数据增强技术，实现了棉花叶部病害图像准确分类。刘阗宇等[6]则利用目标检测算法Faster-RCNN对田间复杂背景下的病害叶部图像进行了分类识别。

2017年，Hu等[7]提出了压缩激发网络（Squeeze-and-Excitation Networks，SENet），并获得了ImageNet图像识别大赛冠军。Zhang等[8]提出了多特征加权DenseNet模型用于图像分类，分类效果明显。刘学平等[9]提出了改进的YOLO V3算法，利用和粒子群进行锚框的计算，同时在shorcut层中引入SENet，复杂背景下查准率和查全率较高。黄扬[10]在Faster RCNN的特征提取模块中加入SE模块，提高了网络的准确性。刘琳琳等[11]提出了SENet多路CNN模型，使用堆叠多路卷积和SENet，对转移的淋巴结检测准确率较高。Chollet等[12]提出了Xception，其将深度可分离卷积代替了Inception模块，提高了参数利用率。杨可军等[13]在VGGNet中融合了深度可分离卷积，提高了检测速度。针对车型实时识别能力不足的问题，郭融等[14]提出了基于深度可分离卷积的SSD目标检测算法，用于车型识别，并取得了较好识别效果。

卷积神经网络的特点是局部权值共享，且避免了特征提取的过程。但其无法精确的获取空间关系，池化层只有最大的神经元被传到下一层，导致了大量信息的丢失。2017年，Hinton等[15]提出了胶囊网络，将胶囊定义为神经元的组合，学习特定目标并输出向量，当目标有微小的变化时，胶囊会对输出的向量进行调整。

本文以茶树叶部病害图像为研究对象，将深度可分离卷积和SENet引入胶囊网络，提出了一种茶树叶部病害图像识别算法，实验结果表明，该算法提高了茶树叶部病害图像的识别率。

1 方法

1.1 胶囊网络

胶囊网络的输入输出都是向量，并且利用向量的长度表示目标的存在，方向表示目标的特征，主要包含卷积层、主胶囊层和类别胶囊层，其中主胶囊层将卷积层提取的特征图转换为向量胶囊，然后通过动态路由与类别胶囊层，最后输出结果。

胶囊网络利用动态路由将特征图中的关键特征组合在一起，在动态路由中，高层胶囊和低层胶囊是全连接的，其中每个底层胶囊连接到高层胶囊的概率c如公式（1）所示，其中b是胶囊到的先验概率。

高层胶囊的输出v如公式（2）所示，其中s为低层胶囊的输入。

胶囊的输入由公式（4）计算得到。

1.2 SENet

CNN的核心是卷积核，其本质是空间信息和特征维度信息的聚合体，可以捕获图像的全局特征，提高网络的表示能力。目前，多数CNN都是从空间维度上来提高网络的性能，而SENet则是采用重新标定的方法，对特征通道之间的关系进行显式建模，学习每个通道的权重，依照权重对有用的特征进行提升，抑制权值不高的特征。

SENet主要包括三个步骤，首先是压缩操作，利用全局平均池化，将二维的特征通道变成一个实数。其次是激发操作，通过参数来为每个通道生成权重。最后是重标定操作，将激发操作得到的权重加权到先前的特征上。

1.3 深度可分离卷积

深度可分离卷积主要由深度卷积和1*1逐点卷积组成，对输入图像的每一个通道独立进行空间逐层卷积，再进行逐点卷积，与传统卷积层相比，减少了参数数量，在参数量相同的前提下，采用深度可分离卷积的网络层数可以更深。

假设输入特征图的大小为H*W*C，样本数为N，其中H和W分别为特征图的高和宽，C为输入特征图的通道数，深度卷积是指将H*W*C*N的特征图分为C组，然后每一组分别做卷积，则可以得到每个通道的空间特征。该运算只对输入特征图的每个通道进行独立卷积运算，没有充分利用不同通道在相同空间位置上的特征信息，而点卷积则对H*W*C*N的输入进行1*1卷积操作，得到每个点的特征。卷积层的结构如图1（a）所示，深度可分离卷积结构如图1（b）所示。

图 1 卷积层和深度可分离卷积结构对比

1.4 本文提出的算法

胶囊网络的第一层是卷积层，卷积核大小为9*9，步长为1，通道数为256。胶囊网络存在参数多、计算量大和卷积核单一等问题，本文使用参数量和计算复杂度低的深度可分离卷积替代标准卷积操作。SENet结构简单，具备一定的灵活性，能够嵌入到现有的网络中，扩大了特征图对全局信息的感知范围。本文基于上述特点改进了胶囊网络，将第一层的卷积层替换为深度可分离卷积，并在其后引入SENet，主要用于处理卷积的特征，改进后的卷积层如图2所示。

SENet的压缩操作主要是通过全局平均池化来获得全局特征，接着是两个全连接层去构建通道之间的相关性，其主要是先根据压缩比降低特征维度，本文中的设置为4，经过ReLU激活函数后，再通过一个全连接层回到原来的维度，使得输入输出特征拥有同样数目的权重。两个全连接层可以更好地拟合通道之间相关性，并且可以减少参数量和计算量。最后将通过Sigmoid函数学到的各通道的值乘上原始特征，使得模型对各个通道的特征更有辨别能力。

图 2 改进的卷积层

图 3 胶囊网络的解码器

第二层是主胶囊层，卷积核的尺寸是9*9，步长为2，通道数为256，其将特征图转化为长度为8的胶囊6*6*32个；最后一层类别胶囊层是主胶囊层通过动态路由得到的长度为16的胶囊。

训练过程中，正确分类胶囊的激活向量会被用于重建输入图像，输入到一个三层的全连接层组成的解码器，模拟像素强度，胶囊网络的解码器结构如图3所示。

1.5 损失函数

胶囊网络使用实例化向量长度来表示胶囊的实体是否存在，当图像中存在病害时，表示病害种类的胶囊则具有实例化向量，每个病害种类胶囊使用不同的边缘损失L，如公式（6）所示。

2 数据集的构建

2.1 数据的获取

本文以茶树常见的叶部病害为研究对象，在山东省泰安市茶溪谷、泰顶青茶园等多个茶园内进行人工采摘病叶，分别采集了白星病、轮斑病、芽枯病、机械损伤和炭疽病5类病害图像进行实验。为减少背景的干扰，均采用单一背景的图像，拍摄图像格式为JPEG。采集的茶叶病害原始图像数量为15000张，每类3000张。

2.2 数据预处理

为了防止出现过拟合的情况，提高算法的泛化能力，网络需要大量的数据。首先，固定图像的输入维度，将图像的尺寸统一转换为128*128*3，然后才能输入网络进行训练。本文采用数据预处理的方式主要包括调整亮度和对比度、添加噪声和高斯模糊，其中调整图像的对比度设置为3，亮度设置为50，高斯模糊是为每一个像素取周边像素的平均值，将其半径值设置为0.1。预处理后茶树叶部病害图像数据集的数量为40000张，平均每类8000张，降低了过拟合的风险。预处理前后的茶树叶部病害图像样本如表1所示。

表 1 预处理前后的茶树叶部病害图像

3 结果与分析

3.1 实验环境

本文实验软硬件环境参数设置如表2所示。

表 2 软硬件环境参数

3.2 结果分析

本文使用Adam算法优化网络，在训练中自适应调整学习率，并根据茶叶病害训练图像进行权重的更新，直到找到最优结果。学习率代表网络权重更新的速度，当设置过大时，最终的识别结果不准确，设置过小时则会增加训练时长。该实验的epoch设置为100，训练集中的图像在一个epoch内会进行一次完整训练，将批处理样本设置为100，训练过程如图4所示。由图4可知，本文提出算法的损失曲线在将近第40个epoch时趋近于收敛，同时准确率曲线在该点时也逐渐达到收敛。

3.2.1 不同学习率对实验结果的影响对于学习率，采用对数标尺选取0.001、0.0001和0.00001，学习率衰减因子设置为0.9，通过反复实验进行了最优的调整，不同学习率在茶树叶部病害验证集上的识别结果如图5所示，由图5可知，当学习率设置为0.001时，本文提出的算法在茶树叶部病害图像上的识别准确率最高。

图 4 训练过程损失值和准确率曲线

图 5 不同学习率的识别准确率

图 6 不同学习率的损失函数变化曲线

本文提出的算法在不同学习率下损失函数收敛曲线如图6所示，损失值一开始呈现快速下降的趋势，当学习率最小为0.00001时，模型收敛速度较慢，但损失值达到了最低，并且在迭代至40次时开始趋向于收敛，算法达到最优。

3.2.2 消融实验本文以胶囊网络为基础，将本文提出的算法与胶囊网络、基于SENet的胶囊网络和基于深度可分离卷积的胶囊网络在茶树叶部病害图像上的识别结果进行了比较，表3是上述算法识别结果的比较。由表3可知，胶囊网络的准确率89.91%，在胶囊网络中引入SENet和深度可分离卷积，准确率提高3.61%和2.09%，本文提出算法的准确率提高了4.29%，精确率和召回率均得到了提高，在胶囊网络中引入深度可分离卷积后F1值略有提高，引入SENet后F1值得到了大幅度提高。

表 3 茶树叶部病害图像数据集上的消融实验的识别结果比较

表 4 混淆矩阵

3.2.3 不同算法在茶树叶部病害图像上的识别结果为了更好的比较不同算法对识别结果的影响，将所有的超参数进行了统一化。本文提出的算法在茶树叶部病害图像测试集上的混淆矩阵如表4所示，每类病害图像的数量为500张。由表4可知，除机械损伤外，其它4种病害的识别效果较好，其中少量的茶芽枯病和茶轮斑病被识别成机械损伤，主要的原因是机械损伤的叶片具有其它2种病害的特征，内部特征具有一定的相似性。

为了验证本文提出算法在茶树叶部病害图像数据集上的有效性，与胶囊网络、CNN、VGG16和Inception V3进行了比较，实验结果如表5所示。由表5可知，CNN在茶树叶部病害图像上识别效果最差，准确率仅为87.75%。本文提出的算法的识别准确率最高，主要原因是SENet结构增强了特征图的感受野，通过特征图的权重来提升有用的特征并且抑制了无用的特征，从而使得算法学习的信息更加全面。胶囊网络准确率高于CNN的主要原因是其具备更好地拟合特征的能力。

表 5 不同算法在茶树叶部病害图像数据集上的识别准确率

4 结论

本文提出了一种基于SENet和深度可分离卷积胶囊网络的茶树叶部病害图像识别算法，针对胶囊网络参数量大的问题，将卷积层替换为深度可分离卷积，并在卷积层后增加了SENet，一种特征重标定策略，学习自动获取到每个特征通道的权重，然后根据权重提升有用的特征并抑制对当前任务用处不大的特征。对比实验结果表明，本文提出的算法识别效果较好。

[1]Mohanty SP, Hughes DP, Salathe M. Using deep learning for image-based plant disease detection [J]. Frontiers in Plant Science, 2016,7:1419

[2]Ramcharan A, Baranowski K, Mccloskey P. Deep learning for image-based cassava disease detection [J]. Frontiers in Plant Science, 2017,8:1852

[3]张善文,谢泽奇,张晴晴.卷积神经网络在黄瓜叶部病害识别中的应用[J].江苏农业学报,2018,34(1):56-61

[4]Oppenheim D, Shani G, Erlich O. Using deep learning for image-based potato tuber disease detection [J]. Phytopathology, 2019,109(6):807-822

[5]Zhao LX, Hou FD, Lyu ZC,. Image recognition of cotton leaf diseases and pests based on transfer learning [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020,36(7):184-191

[6]刘阗宇,冯全,杨森.基于卷积神经网络的葡萄叶片病害检测方法[J].东北农业大学学报,2018,49(3):73-83

[7]Hu J, Shen L, Sun G. Squeeze-and-Excitation Networks [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018:7132-7141

[8]Zhang K, Guo YR, Wang XS,. Multiple feature reweight Dense Net for image classification [J]. IEEE Access, 2019,7:9872-9880

[9]刘学平,李玙乾,刘励,等.嵌入SENet结构的改进YOLOV3目标识别算法[J].计算机工程,2019,45(11):243-248

[10]黄扬.基于SEnet的小样本MRI颈椎病变检测方法研究[D].长春:吉林大学,2020

[11]刘琳琳,叶强,何灵敏.基于SENet多路网络的乳腺癌转移检测[J/OL].计算机工程与应用.https://kns.cnki.net/kcms/detail/11.2127.tp.20201025.1347.002.html

[12]Chollft F. Xception: Seep Learning with Depthwise Separable Convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2017

[13]杨可军,杨建旭,陈思宝,等.基于深度可分离卷积及SVD输电线路缺陷检测[J].智慧电力,2020,48(10):64-69,77

[14]郭融,王芳,刘伟.改进深度可分离卷积的SSD车型识别[J/OL].重庆大学学报.http://kns.cnki.net/kcms/detail/50.1044.N.20200428.1019.002.html

[15]Sabour S, Frosst N, Hinton GE. Dynamic routing between capsules[C]//Neural Information Processing Systems. California, USA: NIPS Proceeding, 2017:3856-3866

Image Recognition for Tea Leaf Disease Based on Improved Capsule Network and SENet

MU Wen-qian1, DONG Meng-ping1, SUN Wen-jie1, YANG Xiao-xia1*, WANG Xiu-mei1

271018,

Tea is an important economic crop, its leaf diseases will directly affect the yield and quality of tea. Aiming at the problems of low recognition and large parameters of Capsule Network in the recognition of tea leaf disease images, this paper proposes an improved Capsule Network with SENet and depthwise separable convolution. Firstly, as there is no standard image dataset for tea leaf diseases, dataset of tea leaf diseases was constructed. Secondly, depthwise separable convolution was introduced into Capsule Network. Then, SENet was added after depthwise separable convolution layer. The experimental results show that the improved method can achieve a accuracy of 94.20% in the identification of tea leaf disease images, and its performance is better than other models under the same conditions.

Capsule Network; squeeze-and-excitation networks; depthwise separable convolution; tea leaf disease images

TP391.4

A

1000-2324(2021)01-0023-06

10.3969/j.issn.1000-2324.2021.01.005

2020-02-24

2020-05--13

牟文芊(2001-),女,本科生,主要从事人工智能的研究. E-mail:mwq_bella@163.com

Author for correspondence. E-mail:yangxx@sdau.edu.cn