基于特征分离的小样本苹果病害叶片检测

黄炜 王娟娟 殷学丽

摘要：准确检测出苹果叶片的病害有助于促进苹果保质、增产，提高果农的经济收益。针对现有苹果病害叶片检测模型精度不高的问题，提出一种基于特征分离的小样本苹果病害叶片检测算法。首先，利用VGG-16和Swin Transformer网络将苹果病害叶片映射到全局和局部特征空间，并设计了一种特征交叉融合网络来融合全局和局部特征；然后，提出一种复杂特征的细粒度特征分离方法，通过借助苹果病害叶片的文本标签和病害区域标签将融合的深度特征分离为叶片病害分类特征和叶片病害区域特征；最后，采用对比损失实现复杂特征的分离和模型端到端的优化。通过在Plant Village开源数据集上进行试验，结果表明，所提出方法可以实现96.35%的精准率、95.76%的召回率和96.02%的F1分数，相比当前经典的目标分类模型，所提出模型综合性能表现良好。此外，该模型的提出为苹果病害叶片的细粒度分类提供一种新的思路，并且可以为田间农作物病害检测系统提供技术支撑。

关键词：苹果病害；病害叶片检测；特征分离；特征交叉融合；全局和局部特征；小样本

中图分类号：TP391.41  文献标志码：A

文章编号：1002-1302（2023）23-0195-08

苹果是我国重要的农产品之一，具有很高的营养价值和经济价值［1］。然而，在苹果生长过程中，叶片极易受到天气、光照、肥料等多种因素的影响而产生病变，导致苹果的产量和质量难以保障，影响果农的经济收益［2］。因此，如何快速识别苹果叶片病害，对促进苹果产业的发展具有重要的意义。

传统苹果叶片病害的识别主要借助果农长期积累的专家经验［3-4］。然而，该类方法主观性强，极易造成苹果叶片病害识别错误，影响病害的最佳治疗时间。近年来，随着深度学习和计算机视觉技术在目标检测、目标识别和图像分割领域的广泛应用，利用深度学习和计算机视觉的相关技术解决农作物叶片的病害检测成为智慧农业领域新的研究方向［5-6］。如李鑫然等利用Faster R-CNN网络搭建了一套苹果叶片病害检测模型，通过在传统Faster R-CNN网络的基础上引入特征金字塔，提高了模型对于细节特征的捕获能力［7］。刘斌等利用Inception v2网络作为基线模型，并在此基础上引入时空注意力机制，提升了模型对苹果叶片病害区域的聚焦度，通过在AI农业病害挑战赛开源的苹果叶片病害数据集上进行测试，验证了所设计模型的合理性［8］。类似地，Di等提出了一种轻量级的苹果叶片病害检测模型，以YOLO网络为基线模型，并在此基础上将稠密块特征提取模块嵌入到Yolo特征编码层，在降低网络检测时间开销的同时，提升了模型对苹果叶片病害区域的识别精度［9］。Gong等针对苹果病害叶片周围环境复杂、病害区域小等因素造成的定位难问题，提出了一种基于改进Faster R-CNN的苹果病害叶片检测方法，通过在特征提取阶段引入Res2Net网络和特征金字塔网络，强化了所提取特征的可靠性和鲁棒性［10］。

虽然上述单一模型通过优化检测框或提升特征表达的鲁棒性和可靠性，有效提高了苹果叶片病害区域的识别精度。然而，该类模型对于复杂场景下的苹果叶片病害区域泛化性能局限，导致整体识别性能不佳。针对上述问题，孙长兰等将多种模型进行集成，充分利用了模型间的优势来缓解不足，进一步提升了苹果叶片病害区域的识别精度，通过在开源的Plant Village数据集上进行测试，验证了模型设计的有效性［11］。李昊等通过将VGG-16网络和ResNet-50网络并联构造特征提取器，并设计了一种多尺度特征融合网络，将并联输出特征进行深度融合，提升了特征的表达能力［12］。Tian等提出了一种新的多尺度稠密块特征融合网络，有效提高了11类苹果叶片病害的检测精度；此外，该方法通过生成对抗网络，有效缓解了苹果叶片病害图片样本数量有限的问题［13］。类似地，Luo等提出了一种改进多尺度特征融合网络的苹果叶片病害病识别与分类模型，通过利用多个对称卷积核和非对称卷积核，捕获输入特征图的主体特征和边缘纹理、细节特征，并将多个维度的特征进行深度融合，通过在开源数据集上进行测试，验证了模型的优越性［14］。

综上，单一模型和多种模型的集成模型虽然有效提升了苹果病害叶片的识别性能，但该类方法仍然存在以下改进空间：（1）早期苹果叶片的病害区域小、特征不明显，导致传统模型很难精准定位并识别出病害区域；（2）复杂场景下，多种相似性病害由于外觀、区域颜色值、纹理等类似，导致细粒度分类精度不佳。为此，本研究提出一种基于特征分离的小样本苹果病害叶片检测方法，主要创新点如下：（1）通过提取苹果叶片病害区域的全局和局部特征，构造多尺度特征，有助于提升特征的质量；（2）通过借助苹果病害叶片的文本标签和病害区域颜色标签将融合的深度特征分离，提升模型细粒度分类的可靠性和鲁棒性；（3）通过计算预测标签和真实标签之间的对比损失，提升类间的强区分能力和类内的亲和能力，并实现模型端到端的优化。

1 数据集介绍

本研究的数据来自Plant Village官方开源数据集［15］，该数据集包含室内和室外拍摄的多角度苹果病害叶片照片。表1提供了所研究苹果病害叶片的类型与样本个数。此外，将所有图片的大小调整为224像素×224像素，并利用滤镜、光照变化、旋转、裁剪等数据增强操作扩充数据集样本总数为17 300张，并按照7 ∶3的比例划分为训练集和测试集。图1给出了数据集中的各类样本及数据增强后的样本可视化。

2 苹果病害叶片检测模型

2.1 模型结构

基于特征分离的小样本苹果病害叶片检测模型结构如图2所示，包括特征提取、特征交叉融合、特征分离和病害叶片检测等模块。其中，特征提取阶段利用VGG-16和Swin Transformer网络分别将输入图片映射到全局和局部特征空间；特征交叉融合模块将全局和局部特征进行深度融合，缓解信息丢失的问题；特征分离模块分别利用文本标签和颜色区域标签作为强监督信号，将融合特征分解为表示病害文本信息和颜色区域信息的特征，增强特征表达的可靠性；苹果病害叶片检测模块利用全连接层将待检测的叶片进行细粒度分类，并利用对比损失端到端优化网络模型。

2.2 特征提取

2.2.1 全局特征提取 VGG-16网络由于强大的特征提取能力，在目标检测、图像细粒度分类任务中得到了广泛的应用［16］。本研究利用VGG-16网络作为主干网络，实现输入图片的全局特征映射。VGG-16网络由13个卷积层、5个池化层和3个全连接层组成，此处，将全连接层分离，仅利用池化层后的特征作为苹果叶片病害的全局特征。VGG-16网络结构如图3所示。全局特征的定義如公式（1）所示。

Fg=av_pool［conv2d（Fi）］。（1）

式中：conv2d表示卷积层操作，av_pool表示全局平均池化。

2.2.2 局部特征提取 苹果叶片病害区域面积小、早期特征不明显，仅利用全局特征表示叶片的病害区域特征， 极易造成信息丢失或语义歧义问题。为此，本研究采用Swin Transformer网络将苹果叶片病害区域映射到局部特征空间，通过在划分后的小窗口内进行细粒度特征提取，缓解因全局平均池化造成的信息丢失问题［17］。Swin Transformer网络特征提取流程如图4所示。

Swin Transformer网络的核心模块由窗口内注意力机制和偏移窗口注意力2个部分组成［18］。其中，窗口内注意力机制主要捕获特征的局部特征，然而像素之间具有一定的上下文语义关联，仅利用窗口内注意力导致窗口与窗口之间的信息交流抑制。为此，偏移窗口注意力机制的主要作用是实现不同窗口间的信息交流。Swin Transformer进行局部特征提取的计算如公式（2）和公式（3）所示。

Ft=MLP{W-MSA［LN（Ft-1）］+Ft-1}+W-MSA［LN（Ft-1）］+Ft-1；（2）

Ft+1=MLP{SW-MSA［LN（Ft）］+Ft}+SW-MSA［LN（Ft）］+Ft。（3）

式中：LN（·）表示归一化层；MLP（·）表示多层感知机；W-MSA表示窗口注意力；SW-MSA表示偏移窗口注意力；Ft表示窗口注意力机制的输出特征；Ft-1表示串口注意力机制的输入特征；Ft+1表示偏移窗口注意力机制的输出特征，即苹果病害叶片的局部特征。

2.3 特征交叉融合注意力

全局特征虽然可以表示苹果病害叶片的整体信息，但病害区域小、早期病害区域不明显，极易导致特征信息丢失；局部特征通过在苹果叶片病害小区域面积内细粒度提取特征，有效弥补了全局特征信息丢失的问题。因此，本研究设计了一种特征交叉融合注意力，将苹果叶片病害的全局和局部特征进行深度融合，特征交叉融合注意力流程如图5所示。

图5全局和局部特征交叉融合注意力计算中，首先将苹果病害叶片的局部特征Ft+1和全局特征Fg进行连接；然后，利用全局平均池化获得连接特征图的全局表示，并利用softmax函数沿通道维度计算注意力权重［19］。计算如公式（4）和公式（5）所示。

式中：conv1×1（·）表示大小为1×1的卷积；av_pool（·）表示全局平均池化；表示连接操作。

类似地，在计算全局特征注意力权重时，首先利用余弦相似度计算全局和局部特征的特征关联，并沿特征图的通道维度计算注意力权重，全局注意力权重计算如公式（6）所示。

wgl=softmax（conv1×1（cos（av_pool（Ft+1），fg）））。（6）

然后，将全局交叉注意力权重wgl和局部交叉注意力权重wlg进行点乘，获得最终的融合注意力交叉注意力权重w。最后，将全局特征与局部特征分别与注意力权重进行加权，获得最终的融合特征Fs。详细计算如公式（7）和公式（8）所示。

2.4 特征分离

融合后的深度特征包含多种语义信息，如苹果叶片病害区域的纹理、颜色和病害文本信息等。如何将融合特征进行解耦，利用细粒度分离的特征表示苹果叶片病害的单一特征，降低无关特征的干扰，可以有效提升模型对苹果叶片病害区域的定位与识别［20］。融合特征的特征分离流程如图6所示。

由于本研究所使用的苹果叶片病害数据集仅包括病害区域和病害类型2种标签，为此，利用病害区域和文本标签将融合特征分离为区域相关特征Fc、文本标签相关特征Fl和2个部分的共享特征Fcl。利用区域相关特征和共享特征预测苹果叶片病害区域，利用文本标签相关特征和共享特征预测叶片病害的文本标签。最后，通过计算预测叶片病害区域、病害区域标签与真实苹果叶片病害数据集进行损失计算，根据损失值端到端优化模型。具体计算方法如公式（9）和公式（10）所示。

式中：pc表示预测的病害区域标签；pl表示预测的文本标签。

3 试验设计

3.1 试验环境与评价指标

苹果病害叶片检测试验在Windows 10系统，搭载3090Ti 24 GB GPU，12 GB运行内存。编辑语言采用Python 11.3.2，编辑器选择PyCharm 2020.3.2。

深度网络的检测性能极易受超参数的影响，本研究采用对比测试的方法选择初始学习率为0.005，batch size为8，epoch为60。各项超参数的对比试验如图7所示。

为了验证本研究模型的性能，采用精准率、召回率和F1分数（F1-score）作为评价指标。计算方法如公式（11）至公式（13）所示。

式中：TP表示正确预测的样本数；FP表示误报的样本数；FN表示漏报的样本数。

3.2 消融试验

为研究不同模块在苹果病害叶片检测模型性能提升中扮演的角色，进行了如表2所示的消融试验。可以看出，相比利用单一局部或全局特征作为苹果病害叶片检测模型的基线特征，融合局部和全局特征的苹果病害叶片检测模型性能提升明显，可以实现92.88%的精准率、93.05%的召回率和93.76%的F1分数。 然而，在全局和局部特征构造多尺度融合特征的基础上，利用特征分离模块，在病害区域的定位和病害识别性能提升上具有明显的作用，精准率、召回率和F1分数进一步可以提升至96.35%、95.76%和96.02%。上述试验结果也验证了局部特征、全局特征和特征分离对于模型提升病害区域定位与识别具有积极的作用。

3.3 試验结果与分析

为了验证本研究所提出模型的先进性，在相同的数据集和评价指标下，与当前目标检测领域主流的模型YOLO v5、Inception v4、Faster R-CNN、AlexNet、GoogleNet进行对比试验，详细结果如表3所示。

由表3可以看出，本研究模型可以实现96.35%的精准率、95.76%的召回率和96.02%的F1分数，综合性能优势明显。具体地，在精准率评价指标下，本研究模型相比所有对比模型中表现最好的GoogleNet，提升了3.56百分点；在召回率指标下，相比Inception v4，提升了3.17百分点；在F1分数指标下，相比GoogleNet，提升了3.22百分点。性能提升明显的主要原因是：（1）本研究所提出的模型结合了局部和全局特征，通过在不同子区域内细粒度地学习局部特征表达，弥补了全局特征因全局平尺池化导致信息丢失或语义破坏的问题；（2）提取高质量的特征是提升模型对病害区域定位和病害类型识别性能的有效方法，所提出模型通过将融合特征分离为单一病害区域表示特征和文本标签特征，缓解了融合特征语义分布混乱导致模型性能不佳的问题。

为进一步验证所提出模型对苹果叶片病害区域定位与识别的鲁棒性和泛化性能，分别利用YOLO v5、Inception v4、Faster R-CNN、AlexNet、GoogleNet与本研究所提出模型对健康叶片、锈病叶片、黑星病叶片、褐斑病叶片、白粉病叶片进行检测试验，图8给出了不同模型对200张叶片的检测混淆矩阵。

图9展示了单一场景和多种混合场景下的苹果叶片检测结果可视化。可以看出，本研究所提出模型对于单一场景下的苹果病害叶片区域的定位与识别精度较高；多种混合场景下的检测性能有所下降，主要原因是多种混合场景包含叶片种类丰富、噪声信息较多，极易导致模型出现漏报或误报，但是本研究所提出模型仍然可以达到平均92.72%的精准率，可以在实际生产中为苹果叶片病害区域的定位与识别提供一定的指导作用。

此外，为验证本研究所提出模型在检测时间开销方面的优越性，与当前主流的YOLO v5、Inception v4、Faster R-CNN、AlexNet、GoogleNet等模型进行时间开销对比试验。详细对比结果如图10所示，可以看出，本研究所提出模型在检测时间开销方面与AlexNet、GoogleNet模型差距不明显，但与Faster R-CNN 模型，YOLO v5模型相比，优势明显，究其原因是本研究所提出模型在前期特征提取阶段，无论全局特征提取还是局部特征提取均选择了预训练的特征提取网络，不进行任何的参数微调，有效降低了时间开销。

4 结论

高质量的特征是提升苹果病害叶片检测模型定位与识别可靠性和鲁棒性的基础。针对现有基于深度学习的苹果病害叶片检测性能不佳、可解释性不强的问题，本研究提出一种基于多特征分离的苹果病害叶片检测方法，主要结论包括：（1）相比单一利用局部或全局特征的苹果病害叶片检测模型，融合局部和全局特征构造的多尺度特征融合模型可以有效提升模型的检测精准率；（2）融合多种语义的特征可解释性不强，特征间的干扰因素较多，将融合特征分离成单一代表苹果叶片病害区域和文本标签的特征，可以有效提升本研究苹果病害叶片检测模型定位与识别的性能；（3）通过在开源数据集上进行测试，本研究所提出模型可以实现96.35%的精准率、95.76%的召回率和96.02%的F1分数。

参考文献：

［1］Turkoglu M，Hanbay D，Sengur A.Multi-model LSTM-based convolutional neural networks for detection of apple diseases and pests［J］. Journal of Ambient Intelligence and Humanized Computing，2022，13（7）：3335-3345.

［2］Bansal P，Kumar R，Kumar S.Disease detection in apple leaves using deep convolutional neural network［J］. Agriculture，2021，11（7）：617.

［3］Khan A I，Quadri S M K，Banday S.Deep learning for apple diseases：classification and identification［J］. International Journal of Computational Intelligence Studies，2021，10（1）：1.

［4］Yan Q A，Yang B H，Wang W Y，et al. Apple leaf diseases recognition based on an improved convolutional neural network［J］. Sensors，2020，20（12）：3535.

［5］杜建军，李大壮，廖生进，等. 基于CT图像和RAUNet-3D的玉米籽粒三维结构测量［J］. 农业机械学报，2022，53（12）：244-253，289.

［6］Rehman Z U，Khan M A，Ahmed F，et al. Recognizing apple leaf diseases using a novel parallel real-time processing framework based on MASK RCNN and transfer learning：an application for smart agriculture［J］. IET Image Processing，2021，15（10）：2157-2168.

［7］李鑫然，李書琴，刘 斌. 基于改进Faster R-CNN的苹果叶片病害检测模型［J］. 计算机工程，2021，47（11）：298-304.

［8］刘 斌，徐皓玮，李承泽，等. 基于快照集成卷积神经网络的苹果叶部病害程度识别［J］. 农业机械学报，2022，53（6）：286-294.

［9］Di J E，Li Q.A method of detecting apple leaf diseases based on improved convolutional neural network［J］. PLoS One，2022，17（2）：e0262629.

［10］Gong X L，Zhang S J.A high-precision detection method of apple leaf diseases using improved faster R-CNN［J］. Agriculture，2023，13（2）：240.

［11］孙长兰，林海峰. 一种基于集成学习的苹果叶片病害检测方法［J］. 江苏农业科学，2022，50（20）：41-47. [HJ2.1mm]

［12］李 昊，王 斌. 深度特征融合方法及其在叶片病害识别中的应用［J］. 计算机系统应用，2022，31（7）：349-355.

［13］Tian Y N，Li E，Liang Z Z，et al. Diagnosis of typical apple diseases：a deep learning method based on multi-scale dense classification network［J］. Frontiers in Plant Science，2021，12：698474.

［14］Luo Y Q，Sun J，Shen J F，et al. Apple leaf disease recognition and sub-class categorization based on improved multi-scale feature fusion network［J］. IEEE Access，2021，9：95517-95527.

［15］潘仁勇，张 欣，陈孝玉龙，等. 基于DTS-ResNet的苹果叶片病害识别方法［J］. 国外电子测量技术，2022，41（9）：142-148.

［16］Thakur P S，Sheorey T，Ojha A.VGG-ICNN：a lightweight CNN model for crop disease identification［J］. Multimedia Tools and Applications，2023，82（1）：497-520.

［17］Guo Y F，Lan Y T，Chen X D.CST：Convolutional Swin Transformer for detecting the degree and types of plant diseases［J］. Computers and Electronics in Agriculture，2022，202：107407.

［18］Li X P，Li S Q.Transformer help CNN see better：a lightweight hybrid apple disease identification model based on transformers［J］. Agriculture，2022，12（6）：884.

［19］Mao B J，Wang L F，Xiang S M，et al. Task-aware adaptive attention learning for few-shot semantic segmentation［J］. Neurocomputing，2022，494：104-115.

［20］Lv Z H，Zhu S H，Wang D S，et al. Infrared-visible person re-identification via dual-channel attention mechanism［J］. Multimedia Tools and Applications，2023，82（15）：22631-22649.