基于属性特征知识图谱的细粒度葡萄园害虫识别

郑增威 ，李彦臻 ,3，刘 益 ,3，林中琦 ，向正哲 ，何梦竹 ，孙 霖 ※

（1. 浙大城市学院计算机与计算科学学院，杭州 310015；2. 智能植物工厂浙江省工程实验室，杭州 310015；3. 浙江大学计算机科学与技术学院，杭州 310027）

0 引 言

中国葡萄种植面积大、产量高，是主要的水果之一[1]。在葡萄园作物栽培管理过程中，虫害是制约其品质改良和产量增长的主要因素，正确诊断作物害虫类别是科学防治的必要前提。 随着人工智能技术的发展，利用计算机视觉技术对农作物害虫图像进行自动识别和诊断已经成为国内外一大研究热点。

深度学习作为其中一项关键技术，弥补了传统图像分类方法特征提取能力差、效率低等缺陷，被广泛应用于农作物害虫的识别与诊断中。AYAN 等[2]集成Inception-V3[3]、Xception[4]和MobileNet[5]，提出了GAEnsemble 模型，通过遗传算法确定预训练模型权重，该模型具备良好的稳定性和作物害虫识别准确性。苏仕芳等[6]利用ImageNet-21k 预训练VGG-16[7-8]，并在葡萄叶片病害数据集上微调，通过数据增强技术结合迁移学习的训练方式，该模型对褐斑病、黑腐病等葡萄叶常见病害的识别准确率均达到90%以上。孙钰等[9]将VGG-16 用于无人机上对森林害虫进行检测。梁万杰等[10]提出一种卷积神经网络模型的水稻害虫识别方法。TURKOGLU 等[11]提出了一种基于LSTM（long short-term memory）[12]的卷积神经网络模型MLP-CNNs，实现了苹果害虫的精确识别。王林惠等[13]优选MoblieNet 作为害虫图像特征提取网络对柑橘害虫进行准确识别。

虽然上述研究在一定程度上解决了农作物害虫的识别问题，但是目标种物仅仅局限于小麦、苹果、柑橘等，对于葡萄园中的害虫识别仍然存在识别精度不足、针对性不强等问题。针对此，找到一种能够更加精准识别葡萄园害虫种类的模型和方法已成为葡萄园提高产量和品质的迫切需求。

知识图谱（knowledge graph, KG）作为一种能够精确描述领域内复杂知识的数据模型，被广泛应用于智能搜索、个性化推荐等领域。在农业领域知识图谱方面，于何龙等[14]构建了包含害虫种类、病害类别、病斑颜色、发病阶段等信息的水稻病害虫本体，并开发了知识图谱与确定性因子模型相结合的水稻病害虫知识推理和智能诊断系统，该系统支持领域知识检索，能够为水稻作物生产实践提供指导。戈为溪等[15]提出了一种基于知识图谱和案例推理的水稻精准施肥推荐模型，该施肥推荐模型能够输出详细的施肥方案和精确的施肥量。吴赛赛等[16]提出了一种基于深度学习的实体-关系抽取模型，成功实现多源数据中有用知识的准确抽取，所构建的病害虫知识图谱能够为其他农作物相关下游任务提供高质量的知识基础。郑泳智等[17]对荔枝和龙眼害虫知识进行了研究，并基于知识图谱开发了智能问答系统，为害虫诊断和防治提供指导。知识图谱技术的引入实现了数据信息的有效利用，同时提高了专业知识在农业领域的应用能力。

然而，现有研究中知识图谱主要用于农业领域的知识检索和智能诊断，很少涉及将知识图谱与计算机视觉技术相结合以提高害虫图像识别精度的研究。同时对于覆盖果蔬作物害虫知识图谱的深入研究较少，尤其是针对葡萄园害虫这一垂直领域的系统仍有待开发。为解决上述问题，本研究提出了一种基于属性特征知识图谱的细粒度葡萄园害虫识别方法ACKGViT（attribute characteristics knowledge graph enhanced vision transformer），利用从农业科学等网站收集的大量葡萄害虫相关知识语料，由领域专家指导构建了害虫属性特征知识图谱，用于增强视觉编码器对害虫图像细粒度特征信息的感知能力，从而实现葡萄园害虫精确识别。该方法可作为葡萄园害虫信息检索、智能推荐等下游应用的知识库基础，可以有效应用于作物品种选择、害虫防控等农业生产方面。

1 葡萄园害虫知识图谱构建

1.1 葡萄园害虫知识获取与预处理

由于葡萄园害虫领域暂时没有公开可用的资料库和数据库能够直接作为试验材料，本研究涉及的葡萄害虫相关知识和数据通过专业农业网站、昆虫科学网站、维基百科、百度百科等知识库获取。利用Scrapy 框架，共爬取包括绿盲蝽、大青叶蝉、葡萄二星叶蝉等21 种葡萄园常见害虫在内的数据1 264 条。通过正则表达式等数据清洗方式，将爬取的数据转化为规范化的葡萄害虫语料。清洗后的数据包括半结构化和非结构化两种类型：

1）半结构化数据。数据包括例如“形态特征”“生活习性”等目录或标题在内的半结构化信息，通过构造相应规则直接进行实体抽取。

2）非结构化数据。将整段、整篇文本作为属性的数据，采用深度学习模型Bi-LSTM-CRF[18]对该类型的数据进行实体抽取，以将实体-属性抽取转换为序列标注任务。

1.2 葡萄园害虫属性特征知识图谱建模

知识图谱构建包括“自底向上”和“自顶向下”两种方式。自底向上是一种数据驱动方式，适用于开放领域的知识图谱构建；而自顶向下的构建方式是指在构建知识图谱之前，预先定义本体和模式。根据本研究是垂直于“葡萄园”种植行业的研究这一特性，采用自顶向下的方式构建葡萄园害虫属性特征知识图谱。将实例集合定义为 ＜害虫类别，关系，属性特征＞ 的三元组，并选用图数据库Neo4j 作为知识存储方式。

为了更加精准地描述葡萄园害虫实体、属性特征以及实体关联信息，本文确定了常见葡萄园害虫的种类、生命周期、分布区域，以及它们对葡萄产量和品质的影响程度，从而更全面地理解葡萄园害虫问题。此外，还研究了针对不同害虫种类的防治策略和方法，在这项研究中，对害虫的属性特征进行了细致的分析，包括颜色特征、纹理特征和轮廓特征。这些特征有助于区分不同种类的害虫，为识别模型提供了丰富的信息，使得模型识别准确率得以上升。除此之外，还深入研究了害虫的生物学特性，如生活习性、繁殖方式、天敌关系等。通过对害虫的分类体系的了解，可以为知识图谱构建提供更为精细的分类依据。在收集了大量葡萄害虫相关知识语料后，本研究构建出了一个能够精确反映葡萄园害虫实体属性和关联信息的知识图谱，最终知识图谱部分搭建效果展示如图1 所示。

图1 知识存储示例Fig.1 Example of storing knowledge

2 ACKGViT 模型介绍

如图2 所示，本文所提出的ACKGViT 模型采用双分支结构，构建包括：基于属性特征知识图谱（attribute characteristics knowledge graph, ACKG）的害虫属性特征及关联特征提取分支，和基于深度学习网络ViT[19]（vision transformer, ViT）的害虫图像高层语义表征提取分支，结合两个分支获取的特征向量，用于葡萄害虫图像分类研究。ACKG 通过图卷积网络实现映射。其中值得说明的是，在仅使用单一知识图谱进行训练时，网络初始化参数可能会对最终优化效果造成干扰，因此，为了让知识图谱学习到的关系更符合实际领域知识，本文还引入了传统特征信息，作为知识图谱特征学习的目标，用于优化训练。

图2 ACKGViT 模型示意图Fig.2 Illustration of the ACKGViT(attribute characteristics knowledge graph enhanced vision transformer) model

2.1 细粒度害虫属性特征提取网络

2.1.1 传统特征提取模块

ACKGViT 组合颜色特征、纹理特征和轮廓特征作为传统手工特征向量。对于输入的每一张图像，将颜色矩作为图像颜色表征，定义为fc；使用局部二值模式（local binary patterns）[20]和灰度共生矩阵（gray-level co-occurrence matrix）[21]分别提取图像纹理特征并进行拼接（Concatenate），所得向量作为全局纹理特征ft；轮廓特征fo基于Canny 边缘检测算法进行提取。最终传统特征fMF由上述3 种特征通过拼接操作得到：

2.1.2 属性特征知识图谱ACKG本研究利用GAT（graph attention network, GAT）[22]网络将葡萄园病害虫知识图谱ACKG 映射为可以进行训练的神经网络模块。GAT 是由VELICKOVIC P 等[22]在2018 年提出的一种图卷积网络模型，由堆叠图注意力（Attention）层构成，利用自注意力机制（Self-attention）聚合邻居节点信息，通过在训练过程中自适应学习邻居权值的方式，使得模型具备良好的可解释性和准确性。知识图谱中的点包括害虫类别Nl和害虫特征Nf两种类型：

式中n和m分别代表害虫类别总数和图谱中所有属性节点的数量。l0代表害虫类别的第一个索引。式（2）表示知识图谱中害虫类别节点的集合，其中Nl0是第一个害虫类别节点，Nl1是第二个害虫类别节点，依次类推，直到Nln为第n个害虫类别节点。同样，式（3）表示知识图谱中害虫特征节点的Nf集合，包括m个特征节点。

ACKG 的训练包括两个步骤：首先，基于输入害虫图像的标签（Label）在知识图谱中进行索引，得到该类害虫在知识图谱中对应节点的属性特征向量，记为fCF；然后，与手工特征向量fMF进行余弦相似度计算，得到相似度损失 Ls：

式中，k代表特征向量的维度，与害虫类别总数相等。fMFi代表手工特征向量fMF的第i个分量，fCFi代表属性特征向量fCF的第i个分量。式（4）计算的是相似度损失Ls，其目的是衡量手工特征向量fMF与知识图谱中属性特征向量fCF之间的相似度。这里使用了余弦相似度作为相似度的度量方法，因为它能够很好地捕捉两个向量之间的角度关系，而不受长度影响。式（4）的分子部分计算了fMF和fCF之间的点积，而分母部分计算了各自的模长乘积。通过将点积除以模长乘积，可以得到两个向量之间的余弦相似度。这个相似度值可以用于评估手工特征与知识图谱中属性特征之间的一致性。在训练过程中，希望最小化相似度损失 Ls，以便使得手工特征与知识图谱中的属性特征更加一致。

测试时，利用每张图像的手工特征向量，与ACKG中所有表示害虫类别的节点所对应的特征向量进行余弦相似度计算，组合得到属性相似性特征向量fCL。用lk表示害虫类别节点索引，则fCL表示为

2.2 害虫图像高层语义表征提取网络ViT

由于视觉编码器ViT[19]在多种预训练网络模型中表现最为优异，本研究将ViT 作为提取图像高层语义表征信息的骨干网络。

ViT 是由Google 团队在2020 年提出的一种图像分类模型，通过在视觉任务中引入Transformer[23]机制，ViT 表现出了良好的性能与可扩展性，现被广泛应用于各类视觉任务。

对于输入图像X∈RH×W×C，即高、宽、通道数分别为H、W、C，ViT 会首先将其切分为多个子图块（Patch），并展平为一维输入序列。令图块大小为P×P，则该子图块序列表示为

式中，N表示子图块数目。

接下来，将每个子块投影为固定长度D的向量再输入到Transformer 编码器，即有：

在序列头部嵌入特殊字符CLS，从而将视觉问题转化为seq2seq 问题。经过位置编码、层归一化以及多层感知机进行维度变换之后，得到最终图像表征输出向量，记为fSF。为了获得更好的迁移效果，本研究所使用的是经过ImageNet-21k 预训练的ViT 网络。

2.3 分类器

ACKGViT 结合知识图谱提取的图像属性特征和ViT 提取的图像高层语义表征特征用于训练分类器。训练、测试时融合后的特征ftrain、ftest分别表示为

分类器由全连接网络和Softmax 函数构成。输入是害虫图像特征向量，即ftrain或ftest，输出是害虫类别。

模型损失 L用交叉熵损失函数 Lc和余弦损失函数Ls表示：

式中，yi和yˆi分别表示输入害虫图像的真实标签和预测标签，p(yˆ)表示yˆ的预测概率。

训练分类器方法依据与原理如下：1）图像属性特征提取：利用知识图谱中的概念节点和它们之间的关系来捕捉图像中的属性信息。知识图谱通过对领域知识的结构化表示，为模型提供了关于病害虫的高级信息。利用图注意网络（graph attention networks，GAT）对知识图谱进行编码，从而为每个概念节点生成一个特征向量。这些特征向量可以视为害虫类别的属性特征。2）高层语义表征特征提取：使用ViT 从图像中提取高层语义表征特征。ViT 通过将图像分割为固定大小的patches，并将它们线性嵌入到特征空间中，然后应用Transformer 结构进行特征抽取。这样，ViT 可以捕获图像中的全局上下文信息，从而生成具有高层语义的特征表示。3）训练阶段：将知识图谱提取的图像属性特征与ViT 提取的高层语义表征特征进行融合。融合通过特征加法操作进行融合。融合后的特征向量包含了病害虫的属性信息和图像的高级语义信息，可以更好地表征害虫类别，提高分类性能。这样做可以进一步引导模型关注与目标类别相关的特征，减小背景噪声的影响。具体过程如图3 所示。

图3 ACKGViT 模型具体运作机理Fig.3 Specific operating mechanism of ACKGViT(attributecharacteristics knowledge graph enhanced vision transformer) model

2.4 数据集

本研究测试所用数据集包括从大规模公开数据集IP102[24]中挑选的GP21 数据集和从农业生产基地实地采集的GP8 数据集。

GP21 数据集。GP21 数据集来源于IP102[24]数据集，该数据集包括从专业农业网站和昆虫科学网站上收集的共计75 222 个样本。由于本任务聚焦于葡萄园害虫的细粒度识别问题，所以从中挑选了21 种葡萄园常见害虫图像，构成GP21 数据集，用于分类研究，其中，训练样本和测试样本总数分别为10 303 和1 714。

GP8 数据集。该数据集采集于杭州浙大城市学院植物工厂基地。如表1 所示，在3 位农业专家指导下，利用远程可视化自动害虫监测系统iMETOS iSCOUT，采集了包含绿盲蝽、大青叶蝉和麦二叉蚜等在内的8 种当季葡萄园害虫图像，通过人工筛选和标注，最终获得GP8 数据集，如图4 所示，其样本总数为1 365。将GP8数据集按照3:1 的比例进行划分，得到训练集和测试集。其中，训练样本总数为1 023，测试样本总数为342。

表1 GP8 数据集包含害虫类别及相应样本量Table 1 Taxonomy and its corresponding sample size of the GP8 dataset

图4 GP8 数据集中的样本示例Fig.4 Different example images of the GP8 dataset

2.5 试验设置

本文所提出的ACKGViT 模型采用两层的GAT 网络，所含MLP（multi-layer perceptron, MLP）隐藏层维度为16，注意力头Z设置为4，输出结点数目与数据集中害虫类别总数保持一致；ViT 使用默认参数配置。在将图像输入到网络进行特征提取之前，通过缩放操作（Resize）保证其空间尺度为224× 224。训练时观察到模型在50 个轮次时已完全收敛，本试验将训练轮次设置为50，学习率设置为0.001。

相关试验在装有NVIDIA RTX 3 090 GPU 和Intel Core i9 10900K CPU 的机器上进行。训练过程使用SGD优化器，GP21 数据集和GP8 数据集完成50 个轮次的训练分别需要大约4 和0.5 h。与其他数据集相关文献一致，本试验将准确率（accuracy，A）作为评估模型性能的指标，同时也列举了F1 分数（F1），精确率（precision，P），召回率（recall，R）指标的计算结果。

式中，Tp是正确预测的正样本数量，Tn是正确预测的负样本数量，Fp是错误预测的正样本数量，Fn是错误预测的负样本数量。

2.6 模型算法的复杂度分析

在评估所提出的葡萄园害虫识别模型的性能之外，还需要关注算法复杂度和计算量等方面的分析。这些分析有助于了解模型在实际应用中的效率和可扩展性。

首先，考虑模型的时间复杂度。模型的主要组成部分包括视觉编码器（ViT）和图卷积网络（graph convolutional network，GCN）。对于ViT，其时间复杂度主要取决于图像的分辨率和ViT 的层数。假设输入图像的大小为H×W，ViT 的层数为L，那么ViT 的时间复杂度大致为O(L×H×W)。对于GCN，其时间复杂度主要取决于图的节点数和GCN 的层数。假设知识图谱有N个节点，GCN 的层数为K，那么GCN 的时间复杂度大致为O((K×N)2)。因此，整个模型的时间复杂度大约为O(L×H×W+(K×N)2)。

其次，关注模型的空间复杂度。同样地，模型的空间复杂度主要取决于ViT 和GCN。对于ViT，其空间复杂度主要与图像分辨率和ViT 的参数数量有关。设ViT的参数数量为Pv，那么ViT 的空间复杂度大约为O(Pv)。对于GCN，其空间复杂度主要与知识图谱的节点数和GCN 的参数数量有关。设GCN 的参数数量为Pg，那么GCN 的空间复杂度大约为O(Pg+N)。因此，整个模型的空间复杂度大约为O(Pv+Pg+N)。

最后，讨论模型的计算量。计算量主要受输入图像大小、模型参数数量以及训练迭代次数等因素的影响。在训练阶段，模型需要对大量图像进行前向传播和反向传播，以更新模型参数。设训练迭代次数为T，那么整个模型的计算量大约为O(T(L×H×W+(K×N)2))。

综上所述，本研究所提出的模型在时间复杂度、空间复杂度和计算量方面的分析表明，虽然引入知识图谱和图卷积网络增加了一定的计算负担，但总体上仍在可接受范围内。此外，随着硬件性能的提升和算法优化技术的发展，该模型在实际应用中将具有较高的效率和可扩展性。

3 结果与分析

3.1 不同模型在数据集上的性能比较

表2 分别列出了预训练网络VGG-16、ResNet-152[21]、Inception-V3、 Xception、 MobileNet、 SqueezeNet[22]和ViT 在GP21 和GP8 测试集上的性能。

表2 不同模型在GP21 和GP8 数据集上的性能对比Table 2 Performance comparison of the different models on the GP21 and GP8 datasets.%

从表2 中可以看出，ViT 模型在Accuracy 和F1指标上都明显优于其他模型。相比于目前视觉任务中最高频使用的模型之一ResNet-152，ViT 的Accuracy 和F1 值在GP21 数据集上分别提高了2.08 和3.46 个百分点，在GP8 数据集上分别提高了2.63 和2.72 个百分点。这是因为相比于卷积神经网络模型，ViT 的注意力机制使得它具备低层的全局特征学习能力，所以利用ViT 提取的高层表征能够更精细地整合害虫图像全局和局部信息，因此，本研究将ViT 作为骨干网络构建ACKGViT 模型。

ACKGViT 的性能在表3 最后一行展示，相比于ViT，ACKGViT 的Accuracy 和F1值在GP21 数据集上分别提高了1.64 和2.90 个百分点，在GP8 数据集上分别提高了1.17 和1.93 个百分点，这是因为ViT 在识别形状相似的物体时能力不足[27]，而知识图谱能够提供不同类别害虫之间的细节信息，从而辅助ViT 区分害虫类型。

表3 知识图谱和手工特征消融试验结果Table 3 Ablation study results of knowledge graph and handcrafted features%

3.2 消融试验

为了进一步分析知识图谱的引入对于葡萄园害虫分类性能的提升作用，本研究设计了3 组消融试验：1）将ACKGViT 模型移除手工特征（w/o MF），使提取的手工特征不参与特征融合；2）将ACKGViT 模型移除知识图谱（w/o KG），使知识图谱提取的属性特征不参与特征融合；3）同时移除手工特征和知识图谱（w/oMF∪KG），使得手工特征和知识图谱提取的属性特征均不参与特征融合。

3 组消融试验结果如表3 所示。从表3 中可以看出，移除知识图谱和手工特征（w/oMF∪KG）使得模型性能accuracy 和F1在GP21 数据集上分别下降1.64 和2.9个百分点，在GP8 数据集上分别下降2.34 和2.96 个百分点。移除手工特征（w/o MF）和移除知识图谱（w/o KG）使得模型性能accuracy 在GP21 数据集上分别下降1.35 和1.55 个百分点，在GP8 数据集上分别下降1.46和1.76 个百分点，同时，F1在GP21 数据集上分别下降2.32 和2.36 个百分点，在GP8 数据集上分别下降2.10和2.60 个百分点。上述结果表明：1）通过引入知识图谱的方式辅助ViT 获取更加精确的害虫信息是有效的；2）仅使用传统特征和知识图谱在提升模型性能上作用不大，主要原因是：传统特征提取方法在表达图像高层语义信息方面存在缺陷，而仅使用知识图谱无法有效训练图卷积网络，从而使得结点特征向量表征不足；3）在ACKGViT 模型学习中，知识图谱作用大于传统特征，这是因为除了图像浅层表征外，知识图谱还能够提供不同类别之间的关联特征等额外信息作为辅助分类的线索。例如，如图1 所示，知识图谱能够通过“足”的长短、“后翅”颜色等属性特征来区分都含有“体暗褐色”特征的“斜纹夜蛾”和“葡萄短须螨”。另一方面，知识图谱基于卷积神经网络实现，能够从原始图像中提取到复杂抽象的深层特征，这些特征可以增强模型对于分类任务的健壮性。

3.3 可视化案例子

为了验证知识图谱的引入在葡萄园害虫特征挖掘方面的可用性，本研究进一步比较了ACKGViT 模型与骨干网络ViT 模型学习到的害虫特征向量，并利用可视化技术[28]直观展示对比结果。

如图5 所示，在不同复杂程度的背景条件下，对于不同类别的害虫，ACKGViT 方法都可以准确关注到害虫区域。

图5 ACKGViT 和 ViT 可视化结果对比Fig.5 Visualization of ACKGViT method and ViT method

此外，相比于ViT 方法，ACKGViT 能够更加准确地将害虫区域和背景环境区分，并且描绘出更加清晰的轮廓曲线，证明ACKGViT 方法能够捕捉到更加细节、更加完整的害虫特征信息并用于分类研究。

3.4 不同相似度计算方法的对比试验

在本章节中将对不同相似度计算方法进行对比试验，以评估它们在葡萄园害虫识别任务中的性能。相似度计算方法是评估两个实体之间相似程度的关键因素，对于基于知识图谱的葡萄园害虫识别方法来说尤为重要。通过比较不同相似度计算方法，可以找到适合该任务的最佳方法，从而提高识别精度和效率。为了达到上述目的，本研究选取了以下几种常见的相似度计算方法进行对比试验：余弦相似度、欧几里得距离、曼哈顿距离、皮尔森相关系数、Jaccard 系数。为了确保试验结果的可靠性，将在相同的数据集上对各种相似度计算方法进行评估。试验结果如表4 所示。

表4 不同相似度计算方法的性能对比Table 4 Performance comparison of the different similarity calculation methods%

根据试验结果分析，在GP21 数据集上，使用余弦相似度相比于欧几里得距离、曼哈顿距离、皮尔森相关系数和Jaccard 系数，准确率分别提高了15.96 个百分点、7.35 个百分点、8.80 个百分点和3.58 个百分点；F1分数分别提高了20.21 个百分点、11.33 个百分点、12.76 个百分点和5.03 个百分点。在GP8 数据集上，使用余弦相似度相比于欧几里得距离、曼哈顿距离、皮尔森相关系数和Jaccard 系数，准确率分别提高了16.67 个百分点、7.92 个百分点、8.79 个百分点和3.8 个百分点；F1分数分别提高了17.56 个百分点、8.74 个百分点、10.42 个百分点和4.83 个百分点。通过上述分析可以得出余弦相似度计算方法在葡萄园害虫识别任务中性能表现最优的结论，通过对比试验为该任务找到了最佳的相似度计算方法，从而为后续研究和实际应用提供了有益的启示。

4 结 论

本研究基于领域农业专家的丰富经验和害虫知识语料构建了一套详尽的葡萄园害虫属性特征知识图谱。在此基础上，本研究提出了一种基于知识图谱的细粒度害虫分类双分支模型ACKGViT。该模型利用图卷积网络GAT 将知识图谱转化为可供训练的神经网络模块，同时结合传统特征对网络参数进行训练和优化。主要结论如下：

1）与骨干网络ViT 相比，ACKGViT 在葡萄园害虫分类任务中表现出了明显的性能提升。具体而言，ACKGViT 在GP21 数据集上的准确率和F1指标分别提高了1.64 和2.90 个百分点，而在GP8 数据集上，这两个指标分别提高了1.17 和1.93 个百分点。

2）知识图谱和手工特征消融试验结果表明：移除知识图谱所在分支使得模型性能准确率和F1分数在GP21数据集上分别下降1.64 和2.90 个百分点，在GP8 数据集上分别下降2.34 和2.96 个百分点。移除手工特征和移除知识图谱使得模型性能Accuracy 在GP21 数据集上分别下降1.35 和1.55 个百分点，在GP8 数据集上分别下降1.46 和1.76 个百分点，同时，F1在GP21 数据集上分别下降2.32 和2.36 个百分点，在GP8 数据集上分别下降2.10 和2.60 个百分点。证明本文所提方法的有效性。

3）不同相似度计算方法的性能对比试验结果表明：在GP21 数据集上，使用余弦相似度相比于其他相似度计算方法，准确率和F1分数分别提高了最多15.96 个百分点和20.21 个百分点。相应地，在GP8 数据集上，准确率和F1分数相比于其他方法最多提高了16.67 个百分点和17.56 个百分点。这些结果充分证明，余弦相似度在葡萄园害虫识别任务中的性能表现最优。

在未来的研究中将会继续深入探索知识图谱在害虫图像分类任务中的应用：1）图谱权重优化：研究如何更有效地利用知识图谱中的权重信息，进一步提高害虫图像分类的性能；2）动态知识图谱构建：实时更新和扩展知识图谱，以适应不断变化的农业环境和新出现的病害虫类型；3）多模态数据融合：探讨将其他数据源（例如气象数据、土壤信息等）与图像数据融合，提供更丰富的上下文信息以提高分类准确性。通过以上研究方向的探索，期望为智慧农业的发展贡献力量，从解决实际问题出发，促进农业生产的可持续发展。