基于CSJMM-AS-GAC 的马陆葡萄病虫害识别研究

王兴旺，郑汉垣，王素青

（1. 上海农林职业技术学院，上海 201699；2. 上海大学 计算机工程与科学学院，上海 200444；3. 上海马陆葡萄研究所，上海 201818）

马陆葡萄产于上海嘉定区马陆镇，于1981年开始种植，“马陆”品牌已经通过了上海市优质农产品认证并获得优质葡萄评比“金奖”，深受消费者的喜爱[1-3]。2022 年，马陆葡萄销售价格约80 元/kg，个别品种可达160 元/kg，在上海的种植面积约330 hm2，其特色品种巨峰、玫瑰香等在全国种植面积可达40万hm2。马陆葡萄果粉厚，果肉软，汁多味甜，是地理标志登记保护农产品。长期以来，马陆葡萄深受病虫害问题的困扰，常见病虫害多达60 余种，病虫害的发生和防控不及时造成了马陆葡萄产量和品质的下降[4-7]。由于马陆葡萄病虫害图像背景复杂，存在边界模糊和凹陷问题，常用的病虫害识别模型无法对马陆葡萄病虫害进行准确识别，需要病虫害专家到现场进行人工判断，这一现状降低了病虫害防控工作效率，束缚了马陆葡萄产业的发展[8-10]。

科研人员在病虫害识别模型和识别方法层面开展了大量的研究工作。王春山等[11]在ResNet 的基础上进行创新，建立一种Multi-scale ResNet 病害识别模型并应用于蔬菜叶部病害识别，Multi-scale ResNet 识别模型较好地提升了识别准确率；杨森等[12]通过对马铃薯病害识别进行深入研究，建立了一种将深度学习与复合字典相结合的识别方法，该方法可以有效地降低识别误差。常用的病虫害识别模型对马陆葡萄病虫害识别误差较大，识别准确率不够理想[13-15]。鉴于此，从动态系数函数、损失函数、监督机制等几个方面进行研究，建立了一种基于Core-Softmax 联合监督机制的精确分割测地线活动轮廓模型（CSJMM-AS-GAC），以提高病虫害识别效率。

1 材料和方法

1.1 数据获取与处理

病虫害图像主要通过以下途径获取：①上海马陆葡萄种植基地人工获取。研究人员于2019 年3月至2021 年3 月在上海马陆葡萄种植基地利用高清数码相机[佳能（Canon）Power Shot G7 X Mark ⅡG7X2]等设备对马陆葡萄病虫害图像进行拍摄。②上海大学数字农业课题研究团队与上海农林职业技术学院病虫害专家多年的果树病虫害图像数据积累。③上海马陆葡萄研究所病虫害防控工作中获取的马陆葡萄病虫害图像数据。④在Plant Village 官方网站获取的果树病虫害图像数据。病虫害图像数据以马陆葡萄病虫害图像为主，同时为了增强研究的可扩展性以及满足模型的训练需求，还包含了梨、苹果、草莓、柑橘、杧果、石榴等多种作物的病虫害图像。对马陆葡萄随机抽取的病虫害图像数据样本如图1和图2所示。

图1 马陆葡萄虫害图像数据样本Fig.1 Image data sample of Malu grape pests

图2 马陆葡萄病害图像数据样本Fig.2 Image data sample of Malu grape diseases

马陆葡萄病虫害图像数据主要包括葡萄白粉病、葡萄大褐斑病、葡萄白腐病、葡萄炭疽病等36种病害和葡萄瘿蚊、烟蓟马、旋目夜蛾、小造桥夜蛾等32 种虫害。为了防止由于病虫害样本数据量不足引起的模型过拟合现象，研究人员对病虫害图像进行了扩充操作，主要包括图像缩放、改变光线对比度、图像平移、图像翻转等，共获取病虫害图像95 642 张。其中训练数据占总数据量的60%，用于模型训练；验证数据占总数据量的20%，用于对模型进行修正；测试数据占总数据量的20%，用于对模型的泛化能力进行评估。由于病虫害图像的分辨率不同，格式不统一，为了方便模型训练时图像分类输入，研究人员使用Java 程序设计语言自行编写程序将病虫害图像统一转换为224 像素×224 像素格式。

1.2 AS-GAC模型建立

测地线活动轮廓模型（GAC）是病虫害图像识别的经典模型，该模型的泛函表示如下：

公式（1）中，L（C）表示马陆葡萄病虫害图像闭合轮廓线长度，g表示边缘停止函数，∇I表示马陆葡萄病虫害图像梯度，C(s)表示马陆葡萄病虫害图像闭合曲线，s表示马陆葡萄病虫害图像闭合曲线弧长参数。

边缘停止函数定义为：

公式（2）中，∇Gσ*I表示马陆葡萄病虫害图像平滑处理结果，p表示常数，Gσ表示高斯核，其标准差为σ，*表示卷积，I表示马陆葡萄病虫害图像。

利用GAC 模型进行分割时，边缘停止函数可以指导轮廓曲线向马陆葡萄病虫害图像目标边界靠近，并最终停止在马陆葡萄病虫害图像目标边界上，GAC 可以对马陆葡萄病虫害图像进行分割与识别，从而采用相应措施对马陆葡萄病虫害进行防控，该模型对于提升马陆葡萄的产量和品质有一定的帮助作用。

马陆葡萄病虫害图像复杂，图像分割边界模糊且存在凹陷现象，容易受到噪声污染，GAC 对马陆葡萄病虫害图像分割结果有误差、识别不够准确，没有达到马陆葡萄病虫害防控和生产要求。为了解决马陆葡萄病虫害识别不准确问题，对GAC 模型进行改进，引入动态系数函数将马陆葡萄病虫害图像边界区域与非边界区域进行精确划分从而准确分割病虫害图像模糊和凹陷边界，实现对马陆葡萄病虫害的准确识别，提出并建立了精确分割测地线活动轮廓模型（AS-GAC）。

定义动态系数函数λ(I)为：

公式（11）中，C表示马陆葡萄病虫害图像的分割曲线，s表示马陆葡萄病虫害图像弧的长度，Ω 表示马陆葡萄病虫害图像定义区域。引入动态系数函数λ（I）后，曲线可以实现对待分割识别的马陆葡萄病虫图像包围，动态调整收缩或者扩张曲线，直到准确锁定待分割识别的病虫图像，实现准确识别。

1.3 CSJMM-AS-GAC模型建立

1.3.1 Core 损失函数 对于复杂背景下的马陆葡萄病虫害识别，图像识别过程中无法收集到所有可能出现的数据，针对数据量不充足问题，提出Core损失函数，如公式（13）所示：

通过CSJMM，AS-GAC 的鲁棒性得到加强，从而得到了CSJMM-AS-GAC。CSJMM 如公式（15）所示：

1.3.4 CSJMM-AS-GAC 实 现 步 骤 CSJMM-ASGAC 的实现步骤如图3 所示。CSJMM-AS-GAC 首先读取马陆葡萄病虫害图像I，然后利用高斯平滑函数对马陆葡萄病虫害图像进行平滑处理，接下来计算新边缘停止函数gnew并构造能量函数EAS-GAC，模型完成求解梯度下降流函数后对水平集曲线进行演化，得到马陆葡萄病虫害图像分割识别结果，判断水平集曲线与马陆葡萄病虫害图像是否重合，如果重合，则完成马陆葡萄病虫害图像分割识别，将结果输出，否则重新计算新边缘停止函数gnew。

图3 CSJMM-AS-GAC实现步骤流程Fig.3 Flow chart of CSJMM-AS-GAC implementation steps

1.4 模型评价指标

考虑到病虫害识别精度和识别成功率将直接影响病虫害的防控效率，因此，对马陆葡萄病虫害识别模型的性能评价采用Kappa 系数法、召回率（Recall rate）等，Kappa 系数用来评价马陆葡萄病虫害图像的识别精度，召回率用来评价马陆葡萄病虫害图像识别成功率，如公式（23）、（24）、（25）所示：

公式中，Aˉ表示正确分类的样本数量之和除以总样本数，rn表示第n类样本个数，fn表示第n类预测样本个数，Q表示样本总数，Vn表示识别成功的病虫害图像集合，Wn表示识别失败的病虫害图像集合。

1.5 软硬件环境

试验软硬件环境为，服务器：Red Hat Enterprise Linux 8.5 正式版构建的云服务器平台；RAM：256 G，CPU：双核Intel Core i7-9800X；硬盘：6×4T固态硬盘；显卡：6×微星（MSI）GeForce GTX 1050 Ti。

2 结果与分析

2.1 模型性能测试结果

将CSJMM-AS-GAC 与卷积神经网络（CNN）、深度残差网络（ResNet）、支持向量机（SVM）、测地线活动轮廓模型（GAC）等4种模型在训练集初始准确率、验证集准确率、测试集准确率、Kappa系数、召回率5 个方面进行了比较，结果如表1 所示。CSJMMAS-GAC 训练集初始准确率为65.46%，验证集准确率为95.67%，测试集准确率为93.95%，相对于GAC分别提升了10.44%、9.35%、3.06%，在5 种模型中达到最优，表明对于GAC 引入动态系数函数的改进和建立Core-Softmax 联合监督机制的效果是显著的；CSJMM-AS-GAC 的Kappa 系数最大，达到0.913 8，该模型对病虫害识别精度是最佳的；CSJMM-ASGAC 的召回率为89.21%，病虫害识别成功率最高。综上，CSJMM-AS-GAC 可以更高效、更准确地完成马陆葡萄病虫害识别工作。

表1 5种模型的病虫害识别性能比较Tab.1 Comparison of pest identification performance of five models

将5 种模型从Top1 准确率（正确标记的样本数是最佳概率的样本数除以总样本数）、Top5 准确率（正确标记的样本数包含在前5 名最高分类概率个数除以总样本数）、F1分数（精度和召回率的调和平均值）、迭代次数、FPS（每秒识别病虫害图像张数）进行数据统计，结果如表2 所示。CSJMM-AS-GAC的Top1、Top5 准确率分别达到79.68%、95.32%，在5种模型中均达到最大值，该模型能够更好地提取不同类型的病虫害特征，具有最佳的病虫害分类识别效果；CSJMM-AS-GAC 的F1分数达到91.28，领先于其他4 种模型，该模型的综合表现达到最优；CSJMM-AS-GAC 的FPS 达到67 张/s，相对于CNN、ResNet、SVM 的识别速度分别提升了45.65%、76.32%、36.73%，比GAC 的识别速度略有下降；CSJMM-AS-GAC 在迭代300 次后达到收敛状态，其他模型还没有完全收敛，说明CSJMM-AS-GAC 的训练速度快，鲁棒性强。

表2 5种模型的病虫害分类识别结果比较Tab.2 Comparison of pest classification and recognition results of five models

2.2 病虫害识别分类检验结果

利 用CNN、ResNet、SVM、GAC、CSJMM-ASGAC 5种模型对葡萄霜霉病、葡萄大褐斑病、葡萄炭疽病3 种病害和葡萄瘿蚊、旋目夜蛾、小造桥夜蛾3种虫害进行图像识别，结果如表3 所示。CNN、ResNet、SVM、GAC、CSJMM-AS-GAC 5 种模型对葡萄霜霉病、葡萄大褐斑病、葡萄炭疽病、葡萄瘿蚊、旋目夜蛾、小造桥夜蛾的平均识别准确率分别是71.54%、69.93%、73.83%、85.45%、94.06%，CSJMMAS-GAC 的病虫害平均识别准确率相对于CNN、ResNet、SVM、GAC 4 种模型分别提高了31.48%、34.51%、27.40%、10.08%，提升效果较为明显，说明对于GAC 模型的改进和损失函数的创新效果是显著的。

表3 不同模型识别准确率比较Tab.3 Comparison of recognition accuracy of different models %

从测试数据集中随机抽取12 种虫害图像和12种病害图像进行5种模型的识别试验，结果如图4和图5 所示。其中，矩形清晰图像表示正确识别的图像（如图4 中CNN 的样本2 图像），柔化边缘椭圆图像表示识别错误图像（如图4 中CNN 样本1 图像）。在24 个随机样本病虫害识别试验中，CNN 识别错误图像为7 张，ResNet 识别错误图像为8 张，SVM 识别错误图像为6 张，GAC 识别错误图像为4张，CSJMM-AS-GAC 识别错误图像为2 张，综合图4 和图5 的试验结果，ResNet 的识别错误率最高，CSJMM-AS-GAC 的识别错误率最低，说明CSJMMAS-GAC 对于随机病虫害图像识别正确率高，该模型的病虫害识别鲁棒性和泛化能力较强。

图4 马陆葡萄虫害随机样本识别结果Fig.4 Identification results of random samples of Malu grape pests

图5 马陆葡萄病害随机样本识别结果Fig.5 Identification results of random samples of Malu grape diseases

2.3 模型在马陆葡萄生产上的应用效果

2021 年3—9 月，在上海马陆葡萄种植基地将模型应用于葡萄实际生产中，在种植基地划分出面积大小相同的5 个大棚，每个大棚应用不同的病虫害识别模型进行管理，根据病虫害识别模型的识别结果采取相应的防控措施，如喷洒相应药剂等。虫害和病害的防控效果分别如表4和表5所示。

从表4 可以看出，CNN、ResNet、SVM、GAC、CSJMM-AS-GAC 5 种病虫害识别模型对虫害的识别准确率分别为71.48%、68.65%、72.56%、83.62%、94.54%，根据不同的识别结果采取相应的防控措施，如模型识别出葡萄二星叶蝉，则喷洒杀灭菊酯或菊酯乳油等药剂进行防控。不同防控措施的虫口减退率也不同，CNN、ResNet、SVM、GAC、CSJMMAS-GAC 所对应的虫口减退率分别为76.52%、64.63%、78.24%、88.35%、95.61%，不同的病虫害识别模型对于虫口的减退都有一定的效果，CSJMMAS-GAC的虫口减退效果最好。

表4 马陆葡萄虫害防控效果Tab.4 Control effect of Malu grape pests %

从表5 可以看出，CNN、ResNet、SVM、GAC、CSJMM-AS-GAC 对应的病叶率分别为5.36%、8.96%、4.36%、4.98%、3.36%，可见由于CSJMM-ASGAC 的病害识别准确率高，防控措施得当，发生的病叶率也最低。将病叶等级划分为6 级，用W 表示病斑面积除以叶片面积的百分比，W=0 表示0 级，W≤10%表示1 级，10%＜W≤30%表示2 级，30%＜W≤50%表示3 级，50%＜W≤70%表示4 级，W＞70%表示5 级。ResNet 的病情指数[∑（病叶各等级叶数×等级数值）/（叶子总数×6）×100]为16.35，是5个模型中的最大值，说明马陆葡萄病害相对严重，CSJMMAS-GAC 的病情指数为5.86，病害最轻微，与该模型的病虫害识别率高有直接关系。CSJMM-AS-GAC的防控效果达到87.35%，对马陆葡萄的病害防控帮助作用最大，效果最好。

表5 马陆葡萄病害防控效果Tab.5 Control effect of Malu grape diseases

3 结论与讨论

CNN[16-20]、ResNet[21-23]、SVM[24-27]、GAC[28-30]是目前常见的病虫害识别模型。这些病虫害识别模型对于普通的病虫害图像识别具有较好的实用性，但对于复杂背景下具模糊和凹陷边界的马陆葡萄病虫害图像识别不够准确。本试验为了解决马陆葡萄病虫害图像精确分割问题，对GAC 进行改进，通过引入动态系数函数将马陆葡萄病虫害图像边界区域与非边界区域进行精确划分，从而实现精确分割马陆葡萄病虫害图像模糊和凹陷边界，提出并建立了AS-GAC。为了解决马陆葡萄复杂背景下训练样本不足问题，提出了Core 损失函数，建立了Core-Softmax 联合监督机制，从而建立了CSJMM-ASGAC。

在马陆葡萄种植基地对CSJMM-AS-GAC 进行了系列试验和生产应用。马陆葡萄发生的病虫害主要包括葡萄霜霉病、葡萄大褐斑病、葡萄炭疽病、葡萄瘿蚊、旋目夜蛾、小造桥夜蛾等，CSJMM-ASGAC 对这些病虫害的识别准确率分别为96.87%、91.78%、95.28%、93.21%、91.58%、95.65%，平均识别准确率达到94.06%，在5 种病虫害识别模型中达到最优。经过模型性能测试，CSJMM-AS-GAC 的Top1 准确率、Top5 准确率、F1分数、FPS、Kappa 系数、召回率等指标在所有模型中表现稳定且效果好。在马陆葡萄生产应用中，CSJMM-AS-GAC 的虫害识别准确率、虫口减退率分别达到94.54%和95.61%，说明该模型对马陆葡萄虫害识别准确且虫害减退效果最佳。CSJMM-AS-GAC 的病叶率、病情指数、防控效果分别达到3.36%、5.86、87.35%，领先于其他模型，说明该模型对马陆葡萄病害防控效果最突出。下一步的研究重点是不断对病虫害识别模型进行优化处理，提升病虫害识别准确率，加强病虫害防控，服务农业生产。