利用显著图构建注意力深度网络检测诱虫板蔬菜害虫

郭庆文，王春桃,2，肖德琴，黄 琼,2

利用显著图构建注意力深度网络检测诱虫板蔬菜害虫

郭庆文1，王春桃1,2※，肖德琴1，黄 琼1,2

（1. 华南农业大学数学与信息学院，广州 510642；2. 广州市智慧农业重点实验室，广州 510642）

为提高诱虫板图像蔬菜害虫检测精度，针对背景区域容易导致误检的问题基于显著图分析技术构建了一种注意力深度网络害虫智能视觉检测方法。首先通过显著图筛选出粗候选区域；然后在粗候选区域内用全卷积神经网络精选出细候选区域；接着用神经网络分类器识别细候选区域害虫种类，得到含有冗余的若干检测框；最后用改进的非极大值抑制消除冗余检测框，实现诱虫板图像中目标害虫的检测。针对小菜蛾和瓜实蝇展开试验，获得86.40%的平均精度均值和0.111只的平均绝对计数误差均值，所提方法平均精度均值比Faster R-CNN和YOLOv4分别高2.74和1.56个百分点，平均绝对计数误差均值比Faster R-CNN和YOLOv4分别低0.006和0.003只；同时，消融试验中移除显著图注意力模块后平均精度均值下降了4个百分点、平均绝对计数误差均值增加了0.207只。试验结果表明，所提方法有效提高了诱虫板图像蔬菜害虫检测精度，其中，引入显著图注意力模块对提升检测精度有重要作用。

图像识别；机器视觉；害虫检测；智能视觉检测；深度学习；显著图

0 引 言

蔬菜在生长过程中易受农业害虫侵扰，农业害虫防治工作直接关系蔬菜产业的良好发展[1-2]。害虫数目统计是农业害虫防治理论研究的重要前提，也是害虫防治效果评估的主要手段[3]。一方面，各虫期作物害虫的周期性统计数目可用于分析虫情状况；另一方面，在对照试验中通过比对各试验区域内的害虫数目可检验相应害虫防治手段是否真实有效。现阶段，中国大部分地区普遍基于诱虫板采用人工计数法估算单位面积区域内的蔬菜害虫数目，但该方法效率低下且劳动成本较高。对此，需要研发害虫智能计数算法完成自动害虫数目统计。

害虫智能视觉检测能够对图像中的害虫进行定位并贴上类别标签，进而实现自动计数。近年来，国内外学者针对害虫智能视觉检测进行研究并取得了诸多成果。Yao等[4-5]研发了一款手持终端设备用于采集水稻图像，且基于支持向量机设计出一种3层级联检测器计算图像中各虫期稻飞虱的数目。叶耀文[6]构造了一种诱虫板蔬菜害虫检测计数算法，该算法先利用HSV（即Hue、Saturation和Value）颜色空间提取黄/蓝色诱虫板主要区域，然后基于边缘检测生成感兴趣区域，最后通过支持向量机自动辨识感兴趣区域的害虫类别。此外，Suo等[7]使用分水岭算法和大津阈值法对蚜虫图像进行分割，然后用边缘检测算子提取目标特征信息，最后根据这些特征信息实现蚜虫计数。上述方法主要依赖传统机器学习算法。

相比传统机器学习算法，深度学习算法具有更加优秀的表征能力[8-11]，故将深度学习里的卷积神经网络（Convolutional Neural Network，CNN）迁移应用至农业害虫智能视觉检测中已成为研究热点。Liu等[12]使用图像显著性分析实现图中作物害虫的定位，然后用CNN分类器对感兴趣区域里的害虫进行种类识别。Ding等[13]用CNN以全卷积形式构造了一个滑动窗口式飞蛾检测器，可用于统计捕虫器里的飞蛾数目。Partel等[14]研发了一款农机装备用于拍捕树木上的亚洲柑橘木虱，然后基于YOLO对机器视觉中的亚洲柑橘木虱进行检测并计数。为减少粮食损失，邓壮来等[15]基于SSD利用多尺度卷积特征图检测各种体型的粮仓害虫。另外，一些研究人员借用Faster R-CNN及其变种R-FCN实现了作物害虫智能视觉检测，取得了较高的害虫检测精度[16-22]。

虽然基于深度网络的目标检测算法在害虫智能视觉检测中取得了巨大成功，但在检测诱虫板图像蔬菜害虫时这些算法容易在背景区域造成误检，检测精度有待进一步提升。考虑到诱虫板上的害虫具有面积占比小、分布不均匀的特点，本文基于显著图分析[12,23]构建一种注意力机制有效缩小诱虫板待检测范围，从而使网络更专注于处理害虫区域，进而缓解误检问题并最终提升检测精度。首先算法基于显著图筛选出粗候选区域，然后使用两阶段网络对目标蔬菜害虫进行检测，接着通过改进的非极大值抑制算法（Non-Maximum Suppression，NMS）过滤冗余检测框，使得一个检测框仅对应一只蔬菜害虫，最终在检测框基础上实现害虫自动计数。

1 材料与方法

1.1 试验材料

1.1.1 数据采集

本文于广东省广州市南沙区东升农场展开相关试验。农场田地面积约13 333 m2，本文在田间相应位置部署了20台如图1b所示的蔬菜害虫监控设备[6]，每台设备负责667 m2田地的监控工作。该设备由害虫诱捕装置、太阳能供电装置和摄像头拍摄装置组成；害虫诱捕装置的每块诱虫板均为35 cm×25 cm。本文采用人工方式定期对诱虫板上的害虫进行清理以减轻害虫腐烂尸体对虫群数量监测的影响。摄像头拍摄装置捕获得到的诱虫板图像以JPEG格式存储，图像尺寸均为4 208×3 120像素，如图1a所示。

1.1.2 数据标注

本文用LabelImg软件对诱虫板图像中的蔬菜害虫进行标注。因LabelImg软件能够读取的图像大小有限，故原始诱虫板图像被进一步切割成1 090×1 453像素的多幅小块图像，最终得到3 557张试验图像。本文主要针对小菜蛾、瓜实蝇这2种蔬菜害虫进行检测试验。如图2所示，小菜蛾前后翅细长，缘毛较长，明显特点是翅缘呈黄白色三度曲折的波浪纹；瓜实蝇呈黄褐色至红褐色，与果实蝇和小型黄蜂较相似，中胸两侧各有1条较粗的黄色竖条斑，背面有并列的3条黄色纵纹，翅尖有1个明显的圆形斑。害虫标注信息包括边界框位置坐标（min,min,max,max）和边界框内害虫种类cls（即class）。最终，试验图像数据集被划分成2 134张训练图像，38张验证图像以及1 385张测试图像。

1.2 害虫智能视觉检测方法

基于CNN的目标检测算法主要分为2类：两阶段方法和单阶段方法。两阶段方法先通过处理密集锚点生成一组稀疏候选框，然后对稀疏候选框进行细致分类。单阶段方法通常通过直接处理密集网格来生成检测框。单阶段方法计算效率高，而两阶段方法普遍具有更高检测精度[24]，故本文选用两阶段网络实现诱虫板图像目标害虫的智能视觉检测。

诱虫板图像大部分背景区域较简单，因此人工计数时侧重扫描的是诱虫板上的显著区域。借鉴诱虫板图像特点及人类视觉特性，本文利用显著图作为一种注意力机制引导网络关注重要区域，通过预处理过滤掉简单背景和小尺寸非目标害虫使误检率减低，进而提升精确度。具体而言，在第一阶段算法通过显著图得到粗候选区域，然后针对害虫黏连问题在粗候选区域中打上密集锚点通过全卷积CNN得到一组细候选区域；在第二阶段算法将细候选区域送入CNN分类器进行害虫类别预测。因算法采用锚点检测方式，此时检测框存在冗余，本文进一步通过改进的非极大值抑制方法消除冗余检测框。本文算法如图3所示。

1.2.1 第一阶段候选区域生成模块

如图4所示，小菜蛾、瓜实蝇等蔬菜害虫在诱虫板图像中具有高显著性。为此，本文借鉴人类视觉特性，利用显著图技术有效过滤掉害虫图像中的无关区域，使网络在后续阶段更好地应对复杂负样例，并最终降低误检率。应用显著图技术后，可以获得蔬菜害虫的粗候选区域，然后再针对目标蔬菜虫黏连问题通过锚点、滑动窗口、全卷积神经网络处理获得细候选区域。这些步骤构成本算法第一阶段的候选区域生成模块，具体细节描述如下：

1）用3×3大小的高斯核模糊原图像得到图像，其中和的大小皆为×；

2）将图像转换至LAB（即L*a*b*）颜色空间，LAB是国际照明委员会在1976年定义的色彩空间，其中“L*”代表感知亮度，“a*”和“b*”代表人类视觉的四种独特颜色：红色、绿色、蓝色和黄色，用如下公式计算距离矩阵，即

式中是1×3大小的LAB均值向量，()表示LAB颜色空间的亮度通道，(A)和(B)表示LAB颜色空间的2个颜色通道，和分别表示行和列的索引值，和分别表示图像的高和宽。

3）归一化矩阵得到显著图，即

4）基于预设阈值和显著图得到掩码图，即

5）用连通图处理矩阵，并保留面积大于预设阈值的候选框，这样得到一组粗候选框={=(min,min,max,max)}，因一个粗候选区域内可能存在多只黏连害虫，需要进一步的处理以得到细候选区域；

6）如图3所示，为每个粗候选区域∈打上一组锚点，用2个全卷积神经网络bf和reg分别判断每个锚点∈是否为1并回归对应的边界框(min,min,max,max)得到细候选区域，令表示以锚点=(x,,y,)为中心的大小为×的滑动窗口，将reg的输出(t,t,t,t)按如下方式转换成=(min,p,min,p,max,p,max,p)格式，即

式中(x,y,w, h)表示滑动窗口的中心横坐标、中心纵坐标、宽和高，(x,p,y,p,w, h)表示候选区域的中心横坐标、中心纵坐标、宽和高。通过此步的处理，可以有效解决害虫黏连的问题。

全卷积神经网络bf的训练数据构造如下：如图5a所示，对每个锚点，构造个预设规格的锚框，即

记gt=(min,min,max,max)为人工标注真实框，按公式（7）计算各锚框与人工标注真实框的交并比值（intersection-over-union，IoU），即

式中area(·)是面积计算函数。设和是2个预设阈值，若存在IoU(ac(i),gt)≥，则将锚点标注为1；若对全部∈{1, ...,}都存在IoU(ac(i),gt)<，则将锚点标注为0。

全卷积神经网络reg的训练数据构造如下：如图5b所示，对每个锚点，若被bf判断为0，则丢弃该锚点；否则按照公式（8）和（9）寻找与最符合的人工标注真实框gt*，即有

记为预设阈值，当且仅当iogt(,*gt)≥时，锚点标注如下：

为使网络视野和扫描步长与害虫尺寸相符合，本文在ZF-Net[25]网络结构基础上进行细微修改，从而构造出网络bf和reg，二者接收域大小为122×122像素，滑动步长为16像素。全卷积神经网络bf和reg的结构配置如图6所示，二者采用相同的网络结构，图中-(122, 122, 3)表示网络输入大小为122×122×3，conv-7-2-96-relu表示该层有96个大小为7×7、步长为2×2、激活函数为ReLU的卷积核，pool-3-2-max表示该层由大小为3×3、步长为2×2、激活函数为max的池化核组成。

1.2.2 第二阶段检测框生成模块

在第一阶段，本文通过注意力导向候选区域生成模块得到粗候选框= {(min,min,max,max)}。在第二阶段，本文使用VGG-16[26]网络识别感兴趣粗候选框∈内的害虫类别。具体而言，算法将从原图中裁剪出来送入分类器网络cls，得到类别标签cls：“非目标害虫”、“小菜蛾”或“瓜实蝇”，并将类别概率作为置信度conf（即confidence），组合成检测框={(min,min,max,max, conf, cls)}。

卷积神经网络cls的训练数据构造如下：记和为2个预设阈值，对每个候选区域∈，按照公式（8）和（9）寻找最佳人工标注真实框*gt使得iogt(,gt)值最大。若iogt(,*gt) ≥，则将标为*gt对应真实类别；若iogt(,*gt) <，则将标为“非目标害虫”。

1.2.3 改进的非极大值抑制模块

如图3所示，本文所给害虫检测网络采用滑动窗口方式生成检测框，导致该阶段的检测框存在冗余，即一只蔬菜害虫会对应多个检测框。此时，这些检测框无法直接用于害虫计数。为此，本文使用非极大值抑制[27]算法来消除冗余检测框。非极大值抑制算法先计算2个检测框0和1的交并比值IoU(0,1)。若IoU(0,1)高于预设阈值，则判定0和1重叠。若2个检测框互相重叠，非极大值抑制算法保留置信度较高的那个检测框，并删除另外一个检测框。最后，非极大值抑制不断迭代上述步骤直至图中不再出现重叠检测框。

自然环境中的昆虫具有类间差异小、类内区别大的特点，传统非极大值抑制算法在处理假正例时不够稳健。以图7为例，错误检测框的置信度高达0.907，与正确检测框的置信度相差不大。假设此时有一个错误检测框具有最高置信度，而大部分正确检测框置信度较低，传统非极大值抑制算法会用错误检测框抑制掉所有正确检测框，从而导致误检。为了缓解该问题，本文对传统非极大值抑制算法进行了优化，形成改进的非极大值抑制（Enhanced Non-Maximum Suppression，ENMS）算法。鉴于CNN能够输出绝大多数正确检测框而错误检测框仅是个别特例，ENMS通过聚合正确检测框大幅度增加正确检测框的置信度。ENMS算法细节描述如下：

1）记网络模型所给检测框为= {d= (min,min,max,max, conf, cls)}，将“非目标害虫”检测框从中移除；

2）对剩余的每个检测框d∈，使用下式找到其邻居检测框，即

并将d周围的邻居检测框的置信度累加给d，即

公式（11）中s.t.是subject to的缩写，表示预设阈值，d.cls表示检测框d的害虫类别，d.conf表示检测框d的置信度；

3）用传统非极大值抑制算法处理聚合后的检测框；

4）记表示预设阈值，遍历传统非极大值抑制算法处理后的检测框，若当前检测框置信度值高于，则保留该检测框；否则丢弃该检测框。

1.3 试验软件环境

本文仿真试验的平台为台式计算机，所有算法均采用Python开源库PyTorch进行实现；其中Python版本为3.6，PyTorch版本为1.1.0。计算机处理器为Intel® Core™ i7-8700 CPU，默频为3.20 GHz，内存大小为32 GB，硬盘大小为2 TB，含2块GeForce GTX 1080 Ti GPU。计算机操作系统为Ubuntu 16.04 LTS，CUDA版本为9.0。

本文采用交叉验证法（cross-validation）选取最优超参数，试验中相关超参数数值具体设置如下：高斯核大小为3×3，显著图转掩码图时的激活阈值=0.1，粗候选框面积筛选保留阈值为200，在构造训练数据时bf的标注阈值=0.5和=0.1，reg的标注阈值=0.4，cls的标注阈值=0.6和=0.1。上述、、和为章节1.2.1中定义的变量，和为章节1.2.2中定义的变量。

本文算法所涉及的3个卷积神经网络bf、reg和cls皆使用PyTorch中的何氏初始法初始化权重参数。在训练时bf和cls采用带动量的批量随机梯度下降法（min-batch stochastic gradient descent of momentum）进行学习，其中动量参数为0.9，批量大小为32；损失函数为L2正则化交叉熵损失，正则化参数为0.000 5。reg采用自适应矩估计法（adaptive moment estimation）进行学习，一阶矩阵的指数衰减率为0.9，二阶矩阵的指数衰减率为0.999，批量大小为32，损失函数为Smooth-L1损失。初始学习率为0.000 1，采用指数衰减法，衰减权重为0.95。在训练过程中，本文采用左右上下翻转作为数据增广策略。

1.4 性能评价指标

在目标检测领域，一般采用平均精确度均值（Mean of Average Precision，mAP）作为算法检测效果评价指标，其值越高越好。为此，本文沿用该指标作为算法检测试验性能评价指标。此外，本文采用平均绝对计数误差均值（Average Mean Absolute Error，aMAE）作为算法计数结果准确性的评价指标，该值越小越好。考虑到不同算法对不同种类害虫可能具有不同检测偏好，本文亦根据精确度均值（Average Precision，AP）和绝对计数误差均值（Mean Absolute Error，MAE）针对不同种类害虫的检测和计数结果展开单独评价与分析。这些性能评价指标的定义如下。

1.4.1 平均精确度平均值

试验指标mAP值计算公式如下：

式中为蔬菜害虫种类数。为精确率，为召回率，计算方式为：

式中TP为正确检测框数目，FP为错误检测框数目，FN为漏检数目。记检测方法输出的第个检测框为d，其预测害虫类别为cls，且预测置信度为conf。设人工标注的第个真实边界框为gt, k，其真实害虫类别为clsgt, k，当且仅当以下3个条件成立时d被判定为TP，即：存在cls= clsgt, k且conf≥，其中是预设阈值；且存在IoU(d,gt,) ≥0.5；且第个真实边界框为gt, k未被匹配过。检测算法输出的同类别检测框数目减去TP即可得到FP，人工标注的同类别检测框数目减去TP即可得到FN。通过调控阈值的大小可以绘制出-曲线，进而求取AP值，即-曲线与坐标轴包围的图形面积，AP取值范围为[0, 1]，通常用百分数表示。

1.4.2 平均绝对计数误差均值

假设总共有幅测试图像，按如下方式计算MAE值：

式中n, p表示算法对第张图像的害虫预测数量，n, gt表示第张图像的害虫真实数量。利用公式（16）可以计算出各类蔬菜害虫的MAE值，在此基础上，本文进一步计算aMAE值，即

2 结果与分析

为验证所提算法的有效性，本文基于相同数据集训练了SSD、R-FCN、CenterNet、Faster R-CNN和YOLOv4等主流优秀深度目标检测算法，并将它们的测试结果与本文所提算法的测试结果进行对比。试验结果如表1所示，本文在计算mAP和aMAE时类别数=2，即小菜蛾和瓜实蝇2种蔬菜害虫。

表1 不同算法的测试结果

从表1可看出，本文算法、Faster R-CNN和YOLOv4对小菜蛾和瓜实蝇的检测效果明显优于SSD、R-FCN和CenterNet；且本文算法mAP值比Faster R-CNN高2.74个百分点，比YOLOv4高1.56个百分点。由于本文算法是在Faster R-CNN的基础上结合诱虫板图像蔬菜害虫特点改进而成，因此本文算法对2种目标蔬菜害虫的检测效果皆优于Faster R-CNN，即本文算法对小菜蛾的检测AP值高出Faster R-CNN 1.86个百分点，而对瓜实蝇的检测AP值则高出3.63个百分点。与YOLOv4相比，本文算法具有可比拟的mAP值，即本文算法对小菜蛾的检测AP值比YOLOv4低0.49个百分点，但本文算法对瓜实蝇的检测AP值则比YOLOv4高出3.61个百分点，总体上本文算法的mAP比YOLOv4的高1.64个百分点。

此外，由表1可知，Faster R-CNN、YOLOv4和本文算法aMAE值较低，它们对应的aMAE值皆稳定在每张图0.11只左右；本文算法的aMAE值比Faster R-CNN小0.006只，而比YOLOv4小0.003只，本文算法略优于Faster R-CNN和YOLOv4。与Faster R-CNN相比，在小菜蛾计数方面，本文算法的MAE值比Faster R-CNN小0.006只；在瓜实蝇计数方面，本文算法的MAE值比Faster R-CNN小0.006只，这表明本文对两阶段方法的优化具有可行的积极作用。与YOLOv4相比，在小菜蛾计数方面本文算法MAE值比YOLOv4大0.01只，而在瓜实蝇计数方面本文算法MAE值比YOLOv4小0.017只，本文算法与YOLOv4在2种目标蔬菜害虫计数效果上各有优劣。这主要是因为本文算法仅取最后1级特征层用于害虫检测，而YOLOv4采用金字塔多级特征结构和PAN（Path Aggregation Network）网络处理各种尺寸的害虫，在检测尺寸变化较大的小菜蛾时YOLOv4比本文算法有更大优势。

为检验显著图注意力模块和改进非极大值抑制的有效性，本文还开展了相关消融试验，结果如表2所示。表中“有显著图”的一行对应本文所提完整算法，而“无显著图”的一行对应去掉显著图注意力模块（即图3中的虚线模块）后的算法。从表2可看出，当本文算法去掉显著图注意力模块后，mAP值下降了4个百分点，且mMAE值上升了0.207只；小菜蛾和瓜实蝇各自对应的AP和MAE指标都变差。这表明了显著图注意力模块在优化检测精度和计数准确性方面具有良好作用。

表2 显著图和非极大值抑制消融试验

另外，本文将ENMS算法与NMS[27]和soft-NMS[28]算法进行对比。从表2可知，本文提出的ENMS具有最低的aMAE值，比NMS和soft-NMS分别低0.026和0.015只，小菜蛾和瓜实蝇各自的MAE值亦最低，表明ENMS的蔬菜害虫计数准确度最高。这是因为本文提出的ENMS算法通过检测框联动来有效增加正确检测框的置信度，从而能有效抑制并过滤掉错误检测框。对于mAP而言，NMS的mAP值最低，本文优化的ENMS次之，soft-NMS的最高。通过分析，可以发现ENMS在检测小菜蛾时AP值比soft-NMS低0.93个百分点，比NMS低0.75个百分点。这是因为ENMS偏向于抑制并过滤错误检测框来保证高精确率，虽然这能够有效缓解虚假计数问题，但当部分小菜蛾相对尺寸过小时，它们容易因置信度聚合不够而被错误过滤掉，从而导致召回率略有降低，进而使-曲线下的面积减小，即使得AP值减小。相比之下，因瓜实蝇的相对尺寸都比较大，其对应的AP值不会出现上述问题。这也从侧面反映出AP值更高的算法其MAE值不一定更小，引入MAE指标以综合考察算法性能具有一定必要性。

为了更好地展现本文算法的效果，图8给出了本文算法对不同密度害虫图像的检测结果；因篇幅所限，这里仅选取部分关键细节图进行展示。其中，检测框标签包括害虫种类编号和置信度。由图8可知，本文算法采用滑动窗口密集检测方式能够很好地切割黏连害虫。此外，本文算法因引入注意力机制有效过滤掉背景杂质而能够更好地处理复杂负样例，例如本文算法能够将苍蝇、食虫虻等正确归类为“非目标害虫”，从而较少产生误检问题，最终取得最高mAP值与最低mMAE值。

此外，图9给出了本文算法在阴雨天气所拍摄的诱虫板图像的害虫检测结果。由图9可知，由于水珠光线的反射和散射等原因，摄像头所捕获的害虫特征会有所衰减，导致机器甚至是人眼都亦难以辨别感兴趣区域内的害虫种类。例如，如图9中虚线框所示，有2只小菜蛾发生了漏检，这将导致阴雨天气时段本文算法的害虫计数准确性降低。因此，本文算法在未来仍需进一步优化以应对各种复杂自然环境，例如：可以扩充雨天诱虫板图像数据集，采用HSV颜色抖动（ColorJitter）对数据进行增广，通过增加挡雨功能改进监控设备等。

3 结 论

本文基于显著图分析技术提出了一种注意力深度网络害虫智能视觉检测方法，并以诱虫板图像中的小菜蛾和瓜实蝇为例对所提方法进行试验验证，主要结论如下：

1）所提方法平均精度均值为86.40%，比Faster R-CNN和YOLOv4分别高2.74和1.56个百分点；平均绝对计数误差均值为0.111只，比Faster R-CNN和YOLOv4分别低0.006和0.003只。这表明所提方法明显提升了诱虫板图像害虫的检测精度。

2）在消融试验中，当移除显著图注意力模块后，方法的平均精度均值下降了4个百分点，平均绝对计数误差均值上升了0.207只。这表明显著图注意力模块对提升诱虫板图像害虫检测精度起重要作用，能够较好地解决背景区域中的误检问题。

3）改进的非极大值抑制的平均绝对计数误差均值比NMS和soft-NMS分别低0.026和0.015只。这表明改进的非极大值抑制在去除错误检测框方面更具优势，可以有效缓解虚假计数问题。

[1] 李振宇，肖勇，冯夏. 广东蔬菜害虫综合治理研究进展[J]. 广东农业科学，2020，47(12)：90-97.

Li Zhenyu, Xiao Yong, Feng Xia. Research progress in integrated management of vegetable pests in Guangdong[J]. Guangdong Agricultural Sciences, 2020, 47(12): 90-97. (in Chinese with English abstract)

[2] 陆宴辉，赵紫华，蔡晓明，等. 我国农业害虫综合防治研究进展[J]. 应用昆虫学报，2017，54(3)：349-363.

Lu Yanhui, Zhao Zihua, Cai Xiaoming, et al. Progresses on integrated pest management (IPM) of agricultural insect pests in China[J]. Chinese Journal of Applied Entomology, 2017, 54(3): 349-363. (in Chinese with English abstract)

[3] 王宏栋，韩冰，韩双，等. 天敌治虫和熊蜂授粉技术在大棚草莓上的应用[J]. 中国生物防治学报，2021，37(2)：370-375.

Wang Hongdong, Han Bing, Han Shuang, et al. The application of natural enemy control and Bumblebee pollination technology on strawberry in greehouse[J]. Chinese Journal of Biological Control, 2021, 37(2): 370-375. (in Chinese with English abstract)

[4] Yao Qing, Xian Dingxiang, Liu Qingjie, et al. Automated counting of rice planthoppers in paddy fields based on image processing[J]. Journal of Integrative Agriculture, 2014, 13(8): 1736-1745.

[5] Yao Qing, Chen Guote, Wang Zheng, et al. Automated detection and identification of white-backed planthoppers in paddy fields using image processing[J]. Journal of Integrative Agriculture, 2017, 16(7): 1547-1557.

[6] 叶耀文. 基于机器学习的蔬菜重大害虫监测计数算法及其应用系统[D]. 广州：华南农业大学，2018.

Ye Yaowen. Major Vegetable Pest Counting Algorithm Based on Machine Learning[D]. Guangzhou: South China Agricultural University, 2018. (in Chinese with English abstract)

[7] Suo Xuesong, Liu Zi, Sun Lei, et al. Aphid identification and counting based on smartphone and machine vision[J]. Journal of Sensors, 2017, 2017: 3964376.

[8] Dai Jifeng, Li Yi, He Kaiming, et al. R-FCN: Object detection via region-based fully convolutional networks[C]// 30th Annual Conference on Neural Information Processing Systems (NIPS 2016). Barcelona, Spain: Neural Information Processing Systems Foundation, 2016: 379-387.

[9] Liu Wei, Anguelov Dragomir, Erhan Dumitru, et al. SSD: Single shot multibox detector[C]// 14th European Conference on Computer Vision (ECCV 2016). Berlin, German: Springer Verlag, 2016: 21-37.

[10] Redmon Joseph, Divvala Santosh, Girshick Ross, et al. You only look once: Unified, real-time object detection[C]// Proceedings-29th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016). New York, US: IEEE Computer Society, 2016: 779-788.

[11] Ren Shaoqian, He Kaiming, Girshick Ross, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[12] Liu Ziyi, Gao Junfeng, Yang Guoguo, et al. Localization and classification of paddy field pests using a saliency map and deep convolutional neural network[J]. Scientific Reports, 2016, 6: 20410.

[13] Ding Weiguang, Taylor Graham. Automatic moth detection from trap images for pest management[J]. Computers and Electronics in Agriculture, 2016, 123: 17-28.

[14] Partel Victor, Nunes Leon, Stansly Phil, et al. Automated vision-based system for monitoring Asian citrus psyllid in orchards utilizing artificial intelligence[J]. Computers and Electronics in Agriculture, 2019, 162: 328-336.

[15] 邓壮来，汪盼，宋雪桦，等. 基于SSD的粮仓害虫检测研究[J]. 计算机工程与应用，2020，56(11)：214-218.

Deng Zhuanglai, Wang Pan, Song Xuehua, et al. Research on granary pest detection based on SSD[J]. Computer Engineering and Applications, 2020, 56(11): 214-218. (in Chinese with English abstract)

[16] He Yong, Zeng Hong, Fan Yangyang, et al. Application of deep learning in integrated pest management: A real-time system for detection and diagnosis of oilseed rape pests[J]. Mobile Information Systems, 2019, 2019: 4570808.

[17] Li Rui, Wang Rujing, Zhang Jie, et al. An effective data augmentation strategy for CNN-based pest localization and recognition in the field[J]. IEEE Access, 2019, 7: 160274-160283.

[18] Li Weilu, Chen Peng, Wang Bing, et al. Automatic localization and count of agricultural crop pests based on an improved deep learning pipeline[J]. Scientific Reports, 2019, 9: 7024.

[19] Liu Liu, Wang Rujing, Xie Chengjun, et al. PestNet: An end-to-end deep learning approach for large-scale multi-class pest detection and classification[J]. IEEE Access, 2019, 7: 45301-45312.

[20] Shen Yufeng, Zhou Huiling, Li Jiangtao, et al. Detection of stored-grain insects using deep learning[J]. Computers and Electronics in Agriculture, 2018, 145: 319-325.

[21] Zhou Libo, Huang Tian, Guan Chunyun, et al. Real-time detection of cole diseases and insect pests in wireless sensor networks[J]. Journal of Intelligent & Fuzzy Systems, 2019, 37(3): 3513-3524.

[22] 肖德琴，黄一桂，张远琴，等. 基于改进Faster R-CNN的田间黄板害虫检测算法[J]. 农业机械学报，2021，52(6)：242-251.

Xiao Deqin, Huang Yigui, Zhang Yuanqin, et al. Modified Faster R-CNN pest detection algorithm based on mobile application[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(6): 242-251. (in Chinese with English abstract)

[23] 杨国国，鲍一丹，刘子毅. 基于图像显著性分析与卷积神经网络的茶园害虫定位与识别[J]. 农业工程学报，2017，33(6)：156-162.

Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156-162. (in Chinese with English abstract)

[24] Liu Li, Ouyang Wanli, Wang Xiaogang, et al. Deep learning for generic object detection: A survey[J]. International Journal of Computer Vision, 2020, 128: 261-318.

[25] Zeiler Matthew D., Fergus Rob. Visualizing and understanding convolutional networks[C]// 13th European Conference on Computer Vision (ECCV 2014). Berlin, German: Springer Verlag, 2014: 818-833.

[26] Simonyan Karen, Zisserman Andrew. Very deep convolutional networks for large-scale image recognition[C]// 3rd International Conference on Learning Representations (ICLR 2015). San Diego, CA, US: International Conference on Learning Representations, 2015: 1-14.

[27] Girshick Ross, Donahue Jeff, Darrell Trevor, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// 27th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2014). New York, US: IEEE Computer Society, 2014: 580-587.

[28] Bodla Navaneeth, Singh Bharat, Chellappa Rama, et al. Soft-NMS-Improving object detection with one line of code[C]//Proceedings-2017 IEEE International Conference on Computer Vision (ICCV 2017). United States: Institute of Electrical and Electronics Engineers Inc., 2017: 5562-5570.

Building saliency-map-based attention-driven deep network to detect vegetable pests of sticky trap images

Guo Qingwen1, Wang Chuntao1,2※, Xiao Deqin1, Huang Qiong1,2

(1.,,510642,; 2.,510642,)

Digital imaging has widely been used to detect pest diseases for crops in modern agriculture, particularly on deep learning and intelligent computer vision. However, accurate and rapid detection of insect pests in images still remains a great challenge in the crop field. In this study, a task-specified detector was developed to accurately detect vegetable pests of sticky trap images using an attention-driven deep network from saliency maps. Prevailing pest detectors were mainly adopted anchors to detect pests in sticky trap images. Nevertheless, the anchor-based detection accuracy depended mainly on the balance between positives and negatives, as well as the model training, due mainly to the relatively small sizes and distribution of crop insect pests in the sticky trap images. Therefore, a saliency map was established to filter simple background regions. An attention-driven neural network was also selected to better focus on key regions and then accurately detect crop insect pests of sticky trap images. Firstly, saliency maps and threshold-based techniques were employed to construct masks for rough region proposals, according to connected graphs of acquired masks. Secondly, two fully convolutional neural networks were used in a sliding window fashion to produce refined region proposals from rough region proposals, in order to deal with occlusion issues. Thirdly, each refined region proposal was then classified as one target pest category with a convolutional neural network classifier, thereby detecting the bounding boxes of target vegetable pests. Finally, an enhanced non-maximum suppression was utilized to eliminate the bounding boxes of redundant detection, where a target pest was captured by only one detection bounding box. As such, the target pest number was easily obtained to count the bounding boxes of rest detection during automatic management of vegetable insect pests. Furthermore, a piece of specific monitoring equipment was designed to evaluate the vegetable pest detector, where sticky trap images of two vegetable pestswere collected, including(Linnaeus) and(Coquillett). Several experiments were also conducted on the labeled data set of collected images. The results demonstrate that the vegetable pest detector achieved a mean average precision of 86.40% and an average mean absolute error of 0.111, indicating better performance than the commonly-used pest detectors, such as SSD, R-FCN, CenterNet, Faster R-CNN, and YOLOv4. In addition, two ablation experiments were carried out to verify the attention mechanism of saliency maps and the enhanced non-maximum suppression. It was found that the attention mechanism remarkably contributed to the detection accuracy and the performance of enhanced non-maximum suppression. In the future, both top- and low-level feature maps were required in a convolutional neural network, further enchancing the robustness of the attention mechanism in the vegetable pest detector.

image recognition; machine vision; pest detection; intelligent computer-vision-based detection; deep learning; saliency map

郭庆文，王春桃，肖德琴，等. 利用显著图构建注意力深度网络检测诱虫板蔬菜害虫[J]. 农业工程学报，2021，37(19)：211-219.doi：10.11975/j.issn.1002-6819.2021.19.024 http://www.tcsae.org

Guo Qingwen, Wang Chuntao, Xiao Deqin, et al. Building saliency-map-based attention-driven deep network to detect vegetable pests of sticky trap images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 211-219. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.19.024 http://www.tcsae.org

2021-07-09

2021-09-03

广东省重点领域研发计划（2019B020214002）；广州市科技计划项目（201904010196）

郭庆文，博士生，研究方向为农业人工智能。Email：guoqingwen@stu.scau.edu.cn

王春桃，博士，副教授，研究方向为农业人工智能、多媒体信息安全。Email：wangct@scau.edu.cn

10.11975/j.issn.1002-6819.2021.19.024

TP391.41

A

1002-6819(2021)-19-0211-09