基于ResNet网络的小蠢虫识别研究*

华月珊 王佳新 戎洁庆 华国栋 李 莉

（1.广州市辰景生态技术服务有限责任公司，广东 广州 510520；2. 广东省林业调查规划院，广东 广州 510520；3. 河北工程大学 信息与电气工程学院，河北 邯郸 056038)

小蠢科是林业保护重点防治的蛀干虫害之一，对林木具有极强破坏性。传统识别方法主要依赖专家进行人工鉴别，耗时耗力且无法进行大面积实时精准防控。卫星遥感影像监测林业病虫害的方法[1-2]主要是利用了林木受到虫害侵袭后，其外貌树冠形态将会产生变化，导致植物的反射率发生改变。植物反射率的变化会导致光谱特性的变化，通过遥感卫星能有效捕捉到光谱值的异常。由于这种方法需要虫害大面积发生后才能捕捉到虫害发生的信息，及时性不足，且这种方法难以判断虫害的类型。现阶段林业保护急需智能虫害识别模型。随着深度学习的快速发展，基于卷积神经网络(Covolutional Neural Networks, CNN)的目标检测任务得到了巨大的提升，能有效解决生活场景中的多数目标识别[3-4]。本研究针对汕尾海丰县黄羌松林场区害虫防治现状，对害虫识别方法展开研究，重点分析了基于神经网络的目标检测模型，构建了基于深度感知神经网络的林业虫害监控系统（图1）。

图1 虫害监控系统Fig.1 Pest control system

1 数据采集与方法

1.1 图像数据采集

图像采集主要分为诱捕器采集点设置与无人机采集两种。其中诱捕器采集点设置方法，主要通过在目标松林中按高斯随机方式进行架设点设置，在诱捕器顶部安装小型摄像头，下部放置盛放酒精的玻璃器皿，摄像头每10 min 采集一张害虫图像。无人机采集方式主要通过无人机林中巡航方式进行采集，利用具有路径规划与避检测障功能无人机在林中巡航，配合树干异常结构，在问题树干附近悬停释放引诱剂，从而采集虫害并进行识别。两种图像采集方式具体形式如图2 所示。系统中的图像预处理、图像处理与结果后处理是本文重点关注部分，论文分别使用了数据增强方法，深度神经网络与软性非极大值抑制对这3 部分进行了优化。该系统能及时对虫害的产生做出预警，并快速检测识别出虫害种类，为防治方案的制定提供数据支持，减少林木资源的损失，达到早发现、早控制的目的。

图2 图像采集方式Fig.2 The collection methods of image

1.2 彩色图像检测识别林业害虫技术方法

本论文以小蠢科目为研究对象，提出了一种基于深度感知神经网络的林业害虫检测识别算法。

1.2.1 数据增强方法 深度学习的优点在于其能自动发掘数据中的特征，而不需要手工设计繁琐的特征表示，训练样本越多，模型性能将越好。然而，目前已公开的林业害虫数据较少，并且在规模和多样性上存在明显缺点，难以很好地训练目标检测等网络模型。针对林业害虫数据集小与多样性缺乏的问题，本文通过数据增强技术构建了新型的大规模害虫检测数据集作为后续任务研究的数据基准。

数据增强可以有效减少网络的过拟合现象，对训练图片进行变换可以得到泛化能力更强的网络，更好的适应多变的林业场景。数据增强操作主要包括：随机反射变换、随机缩放变换、随机翻转变换、随机平移变换、随机多尺度变换、随机颜色换、噪声引入。除此之外，本文创新性地采用了混类算法进行数据增强，使用混类算法获得的部分样本如图3 所示。首先，假设x1是一张样本图片，y1表示该样本对应的标签，x2为另一张样本图片，y2表示该样本对应的标签，λ混合系数是服从参数为α、β的贝塔分布(Beta Distribution, BD)计算获得，具体表达式为：

图3 混类算法获得的部分样本Fig.3 Partial samples obtained by mixed class algorithm

1.2.2 深度感知神经网络 深度感知神经网络是一种主要通过反馈方式学习数据分布的结构，适用于处理复杂数据。在计算机视觉技术中，深度感知神经网络通常被用于二维图像数据的特征提取与识别，主要包含卷积层、池化层、归一化层与全连接层[5]。本文在林业保护的背景下，针对林业害虫识别问题展开研究。林业害虫识别具有识别目标小，形状怪异等特点，因此，本文在一阶段目标检测网络基础上，引入金字塔结构与形变结构，提出了面向林业害虫识别的深度感知神经网络模型，很好地解决了小目标多形变性害虫的识别，其具体结构如图4 所示。

图4 林业害虫识别算法总体框架Fig.4 General framework of forest pest identification algorithm

1.3 数据处理

1.3.1 特征金字塔结构 在目标检测任务中，特别是在林业害虫识别任务上，面临着一个目标尺度跨越较大的问题，即同一语义场景中包含的物体是跨类别、跨尺度的。为了解决这一问题，主要采用了特征金字塔结构构建目标识别网络。

本文采用特征金字塔结构建立了多层级预测结构，与单一特征输出不同，多层级特征金字塔为多输出结构，具体比较如5 所示。在自底向上提取特征的同时，在每一层级做出预测。自底向上的特征提取过程主要采用经过大型数据集预训练后的网络进行提取，本文采用了ResNet50作为骨干网络。在做出预测的过程中，每个高层级特征图将采用最近邻插值上采样到与下一层级特征图一样的尺寸，然后将获得的特征图与当前层相加获得特征图相融合，得到特征图{M2,M3,M4,M5}，有效利用了高层信息的语义特征，并通过底层的高分辨率辅助算法对目标进行定位。最后，使用附加卷积核处理融合后的特征图，从而消除因特征融合产生的混叠效应，最终输出{P2,P3,P4,P5}。

图5 特征提取预测结构Fig.5 Feature extraction and prediction structure

1.3.2 形变结构 在林业害虫识别任务中的另一大挑战是如何处理害虫的形状变换。传统卷积核因其固定的内在结构，导致其无法很好地处理出现在野外中的害虫形状变化。主要的解决办法是进行数据增强，通过对数据集进行多样性转换，使得数据集尽可能多的包含林业害虫可能出现的变化情况[6]。然而此方法前提是害虫的变化情况是已知的，对于未知的虫害变化，并不能很好的适应，从而无法很好的完成林业害虫的识别。为此，本文在识别网络中引入一层形变卷积，使网络以自适应的变形方式适应输入的虫害目标，有效增强整体网络模型的形变适应能力。

形变卷积的操作是通过对每个位置pn增加对应的偏移量。因此，经过形变卷积的偏移修正后的特征值可以表示成下式：

图6 形变卷积实现过程Fig.6 The realization process of deformation convolution

1.3.3 软性非极大值抑制 现有目标检测方法主要使用基于密集锚点的方法进行候选框的预设，然而密集锚点的设置是的检测后得高分的边框数量较多，同一位置的检测结果存在冗余情况，所以需要多冗余边框进行去除操作。传统目标检测方法的后处理技术主要使用了非极大值抑制(Non-Maximum Suppression, NMS)[7]，经过非极大值抑制后可以使得每个对应位置保留分数最高的检测结果，剩余框与被选中边框有明显重叠的框被抑制，但该方法存在过渡滤除问题。如图7 所示[8]，如果一个物体超过预设的重叠度(Intersection over Union, IoU)[9]，可能会导致无法检测到目标检测物体。即当目标检测框过度接近时，分数更低的绿色检测框将会因为与红色检测框重叠面积过大而被滤掉。

图7 非极大值抑制误差Fig.7 Non-maximum suppression error diagram

2 结果与分析

2.1 实验数据集

本文采用的训练数据集来自百度，是一个已经进行标记的小蠢科害虫数据集。包括林业蛀干小蠢科6 种虫害，分别为松十二齿小蠢lps sexdentatus Boerner，红脂大小蠢Dendroctonus valens LeConte，松六齿小蠢lps acuminatus，华山松大小蠢Dendroctonus armandi，鞘翅目长小蠢Platypus parallelus coleoptera，松芽枝窃蠢Ernobius mollis Linnaeus。采集害虫样本形态各异，主要呈现黑色与褐色，并将害虫分置于大小一致的透明圆形培养皿中，每张样本为六种害虫的随机组合。数据集共有2 183张害虫样本，根据8:1:1 的比例划分数据集，可以得到训练集约为1 600 张，验证集约为200 张，测试集约为200 张，部分示例如图8 所示。

图8 数据集部分样本示例Fig.8 Sample of data set

2.2 网络训练细节

实验采用python3.7 版本开发语言，深度学习框架为paddlepaddle，训练网络使用的计算机GPU为Tesla V100。由于前层卷积提取的多为图像的边缘、轮廓、纹理等基本特征，具有一定的通用性。因此，本文使用经过ImageNet 充分预训练的目标检测框架为基础网络[11]，将学习到的参数迁移到林业害虫识别网络中，有效地加速训练损失下降，更容易寻找到最优空间。实验采用的反向传播优化算法为动量[10]优化算法。深度感知神经网络的各项参数为：学习率设置为0.001，迭代的次数为54 000 次，批量归一化的大小为10，重叠阈值为0.45，momentum 设置为0.9。网络搜索空间越大，优化难度越高。因此，本文采用逐层精调，减少网络搜索空间的方式对网络进行训练，具体为将整体网络分成特征提取模块以及预测模块，逐步训练并冻结不同模块后分别进行精调。

为了验证论文所提方法的有效性，算法将在林业害虫数据集与收集的虫害图像上进行方法的评估。本文所提算法的定量分析如表1 所示，从表中所有数据集可看出本文所提算法在林业害虫的特殊任务中已经取得了与通用目标检测相似准确度。同时，验证了软性非极大值抑制对目标检测的结果有一定的提升。本文同时提供了算法在林业害虫数据集上的定性分析，如图9 所示。测试结果1 和测试结果2 都准确定位所有害虫，并准确识别害虫种类华山松大小蠢（armandi1 只)、松六齿小蠢（acuminatus1 只)、红脂大小蠢（leconte3 只)、松芽枝窃蠢（linnaeus1 只)、松十二齿小蠢（boerner1 只)。测试结果三仅出现一个漏检。从图中不同大小摆放位置姿态的害虫识别结果可证明论文所提算法能有效应对小目标以及形态各异的害虫。

图9 林业害虫检测可视化图Fig.9 Visualization of forest pest detection

表1 林业害虫检测算法定量Tab.1 Quantitative table of forest pest detection algorithm

3 结论与讨论

林业与人类发展密切相关，不仅蕴含巨大的生态效益，而且具备重要的经济效益。在国家促进人与自然和谐发展，大力发展森林小镇的背景下，本文针对现有虫害预警防治现状，研究了关于小蠢科害虫的检测模型，引入特征金字塔结构、形变卷积结构和软性非极大值抑制构建了面向林业害虫的深度感知模型。通过在林业害虫数据集上进行实验，模型准确率达到了96.32%，表明该模型具有较好的准确性。同时，本文的网络模型结构具有很好的泛化性，能有效应对不同的复杂环境，实现虫害的及时预警。