基于Faster R-CNN的美国白蛾图像识别模型研究

薛大暄，张瑞瑞，陈立平*，陈梅香，徐 刚

(1. 首都师范大学信息工程学院，北京 100048；2. 国家农业智能装备工程技术研究中心，北京 100097)

美国白蛾Hyphantriacunea为鳞翅目灯蛾科的一种昆虫，是为害农作物、林木、果树、花卉等植物的食叶害虫。近年，受气候变化环境污染等影响，美国白蛾危害快速蔓延。美国白蛾成虫适应性强、繁殖量大、传播途径广(陈学新等，2017；孔雪华，2010)，动态监测并有针对性防治是提升白蛾防控的重要手段。及时的虫情监测和有效的早期防治能够避免重大的经济和生态损失。在美国白蛾防治过程中，通过悬挂诱捕装置，并对诱捕白蛾进行识别、分类、计数是当前虫情动态监测的主要方法。因白蛾发生范围广、预警区域大、诱捕数量多、混杂异类昆虫多等特点，导致人工识别、分类、计数速度慢、耗时长、强度高、主观性强。

随着计算机技术的不断发展，基于图像处理技术的害虫自动识别技术得到广泛的研究。张红涛等通过蚁群优化算法从粮虫17维形态学特征中自动提取出最优特征子空间，采用支持向量机对粮虫进行分类(张红涛，2002)。毛文华等利用帧间差分法来提取蝗虫的形态特征因子，通过分类和构建数学模型来统计蝗虫数量(毛文华等，2008)。陈月华等首次将K均值聚类算法用于害虫图像的分类，运用合并和分裂相结合的区域生长算法分割害虫和叶片(陈月华，2007)。通常自然环境下获取的害虫图像背景噪声较大，光线强度，姿态特征各不均匀，导致传统的识别算法具有一定的局限性。基于深度学习的目标识别方法利用端对端方法对图像特征进行自动提取，研究显示利用深度学习方法对害虫进行识别效率高、识别时间快。杨国国等通过对整个图像进行颜色衰减加速运算，结合超像素区域之间的空间影响，利用Grab Cut算法进行害虫定位和分割(杨国国等，2017)。孙俊等提出一种结合批归一化与全局池化相结合的卷积神经网络识别模型(孙俊等，2017)。谭文学等设计深度学习神经网络对果蔬果体病理图像识别方法，并提出弹性动量的参数学习方法(谭文学等，2017)。孙钰等利用K-means聚类算法优化Faster R-CNN，对任意姿态的红脂大小蠹进行目标识别(孙钰等，2019)。

本文以美国白蛾为研究对象，对自然环境下诱捕到的美国白蛾样本进行图像识别技术研究，提出一种结合Inception_v2网络的Faster R-CNN(Zengetal.，2018)美国白蛾识别改进模型(ImprovedHyphantriacuneaRecognition Model，IHCDM)。该模型平衡处理速度和识别准确率，能够自动定位、识别美国白蛾虫体，为白蛾的机器自动统计、筛选提供了参考方法。

1 材料与方法

1.1 实验材料

美国白蛾样本来源于北京市昌平区、海淀区。因美国白蛾自然环境下形态特殊，不同角度姿态差异大，使用Canon EOD 7 D相机采取正面、侧面、斜侧、背面4个角度样本图像。原始图像像素大小2 736 px×3 648 px，将原始数据通过图像预处理将像素缩减至600 px×1 024 px。

表1所示为构建容量为3 500张数据集，其中包含小部分背景图像1 300张，将数据集按照PASCAL VOC竞赛的数据集划分。其中2 600张用于构建网络训练集，450张用于构建网络验证集，450张用于构建网络测试集。为了保证模型评价指标的准确性，训练集、验证集、测试集样本互斥。

表1 美国白蛾数据集种类及数量

通过LabelImg工具将训练集和验证集中的样本分别进行标注。标注类别分两种：美国白蛾、其他两个类别，生成的xml文件包含五个重要参数(Name，Xmin，Ymin，Xmax，Ymax)。其中Name代表标注的类别，Xmin，Ymin，Xmax，Ymax代表矩形框的左上角，右下角的位置坐标，用于目标识别算法中RPN网络的回归计算。

1.2 IHCDM模型

1.2.1经典Faster R-CNN深度学习模型

Faster R-CNN识别算法中采用区域候选网络(Region Proposal Network，RPN)代替Selective Search算法(Renetal.，2015)，极大程度减少了生成候选框的时间。RPN网络流程图如下图2所示(Qinetal.，2017)，RPN网络提出一种锚点，锚点是原始图片经过卷积操作之后在特征图(feature map)中感受野的中心，锚点用于解决边界框长度不一致问题。在特征图中采用一个3×3的滑动窗口进行卷积操作，每一个滑动窗口会对锚点周围产生多个候选框区域，每一个候选区域框包含前景背景得分和每一个候选区域框的位置信息(Fanetal.，2016)。假设每一次预测识别框的数量为k，分别进行1×1卷积操作，在分类层得到2 k个的分数，在回归层得到4 k个位置坐标信息。在默认状况下，用(0.5，1.0，2.0)三种比例和(8，16，32)下采样倍数，得到k=9种不同的锚点。对于W×H大小的特征图，总共有W×H×k个锚点。

(a)第一示例 (b)第二示例

图2 RPN网络流程图Fig.2 Flow chart of RPN network

RPN网络训练中对每个锚点分配一个二分类标签(是否为object)。以下这两种锚点设置为正标签：1)与真实框(intersection-over-inion，IoU)最高的候选框；2)与真实框IoU大于0.7的候选框。对于某个锚点与真实框IoU大于0.3，则判定为负标签，其余IoU大于0.3和IoU小于0.7的候选框不参与训练(Chenetal.，2017)。对于图像的损失函数定义如式1所示：

(1)

其中i是小批量数据的索引，pi是第i个锚点的目标识别概率值。如果锚点映射的是正标签，则pi*为1，反之为0。目标分类的损失函数是对二分类问题的对数损失，公式如式2所示：

Lcls(pi,pi*)=log[pipi*+(1-pi)(1-pi*)]

(2)

对于目标回归的损失函数定义如式3所示：

Lreg(ti,ti*)=∑i∈{x,y,w,h}smoothl1(ti-ti*)

(3)

对于边界框回归，ti是预测框的4个坐标向量，其中包含{tx，ty，tw，th}，ti*是真实框的4个坐标向量，公式计算如式4所示：

(4)

其中，(x,y)代表预测边界框的中心点坐标，(xa，ya)代表锚点包围盒的中心点坐标，(x*，y*)代表真实边界框的中心点坐标，w，h分别代表框宽和高。边界框回归的目的是让预测候选框不断接近真实边界框的回归。

1.2.2IHCDM模型

从AlexNet的8层网络结构到经典Faster R-CNN网络模型的VGG 16的网络结构，主流的网络结构突破大多数是增加网络层数和神经元数量。但是单纯的增加深度和宽度会导致参数过多出现过拟合问题，网络层数加深，参数计算量变多，导致计算机计算量过大，训练时间久，难以应用。Inception_v2为解决以上问题，在神经网络中添加了多种不同的卷积层和池化层，将Inception_v1中5×5的卷积层分别用两个3×3的卷积层代替，极大程度降低了参数数量，也加速了神经网络的计算，增加了神经网络对图像尺寸的适用性。

本文将对比传统识别模型，Inception_v2，ResNet 50(Rezendeetal.，2017)，ResNet 101等网络模型，最终将VGG 16输入模型替换为Inception_v2网络结构，并对IHCDM中学习率，迭代次数，训练集数量等超参数进行调整，改进后的识别框架如图3所示。

图3 IHCDM流程图Fig.3 Chart of IHCDM model

1.2.3迁移学习

迁移学习在深度学习领域应用十分广泛，将已经训练好的模型迁移到另一个模型中，帮助新模型进行辅助训练。自然环境下，美国白蛾图像数据体态特征均有差异。若进行初始零训练，网络模型难以收敛，损失值下降过慢(袁功霖等，2018)。本文实验采用迁移学习提升IHCDM精度，迁移学习的优点在于对美国白蛾图像数据不需要初始学习特征，用训练好的预训练模型进行共同的特性迁移，从而极大减少了模型训练过程并缩短了模型训练时间。

1.2.4超参数法

学习率是神经网络梯度下降算法中一个重要的参数，学习率过小会导致学习速度慢，导致收敛速度慢，易过拟合；学习率大对应学习速度快，容易损失值爆炸。迭代次数是训练集在神经网络中的学习次数，不同的迭代次数会产生不同的模型精度。本文实验通过控制变量法对比学习率，迭代次数等超参数提升IHCDM精度。

1.2.5数据增强

对于成熟的神经网络而言，其中的参数都是数以百万计，要使网络识别模型足够好，必须使用大量数据进行训练。数据增强技术可以提高模型的泛化能力和鲁棒性，防止模型过拟合。本文利用Keras深度学习框架中的ImageDataGenerator类对美国白蛾图像数据进行旋转角度、水平平移、垂直平移、填充模式等4种方法提高模型的泛化能力。

1.3 美国白蛾识别模型实验设计

对比深度学习识别算法与传统SVM+HOG算法，实验对美国白蛾图像数据进行了SVM+HOG算法的传统目标识别，实验结果表示深度学习目标识别效果优于传统目标识别算法。基于深度学习的目标识别中，训练集中图像数据为单一的美国白蛾居多，从而导致网络模型泛化能力较弱。针对以上问题，实验通过以下几种方法对网络模型精度进行改进：1)增加一种识别背景类other；2)将原始卷积神经网络VGG替换为Inception_v2，对比ResNet 50、ResNet 101、inception+ResNet等网络模型；3)对IHCDM中学习率，迭代次数等超参数进行控制变量法对比；4)通过数据增强技术对IHCDM进行精度提升。

1.4 美国白蛾识别模型评价方法

本文引入召回率(Recall)和均值平均精度(Mean Average Precision，mAP)做为IHCDM的评价指标。其中召回率是针对样本，表示样本中的正样本的个数有多少被正确预测，是样本中的正例与所有样本中正样本的比例，计算如式5所示：

(5)

其中，TP(True Positives)代表把正样本预测为正类，FN代表把正样本预测为负类。

针对美国白蛾图像，查准率(Precision)可以计算模型精度，即为模型预测的TP数量除以真实图像这一类目标数量。通过识别模型类别N和查准率来计算mAP值，计算公式如式6所示：

(6)

1.5 美国白蛾识别模型实验平台

本文通过对比不同深度学习框架中的模型设计、接口、部署、性能、架构、设计等方面，采用Tensorflow框架作为本文的基础框架。实验环境配置如下：操作系统为Ubuntu 16.04，CPU为Intel Core i 5-8700，GPU为RTX 2070，Python版本为Python 3.6，内存为16 G。

2 结果与分析

2.1 目标识别方法性能对比

传统识别利用HOG算法将美国白蛾图像局部区域的梯度方向直方图构成特征，并用SVM分类器进行识别(任彧和顾成成，2011)。由于HOG特征不具备旋转不变性以及滑动窗口提取特征区域效率比RPN网络差，最后训练出来的模型识别真实图像mAP为0.90。在深度学习的网络模型中，利用4种不同的目标识别网络进行对比，图像分辨率为600×1 024，迭代次数为10 000，图像总数据为1 400张。经过在实验平台上8 h的训练，最终在测试集得到的mAP值如表2所示。从实验测试集图4结果可以看到，SSD模型对于小物体识别效率较低。本文提出的IHCDM损失值(Loss)为0.140，mAP为99.5%。研究结果显示，在阈值为0.85下，IHCDM召回率达到最高为99.7%，对比其他识别模型，IHCDM模型mAP分别增加了9.5%，0.5%，0.4%，6.4%。

表2 目标识别方法性能对比

(a)SSD第一检测示例

(b)SSD第二检测示例

2.2 迁移学习方法性能对比

实验采用COCO数据集迭代200 000次的模型作为实验的预训练模型。在图像识别当中，大部分数据都存在着一定的相关性，实验将利用原始的Faster R-CNN+Inception网络模型已经学习到的参数迁移到IHCDM当中。如图5所示，当不采用迁移学习方法时，IHCDM在迭代次数为10 000时损失值趋近于0.4。采用迁移学习方法时，IHCDM损失值趋近于零，并且收敛快，识别效率高，对识别精度，训练速度都有很大的提升。

(a)模型未使用迁移学习

(b)模型使用迁移学习

2.3 超参数改进方法性能对比

在模型训练中，学习率的不同影响训练中梯度下降幅度，从而导致模型训练效果不同。利用控制变量法保持其他超参数一定，对不同的学习率下的网络模型进行识别对比，并对测试集中的美国白蛾数据进行识别，设定其阈值为0.85。如表3所示，当学习率为0.002时，Loss最小值为0.016，召回率为99.8，mAP在损失函数最小的情况下达到99.5%。

表3 不同学习率的效率对比

在模型训练中，迭代次数直接影响模型训练的效果。在训练过程中，根据不同的迭代次数网络进行参数微调。迭代次数过小则模型收敛困难，迭代次数过大，容易导致过拟合，设定其阈值为0.85。如图4所示，当迭代次数为50 000次，损失值收敛，识别效果达到最优，召回率为99.8%，mAP达到99.6%。

2.4 数据增强方法性能对比

本文通过用Keras中的ImageDataGenerator类对原始图像数据进行预处理操作，重新标注后放入识别模型中训练。对于自然状态下的美国白蛾，形态特征均不一样，数据增强方法促使卷积神经网络更多学习图像中不同的特征，对于模型识别

表4 不同的迭代次数效率对比

率有一定的提升。实验结果表明，图6中左侧未使用数据增强技术，识别中部分美国白蛾未被正确识别，右侧使用数据增强方法美国白蛾图像全部被正确识别。数据增强技术提高了模型的泛化能力以及鲁棒性，同时提高了目标识别效率。

(a)模型未使用数据增强

3 结论与讨论

本文采用深度学习方法，将目标检测方法对林业有害生物美国白蛾进行识别，得到如下结论：

(1)构建了端到端的美国白蛾检测模型IHCDM，对比传统检测算法HOG+SVM，IHCDM模型比传统目标检测算法检测精度高9.6%，本研究验证了深度学习在美国白蛾检测中的可行性和有效性，极大程度减少了人工成本和工作量，提高了美国白蛾的检测效率与预警实时性。

(2)IHCDM模型突破了小目标昆虫美国白蛾检测的严格要求，避免了图像预处理阶段对于美国白蛾图像特征提取的人工干预。对比ResNet 50、ResNet 101、SSD+Mobilenet_V1三种不同的卷积神经网络，检测精度分别提高了0.5，0.4，6.4个百分点。

(3)采用迁移学习和数据增强技术改进IHCDM模型，改进后的IHCDM模型对美国白蛾检测精度能够达到99.5%，运用控制变量法对IHCDM模型超参数进行微调。当学习率为0.002，迭代次数为50 000步时，损失函数值最小，IHCDM精度达到99.6%。对于单个目标和多个目标检测下，IHCDM模型表现良好。在检测效率，检测速度和鲁棒性方面，改进后的IHCDM模型都有明显优势。

(4)对比其他昆虫研究，本文只针对单一物体进行目标检测，论文不足之处体现在检测样本分类少。改进后的IHCDM模型对于其他有害生物有一定的参考价值，对于其他有害生物的多目标检测应当是今后的研究重点。下一步，本研究将IHCDM模型与实际相结合，设计并开发一款有害生物检测APP应用来提高有害生物灾害预警的及时性，对林业有害生物灾害防治有很高的实用价值。