基于改进Faster-RCNN的目标检测算法研究

闫新庆 杨喻涵 陆桂明

【摘要】    目标检测是图像处理领域一个重要的研究方向，深度学习方法需要大量数据进行训练，训练的繁杂和复杂的网络结构限制了目标检测的速度。本文基于Faster RCNN 的网络架构，创新性提出了light tail Faster RCNN网络架构。light tail Faster RCNN算法在保证精度的情况下，大大提升了处理速度。在本文的设计中，通过将网络结构中的全连接层改为1*1的卷积层，来达到速度的提升。本文实验在 PASCAL VOC 数据集上进行，较经典网络模型，在识别率略低的情况下，速率提升了一倍多。在总体性能上显著优于经典目标检测算法，通过对比实验的方法比较验证了本文提出方法的有效性。

【关键词】    目标检测    Faster RCNN    深度学习

Abstract： Target detection is an important research direction in the field of image processing. Deep learning methods require a large amount of data for training， and the complex and complex network structure of training limits the speed of target detection. Based on the network architecture of Faster RCNN， this paper innovatively proposes the light tail Faster RCNN network architecture. The Light tail Faster RCNN algorithm greatly improves the processing speed while ensuring accuracy. In the design of this article， the speed is improved by changing the fully connected layer in the network structure to a 1*1 convolutional layer. The experiment in this article is carried out on the PASCAL VOC data set. Compared with the classic network model， the speed is more than doubled when the recognition rate is slightly lower.  The overall performance is significantly better than the classic target detection algorithm. The method comparison of the comparative experiment verifies the effectiveness of the method proposed in this paper.

Keywords： Target detection ; Faster RCNN ; Deep learning

引言

目標检测与视频分析和图像理解有着密切的联系，近年来受到了广泛的关注。随着深度学习的快速发展，人们引入了更强大的工具来解决传统目标检测中存在的问题，这些工具能够学习到高层次和深层次的特征。

部位形变模型（DPM）及方向梯度直方图（HOG）和尺度不变特征变换（SIFT）经常作为目标检测的特征特征。但是传统方法的特征一般都是由人工进行筛选的，是一些低层次的特征，有一些特征是针对特定对象的，比如说HOG特征主要是针对行人检测提出的，针对不同目标需要人为的去选择不同的特征，这就导致传统算法的鲁棒性不高，不能够广泛的应用到目标检测算法中。近年来，随着深度学习的大幅度发展，基于深度学习的目标检测方法被大量研究。

基于深度学习的目标检测方法可以分为两个主要类别，第一种是应用回归算法进行目标检测，第二种是应用分类算法进行目标检测。

基于回归的目标检测算法包括YOLO模型。YOLO模型直接在待检测图像上进行训练，主要将图像划分成为一些网格，每个网格都检测以网格为中心的目标，它是牺牲准确性来换取目标检测速度的方法。

基于分类的目标检测算法的典型代表是Faster-RCNN算法。文献[3]中的算法主要使用卷积神经网络通过搜索的方法选择出待检测图像中的候选区来进行高层次的特征提取和表示，然后再采用分类算法进行目标识别。Faster-RCNN模型的诞生[7]提高 RCNN 模型的检测精度和速度。

但是Faster-RCNN算法在目标识别阶段用了好几层全连接层来进行感兴趣区的识别和回归。就每个区域的预测而言，这是非常耗时的，当有大量的候选区域的时候，这种情况甚至会变得更糟。而且，特征通道数量较多，这就使得全连接层占用大量内存，并直接影响网络的计算速度。

基于以上问题，本文基于Faster-RCNN算法，将感兴趣区的识别和回归中的全连接层进行了改进，提出了light tail Faster RCNN网络架构。该网络主要是通过将原本网络结构中的全连接层改为1*1的卷积层，来达到速度的提升。

一、改进的Faster-RCNN算法

改进的目标检测模型遵循Faster RCNN的相似深度学习框架，该框架已被证明是用于目标检测的最新深度学习方法。该框架主要由区域候选网络（RPN）和RCNN网络组成。Faster RCNN的结构如图1所示。

区域候选网络主要用于生成可能包含对象的一系列感兴趣区域（RoI）。快速RCNN网络主要用于对目标（和背景）进行分类并细化那些区域的边界。Faster RCNN通过两个网络共享特征提取过程获得的卷积层参数，从而使该模型能够以相对较快的速度完成目标检测任务。

在本文的工作中，主要是基于Faster-RCNN算法，将感兴趣区的识别和回归中的全连接层进行了改进，提出了light tail Faster RCNN网络架构，该框架结构如图2所示。

如图2所示展示的是改进Faster RCNN框架示意图，该网络主要是通过将原本网络结构中的全连接层fc6和fc7改为1*1的卷积层，来达到速度的提升。由图所示，原本的Faster-RCNN算法在目标识别阶段用了好几层全连接层来进行感兴趣区的识别和回归。就每个区域的预测和识别来说，这些全连接层是非常耗费时间的，当有图像当中有大量候选区域的时候，浪费的时间会更多。不仅如此，如果特征通道数量较多，就会使得全连接层占用大量内存，从而直接影响到Faster-RCNN网络的计算速度。

因此，本文将繁杂的全连接层改为1*1的卷积层，在精度略微损失的情况下，来达到速度的有效提升。本文第三部分通过实验验证了提出模型的有效性。

二、实验验证及分析

本文的验证实验在经典的开源数据集 PASCAL VOC2007 数据集上进行，改数据集共有21类不同的对象类别，并且包含 5000 训练集样本图像和 5000 测试样本图像。本次实验的硬件环境显卡采用的是 NVIDIA Tesla K80，再软件方面，操作系统采用 Linux Ubuntu 16.04 版本，实现语言采用 Python3.6，深度学习框架采用 TensorFlow 框架，实现卷积神经网络模型，Faster RCNN 中的最大迭代值等参数对 m AP 的数值会产生较大的影响，为了得到较好的输出，需要对这些参数进行优化。在本次实验中，最大迭代次数为70000，并且调节相关参数记录所提算法和对比算法的最佳结果。

如图3所示，为实验部分原图和特征提取的特征图。

如图3所示，为数据集原图和改进的Faster RCNN算法的特征提取示意图，从图中可以看出改进的Faster RCNN可以较好的提取目标的特征，从而实现目标检测。

本文实验在PASCAL VOC2007 数据集上将Faster RCNN算法和改进的Faster RCNN算法进行实验，实验条件保持一致，其mAP和实验时间如表1所示，各个类别的识别精度如图4所示。

实验结果如上表1和图4所示，在图4中橙色代表采用Faster RCNN的识别结果，其mean AP为71.26%，运行时间为53698s;蓝色代表采用本文提出的light tail Faster RCNN的mean AP为71.92%运行时间为25241s。从图4可以看出大部分类别Faster RCNN的识别结果高于light tail Faster RCNN的识别结果。从整体上来看，虽然平均识别精度下降了0.66%，但是模型整体运行速度提升了一倍多，说明本文改进的方法light tail Faster RCNN模型在精度有略微损失的情况下大大加快了处理速度，说明本文创新型提出的light tail Faster RCNN算法的有效性。

四、结论

本文针对 Faster RCNN目标检测算法训练的繁杂和复杂的网络结构限制了目标检测的速度的问题，创新性的提出了light tail Faster RCNN网络架构。该框架将网络结构中的全连接層改为1*1的卷积层，来达到速度的提升。经PASCAL VOC 数据集上的实验验证，light tail Faster RCNN算法在略微损失精度的情况下，大大提升了处理速度，验证了方法的有效性。

参  考  文  献

[1] Liu W， Anguelov D， Erhan D， et al. Ssd： Single shot multibox detector[C]//European conference on computer vision. Springer， Cham， 2016： 21-37.

[2] Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense object detection[C]//Proceedings of the IEEE international conference on computer vision. 2017： 2980-2988.

[3] Shi K， Bao H， Ma N. Forward vehicle detection based on incremental learning and fast r-cnn[C]//2017 13th International Conference on Computational Intelligence and Security （CIS）. IEEE， 2017： 73-76.

[4] Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE computer society conference on computer vision and pattern recognition （CVPR05）. IEEE， 2005， 1： 886-893.

[5] Felzenszwalb P F， Girshick R B， McAllester D， et al. Object detection with discriminatively trained part-based models[J]. IEEE transactions on pattern analysis and machine intelligence， 2009， 32（9）： 1627-1645.