一种基于图像显著性的离岸船舶目标检测效率优化方法

董 众，林宝军，申利民

(1.中国科学院 空天信息创新研究院，北京100094；2.中国科学院大学，北京100049；3.中国科学院 微小卫星创新研究院，上海200050；4.燕山大学 信息科学与工程学院，河北 秦皇岛 066004)

0 引言

随着计算机视觉技术的发展，人工设计特征的传统目标检测方法[1-2]已不能满足当前很多前沿领域的需求。尤其在处理面向大规模、高分辨率图像数据的应用时，传统方法很难做到高精度实时检测[3]。近年来，深层卷积神经网络(Convolutional Neural Network, CNN)检测模型已成为新兴的研究热点，其主要优势在于无需手工特征设计步骤，并且鲁棒性和准确性更为理想。Faster R-CNN[4]、YOLO[5]和SSD[6]是深层CNN目标检测模型中的代表，领域内绝大多数相关研究都是以它们作为基线方法进行的拓展和延伸。但是，由于其算法结构的设计天生对细粒度特征缺乏敏感性，因而对小型目标检测的研究成为了基线方法进化路上重要的方向之一。

为了对提高小型目标的检测性能，目前基于CNN的方法有两种类型的改进路线：一种类型是基于图像金字塔的思想。SNIP[7]是一个典型的例子，它在一些通用图像集上已经达到了很高的精度。但是，这种方法对硬件支持要求苛刻，检测效率很低。另一种类型是基于特征金字塔的思想，代表方法有FPN[8]、ION[9]和HyperNet[10]等等。这种思想逐渐被引入很多遥感目标检测应用之中。Zhang等人[11]提出的SAPNet利用来自不同卷积层的输出，并采用多个RPN(区域建议网络)来检测具有不同比例的目标，在一些VHR遥感图像集中获得了很高的检测精度。Xu等人[12]提出了一种多层卷积输出的结合方法，同时在特征映射中添加语义信息和细节信息，显著提高了遥感图像中小尺度目标的检测性能。Ren等人[13]调整了Faster R-CNN的结构，将ResNet-50分为三个阶段，然后通过三个阶段特征输出的融合来获得高质量的特征图。在其测试过程中，船舶和飞机检测的准确率提高了3.2%。总的来说，此类方法主要注重的是检测精度的提升，并未将检测效率列为关键的性能指标。然而对于一些特定任务，如海上救援和军事监测，检测的效率和准确性几乎同样重要。因此，在遥感影像数据规模不断增加、深层CNN检测模型设计不断复杂化的趋势下，提高目标检测效率的研究显得尤为重要。

在不考虑硬件环境的情况下，提高目标检测效率的方法有两种：一种是缩小网络规模以减少网络参数，但这种方法可能会严重影响检测精度，因此实际应用中很少采用。另一种是减少检测中涉及的像素数量，其途径之一是改进检测网络的算法结构。Dai等人[14]提出的R-FCN为检测效率的优化提供了参考：R-FCN去掉了Faster R-CNN中的全连接层转而采用全卷积的网络结构，最终达到了比Faster R-CNN快2.5到20倍的检测速度。它的缺点是小目标的检测精度并没有明显提高，有些小型目标的检测效果甚至还不如Faster R-CNN。Singh等人[15]基于SNIP提出了SNIPER，该方法将每个图像分成若干切片，通过判断切片的有效性来减少训练中涉及的像素，从而达到降低训练和检测时间成本的目的。但是，这种方法的检测效率提升十分有限，而且要受到图像本身分辨率和复杂度的约束。

除了网络结构的优化，显著性检测也是有效缩小检测区域的很好途径。如Uziel等人[16]提出了一种依据图像显著性来切割图像的方法，使目标检测器在嵌入式GPU上的检测效率提升了4倍；Sliva等人[17]提出了一种基于多尺度谱残差分析的显著性检测方法，在行人目标检测任务中实现了3～5倍的速度提升。目前此类方法在检测小型目标时的局限性在于：区域显著性的衡量方式比较单一，当目标普遍模糊或显著度较低时，检测器的精度与效率都会受到很大影响。在检测高分辨率(Very High Resolution, VHR)遥感影像中的小型目标时，这种局限性体现的尤为突出。

离岸船舶目标是VHR遥感影像中一种典型的小型目标，其检测的实时性往往是衡量检测系统整体可行性的关键指标。在VHR离岸船舶遥感影像中，由于目标区域模糊和与背景区域相似的情况较为常见，因而单一判据的显著性检测难以很好地分割目标区域和背景区域。在实际设计中，为了降低显著性检测对整体性能产生的负面影响，本文采用了简洁高效的显著性检测方法，同时运用了显著性融合的思想[18]提升了显著图的质量。

从特征获取方面来看，目前针对船舶目标设计的高精度检测框架更倾向于使用大尺寸的特征映射进行预测[19-20]。为了覆盖所有图像区域，大尺寸的特征映射需要生成更多的区域建议与进行更多的像素计算，大幅增加了检测的时间成本。针对这一问题，本文充分结合了显著性检测思想，提出了一种提高离岸船舶检测效率的新方法，该方法的优势在于它大幅减少了区域建议生成过程中的计算量，提高了检测效率，而且精度损失非常小。本文完成的工作归纳如下：

1)首先通过显著性检测生成像素级显著图，并通过计算与特征映射的每个锚点(Anchor)相对应的接受域的平均得分来获得得分图。得分图将特征映射分为类目标区域和类背景区域。

2)将显著性分数图应用于区域建议的生成过程。在特征映射中，显著性得分达到阈值的锚点被认为是有效锚点并用于初始包围窗的生成，其余锚点为无效锚点，不生成初始包围窗。同时，随机提取一部分无效锚点用以生成负样本。

3)以文献[4]、[12]、[13]中的检测框架为实验的基线方法，对VHR遥感影像中的近海船舶进行了检测，根据实验结果论证了该方法的有效性。

1 SAS方法

1.1 实现形式概述

SAS(Saliency-guided Anchor Screening)方法的主要实现形式如图1所示。首先对每幅图像进行显著性检测，并将得到的像素级显著图归一化，随后把显著性检测的输出转化为与原始图像大小相同的像素级显著性得分映射(Saliency Score Map, SSM)矩阵，矩阵中的每个值表示对应像素的显著性得分。区域建议网络(Region Proposal Network， RPN)根据锚点对应的感受域的平均得分来决定是否生成初始包围窗。该方法保持了原端到端的检测结构，相当于一个模块，可以嵌入任何基于CNN的两级检测网络中。

图1 SAS优化的主要实现形式
Fig.1 The main implementation form of SAS optimization

1.2 显著区域检测和像素级SSM生成

本文的工作中，显著性检测的目的是找出目标在原始图像中可能存在的区域。考虑到模块的简洁性，效率的优化过程中不宜采用复杂的显著性检测方法，因此SAS方法主要利用了3种类型的显著性检测策略：像素频率FT[22]、局部对比度AC[23]和全局对比度LC[24]。这3种算法的时间成本很小，不影响检测系统的实时性。本文使用3个并行的显著性检测通路的输出来生成一个全尺寸的SSM。该设计的目的是为了避免在显著性检测过程中丢失一些小型船舶目标，并避免在船舶目标出现概率较低的区域生成初始包围窗。通过对3个显著性检测输出的均值进行归一化处理，得到显著图中每个像素的显著性得分，并将所得得分用于评价特征图中锚点的显著性，即

SP=λ1SFT+λ2SAC+λ3SLC，

(1)

其中，SP为像素显著性得分，λ1、λ2、λ3为分数权重(本文中均取1/3)，SFT、SAC、SLC为3种显著性检测在每个像素上的得分。获得显著区域和全尺寸SSM的过程如图2所示。

1.3 锚点级SSM生成与分析

原始的像素级SSM不能很好地代表深度特征中各个区域的显著性。为此，检测器需要计算特征映射中每个锚点对应的接受域的平均显著性得分。特征图中所有锚点的显著性得分构成特征图中数据的一个额外维度。如图3所示。在生成初始边界框之前，RPN优先检测特征图中每个锚点的显著性得分。如果分数超过预先设定的阈值(设为σ)，则被判定为一个有效的锚点，并且边界框正常生成。如果分数未达到阈值，则判定为无效锚点，没有生成边界框。该过程建模为

(2)

图2 原图每个像素点对应的显著性分数的生成过程示意
Fig.2 The generation process of pixel-level saliency map

图3 特征映射中锚点级显著性评分过程
Fig.3 The process of anchor-level saliency scoring for the feature maps

2 实验与分析

由于本文的方法主要应用于两级检测网络，因此本文的实验分别采用文献[4]、[12]和[13]的检测框架作为基线方法。它们都是两级检测网络，网络结构相似，但用于预测的特征映射分别为小、中、大3种尺度。

为了保证实验的有效性，所有实验均采用经过ImageNet预训练的VGG-16作为主干网络，并采用FT、LC、AC作为显著性检测方法。

训练和测试的图片都来自Google Earth和DOTA[21]图像集。实验选择和抓取了1 500幅海域图像构成新的图像实验训练/测试集，并取300幅海域图像作为验证集，数据集的大部分包含离岸船舶目标，而且所有这些图像均手动重新标注。训练集中约有11×103个舰船目标，图像大小约为4 000×4 000。此外，根据以往的经验，正负样本比例设为1∶5，训练迭代次数设置为8万次，初始学习率设置为0.001，显著性阈值设为σ=0.5。

本文的实验全部基于Caffe的深度学习框架，操作系统为Ubuntu 18.04，计算机配置为Intel Core i7-8700 CPU 3.20 GHz, NVIDIA GTX 1080 GPU (11GB)， 32 GB RAM。

实验框架的构建方法主要是在基线方法的外部插入显著性检测分支，并将显著性分数的介入方式写入Net、Proto以及RPN部分的Layer中。图4显示了基线方法为文献[4]时，网络迭代的多任务损失随迭代次数增加的变化情况。从图中可以看出，本文提出的方法在训练过程中加快了网络的收敛速度，这意味着优化后的检测器能够以更少的时间代价得到良好的训练。然后，实验加入了当前较为先进的显著性检测方法，在验证SAS方法的有效性的同时对比了不同的显著性检测方法对检测效率的影响。表1为优化前后上述检测框架的平均精度(%)和检测速率(帧/秒)的实验结果，其中RBD[29]和HED-SC[30]为两种替换显著性检测部分的对比方法。从表中可以清楚地发现，SAS优化后的检测方法比原检测方法的检测时间短，特别是当特征图的比例尺较大时，检测效率提高幅度较大。而且可以看出，两种更为先进对比方法对目标检测器效率的提升十分有限，在用于分类的特征映射尺度较大时，它们甚至会拖慢检测速率。这主要是因为显著性检测的复杂度较高时，虽然检测到的显著性区域更为精确，但同时也会带来更大的计算负荷。此外，由于显著性阈值设置带来的精度损失几乎被正、负样本比例优化带来的精度提高所抵消，故SAS对检测精度影响不大。

图4 Faster R-CNN在优化前后的损失图
Fig.4 Loss chart of Faster R-CNN before and after optimization

同时，以挂载了SAS方法的检测框架[13]为例，在显著性阈值σ取不同值的情况下，船舶检测的平均精度和检测效率的变化情况如图5所示。为了令检测器性能和速率都能达到比较满意的状态，以上所有实验的σ值均取在检测器的AP还没有明显下降的阶段(σ=0.5)。

表1 特征映射尺度不同的几种双阶段目标检测方法在经过SAS优化前后的表现
Tab.1 Performance of similar two-stage object detection methods with different feature map scales before and after SAS optimization

检测方法检测精度/%检测速率/(帧/秒)文献[4]74.566.77文献[4]+SAS73.1813.02文献[4]+RBD73.739.46文献[4]+HED-SC73.297.93文献[12]79.093.92文献[12]+SAS78.3411.58文献[12]+RBD77.964.75文献[12]+HED-SC76.713.98文献[13]82.511.13文献[13]+SAS〛82.078.67文献[13]+RBD81.141.15文献[13]+HED-SC80.360.97

图5 SAS方法在不同显著性阈值下检测精度和检测效率的变化示例
Fig.5 An example of changes in accuracy and efficiency of SAS method under different saliency thresholds

实验另外选取了一些有代表性的两阶段方法作为通用性测试的基线方法。通过SAS优化，将显著性评分维度加入到相应检测框架的特征映射中。表2展示了所列方法对离岸船舶检测的实验结果。通过优化前后检测精度和效率的对比，可以发现优化后目标检测框架的检测效率有不同程度的提高。实验证明了模块化的SAS对于两阶段的基于CNN的目标检测结构具有良好的通用性。

综合上述的实验结果可以发现，在同一硬件环境下，影响目标检测效率的因素主要包括检测算法的复杂度以及参与训练和检测的像素规模。SAS方法的构建实际上是在特定的检测需求中，通过较少地增加检测模型复杂度使效率得到了较好地提升。

3 结论

目前，在目标检测网络结构加深、复杂程度加大的主流趋势下，目标检测框架的实时性问题正在受到越来越多的重视，尤其是针对小型目标设计的检测框架。本文提出了一种新颖的面向两级检测框架的包围窗生成优化方法，该方法旨在削减船舶检测过程中网络需要处理的总像素数量，从而加快检测的速率。从实验结果数据上来看，该方法在保持了检测精度的同时，大幅优化了检测器的检测效率。然而，这种方法仅以海面舰船目标的检测为例，为目标检测效率的优化提供了一种思路，而对背景复杂度较高目标的检测的优化则需要更复杂的场景识别过程以及背景筛选过程。

表2 不同的两级目标检测方法使用SAS优化后的实验结果
Tab.2 The experimental results of different two-stage object detection methods with/without SAS optimization

方法特征映射尺度/图像尺度检测精度/%检测速率/(帧/秒)FPN 1/4, 1/16, 1/64, 1/25680.100.92FPN+SAS1/4, 1/16, 1/64, 1/25678.712.38IoN1/6478.352.37IoN+SAS1/6477.434.44HyperNet1/1682.056.19HyperNet+SAS1/1681.9910.83SAPNet1/16, 1/6481.333.29SAPNet+SAS1/16, 1/6481.289.10SNIP1, 1/4, 1/1687.260.21SNIP1, 1/4, 1/1685.911.24TridentNet [28]1/1684.125.96TridentNet [28]+SAS1/1682.8611.97