复杂场景下深度表示的SAR船舶目标检测算法

袁国文，张彩霞，杨 阳，张文生，白江波

1.佛山科学技术学院 机电工程与自动化学院，广东 佛山 528000

2.中国科学院 自动化研究所，北京 100080

3.广东省智慧城市基础设施健康监测与评估工程技术研究中心，广东 佛山 528000

我国海域辽阔，海洋资源丰富。近代以来，海域更是外国军事侵入的重点区域，SAR图像的检测与解译是海域军事监视与民事援助的重要组成部分，由于其自身成像时的噪声干扰以及目标形状尺寸的多样性，增加了SAR目标的检测难度。SAR目标检测分为传统方法与深度学习方法，传统方法一般分为3部分，检测窗口设计、特征选择、分类器设计[1]，其中应用最普遍的是基于恒虚警率的CFAR（constant false-alarm rate）系列算法[2]，其利用舰船与海洋杂波统计特征的差异性，对舰船目标进行检测分析，在当代SAR图像获取技术日益成熟的情况下，计算复杂且人工参与度较高的传统目标检测方法已经无法满足人们对SAR图像处理的需求。

随着深度学习的再次兴起，专家学者们已经构建了一套较成熟的可见光目标检测框架，其中依托于卷积神经网络（convolutional neural network，CNN）的检测方法突出了其优势，根据是否单独生成特征候选区域，分为一阶段与二阶段检测器，一阶段检测器以SSD（single shot multibox detector）、RetinaNet、YOLO（you only look once）等网络为代表，二阶段检测器以R-CNN、Faster R-CNN等网络为代表[3]。与此同时，一部分专家学者将卷积神经网络应用到SAR图像目标检测的过程中，2015年，史丹荣[4]在硕士论文中利用深度学习的限制玻尔兹曼机（restricted Boltzmann machine，RBM）与CNN网络分别进行在SAR舰船图像上的目标检测实验，并分析了深度学习特别是CNN网络在SAR图像目标检测取得优势的原因。2016年，杜兰等人[5]在SAR图像训练样本不足情况下，在已有完备数据集中获取CNN分类模型的初始化参数，并对其训练数据进行补充，借助“四步训练法”获得SAR目标检测模型，实验证明了其优点。田壮壮等人[6]改进CNN网络，将类别可分性度量加入误差代价函数，对特征分类使用支持向量机（support vector machine，SVM），在著名的美国运动和静止目标获取与识别（moving and stationary target acquisition and recognition，MSTAR）SAR数据集中进行验证，在3类与10类目标数目情况下，平均识别率均达到91%以上。史鹤欢等人[7]利用PCA网络进行CNN网络预训练，利用概率最大化下采样增加鲁棒性，最后在CNN网络中对特征进行局部对比度标准化，改进算法在MSTAR数据集中取得96.97%的识别率，并实验验证了鲁棒性能的提升。2017年，徐丰等人[8]将改进的CNN应用MSTAR数据，对于10类模板取得了平均99%的识别准确率，并在全极化SAR图像地物分类中引入复数深度卷积网络（complex-valued-CNN，CV-CNN），在Flevoland地区全极化L波段的数据中，使15类地物平均分类精度达到了95.97%。Kang等人[9]将Faster R-CNN与CFAR算法相结合，多次评估检测网络中分类得分相对较低的边界框，通过提高小目标检测精度来提高整体的检测精度。李君宝等人[10]针对MSTAR数据集，使用流行的CNN、Fast RCNN以及Faster RCNN等模型进行实验，验证了CNN网络的优越性并为以后的研究提供基准。2018年，李健伟等人[11]提出基于PASCAL VOC的SSDD数据集，用于SAR舰船目标检测，并将迁移学习、损失函数设计，特征聚合等细节加入SAR目标检测的方法中，通过对比实验，验证其方法在精度与检测速度方面均有提升。Bentes等人[12]针对货物、油轮、风车、平台和港口5个类别的公共数据集提出多输入分辨率的CNN模型，验证了CNN网络的优越性。

根据上述文献的阅读分析发现，困难样本的特征有效提取问题，是提升样本的最终检测精度的重要方面，本文使用NAS-FPN[13]作为特征提取网络，通过解决FPN多尺度特征金字塔融合的问题来获取图像的有效特征，最终通过与一阶段检测器Libra R-CNN[14]网络相结合的实验结果证明了融合后网络的有效性。

1 Libra R-CNN网络模型

SAR在成像过程中由于自身的成像模式易产生斑点噪声影响，以及本身分辨率问题，均对目标检测模型的准确率带来危害[4]，因此应针对训练过程消弭或减弱此种问题。Libra R-CNN网络通过分析现有检测器模型，在采样、特征、目标水平，分别提出一种平衡方法，减轻对象检测训练过程中的失衡，实现最佳训练并充分利用模型体系结构的潜力。如图1所示[14]，Libra R-CNN网络同样利用CNN[15]网络从图像中提取特征，为了解决随机采样导致的困难样本提取问题，在（a）处提出IoU平衡采样（IoU-balanced sampling）方法；为了更优的同时使用特征网络中的高层与浅层信息，在（b）处使用平衡特征金字塔（balanced feature pyramid）方法；最后为了平衡分类与定位之间的相互影响，在（c）处提出平衡L1损失（balanced L1 loss）。

图1 Libra R-CNN网络结构Fig.1 Libra R-CNN network structure

（a）IoU平衡采样

在随机采样中，从M个对应的候选对象中抽取N个负样本的概率为：

目标检测时，每个样本所做的贡献度不同，为了更多地关注贡献度较大的样本——困难样本，提高困难样本被抽中的概率，根据IoU值将采样间隔平均分为K个区间，并将N个所需的负样本平均分配到每个区间，然后，从中统一选择样本。此时获得了IoU平衡采样下的选定概率：

（b）平衡特征金字塔

以FPN[16]网络为基础，使用相同的深度集成平衡语义特征来增强多级特征，对四个水平的特征进行缩放尺寸，整合，融合特征信息，最后再根据原特征图尺寸，增强原特征。过程如图2[14]所示。具体步骤如下：

图2 平衡特征金字塔Fig.2 Balanced feature pyramid

步骤1利用插值法和最大池化法，将各级特征图{C2，C3，C4，C5}变为与C4相同的尺寸。

步骤2将第一步特征整合为平衡的语义特征。

步骤3利用高斯非局部注意力机制，完善平衡的语义特征，增加特征差异度。

步骤4使用相同但相反的步骤重新缩放获得的特征，增强原始特征。

（c）平衡L1损失

从Fast R-CNN[17]开始，目标检测中的分类和回归都在多任务损失函数中处理，损失函数为：

其中，Lclc和Lloc分别代表分类和定位损失，p和u代表Lcls中的预测值与实际值，tu是分类u相应的回归结果，v是回归目标。Balanced L1 Loss是传统smoothL1loss[18]的改进，对损失中关键点的回归梯度进行操作，定义Lb(x)：

其中定义：

通过调节α、γ的值来实现分类与回归损失函数之间的平衡。

2 网络改进

通过阅读论文发现，针对噪声较多的SAR图像，较全面地兼顾图像语义与细节特征，找到具有代表性的有效特征对人为设置的网络来说是比较困难的，NAS-FPN网络是一种借助神经架构搜索（NAS）[19]的特征金字塔网络，与原先的FPN网络相比，NAS-FPN借鉴分类网络架构搜索方法NASNet，选择以RNN作为控制器的强化学习搜索方法来构建特征层集合，进行特征融合构造新特征层，搜索终止条件为填满输出金字塔的每一层。具体步骤如下：

（1）从特征层集合中选择一个特征层作为输入层。

（2）从特征层集合选择另一个特征层作为第二个输入层。

（3）确定输出层的分辨率。

（4）确定特征层融合操作。

（5）将融合后的输出层加入原有特征层集合中，扩大特征层集合。

（6）遍历（1）~（5），直至填满特征层网络。

本文选用在coco2017数据集训练成功的7层NASFPN网络，结果如图3[13]，其中GP为全局池化；R-C-B为ReLU-Conv-BatchNorm，输入层用P3~P7表示，输出层用P3~P7表示。

图3 NAS-FPN网络Fig.3 NAS-FPN network

3 实验结果

3.1 数据集

为了验证改进算法的有效性，本文选用中科院制作的SAR-Ship-Dataset[20]，由102张Gaofen-3和108张Sentinel-1图像切片而成，图片大小为256×256，总数目43 819，按VOC格式标注，按照7∶2∶1划分数据集，数据集样本如图4所示。

图4 数据集样本Fig.4 Sample data set

3.2 模型训练

本文算法基于mmdetection[21]框架改进而来，主要包括NAS-FPN与Libra R-CNN网络及其融合网络，实验在Ubuntu 16.04.6上运行，其中GPU选择为Nvidia1080Ti，CUDA设置为10.0。NAS-FPN与Libra R-CNN网络参数设置相同，以IOU大于0.5为阈值评估得分，训练周期为12，与mmdetection原有模型Libra R-CNN网络相比，本文网络主要改进有以下几点：

（1）图像尺寸均固定为640×640。

（2）优化器由SGD替换为Adam优化器，学习率为0.000 01。

（3）通过前期实验结果将批处理数设置为4。

（4）特征提取网络由FPN替换为NAS-FPN。

（5）根据前期实验结果不进行图片翻转。

最终模型架构如图5所示。

图5 libra_rcnn-nasfpn网络Fig.5 libra_rcnn-nasfpn network

3.3 实验结果分析

目标检测过程中，检测准确性的评估指标多数选择为平均准确率（map）。本文首先对NAS-FPN算法进行实验，然后将NAS-FPN网络与平衡金字塔网络结合进行实验，接着将NAS-FPN网络与平衡L1损失结合进行实验，实验结果如表1所示。

表1 子网络实验结果Table 1 Subnet experimental results

分析表1发现，通过添加Balanced Feature Pyramid操作，平衡各级原特征层，增强原有特征，使目标检测平均精度提升了0.5个百分点，而Balanced L1 Loss操作，通过平衡分类与回归损失，为目标检测平均精度提升奉献了1.4个百分点。最终不同模型下平均准确率如表2所示。

表2 不同模型的实验结果Table 2 Experimental results of different models

表2中SSD-300与SSD-512为SAR-Ship-Dataset数据集提出时的检测精度，通过比较发现，将Libra R-CNN网络与NAS-FPN结合后的网络平均准确率与NAS-FPN网络相比提高4.4个百分点，主要原因是因为添加的3种训练过程中的平衡操作，有效地提高了困难样本的检测精度，与SSD相比分别提高2.1个百分点和1.0个百分点，与Libra R-CNN网络相比提高0.7个百分点，综合来看，本文的方法有效地提升了SAR目标检测的精度。

部分实验结果如图6所示：其中上部分为NAS-FPN网络结果，下部分为本文网络融合后的实验结果，从相对应的图像中可以发现，第二行的得分明显高于第一行，佐证了融合后目标检测网络的有效性。

图6 实验结果对照图Fig.6 Comparison chart of experimental results

4 结语

本文通过研读SAR目标检测相关文献，针对SAR图像由于困难样本提取影响目标检测精度问题，提出一种将NAS-FPN网络与Libra R-CNN网络融合后的SAR目标检测算法，同时在SAR-Ship-Dataset数据集中进行了对比实验，实验结果表明，融合后的网络与单独的NAS-FPN网络或Libra R-CNN网络相比，均取得了检测精度的提升，证明了深度学习特别是卷积网络在SAR目标检测中的有效性，在下一步的研究工作中，NASFPN网络将会在更多的其他网络模型中使用，以便验证其通用性。