基于Faster-RCNN和多分辨率SAR的海上舰船目标检测

胡 炎，单子力，高 峰

(中国电子科技集团公司航天信息应用技术重点实验室，河北 石家庄 050081)

0 引言

合成孔径雷达(Synthetic Aperture Radar，SAR)是一种主动式微波成像传感器，由于微波信号能够穿透云层且不受天气和太阳光照影响，因此具有全天时、全天候工作的能力[1-2]。星载SAR系统还具有工作时间长、成像模式丰富、覆盖范围广等特点，被广泛的应用于测图、海洋、农业、林业、地质和水文等领域[3]。

利用SAR图像进行舰船检测日益受到军事和民用领域的高度重视，从20世纪90年代开始加拿大、美国、欧盟等国家和地区相继开发了基于星载SAR的舰船检测系统[4]。与此同时我国相关科研单位也开始了SAR舰船目标检测和监视的研究，并相继开发了“Ship Surveillance”舰船检测系统[5]和“SARWAMS” 舰船监视系统[6-9]。早期的舰船检测算法主要是基于舰船与海洋后散射特性不同的散射机理，常用的方法包括恒虚警率(Constant False Alarm Rate，CFAR)、极化分解、小波分解以及模板法等[10]。虽然SAR舰船检测算法和系统纷繁多样，但到目前为止仍没有哪一种算法或系统可以对所有的SAR图像有效。Wahl等[11]认为导致SAR舰船检测算法适应能力受限的根本原因不在于算法本身，而在于强海洋杂波的后向散射高于舰船。

深度学习[12]通过非线性模型对原始数据进行更高层次、更抽象的表达，已经在语音识别、目标检测和文本翻译等领域取得了巨大的成功。深度学习网络模型种类很多，包括卷积神经网络(Convolutional Neural Network，CNN)、递归神经网络(Recurrent Neural Network，RNN)和深度信念网络(Deep Belief Network，DBN)等。CNN主要用来处理二维输入，主要应用于图像识别领域。得益于大样本集和自身特征自主分层的学习能力，CNN方法比传统算法具有更强的鲁棒性和泛化能力。

由于CNN仅适用于特征学习，需要解决检测框的回归问题才能用于目标检测。Szegedy[13]等首先尝试将目标检测作为回归问题，然而在VOC2007数据集上的检测结果差强人意(mAP仅30.5%)；Koen[14]等建设性地使用候选区域(Region Proposal)的方法解决检测问题(该方法简称RCNN)，首先使用Selective Search算法获得数千个局部候选区域，然后把这些区域分别输入到CNN中提取区域特征，最后利用分类器判别不同的区域属于背景还是目标，RCNN在VOC2007数据集上取得了突破性成果(mAP 58%)；为了解决RCNN存在大量重复计算的问题，Girshick[15]于2015年提出了Fast-RCNN，将候选区域映射到CNN的最后一层的特征图上，这样一张图片只需要提取一次特征，大大提高了目标检测的速度，同时也进一步提高了在VOC2007上的mAP(68%)；同年，Girshick又与何恺明[16]等合作提出了Faster-RCNN，它由一个区域生成网络(Region Proposal Network，RPN)与Fast-RCNN共同构成。通过区域生成网络与Fast RCNN共享特征提取网络以及位置精修的策略，进一步提高了目标检测的速度以及在VOC2007上的mAP(73%)。

本文将深度卷积网络应用于SAR海上舰船目标检测，首先通过SAR图像仿真分析了不同分辨率下算法失效的原因，即分辨率越高、杂波的影响越大，需要更大的模板才能有效抑制杂波干扰；然后提出通过分辨率归一化的方法将不同分辨率的SAR图像归一化到统一尺度附近，以削弱不同分辨率下海杂波模型之间的差异；最后考虑到SAR图像的稀疏性以及SAR舰船特征较简单的问题，在Faster-RCNN框架下设计并构建一个仅3层卷积神经网络用于特征学习，以防止模型过拟合问题。实验选择了4种不同海洋杂波环境的宽幅SAR图像进行测试，均获得了较好的检测结果。

1 多分辨率SAR仿真分析

由于SAR相干斑噪声的影响，传统光学图像处理方法一般都难以在SAR图像上取得效果。图1(a)和图1(c)分别为光学图像和TerraSAR-X海上舰船图像。图1(b)和图1(d)分别为沿图中灰色虚线像素灰度值的变化仿真。对比光学图像和TerraSAR-X图像仿真图可以看出，光学图像灰度变化平滑，目标区域与背景区域梯度变化特征有较显著差异；而TerraSAR-X图像灰度变化剧烈，目标区域与背景区域梯度变化特征较难区分。反映在图像处理算法上，光学图像提取显著特征相对较容易，而SAR图像提取显著特征相对较困难。

构建基于卷积神经网络的SAR舰船检测模型时，需要充分考虑光学图像与SAR图像的差异，有针对性的设计卷积神经网络模型。根据图1(b)和图1(d)的对比分析可知，针对SAR图像的神经网络的卷积核需要大于光学图像，才能够有效地抑制SAR噪声，提高网络的鲁棒性。

图1 光学图像与TerraSAR-X图像仿真对比

然而随着卷积核的增大，网络模型训练和检测所需要的时间代价也随之大幅增加。如何在提高网络训练和检测效率的同时提高网络的鲁棒性和泛化能力是网络设计的基本需求。3 m分辨率的TerraSAR-X海上舰船图像与5 m*20 m分辨率的Sentinel-1A海上舰船图像仿真对比如图2所示。可以看出不同卫星、不同分辨率SAR图像的海面杂波模型差异较大。高分辨率下强海洋杂波的后向散射更显强烈，需要更大的模板才能有效抑制海洋杂波。而传统方法往往需要基于固定的模板来设计算法，深度学习模型中卷积核尺度、卷积核数量和卷积层数等也需要预先设定。因而同样的算法往往难以适应不同分辨率、不同成像质量的SAR图像。

图2 3 m分辨率TerraSAR-X图像与10 m分辨率Sentinel-1A图像仿真对比

为了使神经网络模型可以同时处理不同卫星、不同分辨率的SAR图像，需要对不同分辨率的卫星数据做分辨率归一化。其目的是为了削弱不同分辨率SAR系统海杂波模型的差异。3 m分辨率TerraSAR-X图像缩放5倍后与5 m*20 m分辨率Sentinel-1A图像仿真对比如图3所示。可以看出，缩放后的TerraSAR-X图像与Sentinel-1A图像具有近似的梯度变化特征。对比图3(b)与图2(b)可以看出，图像缩放后，海杂波的剧烈变化受到了较显著的抑制。缩放高分辨率SAR图像相当于降低SAR图像分辨率，在较低分辨率下海杂波的散射截面相对值较小。而低分辨率SAR系统类似于低通滤波器，会过滤掉较多的海杂波。然而值得注意的是，这种类似低通滤波的效果会同样滤掉较多的目标细节。对于高分辨率SAR图像，在低分辨率下实施检测后，可以将检测框回归到原分辨率，然后做进一步精细化建模分析。

图3 3 m分辨率TerraSAR-X图像缩放5倍后与10 m分辨率Sentinel-1A图像仿真对比

综上所述，在设计针对SAR舰船检测的CNN网络模型结构时，需要充分考虑SAR纹理变化特征与光学图像的差异，选择大尺度卷积核。本文设计的CNN网络模型时，首先考虑将高分辨率SAR图像缩放至低分辨率SAR尺度附近，然后选择5*5和6*6的卷积核尺度，可以较好地适应低分辨率SAR海杂波模型。

2 提出的卷积神经网络模型

2.1 样本集制作

在实施分辨率归一化之后，需要制作标准训练样本集才能训练我们的舰船检测模型。需要注意的是，由于使用了不同卫星的SAR图像进行混合训练，需要保证不同卫星样本量的均衡。本文共计采集了164个TerraSAR-X舰船样本以及640个Sentinel-1A舰船样本，所有原始样本的尺度均大于113像素，如图4所示。

为了保证样本均衡，采用了人工扩增样本的方法：

① 采用随机增减背景像素策略，处理每一个TerraSAR-X舰船样本，将尺度归一化到113*113；重复处理每个样本20次，获得20个背静略有差异的标准样本切片。164个TerraSAR-X舰船样本共计获得3 280个标准TerraSAR-X舰船切片；

② 同样采用随机增减背景像素策略，重复处理每个Sentinel-1A舰船样本5次，共计获得3 200个标准Sentinel-1A舰船切片。

图4 训练样本及标注

2.2 卷积神经网络

由于SAR图像的稀疏性，SAR舰船纹理特征非常简单。同时考虑到本文采集到的样本量有限，设计了一个3层的特征学习卷积神经网络，如图5所示。Faster-RCNN的基本结构是由RPN与Fast-RCNN共享CNN特征提取网络构成。本文在不改变Faster-RCNN的基本结构的前提下，修改了CNN特征提取网络以适应SAR海上舰船目标检测的需求。

图5 Faster-RCNN基本结构及本文设计的CNN网络流程

设计的CNN网络模型结构如图5所示，总共包含3个卷积层和2个池化层，其中池化层仅作用于前2层，采用max pooling形式，下采样窗口尺度为2*2。每个卷积层均采用ReLU非线性激活函数。输入图像尺寸为113*113，第1层卷积包含32个5*5的卷积核，输出为32个109*109的特征图。经过池化层后，特征图尺寸变为54*54，然后进入第2层卷积。第2层卷积包含64个6*6的卷积核，输出为64个49*49的特征图。经过第2次池化层后，输出为64个24*24的特征图，接着进入第3个卷积层。第3个卷积层包含128个5*5的卷积核，输出为128个20*20的特征图。经过第3个卷积层后，特征图被RPN和Fast-RCNN共享。

3 实验结果分析

实验选取了2种卫星的4个不同的海上场景进行实验，结果如图6所示。

图6 在4幅大场景下的目标检测实验结果

从图6(a)可以看出，模型对于Sentinel-1A图像中大型舰船目标的识别率接近100%，仅有一个受十字旁瓣噪声干扰的舰船未检测出来。模型无法检测小型舰船的原因是：没有针对小型舰船进行训练样本采集。而模型仍检测出了较多的小型舰船目标，可以看出，模型具有一定的泛化能力。从图6(b)、图6(c)和图6(d)可以看出，模型对于TerraSAR-X图像也具有较好的检测效果。然而，从图6(b)可以看出，经过粗略统计该场景下，漏检率超过了30%。从图6(c)和图6(d)可以看出，模型在该场景下存在一定的误检。可以看出，模型在Sentinel-1A图像下的检测效果明显优于TerraSAR-X图像。

分析可知，在样本搜集过程中Sentinel-1A的原始样本量(640)大于TerraSAR-X图像的原始样本量(164)，本文舰船检测模型的检测能力受限于数据源的不足，因而导致了模型对TerraSAR-X图像的检测效果不佳。但仍然可以看出，本文提出的多分辨率归一化方法结合深度卷积神经网络的舰船检测模型具有一定的应用潜力。

4 结束语

通过SAR仿真分析了不同分辨率下海杂波的特点，据此分析了针对SAR图像的CNN网络结构的基本需求。通过分辨率归一化制作混合数据的训练样本集，然后在Faster-RCNN框架下设计并构建一个仅3层卷积神经网络用于特征学习，以防止模型过拟合。在制作样本集过程中使用了人工扩增样本的方式均衡不同卫星的样本量。通过在4幅不同卫星、不同场景的宽幅SAR图像上进行的舰船检测实验，表明本文提出的多分辨率归一化方法结合深度卷积神经网络的舰船检测模型具有一定的应用潜力。

[1] CURLANDER J C，MCDONOUG R N.SyntheticAperture Radar Systems and Signal Processing[M].John Wiley&Sons，1991.

[2] 杨国铮，禹晶，肖创柏,等.基于形态成分分析的复杂背景SAR 图像舰船尾迹检测[J].计算机辅助设计与图形学学报，2016，28(10):1662-1670.

[3] 龚小冬，李飞，张志敏,等.一种新颖的高分辨率SAR舰船检测方法[J].雷达科学与技术，2015，13(1)：70-75.

[4] 邢相薇，计科峰，康利鸿,等.HRWS SAR 图像舰船目标监视技术研究综述[J].雷达学报，2015，4(1):107-121.

[5] 种劲松，欧阳越，朱敏慧.合成孔径雷达海洋目标检测[M].北京：海洋出版社，2006.

[6] 张亮.SAR图像舰船目标检测方法研究[D].长沙:国防科学技术大学，2007.

[7] 邢相薇.SAR 图像舰船目标检测研究[D].长沙:国防科学技术大学，2009.

[8] XING Xiangwei，Ji Kefeng，Zou Huanxin，et al.A Fast Ship Detection Algorithm in SAR Imagery for Wide Area Ocean Surveillance[C]∥IEEE Radar Conference，Atlanta，USA，2012:570-574.

[9] XING Xiangwei，Ji Kefeng，Zou Huanxin，et al.Ship Classification in TerraSAR-X Images with Feature Space Based Sparse Representation[J].IEEE Geoscience and Remote Sensing Letters，2013，10(6)：1562-1566.

[10] CRISP D J.The State-of-the-art in Ship Detection in Synthetic Aperture Radar Imagery[R].Edinburgh，South Australia：DSTO Information Sciences Laboratory，2004:13-53.

[11] ELDHUSET T W，SKOELV K.Practical Use of ERS-1 SAR Images in Pollution Monitoring[J].International Geoscience & Remote Sensing Symposium，1994，4(4) :1954-1956.

[12] BENGIO Y，COURVILLE A，VINCENT P.Representation Learning：a Review and New Perspectives[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(8)：1798-1828.

[13] SZEGEDY C，TOSHEV A，ERHAN D.Deep Neural Networks for Object Detection[J].Advances in Neural Information Processing Systems，2013，26 :2553-2561.

[14] KEAVD S，JRR U，GEVERS T et al.Segmentation as Selective Search for Object Recognition[J].IEEE International Conference on Computer Vision，2012，104 (2):1879-1886.

[15] GIRSHICK R.Fast R-CNN[C]∥International Conference on Computer Vision，2015:176-183.

[16] REN Shaoqing，HE Kaiming，GIRSHICK R，et al.Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks[J].International Conference on Neural Information Processing Systems，2015，39(6):91-99.