宽幅SAR海上大型运动舰船目标数据集构建及识别性能分析

2022-07-01冷祥光孙忠镇计科峰

雷达学报 2022年3期

雷禹冷祥光孙忠镇计科峰

(国防科技大学电子科学学院电子信息系统复杂电磁环境效应国家重点实验室长沙 410073)

1 引言

海上舰船目标识别是海洋监测的重要一环，对国防和经济安全具有重要意义，是世界各海岸地带国家的传统任务。合成孔径雷达(Synthetic Aperture Radar,SAR)因为其全天时、全天候的独特优势是实现海上舰船目标监视的一种重要手段[1]。SAR系统的聚束和条带模式虽然具有较高的分辨率但不具有较宽的测绘带，无法覆盖较大的海洋范围，而海上舰船目标监视期望SAR成像具有较大的观测范围。

以TopSAR和ScanSAR为代表的宽幅SAR成像模式具有较宽的测绘带，可以对感兴趣的目标区域进行重复观测和短时间内的全球监测，实现在一次观测过程中获得大范围的场景信息，提升雷达对广域场景的实时观测能力[2]。例如，加拿大的Radarsat卫星的窄幅ScanSAR成像模式下可以获得50 m分辨率300 km宽测绘带图像，在宽幅ScanSAR成像模式下可以获得100 m分辨率500 km宽测绘带图像[3,4]。中国的GF-3号卫星在窄幅ScanSAR成像模式下可以获得50 m分辨率300 km宽测绘带图像，在宽幅ScanSAR成像模式下可以获得100 m分辨率500 km宽测绘带图像，在全球观测成像模式下可以达到500 m分辨率650 km宽测绘带[5,6]。日本的ALOS-2卫星的观测幅度更是提高到了近千公里[7]。2014年10月3日开始运行的哨兵一号(Sentinel-1)卫星，具有20 m分辨率250 km宽测绘带的宽幅干涉模式(Interferometric Wide swath,IW)和50 m分辨率410 km宽测绘带的超宽幅模式(Extra Wide swath,EW)，其中IW模式下的分辨率相较于其他卫星更高，非常适用于海上监视[8–10]，并且通过哨兵科学数据中心(Sentinels scientific data hub)和NASA的ASF (Alaska Satellite Facility) DAAC数据网站上就可以获取到大量的Sentinel系列SAR卫星数据。

但是，实现宽测绘带的同时降低了成像分辨率，这一矛盾主要是因为宽测绘带需要维持较低的脉冲重复频率(Pulse Repetition Frequency,PRF)以避免SAR图像在距离向上产生模糊，而高分辨率则需要足够高的PRF来避免在方位向上发生模糊[11,12]。未来高分辨率宽幅成像技术发展需要解决的主要问题是高分辨率和宽测绘带宽之间的矛盾，获取高分辨率宽测绘带SAR图像[13]。

因为宽幅SAR卫星牺牲分辨率换得了宽测绘带，导致尺寸较小的舰船目标在图像上的像素数量比较少，细节很少，所以本文研究的舰船目标皆为大型舰船目标。本文所称“大型舰船目标”主要是指长度≥150 m的舰船目标，如大型货船、大型油船、航母和两栖舰等。这主要是因为目前全球主流航母和两栖舰的尺寸都在150 m以上，图1为全球主要航母和两栖舰的对比图。

图1 全球主要航母和两栖舰对比图Fig.1 Comparison of major aircraft carriers and amphibious ships in the world

目前公开发表的舰船数据集，例如SSDD (SAR Ship Detection Dataset)[14],SAR-Ship-Dataset[15],AIR-SARShip-1.0[16]和HR4S高分辨率SAR船只样本集[17]多用于高分辨率下舰船目标检测。FuSARship[18]是在126景高分三号图像上构建的高分辨率GF-3 SAR数据集，其分辨率为1.5 m，可用于舰船和海洋目标检测和识别。上海交通大学发布的OpenSARship数据集[19,20]采自41张Sentinel-1图像，结合舰船自动识别系统(Automatic Identification System,AIS)数据对目标类别进行了标注，共包含10种类别民用舰船目标可用于舰船目标分类识别研究。然而，当前结合AIS信息构建数据集的方法存在无法确定海上大型军事舰船目标的弊端。因为大型军事舰船目标数量少并且也很少发送AIS信息，难以获得准确的目标位置进行标注。综上，当前缺少可用的宽幅SAR海上大型运动军事舰船目标数据集。

总体而言，目前宽幅SAR图像海上大型舰船目标识别所面临的问题可以总结为：

(1) 海上的军事舰船目标数量少且难以准确捕捉，缺少可用的宽幅SAR海上大型运动舰船目标图像数据。

(2) 港口中停泊有大型军事舰船目标，但海上舰船处于运动状态下会使得SAR成像结果产生散焦，故港口停泊的舰船目标数据并不适用于海上舰船目标识别。

(3) 在宽幅SAR图像成像分辨率较低的情况下，海上大型舰船目标细节较小并不具有高分辨率下丰富的细节信息，只使用幅度图像所含信息量少。

对此，本文构建了宽幅SAR海上大型运动舰船目标图像数据集，并详细阐述了构建方法。主要的创新点和工作总结为：

(1) 依据先验知识在Sentinel-1 IW模式港口图像上获取停泊的大型关键舰船目标样本(航母，两栖舰)。利用属性文件信息对OpenSARShip数据集进行长度筛选，获得长度≥150 m的民用舰船目标样本；

(2) 采用在距离-多普勒域添加二次相位误差的方法，对停泊的大型舰船目标样本进行运动仿真来模拟海上运动下的成像结果。

(3) 使用经典识别算法和深度学习方法对构建的宽幅SAR海上大型运动舰船目标图像数据集进行了实验，并分析了运动目标成像时散焦现象以及复数信息对模型识别性能的影响。

本文内容将按照3个小节进行展开：第2节为宽幅SAR海上大型运动舰船目标图像数据集构建，详细介绍停泊大型军事舰船目标复数图像样本获取、大型民用舰船目标复数图像样本筛选、运动目标成像基础及运动仿真方法和数据集特性。第3节为数据集的识别性能分析，详细介绍实验细节、实验配置以及实验结果与分析。第4节对本文内容进行总结。

2 宽幅SAR海上大型运动舰船目标图像数据集构建

目前宽幅SAR海上大型运动舰船目标的数据非常少，尤其是缺少大型军事舰船目标。对此本文基于Sentinel-1图像和OpenSARShip数据集构建了一个宽幅SAR海上大型运动舰船目标图像数据集。首先，通过先验知识在Sentinel-1 IW模式的港口区域获得停泊的大型军事舰船目标(航空母舰、两栖舰)样本；其次，利用属性文件信息对OpenSARShip数据集进行长度筛选，获得长度≥150 m的民用舰船目标样本；最后，在距离-多普勒域添加二次相位误差进行运动仿真来模拟海上运动舰船目标的成像结果。图2为数据集构建流程。

图2 数据集构建流程Fig.2 Dataset construction process

2.1 停泊大型军事舰船目标样本获取

美国作为世界上最大的航母国，共拥有7个航空母舰母港基地。本文通过NASA的ASF (Alaska Satellite Facility) DAAC网站下载美国加利福尼亚州的圣迭戈港口图像110景、美国弗吉尼亚州的诺福克港口图像29景、美国华盛顿州的布雷默顿港口图像30景和日本横须贺港口图像148景，共2 TB多数据。所有数据均为Sentinel-1图像的单视复数(Single Look Complex,SLC)产品，具体参数如表1所示。

表1 Sentinel-1图像参数Tab.1 Sentinel-1 image parameters

航母和两栖舰对停泊港口的大小规模和水文地理自然条件等都具有较高的要求，因此停泊的位置也是相对固定的。图3为4个港口的光学图像，图中标注了航母和两栖舰经常停靠的区域。

图3 4个港口光学图像Fig.3 Optical image of four ports

因此根据光学图像和先验知识可以确定航母和两栖舰船可能停靠的区域，在SAR图像上找到对应区域就可以获取到对应的大型军事舰船的目标切片。停泊的大型军事舰船目标数据获取以美国圣迭戈港口为例，其制作的整体流程如图4所示。数据预处理和停泊军事舰船目标的SAR图像切片获取主要采用欧洲航天局提供的Sentinel应用程序平台(Sentinel Application Platform,SNAP)，它是一款适用于所有Sentinel工具箱的通过架构[21]。因为IW模式下Sentinel-1的SLC数据包含3个子带(IW1,IW2,IW3)，预处理中需要将包含港口区域的子带或Burst带分离出来。通过光学图像和先验知识辅助确定SAR图像中航母与两栖舰的位置，如图5为美国圣迭戈港口的SAR图像和光学图像的对比图，可以看出根据光学图像在SAR图像找到对应区域就可以确定航母和两栖舰停泊的区域进而获取舰船目标切片。最后通过在SAR图像上随机截取海洋背景图像与舰船目标切片进行融合来获取海上大型军事舰船目标数。该过程首先在海洋背景上确定中心位置，然后将舰船目标切片的实部与虚部通道的像素值替换海洋背景实部与虚部的像素值，实现舰船目标与海洋背景的融合，该过程如图6所示。

图4 停泊关键大型舰船目标数据获取流程Fig.4 Target data acquisition process for key large ships at anchor

图5 美国圣迭戈港口的SAR图像和光学图像的对比图Fig.5 Comparison of SAR image and optical image of the port of San Diego,USA

图6 舰船目标与海洋背景融合过程Fig.6 Fusion process of ship target and ocean background

2.2 大型民用舰船目标样本筛选

对OpenSARShip数据集进行长度筛选时，主要利用到属性文件。属性文件是SAR数据与船舶自动识别系统匹配后记录原始数据信息和舰船目标信息的文件。本文根据课题组开发的OpenSARShip-Filter工具[22]对OpenSARShip数据集的舰船目标进行筛选，其中长度筛选通过设定长度区间，与属性文件里的“AISshipInformation”中的长度信息进行比较，保留符合条件的舰船目标样本。舰船目标筛选程序的界面及其长度筛选流程如图7所示。本文主要对OpenSARShip中SLC数据进行筛选，长度区间设置为150～250 m和≥250 m。

图7 舰船目标筛选程序的界面及其长度筛选流程Fig.7 The interface of the ship target screening program and its length screening process

2.3 海上运动舰船目标仿真

海上舰船目标一般为动目标，和港口停泊的静止舰船目标存在一定区别，所以需要对获取到的大型舰船目标进行运动仿真来模拟海上运动舰船目标成像。对此本文通过对运动目标成像基础进行分析，采用添加二次相位误差的运动仿真方法。

2.3.1 运动目标成像基础

以地面坐标系(x-y)为参考对SAR与运动目标成像基础进行分析[23,24]。

图8为SAR与目标的成像几何，其中卫星以vat的速度进行飞行，θ为俯视角。t0时运动目标Q所在位置为为其到SAR运动航迹的距离为其到SAR卫星的距离。运动目标运动时速度为vt，φ为与方位向的夹角，在方位向地面速度和加速度为vx和ax，在距离向地面速度和加速度为vy和ay，在斜距平面内距离向速度和加速度分别为vr和ar。

图8 SAR与运动目标的成像几何Fig.8 SAR geometry of moving targets

经过t时刻，目标Q运动到(xt,yt)处，此时回波信号经过频率变化和距离向脉冲压缩后可以表示为

其中，t为方位向慢时间变量，t′为回波信号延迟时间，G(t)为雷达增益，σ0(x0,R)为信号后向散射强度，T0为脉冲宽度，fc为载波频率。

此时运动目标Q距离SAR卫星的距离R(t)为

其中，λ为载波频率。通过式(3)可以得到回波的多普勒为

fd1是雷达运动时产生的多普勒频率，fd2是由于运动目标产生的多普勒频率。

由式(5)和式(6)可以得到雷达运动产生的调频率fr和目标运动产生的调频率ft为

假设运动目标的多普勒中心频率已知的情况下，结合式(7)和式(8)可得静止与运动目标的调频率之差 Δf为

多普勒调频率决定图像质量，SAR卫星在对运动目标进行聚焦成像时，会引起图像分辨率的损失，导致目标方位向散焦的问题，其散焦程度随着Δf的增大而增大。

从相位误差角度来说，在方位压缩时使用静止目标对应的参考函数会带来二次相位误差(Quadratic Phase Error,QPE)，相当于改变了回波多普勒调频斜率，使匹配滤波器失配因而导致目标压缩波形主瓣宽度展宽，主瓣峰值下降，旁瓣电平增高，引起图像分辨率的损失[25]。在信号通带边缘时，最大二次相位误差可以表示为

其中，Ts为合成孔径时间。

2.3.2 运动仿真方法

由目标成像基础可知，对停泊舰船目标进行运动仿真时，可以通过在图像的距离-多普勒域添加二次相位误差使图像出现散焦现象来模拟海上运动目标的成像结果[25–27]。

运动仿真的过程如图9所示，首先将复数图像通过方位向的快速傅里叶变换至多普勒域，然后在距离向上添加二次相位误差，最后通过快速傅里叶逆变换恢复到图像域获得运动仿真图像。

图9 运动仿真流程Fig.9 Motion simulation flow chart

二次相位误差可以表示为

其中，z为方位时间，k为二次相位的参数，d为可调参数。k的取值会影响目标发生散焦的程度，当k的取值范围在0＞k ＞-0.003时目标会发生程度较轻的散焦，与现实中的动目标成像结果最相近。图10展示了4种不同程度的运动仿真图像及其方位误差曲线。

图10 运动仿真及其方位误差曲线Fig.10 Motion simulation images and their azimuth error curves

2.4 数据集分析

2.4.1 基本信息

本文首先在317景Sentinel-1港口数据上获得491个停泊的大型军事舰船目标样本，包含381个航母目标切片，110个两栖舰目标切片。再对OpenSARShip数据进行筛选获得长度为150～250 m和≥250 m的两个大型民用舰船目标样本，其中大型民船(150～250 m)目标样本数为1233个，包含1044个货船目标切片、142个油船目标切片、7个挖泥船目标切片、12个客船目标切片以及28个其他类型舰船目标切片；大型民船(≥ 250 m)目标样本数为567个，包含507个货船目标切片、40个油船目标切片、4个客船目标切片以及16个其他类型舰船目标切片。其舰船类别和目标数量统计如图11所示。图12随机展示了停泊和运动仿真两种情况下的部分大型舰船目标样本切片。

图11 舰船目标数量统计Fig.11 Statistics of the number of ship targets

图12 大型舰船目标样本切片Fig.12 Large-scale ship sample slices

2.4.2 聚类分析

为更好地分析所构建数据集的相关性，通过使用K均值聚类算法(K-means clustering algorithm)[28]进行聚类分析。K-means算法根据图像之间的相似性进行簇的划分，但是需要给定聚类数并且其值与聚类效果相关。因此通过使用手肘法[29]来获取最佳聚类数。

首先对原始的大型舰船目标样本数据和二次相位参数设置为k=-0.002的运动仿真数据使用手肘法进行聚类数估计。然后根据所得的聚类数开展K-means聚类，并利用主成分分析方法(Principal Component Analysis,PCA)将图像数据进行降维。为便于分析，在聚类可视化结果图中使用不同的颜色表示聚类所得到的不同簇，数字表示数据真实的类别标签。图13为聚类数估计与聚类可视化结果。

由图13的手肘法聚类数估计结果曲线可得原始数据和运动仿真数据的聚类数为3，与数据的真实类别值相同。并且K-means算法聚类可视化结果图中数字“0”代表大型军事舰船目标，数字“1”和“2”分别代表两种长度的大型民用舰船目标，可以发现大型军事舰船目标皆为美国的航母和两栖舰所以类内差异要小于大型民船目标，在可视化结果上更加聚集。相对而言大型民船目标的类内差异大，因此聚类效果差一些。

图13 数据手肘法聚类数估计与聚类可视化结果Fig.13 Data elbow method cluster number estimation and cluster visualization results

3 识别性能分析

本节对构建的宽幅SAR海上大型运动舰船目标图像数据集进行识别性能分析，通过使用传统识别算法支持向量机(Support Vector Machine,SVM)[30,31]和基于深度学习的方法在VGG16Net网络[32],GoogLeNet网络[33],ResNet18网络[34]和改进的ResNet18网络[35]上进行相关实验。

3.1 实验细节及配置

考虑到样本不均衡问题，实验中将宽幅SAR海上大型运动舰船目标图像数据集分为3个类别，分别为大型军事舰船目标，长度为≥ 250 m的大型民用舰船目标和长度为150～250 m的大型民用舰船目标，并对3类目标进行了筛选和数量上均衡。其次通过在实际数据中融入了二次相位参数设置为k=-0.002的运动仿真数据以扩大数据集的数量进行扩展实验，并在实验中利用OpenSARship数据中的两类民船目标即货船(Cargo)和油船(Tanker)数据进行运动仿真来增加不同目标不同散焦程度下分类识别的结果。所有舰船数据样本大小设置为128×128，并随机划分为训练集和测试集，划分比例为8:2。

因为宽幅SAR图像下分辨率较低所以幅度图像所含信息比较少，根据文献[35]提出的利用复数信息进行SAR数据通道重组作为数据输入。将SAR图像的实部、虚部和幅度3通道信息进行组合，在幅度图像的基础上增加了SAR图像的实部和虚部通道信息，在复数层面更加完整地描述舰船目标。主要步骤是将复数SAR图像中的实部i、虚部q进行绝对值处理后与幅度A进行组合，可以表示为F=[|i|;|q|;A]。

在实验配置上本实验所采用的编程语言为Python，深度学习框架为Pytorch。硬件采用AMD Ryzen 7 4800HS with Radeon Graphics @ 2.90 GHz，内存为8 GB，显卡为GeForce GTX 1660Ti，Windows64位环境，采用CUDA10.0和CUDNN7.5.1加速计算。实验中初始学习率设置为0.0001，迭代次数设置为30，改进ResNet网络中的降维率r设置为16，改进ResNet网络中的修正参数ε设置为0.01。

3.2 实验结果与分析

3.2.1 评价指标

本文实验采用准确率(Accuracy)和精确率(Precision)进行评估。准确率是指分类模型判断正确的数据占测试数据的百分比，它可以反映分类器对整个样本的判定能力，如式(12)所示。精确率用来计算每一类舰船的分类精度，如式(13)所示。

其中，TP,FP,FN,TN分别表示为真正例、假正例、假负例和真负例。

3.2.2 实验结果

实验中将大型军事舰船目标的标签设置为jun0，长度为≥250 m的大型民用舰船目标的标签设置为min1和长度为150～250 m的大型民用舰船目标的标签设置为min2。且由2.3.2节的分析，将运动仿真的二次相位的参数k的取值范围设置在0＞k ＞-0.003。

3.2.2.1 复数信息对识别性能影响分析

在探究复数信息对识别性能影响的实验中设置了两组实验数据，如表2所示，A组为停泊的大型舰船目标样本数据，B组为二次相位参数设置为k=-0.002的运动仿真数据，分别进行只保留幅度信息和3通道重组处理。

表2 复数信息对识别性能影响实验设置Tab.2 Experimental setup for the influence of complex information on recognition performance

将实验数据分别在VGG16Net网络、GoogLeNet网络、ResNet18网络进行实验，识别结果如表3所示。

通过表3的对比实验结果可以看出，利用复数信息进行SAR数据通道重组作为数据输入在识别准确率上有提升。表明在低分辨率情况下采用SAR图像复数信息添加了细节表示，可以有助于更加完整地描述舰船目标，在一定程度上提高了算法的识别率。

表3 复数信息对识别性能影响实验结果Tab.3 Experimental results of the effect of complex information on recognition performance

3.2.2.2 数据集实测性能分析

在数据集实测分析中，首先在两类民船目标数据上进行实测，实验设置如下：C组为静止民船数据，D组为二次相位参数设置为k=-0.002的运动仿真数据，E组为二次相位参数设置为k=-0.003的运动仿真数据，且都经过3通道重组处理。将3组数据分别在SVM算法、VGG16Net网络、GoogLe-Net网络、ResNet18网络上进行实验，实验结果如表4所示。

表4 民船目标识别实验结果Tab.4 Experimental results of civilian ship recognition

其次实验中考虑到深度学习往往需要大量的样本进行训练，因此在宽幅SAR海上大型运动舰船目标图像数据集的实际数据中融入了二次相位参数设置为k=-0.002的运动仿真数据以扩大数据集的数量，设置为F组且经过3通道重组处理。并在SVM算法、VGG16Net网络、GoogLeNet网络、ResNet18网络和改进ResNet网络上中进行了对比实验，实验结果如表5所示。

表5 混合数据F组识别实验结果Tab.5 Mixed data F recognition experimental results

通过民用舰船目标的实验结果表明，经过运动仿真处理后民船目标的识别率有所下降，分析原因是二次相位参数的取值会影响目标发生散焦的程度，所以经过运动仿真处理后的数据类间差变小导致识别准确率有所下降，并且随着散焦程度增强导致目标的可识别性就越差。在混合数据的实验结果上可以得出，将实际数据与运动仿真数据进行融合后在5种方法上皆具有较好的可分性。通过两组的实验结果也表明了本文方法的有效性。

3.2.2.3 运动仿真对识别性能影响分析

在探究运动仿真对识别性能的影响中，在大型舰船目标样本数据上设置了3组实验，如表6所示，A2组为停泊的大型舰船目标样本数据，B2组为二次相位参数设置为k=-0.002的运动仿真数据，G2组为二次相位参数设置为k=-0.003的运动仿真数据，且都经过3通道重组处理。

表6 运动仿真对识别性能影响实验设置Tab.6 Experimental setup of the influence of motion simulation on recognition performance

将3组数据分别在SVM算法、VGG16Net网络、GoogLeNet网络、ResNet18网络和改进ResNet网络上进行实验，实验结果如表7所示。

通过表7中组1和组2实验对比分析，可以发现对数据进行运动仿真处理后识别准确率皆发生了不同幅度的下降，使用数据A2的识别准确率皆要好于使用数据B2的识别准确率，且深度学习方法要优于传统分类方法。在识别性能较好的ResNet18网络上识别准确率由88.35%下降为86.89%，下降1.5%。改进的ResNet网络上识别准确率由90.75%下降为87.02%，下降3.7%，实验结果表明在距离-多普勒域上添加二次相位误差进行运动仿真后的识别准确率有所下降，说明运动目标成像的散焦问题对识别效果具有一定影响。

本文在2.3.2节分析了二次相位参数的取值会影响目标发生散焦的程度，在组2和组3实验中分别将二次相位的参数设置为k=-0.002 和k=-0.003进行分析，散焦现象也逐渐加强，如图14所示。由表7的实验结果可知，组3的数据经过运动仿真后散焦程度强于组2的数据，识别准确率也发生了明显下降。再一次验证了散焦问题对识别准确率影响较大，也说明了散焦程度越严重目标的可识别性就越差。

图14 大型舰船目标运动仿真图像Fig.14 Large ship target motion simulation image

表7 运动仿真对识别性能影响实验结果Tab.7 Experimental results of the influence of motion simulation on recognition performance

通过3组实验的结果可以发现改进ResNet网络的识别性能皆要好于其他经典网络，整体准确率最高且下降幅度较小，可证明该方法对海上运动舰船目标识别上具有识别优势。在3组实验中可以发现大型军事舰船目标的识别精确率皆要高于大型民用舰船的识别精确率，分析认为本文主要是在4个港口中获取大型军事舰船目标样本，且以航母为主。又因为航母和两栖舰在港口的停泊位置相对固定，因此获取的航母和两栖舰船多为同一目标。当数据类间差异大且类内差异小时往往会获得较好的识别结果，所以大型军事舰船目标皆为美国的航母和两栖舰，类内差异要小于大型民船目标，对此在识别精确率上要更高。同时本文在构建数据集时在停泊港口中获取到大型关键舰船目标切片，在背景融合中大型舰船目标的背景会对识别结果产生一定影响，也会导致大型军事舰船目标的识别精确率高于大型民用舰船的识别精确率。

同时本文利用t-随机邻近嵌入(t-distributed Stochastic Neighbor Embedding,t-SNE)[36]算法对数据A2，数据B2以及在组1、组2中使用改进Res-Net方法的识别结果进行特征可视化，该算法可以将输出特征映射到二维平面上，如图15所示。图中蓝色点代表大型军事舰船目标，灰色点代表长度≥ 250 m的大型民用舰船目标，红色点代表长度为150～250 m的大型民用舰船目标。通过结果可视化可以发现改进ResNet方法可以较好地将3类舰船目标识别出来，对比图15(a)和图15(b)的识别结果可以发现进行运动仿真后对大型舰船目标识别产生一定影响。