SAR图像舰船目标检测数据集构建研究综述
2021-11-30黄琼男朱卫纲李永刚
黄琼男，朱卫纲，李永刚
(航天工程大学 a.研究生院；b.电子与光学工程系，北京 101416)
0 引 言
合成孔径雷达(Synthetic Aperture Radar，SAR)作为一种主动式微波成像传感器，具有全天时工作、全天候成像、作用距离远等特点，且能穿云破雾，在可见度极低的气象条件下仍能获得高分辨率二维图像[1]。此外，SAR图像能够获取不同频段下目标的散射特性[2]，极大地提高了所获取信息的丰富度，在国防、军事、环境等方面具有重大的意义。目前，SAR图像已经成为针对海上目标进行检测的重要数据之一[3]。自深度学习问世以来，其在人脸识别、物体检测、智能监控等领域掀起一股研究热潮，同样也在SAR图像解译领域大放异彩，如R-CNN系列[4-6]、YOLO系列[7-8]、SSD[9]等目标检测算法的相继提出，极大地提高了SAR图像目标检测技术智能化。影响深度学习目标检测技术的因素主要包括算法和数据两大方面，大多数学者专注于目标检测算法的改进和开拓，仅有少部分学者致力于数据的研究。数据作为推动深度学习技术发展的“原油”，大多数深度学习模型的训练需要依靠大量的数据。本文主要对几种公开的SAR图像数据集进行梳理与分析，其中包括数据集的构建方法、存在的不足等，以期促使更多高质量SAR舰船数据集的出现，提高星载SAR图像实际工程应用能力。
1 SAR舰船数据集的构建方法
现阶段，世界已经步入大数据时代，发展如火如荼的深度学习更是离不开“大数据”，构建特定任务的数据集是人工智能项目的第一步。缺少数据集，很多深度学习框架只是一副躯壳；杂乱无章的数据集只会使得算法纸上谈兵、停滞不前，缺少有效的实验进行验证。数据集的构建[10]不是一堆数据的简单集合，而是根据所研究的内容，依据具体的算法模型，经过合理的样本构建策略，精准的样本标注策略，以及对特定样本的扩充等步骤，构建成一个具有规模性、多样性、高效性、易扩展性的集合。
SAR舰船图像数据集更不是各种SAR舰船数据的简单收集，而是针对具体的影响因素进行特定数据的收集。影响SAR舰船目标检测性能因素包括SAR系统平台、场景环境以及舰船目标自身等因素。例如：SAR-Ship-Dataset数据集[11]针对复杂场景下舰船目标检测率低的问题，构建了一个用于深度学习目标检测任务的复杂场景SAR舰船数据集；LS-SSDD数据集[12]针对大场景小舰船目标构建了一个适用于小舰船目标检测的SAR图像数据集；等。上述两种数据集分别从场景环境和目标属性两种角度对SAR舰船数据集进行构建。此外，不同的SAR系统平台，其成像参数(分辨率、成像角度、极化方式等)各不相同，同一SAR系统的参数设置也有较大差异，对应的目标观测能力也不尽相同。少数学者从SAR成像属性的角度对SAR目标检测技术进行研究，但相关公开数据集较少。AIR-SARShip数据集[13]构建了一个高分辨率SAR舰船数据集，但未对分辨率进一步细分类。
SAR舰船数据集的构建基本流程如图1所示。
图1 SAR舰船数据集构建基本流程图
数据采集通常选取繁忙的港口、海峡等地区，在采集之前需要选取所需的成像模式。由于合成孔径雷达斜视成像的特点，需要对其进行相应的预处理操作，例如，需要对Sentinel-1卫星单层单元(Single-level Cell,SLC)产品数据进行几何校正和辐射定标等处理。几何校正是为了消除原始SAR图像中的几何变形，实现对目标精确定位；辐射定标可以确定目标灰度值与后向散射系数之间的关系。此外，预处理阶段还应包括有船-海对比度提升、图像相干斑滤波等操作步骤。图像裁剪阶段，常见的有人工裁剪法、规则网格裁剪法和滑动窗口裁剪法。人工裁剪耗时耗力，规则网格裁剪易造成舰船目标被截断，滑动窗口裁剪需要设置合理的窗口尺寸和重叠率——重叠率较小，舰船目标仍存在被裁断的风险；重叠率过大，易造成大量的重复数据。HRSID数据集[14]构建过程中，采用带有线性变换的裁剪函数来实现，通过对图像设置不同的阈值，不仅实现了裁剪的功能，又提升了船-海对比度。LS-SSDD数据集保留了纯背景切片，并利用实验验证了训练网络中加入一定量的纯背景切片可以降低虚警率，提高检测性能。除了受舰船自身尺寸的影响，不同分辨率下的SAR图像所展示的舰船尺寸差异较大，高分辨率下的SAR图像可以刻画舰船的一些宏观结构，易于标注；弱小舰船目标和低分辨率SAR图像中舰船目标呈现出密集的强散射像素点，而在场景复杂的近岸地区，起重机、吊塔等人造设施同样在SAR图像中表现为高亮的点目标，增加了标注的难度。对于此类目标，一些数据集在标注时借助光学遥感图像以及AIS信息辅助标记。现有的SAR舰船数据集大多按照PASCAL VOC数据集[15]标注策略进行标注，即采用LabelImg或Colabeler等标注工具对舰船目标的最小包围框进行标记，每张图像对应一个可扩展标记语言(Extensible Markup Language,XML)文件，如图2所示，该文件包含有切片形状、包围框位置等信息。其中，标签
图2 SAR舰船目标标注示意图
2 公开的SAR舰船数据集
在光学图像领域，质量高且规模大的数据集相继被提出，大大促进了目标检测等相关技术的发展，然而就SAR数据而言，却面临着以下几个问题：
第一，相比于易于获取的光学数据，SAR图像数据难以获取，特别是对于非合作目标或特定样本的SAR图像数据，且人工标注成本高等原因，导致公开的SAR图像数据集有限；
第二，在数据的收集和整理中，需要耗费大量的时间和精力，例如PASCAL VOC数据集在收集和标记数据上花费了700多个小时，而SAR图像难以辨识，常需要其他辅助方法进行目标标注，大大增加了构建过程的复杂度。
以上问题表明相较于普通光学图像数据，SAR图像数据难以处理，公开的SAR图像数据集相对较少，而且大多未给出标记样本，图像中的目标数据需要进行人工标注，人工标注过程中会存在很多无法确定是否为舰船的目标，因此不可避免地会存在一些错误标注的情况，检测的不稳定性将会增加，给SAR图像解译技术带来了巨大的挑战。
2.1 SAR图像数据源
公开的SAR图像数据采集于卫星平台、机载平台和弹载平台等，常见的星载SAR图像数据源有TerraSAR-X卫星、Sentinel-1卫星和GF-3卫星等。传感器使用的是微波部分的电磁频谱，频率范围为0.3～300 GHz，波长范围0.1～100 cm。按波长可划分为L、S、C、X等频段[2]，波长依次由高到低。波长与雷达的穿透性能有关，波长越长穿透能力就越强，例如，波长大于2 cm的雷达系统不会受到云雾的干扰。TerraSAR-X卫星工作波长为1.2～3 cm，属于X频段；GF-3卫星和Sentinel-1卫星为3～5 cm，属于C频段，也是较为常用的频段。
TerraSAR-X卫星是德国宇航中心发射的首颗分辨率为1 m的商用卫星，携带高分辨率的X频段传感器，含有聚束式、条带式和推扫式三种成像模式，并拥有多种极化方式，具有较高的辐射精度，重访周期短，在三天内即可对全球任意地点重访拍摄。Sentinel-1卫星是欧洲航天局哥白尼计划(Global Monitoring for Environment and Security,GMES)中的地球观测卫星，由两颗卫星组成，载有C频段合成孔径雷达，具有条带模式等四种工作模式，可以实现中到高分辨率的成像能力和广泛的覆盖范围[16]。GF-3卫星是我国首颗分辨率达到1 m的C频段多极化SAR成像卫星，观测幅宽10～650 km，空间分辨率1～500 m，可为用户提供长时间稳定数据的支撑服务。
上述三种SAR数据源的部分信息统计如表1所示。
表1 SAR数据源信息统计表
由三种数据源采集而得的SAR舰船图片切片如图3所示。
图3 三种数据源样本示例
GF-3、Sentinel-1数据源采用C频段，穿透性能更强，对海洋探测效果较好，其中GF-3分辨率范围更为广泛，最高分辨率可以达到1 m，其采用12种成像模式，是世界上C频段成像模式最多的合成孔径雷达。观测幅宽和分辨率相互制约，由于海洋面积辽阔，通常用于海洋舰船目标检测的分辨率观测幅宽范围较广，此类卫星的典型代表是Sentinel-1，其分辨率可以达到中到高分辨率水平，在海洋监视任务中同样颇受青睐。此外，不同极化方式所获取的SAR数据信息丰富度不同，全极化SAR数据在目标检测等领域能够提供比单极化SAR数据更为丰富的信息[17]。李焘[18]对不同极化方式下的SAR图像进行分析，针对单极化和全极化两种方式提出了适用于SAR目标检测任务的改进方法。图像分辨率也是影响检测效果的因素之一，高分辨率SAR图像舰船目标能展现出更多的细节，而在低分辨率SAR图像中舰船目标往往只表现为一个白色高亮的点，网络所能学习到的特征也较为有限，使得检测精度较低。不同雷达由于其参数、分辨率、成像模式不同，所以由不同卫星获取的同一舰船目标也存在较大不同，如图4为不同卫星下同一舰船图像。
图4 同一艘船在GF-3和TerraSAR-X卫星下的图像[20]
由图4可知，同一艘船在GF-3卫星和TerraSAR-X卫星下所呈图像差异较大，相比于TerraSAR-X，GF-3卫星下舰船目标存在较多的尾迹像素点和散焦像素点。武思文[19]通过不同数据源在卷积神经网络模型上的分类表现，证实了不同雷达数据对SAR舰船分类性能影响不同，并从卷积特征的提取角度进行分析，如图5和图6所示。同一艘船在不同卫星下所呈图像不同，且经过卷积神经网络所提取的深度特征也存在差异。文献[19]中实验论证表明，由同一雷达数据组成的数据集训练所得模型，其分类准确率要高于不同雷达数据组成的数据集。
图5 GF-3舰船数据最后一层卷积特征可视化[20]
图6 TerraSAR-X舰船数据最后一层卷积特征可视化[20]
Ao等人[20]利用改进的生成对抗网络实现从Sentinel-1数据到TerraSAR-X数据的转变，并采用VGG网络对比Sentinel-1数据和TerraSAR-X数据经卷积提取后的特征，如图7所示。可以看出，由于分辨率较低，Sentinel-1数据清晰度较差，经5层卷积后，所提取的特征差异逐渐增大。
图7 Sentinel-1(上)和TerraSAR-X(下)数据卷积特征可视化[21]
受分辨率的限制，舰船目标在Sentinel-1卫星下清晰度较差，GF-3卫星下舰船目标的散焦像素和尾迹像素明显多于TerraSAR-X数据。同一SAR舰船数据在不同卫星下所呈现的图像不同，且经卷积操作提取的特征也存在差异，导致不同卫星数据所训练出的模型检测性能不同。Sentinel-1是获取大场景SAR图像的一个很好的选择，而TerraSAR-X和GF-3则是高分辨率的一个很好的解决方案。
2.2 SAR舰船数据集
伴随着SAR卫星的不断升空，SAR图像数据量不断增大，越来越多的SAR图像数据集相继被提出。针对海洋中的舰船目标有小样本型数据集SSDD、小尺寸型数据集SAR-Ship-Dataset、大场景型数据集AIR-SARShip，以及倾向于实例分割的HRSID数据集和大场景小目标型数据集LS-SSDD等。
SSDD数据集[21]是第一个专门用于SAR图像舰船目标检测的数据集，由于采用的是人工制作，舰船目标大都位于图像切片的中心位置，包含有四种极化方式，分辨率范围为1～15 m，舰船目标分布于远海和近岸不同场景中。数据集包含不同分辨率、尺寸、海况、传感器类型等条件下的舰船SAR图像，一共有1 160个图像和2 456个舰船，平均每个图像有2.12只船。
SAR-Ship-Dataset数据集[22]是一个面向复杂场景的规模较大的SAR图像数据集，数据集由102张GF-3图像和Sentinel-1图像中的43 819张舰船切片组成。针对小目标样本居多的特性，在构建时将滑动窗口设定为256 pixel×256 pixel，且为了丰富目标背景，在滑动窗口期间，在行和列上都移动128 pixel，保留相邻舰船切片50%的重叠率。最后将整个数据集按7∶2∶1的比例随机分割成训练集、验证集和测试集，大量的图像样本可以使模型学习到更加丰富的舰船特征，但丢弃了大量的纯背景切片，破坏了大场景星载SAR图像的属性。
AIR-SARShip-1.0数据集[13]以及在此基础上构建的AIR-SARShip-2.0数据集是一个面向高分辨率、大尺寸场景的SAR舰船检测数据集，这两个数据集共包含有331景GF-3 SAR图像，场景类型包含港口、岛礁、不同级别海况的海面等，标注信息主要为舰船目标的位置，背景涵盖近岸和远海等多种场景。图像分辨率包括1 m和3 m，成像模式包括聚束式和条带式，极化方式为单极化，图像尺寸大多为1 000 pixel×1 000 pixel、3 000 pixel×3 000 pixel，并按照PASCAL VOC数据集格式标注，结果保存文件为XML格式。相比于SSDD数据集，其场景更大，更适合目标检测技术在星载SAR实际工程中的应用。
HRSID数据集[14]在99张Sentinel-1B图像、36张TerraSAR-X和1张TanDEM-X图像的基础上进行一系列操作，构建成一个由5 604张图像、16 951个舰船切片组成的数据集，每张图像的尺寸为800 pixel×800 pixel，并且按照MS COCO数据集[22]的标注格式(JSON文件)来制作标签。在裁剪过程中，将舰船相对密集和近海区域单独分开，并对海上零星分布的舰船切片设置自定义阈值，滑动窗口采用800 pixel×800 pixel，且裁剪重复率设置为20%，最后，去掉没有目标的400张裁剪图像。在标注时，采用多边形进行标注，且在近海区域采用与SAR图像有相似成像日期的光学遥感图像来辅助标注，标注文件以JSON格式存储。
LS-SSDD数据集[12]包含有15景大场景Sentinel-1图像，其中10景用于训练集，5景用于测试集，数据集共含有9 000张子图像切片，其中保留了纯背景切片。构建过程分为原始数据采集、图像格式转换、调整大小等步骤。采用先将TIFF格式原始图像转换成JPG格式的方法，而非常见的先进行裁剪而后进行格式转换；裁剪阶段采用规则网格裁剪法，虽然检测完成后只需简单的拼接即可还原为原始大图，但舰船目标存在被裁断的风险；标注阶段得到了AIS信息和谷歌地球提供的光学图像的支持。值得一提的是，其规定小舰船尺寸衡量标准参照的是MS COCO数据集所划分的像素比例：最小包围框面积小于 322pixel占COCO数据集中图像平均大小(279 752 pixel)的0.37%。因此，将0.37%的像素比例用于确定小舰船目标尺寸，而非简单的目标像素数。LS-SSDD数据集是首个从工程应用的角度构建的针对大场景小舰船检测数据集，其提出的全自动检测流程和30个检测基准为工程应用提供了一定参考。
公开的数据集中存在有错标漏标的现象，且针对船舶尾迹像素和散焦像素是否应标注在真实包围框中的问题，不同的数据集做法不同。如图8(a)左图、右图分别为HRSID、LS-SSDD数据集中被裁断的目标样本；图8(b)为SAR-Ship-Dataset数据集中漏标和错标的数据样本；SSDD数据集不将船舶尾迹像素和散焦像素包括在真实目标包围框中，如图8(c)左图所示，而AIR-SARShip数据集做法与之相反，如图8(c)右图所示。此外，纯背景图像切片的取舍问题、图像预处理阶段亮度与对比度的设置等也有待研究。
除了公开的几种数据集外，还有一些未公开的数据集也提供了很好的构建方法。韩子硕[23]选取7景的Sentinel-1图像，其中5景作为训练数据，包含有1 936幅子图像，其余2景切割而成的3 536幅子图像作为测试集，其中只有591幅含有目标，保留的纯背景切片更好地满足了实际工程中的应用。子图像的构建是以10%的重叠率将大图剪切成500 pixel×500 pixel的子图像块，完成检测后，拼接子图像再次利用非极大值抑制(Non-Maximum Suppression，NMS)消除重复标记的目标，既避免了目标被遗漏的可能，又保证了图像的完整性。
此外，带有AIS信息适用于识别任务的SAR舰船数据集包括OpenSARShip数据集[24]、FUSAR-Ship数据集[25]等。OpenSARShip是针对Sentinel-1舰船数据解译的数据集，其由11景图像11 346个舰船切片组成。数据集的构建步骤为首先对原始图像进行预处理，在进行标注时利用一种在线协调标签工具(Online Coordinate Label Tool,OCLT)进行半自动标注，然后将SAR图像与AIS信息进行集成，最后对每个舰船切片进行后处理。FUSAR-Ship数据集是由126景GF-3数据组成，包括15种主要船舶类别，并对各类船舶和非船舶样本进行了简单的八分类。各类船舶目标和非船舶目标的光学图像切片和SAR图像切片对比如图9所示。然后，利用SAR数据与AIS信息集成的自动匹配方法进行注释，构建了一个含有5 000多个高分辨率船舶切片和数千个非船舶切片样本的大型数据集，促进了船舶识别技术的发展。
图9 各类样本的光学图像与SAR图像对比[25]
上述几种公开的SAR舰船图像数据集信息统计如表2所示。
表2 SAR舰船数据集信息统计表
其中SSDD原论文中公布的为2 456艘舰船，本文利用Python软件根据1 160个对应标签文件统计结果为2 540艘。
不同的数据集构建方法不尽相同，SSDD数据是由人工裁剪而来，舰船切片的长度和宽度包含有多种尺寸，舰船目标大都分布在舰船切片的中心位置，整体场景较为简单，是应用较为广泛的数据集；AIR-SARShip2.0数据集舰船目标的包围框平均面积约为12 477 pixel，相应地，舰船目标尺寸相对较大；SAR-Ship-Dataset包含有59 535个舰船目标，数据量巨大，不足之处是图像尺寸以及目标尺寸相对较小，无法满足实际应用需求。可以看出，不同的数据集具有不同的倾向性，SSDD倾向于小样本型，AIR-SARShip倾向于大场景型，SAR-Ship-Dataset倾向于小目标尺寸型，HRSID更倾向于实例分割，LS-SSDD保留了纯背景切片，其目标的像素尺寸更小，更适用于工程应用。现有的数据集大都为相关学者提供了不同数量的检测基准，其中LS-SSDD数据集提供了高达30个检测基准，可为后续的研究提供有益的参考。
图10为SAR舰船数据集构建发展历程。针对SAR舰船目标检测任务，首先是2018年提出的SSDD数据集，填补了SAR舰船图像目标检测领域的空白，为研究人员提供了统一衡量标准，但该数据集样本数量不足，制约了进一步的研究，于是便出现了SAR-Ship-Dataset数据集。此数据集含有大量的样本数据，但其图像尺寸太小，无法满足实际的应用需求。随后提出的AIR-SARShip-1.0虽然有着较大的场景，但目标数据较少，且图像质量不高。HRSID相比于SSDD等数据集在标注阶段有较大的进步，其借助谷歌地球对舰船目标进行了正确的标注。LS-SSDD在标注时更是获得了AIS信息的支持，并将纯背景切片加入到训练网络中，有利于模型学习到丰富的纯背景特征。这些数据集的提出极大地促进了SAR图像解译技术的进步，促使更多高质量SAR图像数据集的出现。
图10 SAR舰船数据集构建发展历程
3 讨论与展望
数据集是突破应用瓶颈的重要环节之一，好的数据集甚至比好的网络模型还要重要，特别是在数据紧缺的SAR图像解译领域，如何构建高质量的数据集是急需解决的难点问题之一。尽管近几年来，所提出的SAR图像舰船数据集越来越接近工程自动化应用水平，但所构建数据集若要满足实际工程需求，仍需考虑以下几个方面：
(1)影响因素。影响SAR舰船目标检测的因素有多种，由上文可知，同一艘船在不同的卫星平台下成像不同，且经卷积操作提取的特征也存在差异，因此，不同星载平台数据的检测性能也可能不同。此外，同一星载平台下不同分辨率和成像角度等成像属性参数也同样影响检测性能，在构建SAR图像舰船数据集时需考虑不同的影响因素分类别进行构建，并利用相对应类别的训练模型进行检测。
(2)应用场景。从像素比例的角度看，用于海洋监视的星载SAR数据场景较大，而在大场景SAR图像中舰船目标一般较小，因此，具有大场景、小目标特性的数据集更适合星载SAR数据的实际工程应用。针对小目标的尺寸标准，常见的小舰船目标尺寸的划分方法有两种，一种沿用MS COCO数据集的小目标像素尺寸，另一种依据MS COCO数据集的小目标像素占整张切片的像素比例，由于SAR舰船数据与普通光学数据之间差异较大，因此需要提出适合SAR舰船数据的尺寸划分标准。
(3)数据规模。深度学习是块“黑盒”，通常用于训练的样本数据越多越好，但倘若把所有的数据都用来训练模型，则又回到20世纪80年代——计算机的算力和内存能否支持模型的求解，且训练样本中往往包含有大量相似特征的数据，并不能使模型的检测性能有较大提升。由于现有的技术手段无法确定单个样本数据对检测结果的影响，需要探究训练样本量与检测结果之间的关系，从实际工程应用中成本效益的角度出发，确定所构建SAR舰船数据集的规模。
(4)图像裁剪。由于原始图像较大，在网络进行训练时，需要对图像进行格式转化并裁剪。图像裁剪对数据集的影响同样至关重要，大量被裁断的目标数据将严重降低模型检测的性能。不同的数据集所采用的裁剪方法不同，人工裁剪法效率低下；规则网格裁剪法导致目标易被截断；滑动窗口裁剪法在检测完成后需要经过复杂的变换才能转换为原图，且需要设置合理的重叠率。此外，裁剪的舰船切片尺寸以及裁剪后纯背景切片的留舍问题也有待研究。
(5)标注方法。对目标进行精准的标注是衡量数据集质量好坏的重要指标之一。SAR舰船图像相比于普通光学图像较难辨识，且一些舰船具有明显的尾迹和散点散焦的特性，大大增加了标注的难度，相对应的光学遥感图像和AIS信息提供了很好的辅助标记手段。主动学习和弱监督目标检测技术的发展，是对智能化标注方法的有益探索，但目前仍以人工标注为主，具有较大的不确定性。针对SAR图像，相比于水平框，旋转框更匹配舰船目标的形状，能够高效地利用SAR图像数据。
4 结 论
构建高质量的SAR图像舰船数据集能够提高星载SAR数据利用率，促进基于深度学习的SAR目标检测技术的发展。本文分析了几种公开的SAR舰船图像数据集，指出了构建数据集过程中存在的难点问题，以期促使更多高质量数据集的出现，提高星载SAR图像工程应用能力。
