光学遥感图像海面船舶目标检测技术进展

徐 芳，刘晶红，孙 辉*，王腾龙，王 宣

（1.中国科学院 长春光学精密机械与物理研究所 航空光学成像与测量重点实验室，吉林 长春130033；2.中国电力工程顾问集团 东北电力设计院有限公司，吉林 长春130021）

1 引言

卫星遥感与无人机侦察等航天航空成像技术可获取高空间分辨率的高清地物目标信息，为海域安全领域目标的检测与识别研究提供了丰富的图像数据源。船舶作为海上航行运输载体及重要军事目标，对它进行自动检测与识别在军用和民用中具有重要意义。军事上要监察重点海域船舶的分布情况，评估敌方作战实力，形成作战情报，有效精准打击等；民事上船舶检测可以辅助海上交通监管、海上搜救、打击非法捕鱼及反走私等实际情况。因此，提高遥感图像数据自动判读的精度与效率，准确、稳健且快速地检测与定位海面船舶目标区域，具有重要的现实意义。

当前，用于船舶检测的遥感图像源主要可分为合成孔径雷达（Synthetic Aperture Radar，SAR）图像、可见光波段图像、红外波段图像和多/超光谱波段图像4类。基于不同的传感器类型与成像场景，船舶检测方法的设计思路大相径庭，方法的有效性和适应性也会变化。尽管不同成像传感器的应用条件和功能不同，但很多算法是相似且通用的，相对于其他成像源，光学卫星成像中的可见光波段能更直观反映地物目标与背景的真实颜色信息，纹理丰富，结构特征明显，在海面船舶检测及侦察领域具有其他图像源不可比拟的优势。

在过去数十年里，基于光学遥感成像的海面船舶目标检测一直是研究热点。尽管在SAR遥感成像数据中关于海面船舶目标检测的研究最多，首次利用SAR遥感图像检测海洋区域中的船舶目标及其航迹的研究始于1978年美国海洋卫星Seasat实验，而且同年人们还开展了光学遥感成像船舶目标检测的研究工作。第一颗民用光学卫星Landsat1于1972年发射，随着高分辨率卫星成像技术的发展，当今已有数百颗大范围分辨率的光学成像卫星在轨运行。经调研，在1972年～2019年间，光学成像卫星的发射数量和基于光学卫星图像船舶检测研究均以2005年为拐点呈指数增长［1］。

2000年，高清光学成像卫星开始大量在轨使用，能提供的空间分辨率小于5 m，之后几年相关船舶检测的研究开始增加；而在此之前，受限于在轨卫星数量和成像分辨率，卫星图像中船舶目标的检测概率非常低；2005年～2019年，光学成像卫星数量大大增加，其成像分辨率也逐渐提高，但由于高清光学卫星成像成本相对较高，其应用范围较窄。近几年，WorldView、GeoEye与Pleiades系列光学卫星相继发射，它们不仅能提供更大的地面覆盖范围，也能提供更高的时间、空间与光谱分辨率，小型船舶更易被发现，大型船舶的特征也更丰富。

在基于光学遥感成像的海面船舶检测中，算法系统需要处理大量宽幅图像数据，除此还要针对不同的应用场景，保证船舶目标检测准确率，并实现近实时响应。因此，船舶检测算法的设计极具挑战，光学遥感图像海面船舶目标检测算法应具有更强的抗干扰能力与适应性。本文针对基于光学遥感卫星可见光成像波段下开阔海域、带有港口及岛屿的船舶目标检测技术研究现状及发展趋势进行了分析与探讨。

2 研究现状

为快速准确地搜索提取光学遥感图像船舶目标，当前研究方法通常采用由粗到精的目标检测策略。如图1所示，常见的船舶检测流程主要包括以下步骤：（1）输入图像；（2）海陆分割，从图像中去除陆地区域，保留海域部分；（3）干扰移除，消除或减轻环境影响；（4）船舶候选区域提取，获得潜在船舶目标区域，是整个检测流程中最重要的部分；（5）目标鉴别，根据候选目标的特征属性区分真实船舶目标与虚假目标，保留真实的船舶目标；（6）获得检测结果；（7）性能评估，分析检测结果，评价算法性能。本文重点从算法入手，对海陆分割、干扰移除、船舶候选区域提取及目标鉴别这几个步骤进行了回顾及详细分析。

图1 船舶目标检测流程Fig.1 Workflow of common vessel detection

2.1 海陆分割

海陆分割又称海陆掩膜，对带有陆地区域的海面船舶目标的精确检测是基础，如果处理的是纯海面图像则不需要进行该步骤。目前，海陆分割处理主要有两种方法：引入外部掩膜海岸线数据或者基于图像特征分析进行分离。

基于海岸线数据方法：当有港口的地理信息时导入现存海岸线数据，得到分离陆地与海洋的区分线，通过匹配进行分离［2-3］。常用的海岸线数据集有：全球自成一体的分层高分辨率地理数据库（Global Self-consistent，Hierarchical，High-res⁃olution Geography，GSHHG）［4-5］，可免费获取，它结合了中央情报局世界数据库II（world data bank II，WDBII）和世界矢量海岸 线（the world vector shorelines，WVS）数 据 集，存 储 数 据 以1∶250000比例尺覆盖到图像中进行陆地掩膜，也有研究使用中分辨率以比例尺1∶70000来获取更高的细节；另一个免费可用的全球水域掩膜是使用航天飞机雷达地形测绘使命数据（Shuttle Radar Topography Mission，SRTM）和 基 于SRTM制作的全球水面矢量数据集（the SRTM Water Body Data，SWBD）进行南北纬60°内，分辨率约30 m的海陆分割［6-7］。虽然采用海岸线数据处理更快速，但是海陆掩膜是静态的，仅代表海陆当前分布的临时状态，不能应对海岸的动态变化；而且该方法分辨率较低，很多图像细节，如人工河堤或半岛都会被去掉，从而导致海岸线变简单，在处理高分辨率图像时会更明显，虽然后续可以采用人工校正，但较耗时。

当港口先验信息不易获取或由于数据年代久远，海岸变化较大等海岸线数据方法不适用时，采用基于图像特征的分析方法。对于中低分辨率图像，一般根据水域在图像亮度分布上更低的反射性，设置灰度直方图阈值分离海陆区域，根据处理情况可采用上下采样或形态学滤波方法优化，这类方法较简单、快速[8-9]，但容易受浑浊水域和与船舶尺寸类似的礁石等影响；而对于较高分辨率图像，受多种因素影响，水域亮度分布较复杂，船舶也存在黑白极性问题，如果仍采用传统的水域分割方法，容易导致误分割，针对该类情况，需要根据图像特征进行分析。Cheng等[10]对输入图像进行超像素分割，对每个像素节点建立多特征描述器，训练支持向量机用来进行自动种子选择及Graph Cut分割，再精调边缘。Wang等[11]首先提取图像每个像素的灰度、边缘、纹理和结构等特征信息，然后学习一个海陆分类器，将分割问题转为像素级二值分类问题。Liu等[12]提出一种深层次神经网络Deep UNet适应高分辨率图像分割，包含收缩路径和扩展路径，并在两种路径中设计下行块和上行块，以获得更精确的分割结果。Shamsolmoali等[13]提出了一种深度神经网络用于像素级海陆分割，对输入图像进行上采样或下采样，设计了几个密集连接的残差网络来系统地聚合多尺度上下文信息，充分利用了图像的层次特征。

2.2 干扰移除

干扰移除能消除或减轻图像背景干扰因素的影响，在船舶目标检测中可选择执行。在光学遥感图像中，环境干扰因素的存在是不可预料且不可避免的，会在很大程度上使船舶检测问题复杂化。对船舶检测精度影响较大的主要干扰因素是云雾、杂散光、海杂波及环绕船舶的尾迹海浪，如图2所示。

图2 带有干扰因素的海面图像Fig.2 Sea surface images with disturbance

2.2.1 云 雾

在遥感图像中，云层会以大面积连续分布状态呈现，内部变化较平缓。厚重云团会遮蔽图像中目标位置区域，导致漏检，而小的、孤立的云朵易被误检为目标；海面雾气的存在会降低图像对比度，使得成像质量下降。基于阈值或梯度的方法可以帮助移除图像中的云层，Corbane等［14］使用统计学阈值方法去除云层；一些研究工作［15］采用二维傅里叶变换算法移除图像中的云层，当有云时，傅里叶变换中心会有尖峰分布，且随着云层薄厚和面积的不同，变换的分布也有变化；Yu⁃an等［16］在目标检测前进行图像去雾处理，提高了检测精度，但算法时间成本高，且图像颜色易失真。

2.2.2 杂散光

杂散光是海面海浪局部区域在某方向上反射太阳光形成的。当海面粗糙度尺度较小时，亮度对比度会特别明显［17］，杂散光或图像中某些高反射率区域易对目标产生误理解，但由于在可见光波段卫星图像中缺少光照参考数据用于算法开发，所以在现有研究中较少有光照校正工作。

2.2.3 海杂波

海杂波是撞击的海浪带起白浪花产生的亮块，具有不同的长度、高度和方向。海况或许会从起伏的几米高海浪到数十米高大浪，甚至高达数百米，这些海浪会进一步在顶部形成分毫米的碎浪花，即小尺度粗糙海面［18］，影响船舶目标的检测精度。在平静海面背景下，不同尺寸船舶的检测精度较高，但同种算法在海况复杂时检测性能会急剧下降，特别是在检测小型船舶时。在光学图像中，海面背景显示了局部纹理与局部密度的相似性；海杂波密度一般与风速成正比，意味着在高风速和复杂海况条件下，很难检测到感兴趣区域内的所有船舶目标，也很难保持较低的虚警率。尽管充分分析海面能提高船舶检测的性能，是在复杂海况下进行船舶检测的先决条件，但实际上很多算法没有提前处理海杂波问题，仅在鉴别阶段对海浪产生的虚警进行剔除［19］。

2.2.4 船舶尾迹与环绕海浪

船舶尾迹与环绕海浪是船舶在运动时在尾部产生的长条状海浪和船舶周围产生的白色浪花［20］。尾迹可用来估计船舶的航向和速度，但检测移动的船舶目标非常具有挑战性，尤其是针对具有与其周围尾迹和海浪亮度相似的船舶，船舶本身尺寸易被过估计，较难提取船舶本身的形状等特征。

在受到上述干扰且海面背景环境较复杂时，光学遥感图像中船舶目标的检测问题会较难处理，对于在检测过程中不好移除的干扰物，后期可在目标鉴别过程中剔除，以降低检测虚警率。

2.3 船舶候选区域提取

船舶候选区域提取是整个检测处理中最重要的部分，关键任务在于如何利用船舶目标与海面背景的特征差异，从图像中获取船舶目标的潜在位置区域。

2.3.1 基于海面背景灰度分布的方法

基于海面背景灰度分布的方法是早期常用的船舶检测算法，主要利用水体和船舶目标的灰度统计特性差异进行图像阈值分割提取目标。Burgess等［21］提出了使用掩膜、滤波、形状分析等处理的海面船舶检测方法。Corbane等［14］提出了一个检测船舶的完整处理链，采用统计与形态学滤波方法来搜索提取船舶的潜在区域，根据小波分析与Radon变换去除虚警。Proia等［22］通过估计海面背景密度函数高斯分布模型，应用贝叶斯决策理论检测小型船舶目标。Yang等［23］在分析海面背景分布后，建立了一个结合图像像素与区域特征的线性函数选取船舶目标。Xu等［24］采用水平集方法提取海面船舶目标轮廓。

这类方法计算较简单，适用于纹理分布均匀的海面环境背景，且船舶目标与海面背景灰度要有较大的对比度；但在实际应用中，当海面背景复杂时，如存在厚重云层、不均匀光照、岛屿与海杂波等，该方法的检测性能会大大降低。另外，在光学遥感场景下，船舶目标颜色还存在黑极性与白极性的问题，如果船舶颜色分布同海面背景相近，该方法很难提取到船舶。

2.3.2 基于稀疏表示的方法

基于稀疏表示的方法利用过完备字典内元素的线性组合对输入信号进行描述，在尽可能少的非零系数下令重构信号与输入信号间误差达到最小，可以更简洁地表示信号，更容易获取信号细节，检测流程如图3所示。Sun等［25］提出了基于稀疏编码的Bag of Words（BoW）模型方法，将训练字典代替传统BoW模型中的码表，得到了更准确的图像目标描述特征。Han等［26］设计多种类遥感目标检测方法，提出了基于视觉显著性模型与稀疏编码的判别学习机制。Yokoya等［27］整合了稀疏表达模型，将图像局部特征检测转为通用的Hough变换船舶目标检测。Wang等［28］设计了稀疏表达判别模型来检测多类遥感目标，包括海面船舶目标。

图3 基于稀疏表达的遥感图像目标检测架构Fig.3 Target detection architecture based on sparse rep⁃resentation from remote sensing image

该方法的检测准确率较高［29-30］，具有较强的鲁棒性，但缺点是需要训练较多的图像样本，计算复杂，且忽略了图像内部的几何结构，对小型船舶目标的检测性能较差。

2.3.3 基于视觉显著性的方法

基于视觉显著性的方法对海杂波等背景干扰的抑制能力较强，可迅速觉察到与当前场景及目标相关的信息，成为开阔海域船舶目标检测的热点。当前用于船舶目标检测的视觉显著性模型主要可分为两类：（1）基于目标驱动的自顶向下模型；（2）基于数据驱动的自底向上模型。算法研究的一般框架如图4所示。

图4 基于视觉显著性的船舶目标检测架构Fig.4 Vessel detection architecture based on visual sa⁃liency

第一类检测模型与具体的待检目标及任务有关，利用感知因子如期望、动机、先验知识及上下文信息等进行视觉搜索。Zhu等［31］提出了一种基于编码分类与空间上下文信息的基于目标驱动的视觉显著性检测模型。Zhang等［32］提出了一套渐进式注意力机制模型，能选择性地整合多层特征的多重上下文信息，降低背景干扰。该类模型考虑了海面背景信息与目标检测任务，降低了干扰目标的引入，但其计算复杂度较高，且没有通用模型可用，需要针对不同的目标检测任务制定不同的搜索策略。

另一类是自底向上的显著性检测模型，根据是否进行频域变换，分为空间域模型或变换域模型。基于空间域模型最早于1998年由IT⁃TI和Koch提出［33］，之后一系列显著性检测方法被提出［34-35］，该类模型提取并结合图像的多类特征，在遥感场景下船舶目标尺寸较小，易受成像时天气与海况等因素的影响，干扰抑制能力较弱，时间成本较高。基于变换域模型在计算耗时与抑制干扰等方面的优势较明显，Yu等［36］设计了一种基于Walsh-Hadamard变换二值频谱的视觉显著性方法，应用于多光谱影像船舶检测任务中。Xu等［37］基于小波变换分析构建显著性检测模型，使用高频成分进行反小波变换，基于逐像素位置的显著性概率计算最终显著性图，能有效适应多尺度光学遥感图像。Yang等［38］基于图像的亮度特征与上下文分析设计了基于频域分析的显著性模型，但所提取的船舶目标区域内部的连续性较差。Dong等［39］基于可操控金字塔模型进行多尺度分析，构建目标图像显著性模型，考虑了舰船目标的尺寸差异性，凸显目标效果较好，但也引入了部分虚警。Nie等［40］改进了基于超复数理论的傅里叶变换模型，根据图像空间相关性、对比度、多方向特征构建超复数进行后续计算。该类显著性检测方法可提取整幅图像场景中船舶目标的潜在区域，检测性能较好，但对于近海岸的船舶，受检测环境影响检测性能较差；另外，基于视觉显著性的检测方法只能检测出疑似船舶位置区域，还需后续目标鉴别处理以剔除虚假目标。

2.3.4 基于深度学习的方法

近些年，随着深度学习理论的快速发展，通过多层交替的卷积与池化操作能自动学习出图像区域的层次化特征表示，整个特征提取过程类似于人类的视觉神经系统，可直接检测图像中目标，深度学习模型丰富的特征与强大的表征能力极大提升了目标检测的准确率［41-42］。按照目标检测流程，基于深度学习的船舶检测算法主要分为两步检测器和一步检测器两类，主要的算法模型如图5所示。

图5 基于深度学习的检测器分类Fig.5 Taxonomy of ship detection methods based on deep learning

两步检测器大多基于候选区域，主要包含两个方面：候选框生成与框内目标识别，步骤1先在图像中生成多个区域建议，其次提取这些区域中的特征；步骤2使用训练好的分类器与回归器做分类与回归；最终，采用非极大值抑制方法等后处理手段获取检测结果；该类检测器的检测精度较高，但检测速度慢。一步检测器受Region Pro⁃posal Network（RPN）网络启发，采用anchor思想设计，通常聚焦于快速、准确地检测目标。上述两类检测器的主要算法模型的优缺点比较如表1所示。

表1 检测器模型比较Tab.1 Comparison of detector models

基于上述检测器的深度学习方法较多应用于自然场景目标的自动检测任务中，尤其是具有较高检测精度与速度的基于YOLOV 3检测器及其改进模型的目标检测方法。近几年，一些研究者开始将上述检测器应用于遥感场景下目标的检测与分类中［43-45］。该类方法的遥感船舶目标搜索检测架构如图6所示，集合了船舶目标搜索、特征提取、分类鉴别等步骤的一体化处理，经过卷积网络模型，将各个处理阶段较好地集成到一个网络结构框架中。

图6 基于深度学习的海面船舶目标检测架构Fig.6 Vessel detection architecture based on deep neu⁃ral network

与自然场景成像不同，遥感成像海面船舶目标具有尺度较小、目标多方向旋转、部分目标排布较密集及图像对比度较低等问题，这会影响深度卷积神经网络（Convolutional Neural Net⁃works，CNN）在遥感场景下的海面船舶检测准确率，如图7所示。研究人员对上述检测器网络模型进行了改进与优化。Zhang等［46］基于深度神经旋转与鉴别网络构建了卫星遥感船舶目标检测模型。Xiao等［47］基于卷积神经网络设计了语义分割网络，结合精细细节信息与粗尺度语义信息，对遥感图像船舶目标进行检测。Chen等［48］引入端到端的深度语义分割方法，将深度卷积神经网络与全连接条件随机场相结合，提高了船舶检测精度与捕获图像细节的能力。Zhang等［49］设计多层卷积特征融合网络用于小船舶目标检测。Dong等［50］设计了一种多角度框选结构网络检测模型。Guo等［51］设计了一个Libra R-CNN网络进行不同方向旋转船舶目标的检测。

图7 不同尺度、方向旋转、排列紧密船舶的检测Fig.7 Detection of rotating and close-arranged ship in different scales

该类方法要求研究者具有深厚的知识储备，检测模型能有效抵抗复杂图像背景的干扰，更适合自然场景下较大尺度和高对比度的目标，但在遥感图像宽幅场景、较小尺度船舶目标、旋转船舶目标情况下直接检测，检测效果会受影响。另外，该类方法搭建模型的过程繁琐，在训练学习过程中需要大量图像样本数据，且人工标注样本的成本较高，网络模型训练时间较长，计算资源代价大，难以使检测精度与运算速度达到最优。

2.3.5 算法模型比较

定性评估上述主要的光学遥感成像船舶提取算法，结果如图8所示。基于海面背景灰度分布方法计算简单、速度快，但其检测准确率受场景复杂程度的影响较大，虚警率较多；基于稀疏表示的方法能抵抗一定光照变化与图像遮挡，但计算复杂，对小型船舶目标的检测效果不好，适应能力差；基于视觉显著性的方法能抑制海杂波及云雾等冗余信息的干扰，较好地检测各个方向的较小目标，但当海面背景特别复杂时，检测性能受到较大影响；基于深度学习的方法能克服复杂场景干扰，适应对比度与尺度较大的目标，但模型复杂，对小目标的检测性能较差。因此，针对光学遥感成像，研究具有高度适应能力、实用化的船舶目标提取方法，非常具有挑战性，还需要进行大量深入地研究与探索。

图8 现有船舶目标提取方法的定性评估Fig.8 Qualitative evaluation of existing vessel extraction methods

2.4 目标鉴别

船舶目标鉴别在使用视觉显著性方法进行船舶目标检测中常被用到，在提取到疑似目标区域后，有时不仅提取了真实船舶目标，还可能引入虚假目标，目标鉴别确认即在疑似目标中剔除非船舶目标，保留真正船舶目标的过程。根据鉴别依据的不同，现有的鉴别方法可划分为基于先验信息与基于船舶目标本身特征的方法。

基于先验信息的方法根据船舶可能出现的区域位置及所属海域等先验信息剔除虚警。这种方法处理较简单，但依赖船舶目标自动识别系统（Automatic Identification System，AIS）与欧盟船舶监测系统（Vessel Monitoring System，VMS）等先验数据信息［52-54］。

基于船舶目标本身特征的方法，即在提取到船舶疑似目标区域的基础上，结合船舶目标自身特征进行深入地分析和确认，去除虚假目标。基于特征的目标鉴别方法的一般算法结构如图9所示。光学遥感图像中的船舶目标特征需要考虑图像获取的视角、分辨率、海况和船舶速度等因素。大部分研究者基于简单的几何特征来执行鉴别，如船舶的长、宽、长宽比、面积等几何尺寸，紧致度、矩形度、偏心度、对称性、不变矩等形状特征，均值、方差、标准差、梯度、熵值、灰度共生矩阵等纹理特征，均值、方差、最小值、最大值等亮度和颜色特征。如果目标特征描述子的变动系数在有效范围内，即判断为船舶目标［55］。部分研究使用光谱、形状、纹理或者其混合特征［39］，结合多个特征方式去除虚警。还有研究提取船舶目标的各种特征制作大量样本投入到SVM、随机森林、决策树与Adaboost等分类器中分类鉴别［40，56］，以区分真实目标与干扰目标，使用该类方法进行鉴别时，前期样本准备阶段的工作量较大。随着深度学习的发展，也有研究使用基于CNN的 经 典 分 类 网 络［42］，如AlexNet，VGGNet和GoogleNet等进行候选区域鉴别，不仅剔除了虚警干扰，还可以标识候选区域所属的类别。另外，如果对遥感图像直接使用基于深度学习的船舶检测方法，由于深度卷积神经网络结构包含不同深度的特征层，能自动提取船舶候选区域及其多层级特征，集成了目标分类与鉴别，无须再单独进行目标鉴别处理。

图9 船舶目标鉴别算法框架Fig.9 Algorithm framework for vessel target identifica⁃tion

3 现存问题与挑战

光学遥感成像在提供丰富信息辅助海面目标监管的同时，在船舶目标检测算法的研究和应用上仍面临很多问题与挑战。在对光学遥感成像场景下的海面船舶目标检测中，不仅要判定出目标的位置和数量，有时还需要获得目标的大小与方向，甚至形状与纹理，然而船舶目标的表观形态特征变化多样，海面背景存在各种干扰，当前大多数船舶检测研究面临的普遍问题如下：

（1）光学遥感成像受天气、海况、成像条件等多种因素的影响。天气条件（晴天、阴天、云雾等）反映到图像中，目标特征发生变化，易引起对目标的误理解；海面背景状况（杂散光、海杂波、岛屿等）变化，很容易给检测带来大量虚警；不同成像分辨率、不同成像时间、不同成像视角（下视、前视、侧视）、远距离成像等成像条件也会增加检测算法处理的复杂性。

（2）船舶目标本身表观特征的影响。船舶目标是人造刚体目标，为了适航，大多船舶呈轴对称结构分布，一般船首较尖，形状狭长，根据不同用途，船舶外形结构有所差异，船舶呈现的纹理特征也有区别。不同的光照条件和目标表面涂层材料，会导致船舶与海面背景的亮度差异增加或减小，呈现黑白颜色极性。另外，船舶目标仅占海面背景区域的较小部分，位置分布随机、目标尺寸大小不一、方向旋转不定，有些船舶排列紧密，这些都为船舶目标的判读带来困难。

部分房地产企业没有明确的目标和方向，盲目扩展、粗放建设，战略规划和经营计划不清晰，甚至朝令夕改，缺乏持续性，公司的战略和管理控制系统分离，各业务单位、职能部门各自为政。房地产企业在进行全面预算管理时若是和企业战略规划脱节，即使可以在短时间内取得不俗的效果，但却不利于长期发展，导致预算管理无法取得理想的效果。

当船舶目标行驶在开阔海面上，运动船舶存在尾迹，而在大多数光学全色图像和多光谱图像中，很难将船舶与其尾迹区分开；有些船舶停靠在港口码头，进行港口和内陆水域的船舶检测，与开放海域检测不同，这类方法还需要处理船舶和港口背景间的相似度问题（如颜色、结构等）。

（3）图像幅宽增长且数据量大。当前光学遥感卫星分布在各类型地球轨道上，成像幅宽随卫星所处轨道高度的提升而增大。随着光学卫星数量的增加、回访周期的缩短与图像分辨率的提高，对地观测传感器日常可产生海量的不同光谱、辐射、空间和时间分辨率的图像数据［2］，随着新卫星的发射升空，数据量还会继续增加。

针对上述问题，当前尚不存在适用所有场景的船舶检测算法，算法研究只能在保证较高检测精度的条件下尽可能适应大多数遥感场景。因此，在保证高的检测精度和速度的同时，提高船舶检测算法的抗干扰与适应能力仍是一项具有挑战且有意义的工作。

4 图像数据集及算法性能评价

4.1 图像数据集

光学遥感成像船舶检测性能受多种因素的影响，为验证算法的普适性，应在具有代表性的海面背景图像，即在不同的海面区域、船舶类型和天气状况等条件下进行测试分析。当前测试图像的主要来源如下：

（1）直接使用光学卫星图像数据测试。根据算法开发的年份和图像使用的年份，当前用于船舶目标检测的超高清光学卫星成像传感器能达到米级分辨率，甚至可到亚米级，如Quick Bird、IKONOS、WorldView-2、GeoEye-1和 最 近 的WorldView-3，大部分卫星的图像分辨率为0.5～5 m；超清级别空间分辨率为5～20 m，如SPOT-5；而中级分辨率，超过20 m最常用的是Landsat和CBERS，在近些年的研究中，使用GaoFen-1、Formosat-2和Sentinel-2传感器的数量在上涨；在船舶目标检测文献中较少使用的光学卫星传感 器 为HJ-1A、MODIS、OrbView-1、Aster VNIR、VRRS-1、Kompsat-2和SkySat-1［1］。

（2）除直接使用光学卫星图像数据，还有相当数量的研究使用Google Earth和Microsoft Vir⁃tual Earth的导出数据或截图作为图像源［57-58］。二者均免费公开，能提供光谱、纹理和几何等特征，相对于直接来自光学卫星遥感图像数据是非常重要的参考；但这些图像为了提高视觉效果都做了预处理，其光谱信息中红、绿、蓝谱段较差，还有较大的不连续的辐射畸变，且位置精度也较低，因此，这些遥感图像数据不宜进行更深入的分析，可以作为训练样本图像数据，辅助算法性能的验证和测试。

基于以上图像来源建立较大的光学遥感图像船舶目标数据集，对于开发船舶目标检测算法至关重要。在过去的数十年，一些研究团队［59-60］公开了其光学遥感图像数据集，经整理，其中 包含船舶目标的遥感图像数据集如表2所示。

表2 包含船舶目标的遥感图像数据集Tab.2 Remote sensing image datasets containing vessels

4.2 算法性能评价指标

4.2.1 检测准确率、漏检率与虚警率

检测准确率为：

漏检率为：

虚警率为：

其中：Ns是所有待检图像中真实船舶的总数，Ndtrue是检测到的真实船舶数，Ndfalse是检测到的非船舶数，Nu是未被检测的真实船舶数，Nd是检测的目标总数，Nd=Ndtrue+Ndfalse。

4.2.2 查全率-查准率PR曲线及mAP

如果遥感图像目标的Ground-truth图用A表示，检测到的目标区域二值图用B表示，则查全率（R）和查准率（P）为：

综合评价指标（F-Measure）为：

改变检测分割阈值，由R与P值可得PR曲线下面积，即平均精度（Average Precision，AP）。mAP为对多个类的AP值再取平均得到的值，mAP越大，算法性能越好。

4.2.3 受试者工作特征曲线

真正例率为：

假正例率为：

其中：TP为真正例，FN为假负例，FP为假正例，TN为真负例。根据TPR与FPR可得ROC曲线及曲线下面积AUC值，判定算法性能。

对于评价指标PR曲线与ROC曲线的选用，当正负样例比例相差不大时，二者区别不大，PR曲线相较ROC曲线更关注正样例，ROC曲线则兼顾两者；如果正负样例比例相差较多时，使用PR曲线更能反映检测分类器的性能。

4.3 算法检测结果及性能比较

4.3.1 基于视觉显著性方法的船舶检测

文献［56］给出了与部分显著性算法（ITTI、GBVS、SR、COV模型）显著图的主观视觉对比结果，如图10所示。根据4.2节指标，文献［56］与对比模型在自制的162幅图像上的ROC曲线与AUC值如图11所示。文献［56］与文献［19］、文献［55］在同一测试图像集上的船舶检测率结果比较如表3所示。

表3 不同方法的检测结果Tab.3 Detection results of different methods（%）

图10 显著性图主观视觉比较结果Fig.10 Visual comparison of saliency maps

图11 不同显著性模型的ROC曲线与AUC值Fig.11 ROC and AUC of different saliency models

4.3.2 基于深度学习方法的船舶检测

各方法模型在相应光学遥感船舶目标图像数据集上的查准率、查全率、F-Measure与mAP指标的检测结果如表4所示。

表4 不同深度学习方法的检测结果Tab.4 Detection results of different deep learning methods

图12给出了一些光学遥感图像船舶目标最终的检测结果，第一排为视觉显著性方法的检测结果，第二排为深度学习方法的检测结果。

图12 光学遥感图像船舶目标检测结果Fig.12 Detection results of vessels using optical remote sensing images

根据调研分析，当前没有适用于所有类型光学遥感图像的船舶目标检测方法，特别是海况复杂时，虚警会较多；在算法评估和优化中，详细评价哪些目标特征易导致漏检与虚警，哪些目标特征优于其它特征，对提高船舶检测的准确率与降低虚警率是有利的。

当前研究中仅有一小部分船舶检测方法在一种光学卫星图像上进行测试，大部分在两个或多个类型的光学卫星图像上进行测试和分析；为保证检测结果的客观公正，评价船舶目标检测算法性能需要注意如下问题：

（1）当前研究工作中部分使用的测试图像数量较少，大多测试图像都取自平静海面，算法的稳健性应在不同海况环境图像下验证，且支持多种类型光学传感器的成像测试；

（2）检测性能应综合检测准确率与虚警率等多个指标分析，当前一些算法研究是在卫星图中裁出的一部分图像区域上进行测试，该部分包含了船舶目标，但忽视了对没有船舶目标图像区域的测试，算法的虚警率不可靠；

（3）大部分研究使用自己构建的测试图像进行评估，这些图像大都基于作者主观视觉效果选取。为了公平、充分地评价不同算法的性能，需要统一各方法的测试条件和环境，在相同的第三方图像集中测试，以确保测试数据的独立性。

除了检测准确率等评价指标，检测速率也是一个重要的评价标准，即算法花费多长时间完成船舶检测处理，随着遥感图像幅宽和数量的快速增长，算法的时间成本指标越来越重要，也给船舶检测任务带来了较大的挑战。此项指标很大程度上依赖于计算机硬件的运算能力，因此在不同的研究工作中不具有可比性，只能作为评价参考。

5 发展趋势及展望

尽管当前光学遥感图像船舶目标检测技术已经有了较大发展，但遥感场景具有一定的特殊性与复杂性，针对海域背景船舶检测问题的研究，及对较小目标检测的迫切需求，该方向的研究仍有很大发展空间。随着遥感成像处理、人工智能与模式识别技术的发展，光学遥感成像海面船舶目标检测正逐渐呈现以下发展趋势：

（1）对高性能宽幅、高清或超高清遥感影像中船舶目标检测算法的性能及软硬件计算效率要求的提高。

公开文献和已有方法表明，提升宽幅、高清或超高清遥感影像中船舶目标检测的准确率与计算效率是发展趋势之一。当前用于船舶目标检测的超高清光学卫星成像传感器能达到米级，甚至亚米级的分辨率，船舶目标相对整幅图像尺度较小，给算法的设计与精确判定带来极大挑战；在目标搜索及目标鉴别判定阶段对于算法的时效性与计算效率的要求也很高。在船舶检测算法中，基于视觉显著性与稀疏表示等方法的改进算法模型，结构愈加复杂，计算效率也更低；深度学习算法在GPU与存储等计算资源丰富的理想情况下其计算速度上相对具有优势，但仍难以应用于嵌入式及星上处理。因此，在保持算法模型具有较高性能的前提下，提升这些算法的计算效率能大大提高船舶检测系统的实用性。

（2）基于异源图像及数据融合的多种知识支撑的综合分析。

当前研究大多依赖光学遥感卫星图像本身特征来完成船舶目标检测任务，往往难以适应不同成像视角、天气、海况、图像分辨率等多种因素的复杂变化。在光学遥感图像海面船舶检测过程中，对知识应用的片面与匮乏是影响当前光学遥感成像海面船舶目标检测技术实用化的关键技术障碍。由于云层覆盖及白天可用性等问题（夜间成像仍然限于少数卫星传感器和少数船只类型），仅依靠光学遥感卫星数据对船舶目标进行检测监控具有一定的限制。SAR图像能全天时全天候成像，融合可见光遥感图像与SAR图像数据也是非常有潜力的领域，研究SAR的后向散射机制和光学反射属性，选择合适的雷达波长与光学数据相结合，可以大大提高光学遥感成像的时间覆盖率。另外，有机融合目标、背景环境、算法、数据等多种相关知识为船舶目标检测服务，是光学遥感场景下海域船舶检测技术实用化的有效途径，如利用大量的光学卫星数据与其他监测手段（如AIS、VMS数据）相结合，充分利用不同数据信息间的优势互补，增加船舶目标检测的可靠性。

（3）迅速发展的对地观测技术为光学遥感成像海面船舶检测带来新机遇。

随着开放数据的可用性、小型卫星成像星座的扩展及数字技术的快速发展，地球观测技术正在迅速变化。光学遥感卫星较长的重访周期成为限制其发展的因素之一。光学遥感卫星在当地时间10∶30左右工作时，每小时有较多数据更新，但在夜间或长时间云层覆盖区域光学遥感卫星观测会受限。一种实现高重访频率的方法是利用地球同步卫星，但许多地球同步卫星都用于天气监测，其分辨率对于船舶目标检测来说都太低，现有和计划发射的卫星分辨率最低为500 m（Coms-1、Electro M、Feng Yun-4、GEO-KOMP⁃SAT-2A、GOES、Himawari-8和Himawari-9、MTG-I），GEO-KOMPSAT-2B为250 m，中国的高分-4和印度的GISAT-1为50 m。未来，利用商业星座和自由开放的Sentinel-1（SAR）和Sen⁃tinel-2（光学）卫星提供的大量数据，遥感检测技术可以作为海事领域全面监测的工具。随着对海上区域覆盖范围的提升，新一代小型卫星为保障海域安全提供了机会，其不断增强的能力还提供了一个专用的光电天基海上领域感知星座的可能性。最后，快速增长的云计算领域也会显著增强遥感数据的处理能力，并克服高昂的数据处理成本。

6 结论

本文主要针对光学遥感图像船舶目标检测的基础理论与面临的问题进行了梳理，围绕算法检测步骤与关键技术进行了分析，对未来光学遥感成像海面船舶目标检测的发展趋势进行了探讨与展望。由于受多种因素影响，如何处理复杂海面场景下船舶目标的自动检测问题仍没有得到有效解决；对船舶的详细分类及鉴别尚不完善，在光学遥感卫星图像中对船舶目标（尤其是较小目标）进行精确分类及鉴别也是未来海洋领域监控发展需要深入研究的方向和任务。

另外，为公平客观地比较与评价船舶目标检测算法的性能，需要在大规模光学遥感图像数据集上进行测试与验证，虽然已有一些研究公布了所使用的光学遥感场景图像数据集，但在数据规模与全面性上仍远远不够，影响检测结果的对比性与可信性。为深入光学遥感成像船舶目标检测研究的发展与应用，免费开放光学遥感卫星图像数据集及地面船舶真实数据访问是亟待解决的问题，以便对现有与未来的船舶目标检测方法进行有效的测试与评估。