AIS 和光学遥感图像引导的星载SAR 舰船目标识别网络

王子玲，熊振宇，*，杨璐铖，杨蕊宁，黄林周

1.海军航空大学 信息融合研究所，烟台 264001

2.中国人民解放军 91033 部队，青岛 266000

3.重庆市勘测院，重庆 401120

4.重庆市地理信息和遥感应用中心，重庆 401120

在辽阔的海洋中，各类信息呈现海量特征，但感兴趣舰船目标的有效信息密度低、不完备，且易受到复杂海洋环境影响，导致精准识别目标困难。随着海洋监视技术的大力发展，各类探测手段不断增多，探测效果不断增强，通过多手段联合方式能够实现优势互补，得到更易于理解、更加全面、更为精确有效的目标信息，进一步提升舰船目标探测效率。例如，光学卫星图像分辨率高，图像解译快，可对目标实现精准观测，但无法在夜晚条件工作，同时易受到恶劣天气影响；星载SAR 不易受环境影响，可全天时全天候观测舰船目标，但图像解译困难，不能连续观测；AIS 能提供目标的身份信息和长、宽等属性信息，实现感兴趣目标连续观测，但准确获取非合作目标信息困难，特别是外国军用舰船目标信息。通过融合不同模态数据，有效降低目标不确定性，得到准确的目标状态和身份估计。但以上各类目标信息类型多样，数据异构且形状、纹理、极化、光谱、结构等特征差异大，导致在海洋目标识别任务中出现多模态信息融合处理难，识别精度低等问题。本文着手以SAR 图像为基准，以AIS 历史数据和光学遥感图像作为辅助信息，通过构建迁移学习网络精确识别出SAR 图像中的舰船目标。

早期SAR 图像舰船目标识别工作主要利用几何、纹理、局部雷达散射截面（Local Radar Cross Section， LRCS）和梯度方向直方图（Histogram of Oriented Gradients， HOGs）等 特 征［1-4］识 别 各类目标，但这些算法都采用手工特征的提取方式，其特征表示能力弱，识别准确率和识别效率低。得益于神经网络强大的特征提取能力，深度神经网络在计算机视觉领域应用广泛［5-6］。近期许多研究通过构建深度注意力网络和特征融合框架有效提升目标识别精度［7-11］。

但是以上算法大都只适用于于单一模态的SAR 图像舰船目标识别，不同模态之间数据异构，其特征分布存在巨大差异，难以度量。Xiong等［12］提出了一种跨模态知识蒸馏网络，通过将SAR 图像和光学遥感图像映射到共同的空间中，使不同模态能在同一特征空间中进行度量。Sun等［13］提出了一种跨模态哈希网络，利用生成对抗网络和语义保护模型有效解决不同模态之间的语义差异，同时将特征从实值转换成二值哈希编码，提升跨模态SAR 图像和光学遥感图像之间的处理效率。但是这些算法都只适应于大规模遥感场景图像处理任务，SAR 图像舰船目标识别需要利用算法模型关注图像中更加细粒度的目标特征。Lang 等［14］提出了一种改进的多类自适应支持向量机，利用几何特征实现AIS 与SAR图像之间的特征迁移，提升SAR 图像舰船目标识别精度。Lang 等［15］提出了一种多源异构迁移学习算法，利用特征增强机制充分挖掘不同模态之间的互补信息，能够以半监督的方式实现小样本SAR 图像舰船目标识别。Hou 等［16］利用AIS信息实现了大规模SAR 图像海洋场景中的舰船目标细粒度标注。Zhan 等［17］利用生成对抗的思想以细粒度的方式实现了不同模态异构特征之间的知识迁移。Rodger 等［18］构建了SAR 图像和AIS 融合数据，提出辅助信息引导的天基海洋目标监视框架。

受到现有工作启发，同时考虑到SAR 图像舰船目标数据分辨率低，成像质量较差，图像解译困难，样本不均衡等问题，本文提出了AIS 和光学遥感图像引导的星载SAR 舰船目标识别网络，借助AIS 历史数据和高分辨率光学遥感图像舰船目标数据集，解决SAR 图像舰船目标识别精度低的问题。本文提出的目标识别网络主要包括特征提取模块、异构特征迁移模块、特征对齐模块3 部分。在特征提取模块中分别提取各自模态的判别性特征，其中对于AIS 数据以舰船目标长宽为基础，设计11 维属性特征，对于光学遥感图像和SAR 图像分 别 采 用 深 度 神 经 网 络VGG16［19］和Resnet18［20］提取图像深度特征。在异构特征迁移模块中，利用两层全连接层将不同维度的异构特征映射到共同的空间中进行度量，同时保留各自模态独有的属性特征。在特征对齐模块中，利用对抗域自适应模型，通过设计多个判别器和生成器进一步以细粒度的方式对齐不同模态数据的异构特征，充分挖掘不同模态的判别性特征，实现AIS 数据和光学遥感图像向SAR 图像的数据特征迁移，有效提升SAR 图像舰船目标的识别精度。实验结果表明，本文提出的算法利用其他模态的信息有效提升了SAR 图像舰船识别的准确率，在识别精度上超过了基准算法。

1 模型方法

1.1 特征提取模块

图1 提出算法的整体框架Fig.1 Framework of our proposed method

将AIS 数据提供的舰船长（L）宽（W）属性特征分别记作f1和f2。考虑到单纯利用这2 个特征来表示所有的舰船类别不具有足够的判别性，利用长宽特征作为基础，构建舰船目标AIS 数据11 维度特征向量fais=[f1，f2，…，f11]，具体 描述如表1所示。光学遥感图像采用了经典VGG16 网络提取图像特征，最终输出4 096 维度的特征表示fopt。星载SAR 舰船目标图像采用Resnet18 网络提特征，最终输出512 维度的特征表示fsar。

表1 AIS 特征描述Table 1 Description of AIS features

1.2 异构特征迁移模块

1.3 异构特征对齐模块

为进一步对齐不同模态间的特征分布，设计模态对抗损失函数LD，在训练过程中通过对抗域自适应的方式减小跨模态差异。模态对抗损失函数包含模态判别器和特征生成器，其中特征生成器由特征迁移模块中的神经网络G构成，用于生成AIS、光学图像和SAR 图像特征来欺骗模态判别器。模态判别器由包含两层全连接层的神经网络D组成，用于判断从生成器中输出的特征模态。通过优化对抗损失函数LD来最小化判别器输出值，最大化生成器输出值，从而减小不同模态之间的特征距离，让判别器难以辨别从生成器中输出的特征模态。考虑到在不同模态中图像类别分布不一致，进一步将模态对抗损失函数LD分为全局对抗损失函数LD1和局部对抗损失函数LD2，以更加细粒度的方式对齐不同模态间的特征分布，全局对抗损失函数LD1分别为

式中：S表示不同模态内部的数据类别，在局部对抗损失中，判别器依据类别被划分成S个局部判别器Ds，其 中yi，s表 示 类 别 为s的 输 入 数 据xi的 标 签值，y͂i，s表 示 标 签yi，s的 预 测 值。进 一 步 构 建 包 含 分类器C和特征生成器G的分类损失函数LY，该分类损失函数为

式中：Lc表示交叉熵损失函数，分类器C由线性激活函数的一层全连接层网络构成；yaisi，和分别为模态内部对每个类别标签的预测值，通过优化分类损失LY，让特征生成器G能够帮助各自模态输出更具判别性的图像特征，提升各自模态的识别准确率。

考虑到不同模态数据样本分布差异较大，在训练过程中可能将AIS 和光学图像样本中的无关信息引入到SAR 图像模态中。为进一步消除在特征对齐过程中引入无关样本导致的不利影响，在局部对抗损失中添加权值ws拟合样本空间中不同模态的数据分布：

式中：表 示SAR 模 态 数 据 中 标 签的 预 测 值。为了提升迁移模型的可解释性，对AIS 和光学遥感图像模态分别引入权值wais和wopt，以量化的方式计算AIS 数据和光学遥感数据对SAR 图像舰船分类任务的贡献率。在训练过程中，利用MMD算法［14］度量不同模态间的差异，使得不同模态间差异越大，wais和wopt取值越小。考虑该差异为条件分布间的非参数距离估计，因此不同模态的差异度量因子定义为

综合考虑异构特征迁移模块和异构特征对齐模块，并对不同损失添加权值，最终得到总损失函数定义为

2 实验结果

2.1 实验设置

本文采用2 个公开SAR 舰船目标图像数据集、一个光学遥感图像数据集和AIS 历史数据验证本文算法的有效性。在训练过程中，采用图像翻转，随机剪裁和旋转，不同程度改变图像光照等数据增强策略以应对不同类别样本不均衡问题。采用每一类样本的准确率（Accuracy Rate， AR）和总体准确率（Overall Accuracy， OA）2 种经典的分类度量标准来衡量本文算法的有效性。AR 主要用来衡量算法对单个类别的识别准确率，OA 主要用来衡量算法对所有类别的全体舰船目标图像的识别准确率。所有实验在PyTorch 深度学习框架下运行，实验配置为Ubuntu 16.04， 32 GB of RAM， 8 Intel（R） Core（TM） i7-6770K CPU and NVIDIA RTX 2080Ti。

2.2 数据集

1）星载SAR 舰船目标图像：考虑到星载SAR 图像分辨率低，舰船目标细粒度解译和标注难度大，星载SAR 舰船目标图像利用当前仅有的开源数据集OpenSARShip［21］和FUSAR-Ship［16］。OpenSARShip 数据集源于Sentinel-1 卫星获取的SAR 图像，搜集了17 个舰船类别的共计11 346 个SAR 图像舰船切片，其中每艘舰船包含了VV 和VH 两种极化方式，图像空间分辨率高于20 m。FUSAR-Ship 数据集中部分类别的舰船样例图像如图2（a）所示，该数据集源于高分3 号卫星获取的SAR 图像，搜集了15 个舰船大类和98 个舰船子类的超过5 000 个高分辨率SAR 图像舰船切片，图像空间分辨率高于1.5 m。由于这2 个数据集中每个类别的舰船图像数量存在较大差异，本文主要考虑散货船、货船、集装箱船和油船这4 个舰船类别。实验过程中，不同数据集选取的样本数量如表2 所示。对于2 个SAR 舰船目标数据集，随机选取了数据集中的80%用于训练，余下的20%作为测试集。

表2 舰船样本数量Table 2 Number of ship samples

图2 数据集样例Fig.2 Examples from dataset

2）光学遥感图像：光学遥感图像来源于ORS［15］数据集，样例图像如图2（b）所示，该数据集源于谷歌地球，图像分辨率为0.5 m，整理包含了8 个类别的舰船图像切片。该数据集相较于当前其他光学遥感舰船数据集舰船图像更加完整，没有过多繁杂的背景信息，能够更好帮助网络学习到更具判别性的舰船特征。与SAR 图像数据类似，从该数据集中选取了散货船、货船、集装箱船和油船这4 个舰船类别用于网络训练，每个类别包含400 张带有标注的舰船目标图像。不同数据集中舰船目标图像之间没有配对关系，我们仅利用类别标签提供监督信息。

3） AIS 数 据：AIS 数 据 采 用 在hiFleet（https：//www.hifleet.com/）下载的共计3 325 条历史实测数据，其中包含了散货船、货船、集装箱船和油船共计4 个类别，每个类别包含了约800 条AIS 舰船数据。如图2（c）所示，每条AIS 数据采用文本的格式，从中提取了每艘舰船的海上移动业务识别码（Maritime Mobile Service Identity，MMSI）、舰船类别和舰船的长宽信息用于作为标签信息和特征表示。在训练过程中，从该数据集每个类别中选取400 张带有标注的舰船目标图像用于网络训练，仅利用类别标签提供监督信息。

2.3 结果与分析

2.3.1 分类精度

为验证本文算法的有效性，在OpenSARShip和FUSAR-Ship 这2 个数据集中开展消融实验，每个类别的AR 实验结果如表3 所示。其中AR1、AR2、AR3和AR4分代表了散货船、货船、集装箱船和油船的分类精度值，“LY”表示只采用分类损失时的识别准确率，从实验结果可以看出只采用分类损失识别精度最低，不同模态特征之间没有迁移，无法对SAR 图像模态的舰船识别任务提供有利特征信息输入。“+Lp”表示同时采用分类损失和参数约束损失，从实验结果可以看出相比于单纯采用分类损失，参数约束损失统一了异构特征，将不同维度特征映射到共同空间中进行度量，在2 个数据集中的识别准确率都有较大提升。“+Lp+LD1”表示同时采用分类损失、参数约束损失和全局对抗损失，从实验结果可以看出，全局对抗损失进一步对齐了不同模态的异构特征，有效提升了识别精度。“+Lp+LD1+LD2”表示本文提出算法，同时结合了分类损失、参数约束损失、全局对抗损失和局部对抗损失，从实验结果可以看出该算法有效解决了异构数据中特征分布不同导致的度量困难、不同类别样本不均衡导致识别结果精度低等问题，以更加细粒度的方式实现不同模态间的知识迁移，在2 个数据集中达到最佳效果，有效提升了SAR 图像舰船目标的识别精度。除此之外，考虑到不同图像成像质量差异大，部分类别SAR 舰船目标图像类间差异小，类内差异大，不同类别利用相同算法精度有较大差异。但对于同一舰船类别，本文提出的算法有较为明显的提升，同时达到最佳识别精度，进一步验证本文算法有较强的鲁棒性。

表3 消融实验Table 3 Ablation study

2.3.2 特征可视化

为了直观地展现出本文算法所学习到不同模态数据特征的判别性，利用t-分布随机邻域嵌入算法［22］得到高维特征的二维表示，在2 个数据集中的特征可视化结果如图3 所示。从实验结果的特征分布可以看出对于不同模态的同类图像在特征空间距离更近，异类图像距离更远。对于同一模态内部，相同类别的图像更加聚集，不同类别的图像更加分散。进一步验证本文算法具有良好的鉴别能力。在特征空间中同样存在部分离群值嵌入在其他类别簇中，主要存在以下2 点原因：① 鉴于SAR 图像的成像原理，对于停泊在港口的静止舰船目标成像较为清晰，但对于远海运动目标成像模糊，所以在2 个SAR 图像数据集中部分图像成像质量差，舰船目标轮廓肉眼难辨，判别性特征提取困难，无法在特征空间中对其进行有效划分；② 遥感舰船目标图像背景信息繁杂，对于港口舰船目标图像，相似的背景区域将导致类内差异远大于类间差异。

图3 特征可视化实验结果Fig.3 Experimental results of feature visualization

2.3.3 参数分析

为了进一步验证总损失函数（式（19））中超参数λ对识别精度（OA）的影响，设计参数敏感性分析实验，实验结果如图4 所示。从实验结果可以看出，当λ＜0.1 时，随着λ增加，识别精度急剧增加。当λ=0.1 时，在OpenSARShip 和FUSAR-Ship这2 个数据集识别精度最高，随着λ取值继续增大，识别精度逐渐减小，且出现较小幅度的波动，识别精度下降缓慢。

图4 参数分析实验结果Fig.4 Experimental results of parameter analysis

2.3.4 对比实验

为了进一步体现本文算法的先进性，在Open⁃SARShip 和FUSAR-Ship 数据集上进行的对比实验如表4 所示。其中数据模态“SAR”表示只利用SAR 图像一种模态进行舰船识别，分别采用3 种 经 典 的 深 度 神 经 网 络VGG16［19］、Resnet18［20］和Resnet50［20］作为深度特征提取器提取特征后进行目标识别。从实验结果可以看出，随着网络的不断加深，识别准确率不断提高，但由于SAR 图像分辨率低，判别性特征不明显，单一利用深度特征提取器的识别准确率依然不理想。“+AIS”表示同时利用SAR 图像和AIS 数据两种模态进行舰船识别，利用AIS 历史数据作为先验信息，将知识迁移到SAR 图像模态中。考虑到，OpenSARShip 数据集中的舰船图像分辨率明显小于FUSAR-Ship数据集，判别性特征提取相对困难，不同算法在OpenSARShip 数据集中的分类精度低于FUSAR-Ship。从实验结果可以看出MMDT［23］算法相比于HFA［24］和CDLS［25］识别结果较差，该算法无法从AIS 中提取到充分属性特征，特征提取模块无法从SAR 图像中提取判别性的舰船特征。“+OPT”表示同时利用SAR 图像和光学遥感图像2 种模态进行舰船识别，从实验结果可以看出相比于AIS 数据识别准确率有了大幅提升，光学遥感图像内容更为丰富，能够提取更具判别性的图像特征，通过迁移学习，利用先验知识帮助模型更准确的识别舰船目标。“+AIS+OPT”表示本文算法同时利用AIS 数据、光学遥感图像和SAR这3 种模态进行舰船识别，从实验结果可以看出，DAMA［26］算法识别精度较低，主要是因为传统基于手工特征的表示方式无法获取不同模态舰船图像的判别性信息。MUDAF［27］算法采用了无监督迁移方式实现不同模态信息的互补提取，考虑到遥感舰船目标图像内容丰富，背景信息繁杂，该算法无法有效提升识别精度。本文算法提取了各自模态独有判别性特征，充分挖掘了不同模态之间的互补信息，在2 个数据集中都达到了最佳的识别准确率，验证了本文算法的有效性。

表4 分类精度对比实验结果Table 4 Comparison of classification accuracy of dif⁃ferent methods

3 结 论

本文提出了一种AIS 和光学遥感图像引导的星载SAR 舰船目标识别网络，利用特征迁移模块在保留各自模态独有特征属性前提下将异构特征映射到共同的空间中度量，利用异构特征对齐模块充分挖掘不同模态的互补信息，以细粒度的方式进一步对齐不同模态的异构特征，将各个模态的判别性特征作为先验信息迁移至SAR 图像模态中。实验中，本文利用AIS 历史数据和光学遥感图像作为辅助信息，利用2 个公开SAR 舰船目标图像数据集对本文算法模型进行有效性验证。实验结果表明本文算法通过利用不同模态信息，有效提升了SAR 图像舰船目标的识别准确率。

在后续的工作中将对SAR 舰船目标图像数据集的数量和种类进一步扩充，并利用AIS、光学图像、一维距离像等多种目标探测手段，构建大规模多源异构舰船目标数据库。在此基础上设计统一大模型框架实现不同模态的数据迁移，进一步提升海上舰船目标的识别精度。