一种基于深度学习的舰船目标融合识别算法∗

李家起 江政杰 姚力波 简 涛

（1.海军航空大学信息融合研究所 烟台 264001）（2.海军装备部信息系统局 北京 100841）

1 引言

随着遥感卫星技术的发展，大量的SAR遥感卫星已经发射到太空进行地球观测，例如Sentinel-1、RadarSat-1（2）、TerraSAR-X、TanDEM-X、COS⁃MO-Skymed和高分3号[1]。这些遥感卫星能够全天候、全天时提供多分辨率、多波段和多极化SAR图像，已广泛应用于全球海事领域监视。大多数卫星SAR传感器通常具备条带式、聚束式、扫描式和其他成像模式[2～3]。根据成像距离向分辨率、方位向分辨率，SAR卫星遥感图像可分为高分辨率遥感图像（＜2m）和低分辨率遥感图像（＞2m）。

高分辨率的SAR卫星可以为图像提供更多的舰船细节信息，通常采用窄幅扫描的单极化模式，主要用于舰船分类和识别[4]。低分辨率SAR卫星首先提供被探测舰船的意义排序，以指导高分辨率SAR或光学卫星进一步识别潜在的敌对非合作舰船。因此，低分辨率SAR遥感图像中的舰船分类或识别是多卫星协同海洋观测任务中的一个重要环节。

用于SAR遥感图像中目标分类或识别的特征主要包括几何特征，统计特征，变换域特征，代数特征和机器学习特征。SAR遥感图像中的目标分类或识别算法可分为三类[5～6]：1）统计方法，根据灰度，纹理，颜色等图像特征的统计特征，采用一些特征匹配方法将图像像素分为几个不同的类别；2）基于模型的匹配方法，首先通过从训练图像中提取特征来建立目标和背景模型，然后使用这些模型预测特征，并通过匹配模型的预测特征和图像的提取特征来识别目标；3）机器学习方法，通过使用人为设计的特征或使用无监督或监督学习方法的机器学习特征建立低级特征和高级语义之间的关系来实现。以上这些算法主要用于高分辨率光学或SAR遥感图像，而提供较少目标特征或细节的低分辨率遥感卫星SAR图像大多不能满足这些算法的前提条件。

在低分辨率卫星遥感图像中，目标分类识别仍需较大的改进。其中一种方法是基于超分辨率重建，可以通过单帧图像或多帧图像实现[7～8]。多帧图像的超分辨率重建方法利用帧间冗余信息，如迭代反投影（IBP）、最大后验概率（MAP）、凸集投影（POCS）等经典算法[9]。单帧图像的超分辨率重建方法主要利用样本图像的先验信息，如基于实例学习、基于稀疏表示和基于流形学习的算法。这些算法在低分辨率卫星遥感图像的地面信息提取、分类和变化监测等领域得到了广泛的研究和应用。由于舰船目标像素较少，容易受到噪声、斑点等因素的影响，以及图像的一致性会降低对舰船目标的识别效果，低分辨率SAR卫星遥感图像中的舰船目标分类或识别通常采用单帧图像[10]。考虑到极化模式、入射角、海况尺度、舰船运动状态等因素也影响了SAR传感器的性能[11]。因此，在低分辨率的SAR卫星遥感图像中，采用超分辨率重建方法进行舰船分类识别是一项十分困难和具有挑战性的工作。

低分辨率的合成孔径雷达卫星通常工作在双极化或四极化模式，可以提供多通道合成孔径雷达图像，各类舰船的双极化SAR遥感图像如图1所示。单通道图像相对于多通道图像包含的信息有限，合理利用多通道图像特征和极化特征的互补信息，可以有效提高目标融合识别的准确率[12]。

图1 各类舰船的双极化SAR遥感图像

多极化SAR图像可以提供极化特征和传统的图像特征，如雷达截面、目标的材料、结构和方位等。在多极化SAR图像中，有一些融合方法利用人工设计的特征进行目标检测、分类和识别，其中两个重要的处理步骤是多极化特征提取和多极化特征融合规则。最常用的极化特征可分为两类：第一类是极化参数，包括极化熵、共极化相位差、共极化比、共极化相关系数和交叉极化比等。第二类是极化矩阵，分别用极化散射矩阵、穆勒矩阵、斯托克斯矩阵、极化协方差矩阵和极化相干矩阵表示。为了获取更多可解释的极化信息，通常使用相干目标分解（CTD）或非相干目标分解（ICTD）对这些矩阵进行分解[13～14]。这些极化特征和形状和纹理等传统的SAR图像特征，通常通过串行、并行和典型相关分析（CCA）等策略融合到一个新的高阶特征空间中。这些融合策略通常以矢量形式组织特征，忽略了空间邻域关系或通道间关系。

近年来，在地面摄像图像和视频的场景中，深度学习方法在目标检测、分类、识别和跟踪方面表现出了令人印象深刻的能力。这些方法已逐渐应用于遥感图像处理，主要是针对单通道高分辨率光学或者SAR图像而设计的[15]。多通道遥感图像，如多光谱或超光谱光学图像、双极化或四极化SAR图像，既能提供空间信息，又能提供光谱或极化信息，有助于提高目标的监测、分类和识别性能。与传统的人工设计的特征相比，深度学习特征具有层次性、稀疏性和语义信息量大的特点。同一目标的多源特征在表征上是异质的，在语义层次上是相关的。因此，基于深度学习的特征融合方法对于多通道多极化遥感图像的目标分类和识别更为有利。

本文提出了一种新的基于深度卷积神经网络低分辨率极化SAR图像融合识别方法。

2 融合算法模型

本文提出的基于深度卷积神经网络的融合识别流程主要包括三个步骤：1）针对各类舰船存在数量不均衡的问题，经过数据增强的上采样扩充数据集得到训练测试集；2）将各类舰船的极化训练样本经过改进的单通道VGG16网络模型进行训练，训练测试数据得到类别权重和概率得分；3）将类别权重和概率得分按照融合规则进行判定，得到舰船分类结果，最终实现极化SAR舰船目标的自动识别。

2.1 融合识别前的数据预处理

深度学习往往需要大量的样本进行训练。SAR舰船图像获取方式相对于可见光图像较少，对应的舰船数据集也很有限，并且往往存在着类别间舰船数据不均衡的问题。由于样本多的舰船类别的训练损失贡献会覆盖样本少的舰船类别，导致分类器的性能下降，深度学习无法训练出较好的模型[16]。为了解决这个问题，在训练之前需要通过数据增强上采样扩充的方式对SAR舰船数据集进行扩充。

本文采取数据增强的方式有：

1）旋转、反射变换（Rotation/reflection）：将图像随机旋转一定角度，改变图像目标的朝向；

2）翻转变换（flip）：将图像沿着水平或者垂直方向翻转；

3）尺度变换（scale）：图像按照指定的尺度因子，进行放大或缩小，或者利用尺度因子对图像进行滤波构造尺度空间，改变图像内目标的大小或者模糊程度；

4）平移变换（shift）：在平面上对图像以一定方式进行位移。

经过上述数据增强的操作，在一定程度上能够缓解数据集类别间样本不均衡的问题[17]。数据增强相比于简单的复制增加了样本的多样性，减少卷积神经网络的过拟合现象，可以得到泛化能力更强的网络模型，更好地适应应用场景，因此所提的方法可以得到更高的准确率。

2.2 基于VGG16的改进模型

深度学习图像识别的关键在于深度卷积神经网络模型的设计和结果优化[18]。考虑到数据集的舰船目标类别较少，并且训练样本较少，为了避免发生过拟合，选取卷积神经网络VGG16模型为基本框架进行改进。

VGG16模型是由牛津大学的A.Zisserman和K.Simonyan所共同设计的，解释了网络隐含层的增加在一定程度上提高预测精度。与更早的Alexnet网络相比，VGG16的一个改进是用几个连续的3×3卷积核替换Alexnet中较大的卷积核（5×5、7×7、11×11）[19]。因此，在保证具有相同感知野的前提下，VGG16模型增加了网络深度，在一定程度上提升了分类识别的效果，是继AIexNet模型之后的一种具备更多隐含层的深度卷积神经网络。

各类舰船的极化SAR图像在输入深度卷积神经网络之前需要统一固定的尺寸，维度为128×128×1。为了匹配输入图像的维度，将VGG16模型的输入从三通道改为一通道，相应的卷积层、池化层和全连接层的结构也进行优化，输出层输出相应的类别权重和概率得分，概率得分代表的是每个类别权重对应的置信度，具体结构如图2所示。

图2 改进的卷积神经网络VGG16模型结构图

2.3 基于VGG16权重决策级融合学习

决策级融合是最高级别的融合。在此级别中，首先对每个数据执行属性描述，然后对结果进行融合，以获得目标的融合属性描述，即目标的分类结果。分类结果融合判定的关键在于数据融合规则的设计，融合规则设计好后会被用于识别结果融合处理，融合后的结果将被作为最后的识别结果。根据决策级融合的思路，本文提出的基于深度卷积神经网络VGG16权重决策级融合学习算法的框图如图3所示。

图3 基于VGG16权重决策级融合学习算法的结构框图

本文方法中，概率得分P1、P2和类别权重W1、W2均由网络学习得到，人不对权重学习进行干涉，充分利用了VGG16网络强大的学习能力。将得到的类别权重和概率得分按照数据融合规则进行融合，获得目标的最终分类结果。融合规则如式（1）所示：

3 实验设计和结果分析

3.1 数据集构建和训练

本文实验采用的是OpenSARShip数据集。OpenSARShip数据集是上海交通大学在2017年公开的用于SAR舰船目标识别的数据集，有十一类舰船目标，共计有11346张舰船图像。该数据集存在着类别间样本数据不平衡的问题，各类的舰船数量统计如图4所示。本文实验从OpenSARShip数据集Patch_Uint8文件夹中选取六类舰船进行实验，分别是 Cargo、Dredging、Fishing、Passenger、Tanker和Tug，个数分别是8240、80、126、38、1670 和176，其余类别舰船数目太少或者类别未划分，不符合实验的条件。经过数据增强的上采样扩充，Cargo、Dredging、Fishing、Passenger、Tanker和 Tug六类舰船样本对应的个数分别为8240、2400、2520、2280、3340和3520，VH极性和VV极性舰船图像各占一半，每类舰船的训练集和测试集按照8：2的比例随机划分。

图4 每类舰船数量统计

VGG16网络的训练采用（Stochastic Uradient Descent，SUD）方法，权重延迟为0.0001，批处理尺寸m=64，冲量为1.0，初始学习率为0.01，当损失函数趋于稳定后学习率降到0.001，学习周期为500。仿真验证平台为Ubuntul 16.04LTS，i7-8700处理器，GeForce GTX1080Ti显卡，采用TensorFlow深度学习框架进行网络的构造和训练，在迭代40000次的情况下，训练时间大约为2h。

3.2 评价指标

针对实验舰船分类结果进行评价，确定分类的精度和可靠性，表征分类精度的指标有很多，其中最常用的就是利用混淆矩阵。混淆矩阵能够很直观的看到每类舰船正确分类的个数以及被错分的类别和个数。但是，混淆矩阵并不能直接看出类别分类精度的好坏。为了解决这个问题，从混淆矩阵中衍生出来各种分类精度指标，其中总体分类精度（Overall Accuracy，OA）和卡帕系数（Kappa）应用最为广泛。

总体分类精度是指被正确分类的类别个数占总的类别个数的比例，如式（2）所示：

其中，N表示总体样本的个数，xi表示每类样本正确分类的个数。

OA值虽然能很好的表征舰船总体分类精度，但是对类别间个数不平衡的数据集来说，其值受到舰船样本个数较多类别的影响较大，不能很好地表征每一类舰船分类精度。

Kappa系数是一种衡量分类精度的比例，具体代表着分类与完全随机的分类产生错误减少的比例，如式（3）所示：

其中，OA表示总体分类精度，假设每一类的真实样本个数分别为a1，a2，…，ai，而预测出来的每一类的样本个数分别为b1，b2，…，bi，总体样本个数为N，则有：

3.3 实验结果分析

3.3.1 单极性的SAR舰船目标识别实验

表1 VV极化的SAR舰船目标识别性能

为了与本文提出决策级融合学习算法进行对比，实验部分首先进行单极性的SAR舰船目标识别，得到单极性图像下的舰船目标识别结果。根据实验需求，将数据集分成VV极化和VH极化两个部分，分别进行训练VGG网络模型参数。由于测试数据集输入的是单极性SAR舰船目标图像，不涉及到决策级融合，VGG网络模型输出只有类别权重。根据权重大小，确定舰船类别。实验结果如表1和表2所示。

表2 VH极化的SAR舰船目标识别性能

3.3.2 多极化SAR舰船目标决策级融合识别实验

为了验证基于VGG16权重决策级融合学习算法模型应用于低分辨率极化SAR舰船目标识别的有效性和合理性，本部分的实验采用数据加强的OpenSARShip数据集，经过改进VGG16网络模型获得相应的类别权重和概率得分按照本文提出的融合规则进行融合，并且与加权平均的融合规则进行实验对比。实验结果如表3和表4所示。

表3 多极化SAR舰船目标加权平均融合识别性能

表4 多极化SAR舰船目标决策级融合识别性能

3.3.3 实验结果分析

由表4可知，多极化SAR舰船目标决策级融合方法的总体分类精度达到76.90%，卡帕系数为0.6929。对比单极性SAR舰船识别算法实验结果，本文方法均表现出较好的识别性能，主要原因是多极性SAR舰船图像相对于单极性SAR舰船图像包含的信息更加丰富，决策级融合方法能够合理利用多通道图像极化特征的互补信息，从而提高舰船目标的识别率。对比表4实验结果可知，本文方法识别性能优于加权平均融合识别方法，说明本文提出的融合规则更加灵活，适用于比较复杂的数据集。

4 结语

为了改善低分辨率极化SAR低分辨率舰船目标识别性能，本文提出的方法改进了VGG16网络模型，并获取VV和VH极化舰船图像的类别权重和概率得分，基于决策级融合规则，实现了基于目标的类别自主选择，并最终实现了极化SAR目标的自动识别。仿真试验结果表明，基于本文提出基于VGG16的低分辨率极化SAR舰船目标融合识别方法，在对OpenSARShip数据集进行数据增强的情况下，总体分类精度和卡帕系数分别达到76.90%和0.6929。与单极性的SAR舰船目标识别方法和融合规则为加权平均决策级融合识别方法相比较，本文提出的方法识别性能更加优异，进而验证了方法的合理性和有效性。

后续研究将继续围绕基于卷积神经网络的遥感舰船目标识别开展工作，研究基于深度卷积神经网络结构的目标多维度特征融合课题，为遥感舰船目标识别提供新的理论与技术支撑。