遥感图像小样本舰船识别跨域迁移学习算法

2024-04-17陈华杰吕丹妮周枭刘俊

遥感学报 2024年3期

陈华杰，吕丹妮，周枭，刘俊

杭州电子科技大学通信信息传输与融合技术国防重点学科实验室,杭州 310018

1 引言

遥感舰船的目标识别问题在国家安全监护、海上交通管制等军事和民用领域中具有非常重要的现实意义。其主要是指利用目标检测技术（Wu等，2021）对可见光图像中所包含的舰船目标进行定位，而后在此基础上利用识别技术对定位目标进行分类。传统的目标识别方法（Lu等，2011；Demirci 和Kacka，2016）主要依赖人工设计进行特征提取，需要有专业知识及复杂的调参过程，同时每个方法都是针对具体应用，泛化能力及鲁棒性较差。随着卷积神经网络，计算机视觉等方向的发展，基于深度学习的目标识别（Hayat等，2018）在精度和实时性方面都远远赶超传统方法，然而随着遥感图像分辨率的提高，舰船识别的层次逐渐细化至具体的舰型或舰级，与此同时每一细类可用的样本随之减少，不足以支撑深度学习网络的训练，容易引发小样本学习问题（Zhong等，2020；赵凯琳等，2021；陈杰虎等，2022）。

作为小样本学习研究的一大主流分支，迁移学习（Zhuang等，2021）旨在利用数据、任务、或模型之间的相似性，将在旧领域（源域）学习到的知识，应用于新领域（目标域），其通过知识迁移的方式较好地解决了由于缺乏足够的数据带来的模型泛化能力不足的问题。

根据源域与目标域类别空间是否一致，迁移学习方法大致可分为以下两类：（1）当两者类别空间一致或目标域为源域的子集时，一般使用领域自适应的方法实现域到域的对齐，或是类别到类别的对齐，如：Long等（2017）提出的JAN和Long等（2019）提出的DAN算法，Pei等（2018）提出的MADA 算法；（2）当源域和目标域的类别空间交集为空时（跨域迁移），Yosinski 等（2014）提出Fine-tune（微调）算法：任意选取公共数据集作为源域样本对网络进行预训练，然后使用目标域样本对预训练模型进行微调以实现迁移学习；Tan 等（2015）提出TTL 算法：引入中间域的概念，将源域的特征信息先传递给中间域，由中间域传递给目标域以实现知识迁移；而后Tan 等（2017）在TTL 算法基础上提出DDTL 算法：使用自编码器处理不同类别的输入，然后逐渐从中间域中选择有用的数据作为桥梁，打破两个远域之间知识传递的巨大分布差距。

对于遥感图像小样本舰船目标识别而言，其难以满足类别空间一致的约束，因此希望能利用现有公开数据集进行跨域迁移学习。当前主流的跨域迁移学习算法中TTL 算法和DDTL 算法利用联合矩阵分解和深度神经网络，将迁移学习应用于不相似领域之间的知识共享，取得了良好的效果，具有较好的理论支撑；Fine-tune 算法实现简单，不需要针对新任务从头开始训练网络，能较好地节省时间成本。然而将这些方法直接应用于遥感舰船识别时仍然存在以下局限：（1）TTL 和DDTL算法通常只在领域间分布差异较小时有效，因此对自然语言处理、计算机视觉等任务效果并不理想，而且这两种算法仅能处理单个类别的源域样本，而公开数据集往往是多个类别的，使用该算法无法充分利用公开数据集的信息；（2）Finetune算法在预训练时直接使用了所有源域样本，未剔除其中可能造成负迁移的样本，学习能力较为有限。

针对上述问题，本文提出了一种从公开数据集（源域）中筛选强相关样本，并利用此样本辅助目标域分类任务的跨域迁移学习方法：首先将目标域样本加入源域的分类任务中，以加入前后源域中各类别样本的识别精度变化情况为依据，对源域样本进行相关性排序，筛选出强相关源域样本，剔除弱/负相关源域样本以避免负迁移；其次对目标域的训练网络结构进行适应性调整：将自监督角度预测任务（Gidaris等，2019；Jing 和Tian，2021）引入目标域分类网络中作为辅助分支，通过将强相关源域样本参与此分支的训练，充分利用其有效信息以辅助目标域分类任务。

2 基于源域样本相关性排序的跨域迁移学习算法

2.1 总体设计方案

基于源域样本相关性排序的跨域迁移学习算法总体方案如图1所示，具体包括源域样本相关性排序和自监督联合学习两个模块。

图1 总体设计方案Fig.1 The overall design scheme

图2 源域样本相关性排序算法流程图Fig.2 Flowchart of correlation sorting algorithm for source data

区别于常规从源域到目标域的单向迁移，算法采用双向迁移的方式：先将目标域样本逆向加入源域的分类任务，通过相关性排序筛选出强相关源域样本，然后假定源域样本和目标域样本间的相关性是双向的，将强相关源域样本参与目标域自监督任务分支的训练中进行辅助学习。

2.2 源域样本相关性排序与迁移样本选择

2.2.1 源域样本相关性排序

选取常规的交叉熵（李航，2012）作为损失函数，源域分类任务的损失函数有如下两种情况：

式中，Z为源域训练样本总数，M为源域样本类别数，表示第i个样本属于第k类的概率，是第i个样本标签的one-hot表示，当样本属于类别k时，=1，否则=0。

（2）将目标域训练样本加入源域分类任务中，此时损失函数由源域训练样本和目标域训练样本两部分组成，即：

对比式（1）、（2），将目标域训练样本加入源域分类任务后，相当于为该任务添加了一项额外的正则化约束条件，这势必会对其归纳偏置（泛化方向）产生一定的影响。对源域中不同类别样本的分类任务来说，额外约束产生的影响可能是正向或负向的，也有可能对某些类别而言并未产生明显的影响。

由此，相关性定义为目标域样本对各类别源域样本分类任务的归纳偏置产生影响的方向。即：分类任务的识别性能受到目标域样本正向影响的为正相关源域样本，受到负向影响的为负相关源域样本，其中正相关源域样本又可根据其受影响的程度分为强/弱相关样本，具体如下：

若dsk≥δ，表示该类别样本与目标域强相关，命名为强相关源域样本，设为P；

若0 ≤dsk＜δ，表示该类别样本与目标域弱相关，命名为弱相关源域样本，设为E；

若dsk＜0，表示该类别样本与目标域负相关，命名为负相关源域样本，设为N。

为了排除每次模型训练时的偶然因素，阈值不宜设置得过小，一般选取10%—20%。相关性排序模块两次训练的目的是为了对比目标域样本加入前后，各类别源域样本的识别精度变化情况，而并非为了得到最终识别结果，因此分类网络结构不必过于复杂，选取层数较为适中的基础网络即可，如Resnet18（He等，2016）。

2.2.2 迁移样本选择

理论上来说，源域样本与目标域样本间的相关性是双向的，若目标域样本对源域中部分样本学习任务的归纳偏置具有正向影响作用，那源域中此部分样本对目标域学习任务的归纳偏置也应具有正向影响作用，二者互为彼此学习任务的正则化约束条件，可以在特征层面进行相互补充，相互增强。

所以对源域样本进行相关性排序后，可选取其中强相关源域样本参与目标域的学习任务中进行辅助训练。该样本选择策略的合理性、以及源域样本与目标域样本间相关性的双向性在后续实验部分进行了定量验证。

2.3 自监督联合学习

自监督学习主要通过人的先验知识构造额外的监督信息，为模型的训练提供额外的学习任务，从而提高模型泛化能力。本文在常规分类任务的基础上，选取自监督角度预测作为辅助分支引入目标域分类网络中，并将强相关源域样本参与此辅助分支的训练，以此在不破坏主分类网络结构的前提下提高目标域样本的识别精度。

2.3.1 自监督任务的选择

作为自监督学习的一种方法，角度预测主要通过训练深度网络识别输入图像的二维旋转来学习图像特征。选取Resnet18 作为分类网络，引入自监督角度预测辅助分支后，训练网络结构如图3所示。

图3 训练网络结构图Fig.3 Structure diagram of training network

从网络结构来看，分类任务分支和角度预测分支共享同一个特征提取网络，二者在完成各自任务的同时相互之间必然存在一定的关系：对遥感舰船目标而言，引入角度预测分支后，模型在学习过程中必然会强化一些对舰船角度预测有用的方向敏感的特征，如：轮廓等全局的结构性特征，同时弱化对该分支任务无用的特征，如：局部纹理特征。而舰船本身属于强结构型目标，其分类任务的完成也依赖于模型对其结构性特征的提取，所以角度预测分支的加入可以使得模型最终提取出的特征对遥感舰船目标的分类任务而言具有较好的泛化能力。此外，Gidaris 等（2019）也在质量和数量上证明了角度预测这个看似简单的自监督任务，实际上为语义特征学习提供了非常强大的监督信号。

因此，本文在众多自监督学习方法中选择将较为简单的角度预测作为辅助分支引入目标域分类网络中，力图在不增加过高模型复杂度的同时提高模型泛化能力。

自监督角度预测将原始图像分别旋转0°，90°，180°和270°后输入到特征提取网络中，再利用一个角度预测器预测当前输入图像的角度信息，损失函数为

式中，X为参与训练的样本集合，Xr为X旋转r角度后的样本，Fθ为特征提取网络，Rφ为角度预测器，θ和φ分别为特征提取网络和角度预测器的参数，R=[00，900，1800，2700]。

分类任务的损失函数为

式中，X和Fθ的含义与式（3）保持一致，Y为训练样本集中所包含的类别数，Cw为类别预测器，w为类别预测器的参数。

2.3.2 强相关源域样本的使用策略

筛选出强相关源域样本后，原则上其可同时参与目标域分类任务分支和角度预测分支的训练，也可以仅参与其中一个分支的训练。但是由于强相关源域样本所包含的样本数远多于目标域样本，若将其加入目标域分类任务分支会由于以下原因对目标域样本的识别精度产生不利影响：（1）会加剧目标域样本间的不均衡性；（2）会破坏目标域主分类网络结构的完整性。

对于遥感舰船目标而言，角度预测和分类任务都依赖于特征提取网络对舰船目标结构性特征的提取，当共用同一个特征提取网络时，二者在特征层面能相互促进，所以通过分类任务筛选出来的强相关源域样本参与目标域角度预测分支的训练也能在特征层面上辅助目标域分类任务的完成。

综上所述，强相关源域样本的使用采取如图4所示自监督联合学习策略：目标域训练样本同时参与角度预测分支和分类任务分支的训练，而强相关源域样本仅参与角度预测分支的训练，以此在充分利用其有效信息的同时，保持主分类网络结构的完整性。在测试目标域样本的识别精度时仅使用模型的分类任务分支。

图4 自监督联合学习策略Fig.4 The self-supervised joint learning strategy

结合分类任务损失函数与自监督角度预测损失函数，强相关源域样本参与角度预测分支的训练前后，自监督联合学习的优化目标分别如式（5）和式（6）所示：

式中，Xt为目标域训练样本，为Xt旋转r角度后的样本，为旋转r角度后的强相关源域样本，α和β为自监督角度预测损失函数所占的比重。经多次实验验证，在本文使用数据集上，α和β均取2 时能获得最好的实验结果。

对比式（5）和式（6），强相关源域样本参与目标域角度预测辅助分支的训练后，为模型的训练提供了一个额外的正则化约束条件。由于源域样本与目标域样本间的相关性是双向的，而且对于遥感舰船目标而言，当角度预测分支与分类任务共享同一个特征提取网络时，二者在特征层面是能相互促进的，因此强相关源域样本参与角度预测分支的训练所带来的约束是正向的：既又不破坏主分类网络结构，又能辅助目标域的分类任务。后续将通过实验对这一理论加以定量验证。

3 实验验证

3.1 实验数据集

（1）MiniImagenet 数据集。MiniImageNet 数据集共包含100类样本，其中每类有600张彩色图像，本文从中随机选取65 类作为源域样本，并以2∶1的比例将其划分为训练集和测试集进行算法验证。

（2）遥感图像舰船目标数据集。本文遥感舰船原始数据集由论文作者Liu（2017）提供，每张图像的尺寸在800 像素×700 像素到1200 像素×800像素之间不等，其中大都包含多个类别舰船或港口（图5），所以需要对原始数据集进行预处理，将图像的舰船按类别单独分离出来，重新构造目标识别数据集。处理方法包括切割、旋转、降噪等，经预处理后的部分样例如图6所示。

图5 舰船目标数据集样本图例Fig.5 Ship images′ examples in target data

图6 预处理后的舰船目标数据集样本图例Fig.6 Ship images′ examples in target data after preprocessing

经数据预处理合并整理后，构建了如表1所示遥感图像舰船目标数据集，数据集包含共13 个类别，大致以2∶1 的比例划分为训练集和测试集，其中每张图像的尺寸在64 像素×135 像素到265 像素×685 像素之间不等。数据集中存在样本不均衡的情况，并非所有类别都属于小样本，所以在后续进行算法验证时，以参与训练的样本数小于200张为界限，仅统计小样本类别的识别率（表1中未加粗类别）。

表1 遥感图像舰船目标数据集各类别样本数Table 1 The number of various ship samples in remote-sensing images

3.2 实验结果

3.2.1 源域样本相关性排序结果

选取Resnet18作为分类网络，设置阈值δ=10%，按图2 所示流程对源域样本进行相关性排序得到：强相关源域样本10类，弱相关源域样本52类，负相关源域样本3类，由于源域所包含的样本类别较多，这里仅列出加入目标域训练样本前后强相关源域样本的识别精度增益情况（表2）。

表2 加入目标域样本前后强相关源域样本的识别精度增益情况Table 2 The gain of strong correlation source samples’recognition accuracy before and after the target data was added/%

强相关源域样本示例如图7所示，部分类别样本中的目标与舰船目标在外形或构件部分存在一些相似特征，如：航母、炮台、坦克中均存在与舰船相同的构件；校车、打印机和海狮等与舰船一样形状都接近于长方形。同时其中也存在手枪、地毯和披肩这类从人的感知而言与舰船毫无关联，但是利用深度网络进行相关性排序时却与目标域相关性较强的样本。负相关源域样本示例如图8所示，这类样本图像中基本都存在较大的留白区域，没有明显可用物体特征。由于弱相关源域样本过多，暂不予列出。

图7 强相关源域样本图例Fig.7 Examples of strong correlation source samples

图8 负相关源域样本图例Fig.8 Examples of negative correlation source samples

3.2.2 自监督联合学习策略定量分析

由2.3 节定性分析可知，筛选出强相关源域样本后，其仅参与目标域角度预测辅助分支的训练，而不参与分类任务，为了定量分析采取此策略的必要性和有效性，选取Resnet18 作为分类网络，进行如下两组实验：

（1）引入自监督角度预测分支的有效性验证。暂不考虑强相关源域样本，通过对比引入自监督角度预测分支前后，主分类网络在本文遥感舰船小样本目标数据集上的识别性能进行实验验证。实验结果如表3所示，引入自监督角度预测分支后，目标数据集总识别精度从78.89%提升至89.74%，引入自监督分支初见成效。

表3 引入自监督角度预测分支前后目标数据集识别精度Table 3 Recognition accuracy of the target data before and after introducing self-supervision angle prediction branch/%

由于美国尼米兹级航母和俄罗斯库兹涅佐夫号航母在轮廓结构上较为相似，二者的辨别主要依靠船体的纹理特征（图9），而由2.3.2 节分析可知，对于遥感舰船而言，自监督角度预测分支的引入会导致模型在学习过程中强化一些对舰船角度预测有用的方向敏感的特征，如：轮廓等全局的结构性特征，同时弱化对该分支任务无用的特征，如：局部纹理特征。因此，加入自监督角度预测后，美国尼米兹级航母和俄罗斯库兹涅佐夫号航母之间较有区分度的纹理特征势必会被弱化，从而容易产生混淆，导致识别率下降，各类别识别精度最高可达100%，而最低仅有61.54%。显然，对目标数据集的分类任务而言单纯引入自监督任务是不够的。

图9 美国尼米兹级航母和俄罗斯库兹涅佐夫号航母Fig.9 Examples of American Nimitz carrier and Russian Kuznetsov carrier

（2）采取自监督联合学习策略的可行性验证。通过对比强相关源域样本加入不同分支的训练，对目标数据集识别精度所产生的影响进行实验验证。实验结果表明（表4）：对目标域的分类任务而言，强相关源域样本仅参与自监督角度预测分支的训练最具辅助作用，即自监督联合学习策略是最优的学习方式，在后续实验中均采取此学习策略。

表4 强相关源域样本参与不同分支的训练时目标数据集的识别精度对比Table 4 Recognition accuracy of target data when the strong correlation source samples participate in the training of different branches/%

3.2.3 迁移样本选择的合理性验证

由3.2.1 节源域样本相关性排序结果，强相关源域样本共10类，包含4000 张训练样本，负相关源域样本共3类，包含1200 张训练样本，而弱相关源域样本共52类，其所占比重较大，为了尽量排除样本不均衡因素的干扰，在以下实验中采取各类别随机选取的方式，除单独使用负相关源域样本以外，其余每次使用的样本量均以4000 张为标准。选取Resnet18 作为分类网络，具体实验设置及实验结果如下：

（1）实验1：分别将强弱相关源域样本参与目标域角度预测分支的训练，参与训练的样本数须保持4000 张。由于负相关源域样本较少，直接全部参与训练即可。实验结果表明（表5）：源域样本与目标域样本之间的相关性确实是双向的，且强相关源域样本对目标域分类任务的辅助作用最强，其参与角度预测分支的训练后，目标数据集识别精度达96.48%，与仅使用目标域样本进行训练相比，识别精度提升近7%，因此选取强相关源域样本作为最终的迁移样本是合理的。

表5 不同源域样本参与角度预测分支的训练时目标数据集的识别精度Table 5 Recognition accuracy of target data when different source data participate in the training of angle prediction branch/%

（2）实验2：保持参与训练的源域样本总数为4000张，采取各类别随机选择的方式，将源域样本进行如下两种组合，并将组合后的样本参与目标域角度预测分支的训练。

组合1：强相关源域样本2000 张+弱相关源域样本2000张。

组合2：强相关源域样本1400 张+弱相关源域样本1400张+负相关源域样本1200张。

实验结果显示（表6）：由于弱/负相关源域样本与目标域样本之间的相关性较低，在强相关源域样本中加入弱/负相关源域样本后，其对目标域分类任务的辅助作用在一定程度上被削弱了，且加入的样本与目标域样本的相关性越低，削弱程度就越强。进一步验证了源域样本与目标域样本相关性的双向性以及选取强相关源域样本作为最终迁移样本的合理性。

表6 组合后的源域样本参与角度预测分支的训练时目标数据集的识别精度Table 6 Recognition accuracy of target data when the combined source data participate in the training of angle prediction branch/%

3.2.4 其他对比实验

本节实验分为3个小组进行。（1）与Fine-tune（微调）算法的对比：因操作简单且性能表现不错，Fine-tune 算法在迁移学习中得以广泛应用，本组实验首先跟该算法进行对比。选取Resnet18 作为分类网络，使用所有源域样本进行预训练，然后使用遥感舰船目标数据集对预训练模型进行微调。实验结果显示（表7）：对于遥感图像小样本舰船目标识别而言，本文提出的跨域迁移学习算法优于迁移学习中广泛应用的Fine-tune算法。

表7 Fine-tune算法实验结果Table 7 Experimental result of Fine-tune algorithm/%

（2）强相关源域样本与其他舰船样本对目标域分类任务的辅助作用对比。依然选择Resnet18作为分类网络，与表1所示遥感舰船目标数据集的大类保持相同，随机选取如图10 所示共7 类舰船样本参与目标域角度预测分支的训练。实验结果显示（表8）：对目标域的分类任务而言，以相关性排序为基础筛选出的强相关源域样本比遥感舰船同一大类下的样本更具辅助作用。

表8 其他类别舰船样本参与角度预测分支的训练时目标数据集的识别精度Table 8 Recognition accuracy of target data when other ship samples participate in the training of angle prediction branch/%

图10 其他类别遥感舰船样例Fig.10 Examples of other ship samples in remote-sensing images

（3）不同分类网络下的相关性排序算法对比。考虑到选用不同的分类网络进行相关性排序得到结果可能不一样，本组实验将源域样本相关性排序的分类网络分别更换为Resnet50 和PCB 分块网络（Sun等，2018），按图2 所示流程对源域样本重新进行相关性排序后筛选出的强相关源域样本类别如表9所示。为了与之前的实验保持一致，筛选出强相关源域样本后，依然使用Resnet18 作为目标域分类网络进行自监督联合学习，实验结果如表10所示。

表9 不同分类网络筛选出的强相关源域样本对比Table 9 Comparison of the strong correlation source samples screened by different classification networks

表10 在不同分类网络筛选出的强相关源域样本辅助下目标数据集的识别精度Table 10 Recognition accuracy of target data with the help of the strong correlation source samples screened by different classification networks/%

从表9 和表10 可以看出，选用不同的分类网络进行相关性排序筛选出的强相关源域样本不完全相同，其类别重合度接近60%，但对目标域的分类任务均具有辅助作用。

3.3 总结分析

选取miniImageNet 数据集作为源域样本，由3.2节实验结果可得出以下结论：

（1）论文提出的相关性排序算法可以从现有公开数据集中有效筛选出一些人眼无法感知，但实际对舰船目标识别任务具有辅助作用的样本，该思想也可适当扩展到其他识别场景；

（2）对遥感舰船目标的分类任务而言，筛选出辅助样本（强相关源域样本）后，仅将其加入目标域的自监督角度预测任务分支是最优的学习方式，既不破坏主分类网络结构的完整性，又能辅助目标域的分类任务，提高识别精度；

（3）论文提出的跨域迁移学习算法优于迁移学习中广泛应用的Fine-tune 算法，且对目标域的分类任务而言，使用相关性排序算法筛选出的强相关源域样本比遥感舰船同一大类下的样本更具辅助作用，这也进一步验证了论文提出算法的可靠性。

3.4 特征可视化分析

考虑到分类器的最终决策由全连接层的输入所决定，本文将全连接层的输入视为网络模型从原始输入样本中所提取的特征，对强相关源域样本参与目标域角度预测分支的训练前后，目标数据集中识别精度上升较为明显的“美国尼米兹级航母”和“俄罗斯库兹涅佐夫号航母”特征进行了可视化（由于特征通道数较多，这里仅列举部分通道）。

如图11和图12所示，每个通道图中，左/右分别为强相关源域样本参与训练前/后的特征可视化结果。从图中可以看出，相较于单独使用目标域样本训练的模型而言，强相关源域样本参与训练后所得的模型提取出的特征明显更加丰富，在更大程度上保持了图像的空间结构和边缘特征，因此在目标数据集上也具有更高的识别精度。这也意味着通过相关性排序算法挑选出的强相关源域样本能有效提高模型的泛化能力，为目标域的分类任务带来有力的辅助作用。

图11 强相关源域样本参与角度预测分支的训练前后“美国尼米兹级航母”特征可视化结果Fig.11 Features visualization results for the “American Nimitz carrier” before and after the strong correlation source samples participating in the training of angle prediction branch

图12 强相关源域样本参与角度预测分支的训练前后“俄罗斯库兹涅佐夫号航母”特征可视化结果Fig.12 Features visualization results for the “Russian Kuznetsov carrier” before and after the strong correlation source samples participating in the training of angle prediction branch