基于迁移学习的小样本目标识别研究进展与展望

周旷，姜名

西北工业大学，陕西 西安 710129

在海面目标识别、弹道导弹目标识别、水下航行器目标识别和飞机目标识别等[1-4]领域中，小样本问题广泛存在。在复杂对抗环境下，特别是隐身技术等干扰手段的应用使得完善的目标信息极为匮乏，给目标识别任务带来了极大挑战。近年来，深度学习技术的发展为目标识别问题提供了新的思路[5-7]。然而，在小样本情形下，往往难以获得充足的训练数据来构建有效的深度学习模型，限制了深度学习技术在小样本目标识别场景中的应用。

对海面目标的高效精准识别是提升海洋监控能力与实时态势感知能力的关键，也是一个典型的小样本场景任务。海面目标信息多来源于空基或天基等探测设备，获取形式包括雷达回波信号、合成孔径雷达图像、卫星遥感图像、红外图像等[5]。海面环境复杂多变，海面目标识别对天空基探测设备、飞行员技术等有着很高的要求，数据采集成本高，往往难以获得足够数量的目标样本信息。特别是对于非合作目标，获取该类目标全角度的特征信息是十分困难的。因此，小样本问题在海面目标识别任务中尤为突出，严重影响了目标识别的效果。

迁移学习通过利用与目标领域具有一定相似性的源域知识来辅助目标域的学习任务，能够在目标域为小样本的条件下，取得更好的学习效果。迁移学习目前已经应用于许多领域，如图像分类[8]、文本分类[9]、雷达目标识别[10-11]、故障诊断[12]等。将迁移学习用于目标识别任务中，能够利用相关目标领域的数据、知识等信息来提高小样本场景下目标识别的准确率，这也成为目标识别领域新的研究热点。

本文以海面目标识别为例，对基于迁移学习的小样本目标识别问题现状进行梳理，并对未来发展方向进行展望。

1 海面目标识别现状

海面目标具有分布密集、类型多样、数量众多、隐身能力强等特点，这使探测到的目标信息具有很强的不确定性[6]。因此，为提升海面目标识别的准确率和可靠性，需要融合机载雷达、卫星遥感、红外热成像等多种探测模式下获得的目标特征数据，以对特定场景下的目标识别提供更加丰富的信息描述和解释。按照目标信息的来源不同，可以将海面目标识别方法分为基于雷达成像的方法、基于卫星遥感图像的方法和基于红外图像的方法等。

1.1 基于雷达成像的方法

雷达作为一种覆盖范围大、探测能力强的电子通信设备，能够实现全天候、长距离的目标识别[7]。针对不同的应用场景，包括高分辨率距离像（HRRP）、合成孔径雷达（SAR）在内的多波段、多极化雷达可以提供多模式的目标特征信息。

雷达高分辨率距离像能够反映目标的径向一维特征，包括尺寸、材料、散射信息、电磁特性等。HRRP 序列仅需通过发射雷达宽带信号就能获取，因此目标特征容易得到且更新率较高。SAR 图像是雷达对目标长时间观测的结果，可通过机载平台或星载平台采集[13]。SAR 图像能够反映目标二维精细结构特征，因此包含的目标信息更为丰富，但是其由于成像距离近及受环境限制而通常不易获取[6]。

近年来，利用雷达技术，综合SAR、HRRP 等图像数据来实现远距离、多层次的海面目标识别已经成为研究热点。谢晴等[14]采用多层次正则化的方法增强SAR图像的特征，再将联合稀疏表示分类作用于增强结果，提升了目标分类性能。陈婕等[15]提出一种联合多视角SAR 图像目标识别方法，该方法基于多视角SAR图像进行多视角聚类和视角融合，然后采用联合稀疏表示来表征特征矢量，实现可靠的目标分类识别。王哲昊等[16]提出一种基于角域特征粒子群优化的海面目标HRRP 识别方法，利用HRRP 角度信息和自适应分帧算法对特征空间进行优化及划分，能够显著提升海面目标分类准确率。

1.2 基于卫星遥感图像的方法

随着卫星遥感技术的飞速发展与遥感图像分辨率的提高，基于卫星遥感图像的海面目标识别方法越来越受到学者们的关注[1]。和雷达成像的方法相比，高分辨率的卫星遥感图像信息更为丰富，能够直观地反映目标色彩等真实特征。但是光学卫星成像易受到天气、光照等环境的影响，同时遥感图像获取周期长等特点导致无法实现海面目标的实时精准识别。

针对卫星遥感图像的上述优缺点，许多学者研究了基于遥感卫星的海面目标检测与识别问题。李晓博等[17]基于序列遥感图像，提出了一种静止轨道遥感卫星海上舰船目标快速检测方法，能够准确获取多个舰船目标的特征信息。孙越娇等[18]提出一种基于多源遥感卫星的海面目标检测方法，该方法结合静止轨道遥感卫星大范围持续观测、低轨道遥感卫星分辨率高的优点，能够高效判别海面舰船目标。

1.3 基于红外图像的方法

红外热成像技术是目标识别的重要方法之一，这种技术能够全天候提供高分辨率图像数据，并且具有隐蔽性高、不易受到电磁干扰的特点[5]。然而，红外图像依赖于目标温度，存在不能显示目标颜色信息、成像过程易受噪声影响等问题，对于日益复杂的海面目标识别任务仍面临鲁棒性低、识别率不高等挑战。

许多学者针对复杂海天环境下红外成像目标的检测与识别展开研究。胡思茹等[19]针对红外图像中舰船目标、天空、海浪等局部区域的典型特征，统计分析了各个特征在不同区域中的分布与可区分性，提升了复杂环境下红外舰船目标识别能力。苗传开等[20]提出一种红外舰船目标检测识别方法，该方法基于显著性检测和去噪处理后的图像来分割舰船目标，通过提取不变矩、长宽比等多特征对目标进行综合识别。

对现有海面目标识别方法进行梳理、分析可以发现，上述三种方法均存在高质量目标信息获取困难、目标特征不够精准的问题。迁移学习技术能够借助相关领域的数据或者辅助知识，在小样本情形下提升学习算法的性能，是解决小样本不确定环境下海面目标识别问题的有效途径。

2 迁移学习

迁移学习通过对辅助信源知识的迁移来帮助目标领域训练可靠的决策函数，从而解决目标域中样本数据无标记或仅有少量标记样本时的学习问题。同时，迁移学习放宽了传统机器学习方法要求训练数据和测试数据服从相同概率分布的限制，只需要源域和目标域之间具有一定的相似关系。如图1 所示。在迁移学习中，源域和目标域的联合概率分布一般有如下关系

图1 迁移学习示意图Fig.1 Transfer learning

式中，PS和PT分别表示源域和目标域的概率分布，x表示样本，y表示样本的标签。

2.1 迁移学习的分类

根据源域和目标域的样本是否标注，可以将迁移学习分为直推式迁移学习、归纳迁移学习和无监督迁移学习[21]。直推式迁移学习指仅源域样本有标签的情形，归纳迁移学习是指目标域样本也存在标签信息的情形，当源域和目标域样本都没有标签时，则称为无监督迁移学习。另外，根据目标域和源域的特征空间是否相同，可以将迁移学习分为同构迁移学习和异构迁移学习。同构迁移学习的源域和目标域的特征空间相同。异构迁移学习允许目标领域与源领域中的数据位于不同特征空间，有更强的实际应用价值。

2.2 迁移学习方法

迁移学习方法可以分为三类，分别为基于样本的迁移学习方法、基于特征变换的迁移学习方法和基于模型的迁移学习方法[21]。迁移学习统一表征如下[22]

式中，vi表示源域中第i个样本的权重；NS表示源域中样本的数量；T表示作用在目标域和源域上的特征变换函数；R()表示正则化项。

基于样本的方法通过对源域样本进行加权处理来减小源域和目标域之间的分布差异。其具体思想如图 2 所示，即对源域中和目标域相似性高的样本赋予较大的权重，对相似性低的样本赋予较小的权重。该类方法包括经典的核均值匹配算法KMM[23]和TrAdaBoost[24]等。TrAdaBoost是在AdaBoost的基础上发展而来的，该算法利用少量有标注的目标域数据和大量来自其他领域的数据，根据样本是否有利于分类目标来设计权重策略，进而构建精确的分类模型，能够有效地在源域和目标域之间进行知识迁移。

图2 基于样本的迁移学习方法Fig.2 Instance-based method of transfer learning

基于特征变换的方法通过构建新的特征表示方法来提升源域和目标域特征的相似性，又可分为统计特征变换方法和几何特征变换方法。Pan 等[25]基于边缘分布的最大均值差异度量，提出了迁移成分分析（TCA）方法，该方法将源域和目标域中的特征映射到新的潜空间，在进行特征降维的同时减小域间的分布差异。该类方法研究成果丰富，还包括联合分布自适应（JDA）方法[26]、平衡分布自适应（BDA）方法[27]、动态分布自适应（MEDA）方法[28]、测地线流式核（GFK）方法[29]和CORAL[30]等。

基于模型的方法假设源域和目标域模型的一些参数或者超参数的先验分布相同，通过寻找域间的共享参数信息来实现迁移。这类方法通常与深度神经网络相结合，通过对现有的深度网络进行微调来适应特定的任务，实现模型或参数的迁移。Valdenegro-Toro等[31]针对声纳图像构建预训练卷积神经网络模型，拓展了迁移学习在声纳图像分类中的应用。

表1 给出了4 种经典的迁移学习方法在Office-Caltech图像数据集上的分类准确率。该数据集由4种不同来源的图 像数据组成，分别 为C（Caltech）、A（Amazon）、W（Webcam）和D（DSLR），共有12个跨域迁移任务。

表 1 Office-Caltech 数据集上跨域任务准确率Table 1 Accuracy of cross-domain tasks on the Office-Caltech dataset

上述三类迁移学习方法能够从数据和模型层面对源域知识加以利用，辅助目标域中的学习任务。因此，迁移学习可用于解决海面目标识别任务中的小样本问题。

2.3 基于迁移学习的目标识别

在目标识别任务普遍缺乏完全数据的背景下，许多学者将迁移学习用于地面目标识别[32]、水声目标识别[4]、火箭目标识别[33]等目标识别问题中，提升了小样本情况下的识别效果和准确率。

张长勇等[32]针对机场地面目标识别中的小样本问题，采用基于模型的迁移学习方法，利用ImageNet数据集上的预训练模型，通过冻结低层网络，调整高层参数得到用于机场地面目标识别的卷积神经网络。邓晋等[4]利用VGG 等预训练模型提取水声目标深层声学特征，结合模型微调实现水声目标的分类识别，在缩短训练时间的同时提升了分类准确率。刘浩等[33]针对飞行火箭目标识别问题，提出利用外部数据集训练孪生神经网络，通过特征知识迁移和目标数据微调构建迁移学习网络来比较火箭相似度，在单样本情形下解决火箭目标识别问题。Wen等[10]针对HRRP目标识别问题，使用归纳迁移学习方法，基于源域辅助数据对卷积神经网络进行预训练，再基于目标域中的真实数据对网络进行微调；使用直推式迁移学习方法，在卷积神经网络中引入最大均值差异MMD来减少源域和目标域数据分布间的差异，提升了识别准确率。David等[11]针对目标识别中SAR 图像数据缺乏的问题，利用模拟数据对卷积神经网络进行预训练，提高了分类模型的准确率。

3 迁移学习在海面目标识别中的应用

在海面目标识别中，雷达、遥感、红外等单一领域数据样本量通常较少，不确定性强。迁移学习能够有效利用标记样本较多的相关领域数据，提升小样本条件下海面目标识别任务的准确率。

3.1 基于迁移学习的海面目标识别

目前，学者们针对海面目标识别中SAR图像的小样本问题，将标签完整的可见光图像、红外图像等相关领域数据作为源域，具有少量标签或无标签的SAR 图像作为目标域，构建基于迁移学习的海面目标识别方法。

Lang 等[1]针对舰船目标识别中SAR 图像标记样本不足的问题，提出基于支持向量机的多类自适应算法，在船舶自动识别系统（AIS）中的标记样本和少量的SAR图像之间进行迁移学习，提升了传统支持向量机算法的分类准确率。Xu 等[34]提出一种带有源域信息判别正则化项的无监督领域自适应方法D-ARTL，以解决目标域中SAR 图像无标签的问题，该方法能够在对齐跨域分布的同时实现AIS 信息到目标域的有效迁移。Rostami等[35]针对目标域SAR图像难以训练深度神经网络并构建分类模型的问题，提出将相关的光电图像作为源域，通过学习跨域不变空间进行知识迁移，辅助基于SAR图像的舰船分类识别任务。Song等[36]提出一种针对军民舰船目标识别的两阶段迁移学习方法，该方法首先将光学图像域数据迁移到作为中间域的类SAR图像域中，然后基于对抗网络和度量学习进行中间域和目标域SAR 图像的领域自适应，实现军民舰船目标迁移识别。

3.2 海面目标识别试验结果与分析

TerraSAR-X SAR 数据集[37]由三类船舶的SAR 图像组成，分别为集装箱船、油轮和散装货船，每类船舶的样本数量均为150个。从该数据集中的每一类中分别选择50个无标签的SAR图像数据组成目标域，同时选择1800个有标签的AIS 数据（每类600 个）组成源域。表 2 给出了多种迁移学习方法在上述跨域任务上识别准确率的均值和标准差。

表 2 TerraSAR-X SAR数据集上的准确率Table 2 Accuracy on TerraSAR-X SAR dataset

从上述定量试验结果可以看出，D-ARTL 方法的识别准确率最高，相较于经典的TCA方法有着显著的提升。

4 迁移学习在海面目标识别中的主要挑战

上节对迁移学习在海面目标识别中的应用进行了介绍，结合迁移学习技术能够在一定程度上解决目标样本不足的问题，从而提升识别的准确率。然而，在海面目标识别问题中存在的目标样本数量少、噪声强等因素导致迁移学习在实际应用中仍存在诸多问题，包括易发生负迁移、迁移模型稳定性低以及泛化性弱等。

4.1 负迁移的问题

当特定目标的数据稀缺时，迁移学习通过利用相关领域的数据来辅助目标域任务的决策。但是，当从一些不太相关的源域中迁移知识时，很可能会对目标任务造成负面影响，这种情况就是负迁移。一些研究表明，若源域数据与目标域数据相关性较低，或者任务类型差异过大，就会造成负迁移的情况。同时，负迁移往往和目标域中标记数据的数量较少有关，而海面目标识别中，小样本问题是普遍存在的。因此，将迁移学习用于海面目标识别任务时，如何避免负迁移是一个重要的问题。

鉴于负迁移问题的普遍性和重要性，许多学者针对如何避免负迁移展开研究。Gui等[38]认为迁移学习迭代过程中积累的噪声会造成负迁移，提出识别噪声样本以减少噪声积累，该方法能够检测负迁移发生的位置，从而能够正确地停止迁移学习算法。Jamal 等[39]在人脸识别领域自适应问题中提出通过最小化目标识别器和源域识别器性能损失函数来避免负迁移。Jiang 等[40]提出将源域和目标域数据映射到共享跨域潜空间中，通过计算迁移知识的权重来避免负迁移。Wang 等[41]给出了负迁移条件，提出用NTG 指标来评估负迁移的程度，并基于对抗网络技术，通过过滤与目标域无关的源域数据来改进原始的迁移学习算法，能够在一定程度上避免负迁移的产生。该方法在Office-31 数据集上的结果见表3，Office-31数据集由三种不同来源的数据组成，分别为A（Amazon）、W（Webcam）和D（DSLR），每种数据可分为31类。表3中DANgate、DCORALgate和GTAgate方法分别表示改进的DAN[42]、DCORAL[43]、GTA[44]方法，NTG ＞0说明存在负迁移，NTG ＜0说明不存在负迁移。

表 3 Office-31数据集上部分任务的NTGTable 3 NTG of some tasks on Office-31 dataset

上述定量试验结果表明，负迁移在跨域迁移任务中是普遍存在的，几种经典方法均存在较为明显的负迁移情况。参考文献[41]中提出的方法能够明显减小负迁移发生的程度，在多组跨域任务上避免负迁移的发生。

4.2 稳定性和泛化性的问题

海洋环境复杂多变，不同海面目标信息之间的差异往往很大。同时，雷达成像不同于普通的光学图像，成像过程受多方面因素影响。如SAR 图像会受到相干斑、结构缺失、几何畸变、阴影等现象影响，导致成像质量下降。因此，提升迁移学习方法在处理海面目标信息时的稳定性是非常重要的。此外，海面目标识别任务中SAR图像等数据的获取相当困难，通常很难获取完备的训练样本，这对迁移学习方法在小样本问题上的泛化能力提出了很高的要求。

针对上述问题，许多学者从领域不变特征表示、领域泛化[45]等方面展开研究。Yang 等[46]将因果结构学习和自动编码器相结合，提出基于源域数据来学习不变特征子集的因果自编码器（CAE），该方法不依赖目标域数据就能分离出低维特征表示，从而能够有效地实现领域间的稳定迁移。Zhang 等[47]针对分布变化下深度模型的泛化性问题，提出了深度稳定学习方法StableNet，通过样本加权来消除相关和非相关特征之间的统计相关性，在多个分布差异较大的不同领域图像数据上实现了较好的分类效果。Mancini等[48]提出建立多个领域特定分类器来解决领域泛化问题，通过比较输入图像与源域样本的相似度来选择最优的源域分类器组合。表4 给出了CAE 方法在Office-Caltech 数据集的分类准确率。

表 4 CAE方法的准确率Table 4 Accuracy of CAE method

将表4给出的试验结果和表1进行对比，可以发现CAE方法仅依靠源域数据就能够达到经典迁移学习方法的准确率。在给定一个源域的情况下，该方法在多个目标域中均能取得良好的分类效果。说明CAE 方法具有较强的稳定性和泛化能力。

5 未来发展趋势分析

基于迁移学习的海面目标识别研究已经取得一定的成果，但仍存在许多亟须解决的问题，未来有着广阔的发展空间。对未来的发展趋势分析主要包括两个方面：一是结合神经网络可解释性来实现可解释的目标识别；二是结合因果关系实现基于因果迁移的目标识别。

5.1 可解释的目标识别

近年来，随着深度学习技术的发展，越来越多的目标识别方法选择借助神经网络模型等来提高识别准确率，如在SAR 图像目标识别中常使用卷积神经网络。然而，神经网络等深度学习模型缺乏可解释性，人们往往无法理解模型的决策过程与内部机理，从而无法判断决策的可靠性。特别是对于军事目标侦察、海面目标识别等决策风险较高的任务，缺乏可解释性的深度学习模型在实际应用中存在很大的风险，难以取得用户信任，实际上往往缺乏广泛的应用场景。因此，实现可解释的目标识别是一个亟待研究和解决的问题。

5.2 基于因果迁移的目标识别

将迁移学习用于小样本的目标识别问题时，源域和目标域样本往往不服从独立同分布的假设。在这种情况下，数据中的环境、背景等因素带来的伪相关关系可能会影响目标识别模型的性能。为了消除这种不利影响，可以考虑结合因果关系的迁移学习，即通过因果结构学习等方式来寻找源域和目标域之间的不变特征或不变表示，从而实现领域间知识的稳定有效迁移[46,49]。然而，对于海面目标识别问题中的多传感器数据，如SAR 图像、卫星光学遥感图像等，其原始数据特征分量之间的因果关系可能并不明显。因此，为实现基于因果迁移的目标识别，需要根据任务背景和特点并结合专家知识，挖掘数据中隐含的具有一定语义含义的因果关系，提升小样本条件下目标识别模型的识别效果。

6 结束语

构建海面目标精准识别体系是建设海洋强国的重要组成部分。近年来，利用迁移学习来解决海面目标识别中普遍存在的小样本问题已经成为新的研究热点。本文通过介绍迁移学习的基本思路和方法，梳理了迁移学习在目标识别问题中的应用进展，探讨了迁移学习在海面目标识别应用中存在的问题和未来可能的发展趋势。通过分析可以发现，迁移学习为海面目标识别问题带来了新的发展思路，未来有着广阔的发展和应用前景，值得更加深入地开展相关研究工作。