基于深度学习的SAR图像目标识别综述

2022-02-22李永刚朱卫纲

电光与控制 2022年2期

李永刚，朱卫纲

(航天工程大学,a.研究生院； b.电子与光学系，北京 101000)

1 概述

合成孔径雷达(Synthetic Aperture Radar,SAR)是一种具有高分辨率的成像雷达，相比于可见光成像、红外探测、激光探测等光学探测手段，合成孔径雷达不受云、雾等自然条件的限制，被广泛应用于战场监视和地形绘制等方面。随着合成孔径雷达分辨率的不断提高，SAR图像目标识别成为研究的热点。SAR图像目标识别主要包括检测、鉴别和识别3个阶段[1]，具体流程如图1所示[2]。

图1 SAR图像自动识别流程Fig.1 Automatic recognition process of SAR image

检测阶段在SAR图像中提取感兴趣区域(Region of Interest,ROI)，也就是包含目标的小区域。传统检测方法中最为常用的是恒虚警率(Constant False Alarm Rate, CFAR)检测器[3-4]，近年来，随着深度学习技术在检测阶段的不断应用，检测效果得到显著提高，例如，文献[5]采用浅层特征增强网络结构，同时使用空洞卷积扩大特征图的感受野，增强网络对小尺寸舰船的适应性；文献[6]将目前先进的单次多盒检测器(Single Shot multibox Detector，SSD)算法应用于SAR图像舰船目标检测，针对小目标检测效果不佳采用融合上下文信息和迁移模型学习的方法进行创新；文献[7]通过设计不同残差网络的残差单元，改进特征金字塔网络结构，引入小目标平衡因子优化损失函数来提高小尺寸舰船目标的检测效果。鉴别阶段对检测阶段的ROI进行自然杂波虚警的滤除。识别阶段对SAR图像目标的类型进行识别分类。本文着重讨论识别分类现状。

文献[2]提出目前对SAR图像目标识别的难点主要集中于以下3个方面:1) 目标变体与本体之间存在着差异，例如不同目标之间的连接变体、目标受损、覆盖以及包含运动部件，这些变体既可以单独出现，也可以组合出现，所有这些目标的变体都能引起SAR图像特征的变化；2) 目标成像环境的变化，不同姿态、遮挡、天气等都对目标识别造成影响；3) SAR图像成像参数的变化，SAR图像成像过程中不同的俯仰角、不同的波形宽度、不同的噪声水平和不同的分辨率易造成SAR图像目标的识别性能不同，因此，如何自动地对SAR图像目标进行分类识别是一个十分复杂的问题。近年来，随着深度学习技术的不断发展，SAR图像目标识别得到显著提升，深度学习算法虽然在一定程度上减少了人工对SAR图像特征的设计，但是基于深度学习的方法解决SAR图像目标识别问题时的难点在于数据样本量缺乏，难以支撑大规模训练数据样本量；数据样本类别不均衡造成识别效果降低。

目前基于深度学习的SAR图像目标识别，针对小样本目标识别方面采用迁移学习和度量学习的方法；针对SAR图像数据不均衡的问题采用批内平衡采样的方法提高对SAR图像目标的识别性能。本文从SAR图像目标识别数据集，多角度SAR图像识别网络的设计，小样本SAR图像目标识别方法(即迁移学习、度量学习)以及数据不均衡SAR图像目标识别4个方面进行综述。

2 SAR图像目标识别数据集

目前SAR图像目标识别研究采用的数据集主要包括美国国防高等研究计划署(Defense Advanced Research Projects Agency，DARPA)公开的MSTAR(Moving and Stationary Target Acquisition and Recognition，MSTAR)数据集，中国的OpenSARShip数据集和FUSAR_Ship1.0数据集。

MSTAR数据集[8]是由DARPA公开的SAR图像目标识别数据集。该数据集通过高分辨率的聚束式合成孔径雷达采集多种前苏联军事车辆目标的SAR图像。高分辨率的聚束式合成孔径雷达的分辨率为0.3 m。工作在X波段，所用的极化方式为HH极化方式。MSTAR数据集主要是静止的SAR车辆目标图像，为了方便研究不同成像角度对识别算法的影响，数据集包括了不同成像角度的车辆目标图像。为了方便识别算法的训练和预测,该数据集将采集到的数据进行处理，从中提取像素大小为128×128的目标切片数据，并将数据分为训练集和测试集两类。在训练集样本中主要包括成像角度为17°的装甲运输车、步兵战车和坦克SAR图像目标；测试集主要包括成像角度为15°的3类目标，通过不同成像角度验证识别算法的有效性。MSTAR数据集包含一批混合的军事目标切片数据，从类别上看混合的目标切片数据主要是军事应用的各类型车、坦克和不同类型的炮。其主要包括装甲侦察车、装备运输车、推土机、货运卡车；T62坦克和T72坦克；自行榴弹炮、自行高炮。这些目标提供了不同成像角度的SAR图像，主要为后续不同成像角度对SAR图像目标识别算法开展研究。

OpenSARShip数据集[9]是于2017年构建的专门针对SAR图像舰船目标识别的数据集。OpenSARShip包含货船(cargo)、疏浚船(dredging)、渔船(fishing)、客船(passenger)、领航船(pilot vessel)、港口补给船(port tender)、搜救船(search)、油船(tanker)、拖船(tug)、水面飞机(wing in ground)和其他类(other type)共11类舰船目标。OpenSARShip数据集包括有地距检测产品和单视复图像产品两种工作模式下的SAR图像舰船目标，每种工作模式都有VH和VV计划方式。

FUSAR_Ship1.0数据集[10]是由某高校重点实验室支持的高分3号卫星的SAR-AIS开放式对位数据集。高分3号(GF-3)是中国第一台民用C波段全极化星载合成孔径雷达(SAR)，主要用于海洋遥感和海洋监测。FUSAR-Ship数据集是由拟议的SAR-AIS自动配对程序在100多个GF-3场景中构建的，这些场景涵盖了各种各样的海洋、陆地、海岸、河流和岛屿场景，包括5000多种带有自动识别系统(AIS)消息的舰船图像切片以及一些其他类型的海洋目标和背景杂波，用于舰船目标识别。

3 多角度SAR目标识别方法

由于SAR目标对观测方位向的变化十分敏感，MSTAR数据集给出了不同角度的SAR图像目标，因此，对SAR图像目标的多角度识别问题是目前SAR图像识别算法研究的重点，不同的成像角度对SAR图像的识别结果各不相同。文献[11]提出了双向长短期记忆(Long Short-Term Memory，LSTM) 循环神经网络对不同成像角度的SAR图像目标进行识别。首先，该方法将不同成像角的SAR图像目标进行排列组成不同的目标序列，然后，实现Gabor滤波器和三片局部二值化模式，对空间特征进行提取，接下来通过多层感知机进行降维处理，最后，通过一个双向LSTM递归神经网络进行多角度特征融合，并进一步集成分类器来实现目标识别。对10类目标进行识别，其准确率达到99.9%。此外，它的抗噪声和抗混淆性能也优于传统的基于深度学习的方法。文献[12-13]选取3幅相同目标在不同方位角的SAR图像，将SAR图像当作彩色图像的RGB 3个通道的图像输入到网络中进行目标识别。针对多角度SAR图像目标识别问题，文献[14]的特征提取网络主要是由提取单张图像特征的EfficientNet网络和进一步提取多角度SAR图像序列时序特征的BiGRU网络构成。该方法首先使用一组共享权值的EfficientNet网络提取图像序列中单张图像的空间特征(B,L,U)，其中,B为模型训练时的步长，L为图像序列的图像数量，U为单张图像空间特征的维度;然后对图像序列所提取的图像特征序列进行维度变换，得到特征维度(B,L,U)，再送入BiGRU网络提取多角度SAR图像序列时序特征(B,V),其中，V为特征的维度;最后将经过BiGRU网络提取的特征送入全连接层获取最终的输出，得到分类类别,该方法在MSTAR数据上识别准确率明显高于其他多角度SAR图像目标识别方法。文献[15]针对SAR目标角度敏感问题，建立一种改进池化的CNN模型，可以在不影响算法复杂度的前提下，提高卷积神经网络在不同方位角的识别性能。

4 小样本SAR图像目标识别方法

由于SAR图像获取成本较高，目前对于军事目标公开的SAR图像目标识别数据集相对较少，因此，通过小样本数据量进行SAR图像目标识别是目前研究的热点问题。本章总结基于迁移学习的SAR图像目标识别和基于度量学习的SAR图像目标识别方法。

4.1 迁移学习方法的SAR图像目标识别

迁移学习是把已训练好的模型(预训练模型)参数迁移到新的模型来帮助新模型训练。对于给定的源域Ds及其对应的源任务Ts和目标域Dt及其对应的目标任务Tt，迁移学习是通过从给定的源域Ds和源任务Ts中学到相应的知识，从而得到目标域Ds的目标预测函数f(g)。

如何设计及进行迁移学习是迁移学习方法关注的重点问题。一直以来迁移学习作为小样本SAR图像目标识别方法得到了广泛应用。文献[16]先采用MSTAR数据集中3类目标数据集作为源域数据集进行训练，针对3类目标识别任务有监督地训练卷积神经网络，得到预训练模型；然后，通过构建与预训练模型相同的卷积神经网络，将10类MSTAR数据集作为目标域的目标任务，将预训练模型作为目标域的初始参数，对10类目标进行微调训练；实验表明该方法对10类目标的识别精度达到99.13%。文献[17]通过迁移VGG16和ResNet网络进行微调训练形成对比实验，验证了迁移学习在SAR图像目标识别中的应用，提高了MSTAR数据集目标识别的准确率。文献[18]通过电磁仿真出大量SAR图像数据，通过卷积神经网络模型进行预训练，通过预训练权重文件作为初始参数，迁移到实测SAR图像数据进行识别，通过MSTAR数据集验证方法的有效性，识别准确率提高到99.78%。

针对SAR图像目标识别的迁移学习问题，文献[19]从3个方面讨论了SAR图像目标识别的迁移问题：1) 哪些网络和源任务更好地迁移到SAR目标；2) 哪个中间层被迁移的特征更通用于SAR目标；3) 如何有效地在SAR图像识别任务中进行迁移学习。得出的结论如下。1) 即使小数据集在训练更深、更宽的网络时很难找到最优解，但所学习的特征对相关任务更通用，迁移特征就能够帮助相关目标任务找到更好的解决方案。2) 特征的可迁移性受迁移网络的通用性和源任务与目标任务之间的距离的影响，即网络和源任务都对迁移到SAR目标识别任务有影响；光学数据集也有利于SAR图像目标的分类任务，但不能直接迁移，需要以一种方式传递。3) 从不同层的深卷积网络中提取的特征可以分为通用特征和特定特征两类。具有通用性的特征意味着它们能够表示其他数据集，而具有特异性的特征与所选择的数据或任务密切相关。4) 在迁移学习中,为了减少SAR图像目标域与SAR图像源域之间的距离,采用增加域自适应学习的方法，从而提高SAR图像目标识别的迁移学习性能。文献[19]通过在MSTAR和OpenSARShip数据集上进行实验，验证了SAR图像目标识别以上迁移学习的结论，同时采用域自适应学习提高了SAR图像目标识别的性能。

4.2 度量学习方法的SAR图像目标识别

度量学习是人脸识别中常用的传统机器学习方法，它可根据不同的任务自主学习出针对某个特定任务的度量距离函数，通过计算两张图像之间的相似度，使得输入图像归入相似度大的图像类型。度量学习是目前解决小样本分类问题的方法，一般通过孪生神经网络实现度量学习。孪生神经网络模型与传统的网络模型相比主要是判断输入样本的相似度。孪生神经网络不需要知道每个标签的类别，通过数据学习得到一个相似性的度量，并对比新样本的相似程度。以SAR图像目标为例[20]：首先，将两个SAR图像目标样本X1,X2作为孪生网络的输入，通过孪生网络的特征提取得到低维特征GW(X1)与GW(X2);然后，通过某种距离度量方式计算两个输入向量的距离，进而判断两个输入SAR图像目标的相似度EW。具体算法如图2所示。度量学习已应用在SAR图像目标识别中。

图2 孪生卷积神经网络结构Fig.2 Structure of twin convolution neural network

文献[21]针对SAR图像目标识别小样本的问题，首先，采用正负样本对策略对样本数量进行扩充;其次，设计了一种基于度量学习和深度学习的孪生卷积神经网络，来计算样本之间的相似概率；最后，采用加权投票机制对孪生卷积神经网络进行具体类型的目标识别。实验表明，该方法在MSTAR和OpenSARShip数据集上取得了较好的识别效果。文献[22]采用孪生卷积神经网络的方法进行小样本SAR目标识别，首先，该方法通过孪生卷积神经网络进行特征提取；其次，在单支网络提取到特征后增加分类网络训练；最后，通过构造分类器实现具体类型的目标识别。该方法在MSTAR测试数据集上对10类目标进行实验验证，结果表明，该方法可以减小同类目标之间的相似度，增加不同类之间的类间距，从而提升小样本条件下的分类器性能。

5 数据不均衡SAR图像目标识别方法

现实世界的数据通常遵循长尾分布，也就是每类样本的数量通常是不同的。数据长尾分布广泛存在于深度学习目标识别任务中，所谓的数据长尾分布是指训练样本数据中的类别分布不平衡。在训练数据中，由于多数类样本数量明显多于少数类样本数量，在深度学习训练过程中少数类样本的分类器权重更容易受到多数类样本权重的压制，导致训练后的权重失衡，造成少数类样本在识别过程中的错误识别。在SAR图像舰船目标识别中，海面各类型舰船数量各不相同，容易产生数据不均衡现象。例如，海面上货船的数量相对较多，而航母和领航船的目标相对较少，这样就造成数据的不均衡问题。在现有的数据集OpenSARShip和FUSAR_Ship1.0中均存在数据不均衡问题。

针对数据不均衡问题，文献[23]通过批内平衡采样和模型微调的方法，实现数据不均衡问题下的目标识别。首先，将已知的数据不均衡的训练集作为源域，采用批内平衡采样的方法对源域目标进行重新排列和选取，使得源域目标成为平衡的样本数据；其次，对源域目标数据集进行训练，保存样本均衡的训练权重；最后，针对未处理的样本不均衡的目标域数据集进行模型的训练，对源域权重网络进行微调，最终提高目标域的SAR图像目标识别性能。文献[23]提出的批内平衡采样方法首先将源域目标按照类型的标签进行排序，统计源域数据集中每类目标的样本数量Ai(i=1,2,3,…)，将源域数据集中样本数量最多的记为Amax。其次，将源域数据集中每类目标的训练数量记为H；从源域数据集中将每类样本目标随机选取出H个样本作为平衡训练样本。如果源域数据集中的每类样本的数量都大于H，将得到的平衡训练样本随机打乱对模型进行训练;如果源域数据集中某类样本的数量小于H，则需要计算该类样本具有的样本量P与选取的样本量H之间的差值Δ=P-H，再将选取的其他源域数据集中随机剔除Δ个该类样本。然后，通过随机选取的源域数据集中的样本构成数据均衡的训练样本，将均衡的训练样本随机打乱，进行模型的预训练。最后，将训练的权重文件迁移学习到数据不均衡的未知的目标域上进行模型的训练和微调。实验表明，该方法在数据不均衡条件下的识别效果得到了显著提升，优于直接应用传统方法进行训练的识别结果。