基于谱归一化生成对抗网络的目标SAR图像仿真方法

孙智博，徐向辉

(1.中国科学院空天信息创新研究院,北京 100094； 2.中国科学院大学,北京 100049；3.中国科学院电子学研究所,北京 100190)

0 引 言

近几年来，深度学习在图像识别领域取得巨大成功。在进行合成孔径雷达(SAR)自动目标识别(ATR)课题研究时，建立一个完备的包含感兴趣目标的SAR图像数据集，对于提升算法鲁棒性有很大帮助，但是获取实测SAR图像的过程昂贵且耗时。由于缺乏完备的真实SAR图像标注数据集，仿真SAR图像在SAR ATR中起到了非常重要的作用。

齐彬等人[1]根据SAR图像特点，提出了一种SAR图像仿真方法，并设计出了OpenSARSIM模拟器，但是该方法只对目标进行成像，不包含任何场景信息，并且仿真结果与真实图像存在很大差距。任苗苗等人[2]利用射线追踪法生成高分辨率的建筑物仿真SAR图像，但是该方法计算复杂。Liu等人[3]将OpenSARSIM模拟器的仿真图像与MSTAR数据集中的图像背景进行融合，再利用融合图像训练GAN，生成仿真SAR图像。但融合图像中缺乏对阴影区信息的描述，也未对仿真结果与真实SAR图像进行相似性评估。Cha等人[4]利用一种基于深度残差的卷积神经网络(Convolutional Neural Network, CNN)对仿真SAR图像进行优化，使仿真SAR图像更加逼真，并将仿真数据与MSTAR数据集中真实数据混合，训练分类网络，但并未尝试使用GAN对仿真SAR图像优化。

为了生成可以直接应用于SAR ATR任务中的高质量仿真SAR图像，解决数据稀疏问题，本文提出一种基于SN-GAN的SAR图像仿真方法。为了说明仿真算法的有效性和准确性，本文选取一些典型目标(T-72、BMP-2和BTR-70)进行仿真。首先构建出目标—场景—雷达耦合物理模型；然后利用改进的OpenSARSIM模拟器求解得到散射强度分布图；最终利用SN-GAN对散射强度分布图进行优化得到仿真SAR图像。SN-GAN由散射强度分布图作为输入，真实SAR图像作为标签训练得到，但是由于SAR图像本身获取难度大，本文使用总采样率为6%的少量真实SAR图像训练SN-GAN，再将仿真结果与MSTAR数据集中对应方位角的真实SAR图像进行相似性评估，最后通过多组SAR ATR进行实验验证，在训练集中加入SN-GAN优化后的仿真SAR图像可以有效缓解数据稀疏问题，提升分类算法的准确率。本文方法整体流程如图1所示。

图1 本文方法整体流程图

1 目标-场景-雷达耦合物理模型构建

1.1 场景设置

在雷达波束倾斜照射目标与场景时，目标遮挡的部分场景以及目标的部分背面无法接收到雷达信号，在SAR图像上呈现为阴影。OpenSARSIM仿真得到的散射强度分布图为单通道灰度图，其目标区域灰度值较高，阴影区域灰度值为0。为了在散射强度分布图中区分场景、目标和阴影区域，将场景设置为平面，场景材质参数设置为0，得到的场景区域灰度值接近127。

1.2 耦合物理模型参数设置

仿真目标是由不同部件组成的，各个部件的材质可能存在一定区别，不同材质的反射特性不同。原OpenSARSIM模拟器将目标所有部件设置为相同的材质，故对其做出改进，将每种部件的材质参数写入到三维模型的材质文件中，并在程序中做出相应改进，对目标的材质参数进行独立设置。需要设置的参数包含材质参数和雷达参数。材质参数包含相对介电常数和相对磁导率，设置数值参考原OpenSARSIM模拟器。雷达参数包含俯角、中心频率和带宽等。上述参数用于第2章的散射强度分布图计算。

1.3 目标模型装配

该步骤将目标装配到场景中，对目标的方位角进行自适应调整。设置合适的方位角，使得目标朝向给定的方向。至此，耦合物理模型构建完成。图2给出了目标模型装配效果图和方位角示意图。

(a) 装配效果图

(b) 方位角示意图

2 散射强度分布图计算

2.1 高频电磁散射计算

OpenSARSIM模拟器的高频电磁散射计算部分主要采用了物理光学法(Physical Optics, PO)和增量长度绕射系数法(Incremental Length Diffraction Coefficients, ILDC)。利用PO近似求出目标面元的散射分量，以及利用ILDC近似求出目标棱边元的衍射分量。目标后向散射系数σSUM可由上述PO分量σPO和ILDC分量σILDC相干叠加得到：

σSUM=σPO+σILDC

(1)

2.2 消隐以及投影映射

利用OpenGL(Open Graphics Library)的Z-缓存(Z-buffer)算法对耦合物理模型进行消隐，得到仿真SAR图像的阴影区域。OpenGL执行图形计算成像时，将三维模型投影至成像窗口，耦合物理模型中被遮挡的面元将被消除。所以，雷达俯角以及目标的方位角变化都会导致SAR图像阴影区域变化。

2.1节中计算得到的散射中心分布在三维空间内，需要将其投影至方位向-距离向平面，并在投影过程中考虑到相邻分辨单元的影响，采用SINC函数进行卷积，得到带宽有限的散射强度分布图。

3 图像优化

散射强度分布图的目标区域图像质量与目标模型的精度有关，尤其是其表面条件。在研究环境中，通过精准测量观测目标，可以不断提升模型精度。然而，在大多数实际应用场景中，上述做法可行性较低，有以下2点原因：1)为场景中的每个目标建立精确物理模型的经济成本过高；2)SAR的重要应用之一是监测非合作目标。在真实环境中，目标表面可能涂覆或者生锈，导致其表面材料电磁散射特性有所不同，而物理模型无法准确地反映该类变化，所以散射强度图的目标区域会存在一定误差。

由于在1.1节中将场景设置为平面，导致散射强度分布图的背景区域呈现灰色，因此，OpenSARSIM得到的散射强度分布图与真实SAR图像对比存在很大的差距。近几年来，全卷积网络[5]、GAN[6]网络模型在图像的超分辨处理[7-9]、语义分割[5，10-11]以及图像翻译[12]等方面被广泛研究应用。尽管两者灰度值存在一定差异，但两者本质上仍具有相似的图像结构，可以采用生成对抗网络优化散射强度分布图从而生成最终的仿真SAR图像。

3.1 生成器

本文采用U-Net[13]结构来构建SN-GAN中的生成器，生成器结构如表1所示。

表1 生成器结构

表1中LReLU、ReLU和Tanh分别表示Leaky ReLU、ReLU和Tanh激活函数，Conv和DeConv分别表示卷积操作和转置卷积操作，BN表示批标准化。

该生成器本质上是一个编码器-解码器(Encoder-Decoder)模型，模型中对称的编码器、解码器之间使用残差连接(Skip Connection)，该模型结构可以在非常少量的数据集中进行有效的端到端的训练[14]。模型输入为128×128像素大小的单通道散射强度分布图，经过网络的前7层下采样得到图像的高层语义信息，再经过7层上采样输出最终的仿真SAR图像。网络中的H×W×C分别表示每层输出特征图的高度、宽度以及通道数量。

3.2 判别器

GAN网络性能很大程度受限于判别器的稳定性。本文的判别器是一个简单的5层嵌套卷积神经网络，判别器模型结构图如图3所示。

图3 判别器模型结构图

为了保证优化效果，在判别器中引入了谱归一化(Spectral Normalization, SN)[15]方式对卷积核权重施加Lipschitz约束：

(2)

其中，x、x′表示模型输入，f(x)、f(x′)表示模型输出，M是一个常数。谱归一化防止判别器的参数变化过于剧烈，保证网络在反向传播时梯度被限制在一定范围内，提升GAN网络的稳定性，并且在该过程中还不会破坏卷积核的结构。判别器中Leaky ReLU、Sigmoid激活函数以及批标准化(Batch Normalization， BN)操作均满足Lipschitz约束要求[16]。若要整个判别器满足Lipschitz的约束要求，只需将每一层卷积核参数除以该层的卷积核参数矩阵的谱范数。但是，求解谱范数过程中涉及矩阵奇异值分解，可以采用幂迭代法(Power Iteration)近似求解，加快运算速度，达到谱归一化目的。

3.3 目标函数

cGAN(conditional GAN)的目标函数可以表示如下：

LcGAN(G,D)=Ex,y[logD(x,y)]+

Ex,z[log (1-D(x,G(x,z)))]

(3)

其中，x、y、z分别表示输入、标签(真实数据)和噪声，生成器G试图极小化目标函数，而判别器D试图极大化目标函数，G(x,z)代表生成器生成的伪造数据。D输出一个置信度,即当D输入为标签时输出趋近1，当D输入为伪造数据输出趋近0，当判别器无法判断数据是标签还是伪造数据时，D输出趋近0.5。

GAN通过轮流训练生成器和判别器，使判别器辅助生成器生成与标签一致的伪造数据。当G参数固定时，D目标是极大化损失函数，当输入数据是分布在真实样本空间中，D(x,y)趋近1，输入数据是分布在伪造数据空间中，D(x,G(x,z))趋近0，此时LcGAN(G,D)趋近0。如果D(x,G(x,z))不为0，就会使得公式(3)后半部分为负数，这样无法保证LcGAN取到最大值;当D参数固定时，只有公式(3)后半部分与G有关，而G试图让D将伪造数据误认为真实数据，即D(x,G(x,z))趋近1，那么LcGAN将无限地逼近负无穷。此时最优的生成器为：

(4)

在GAN的目标函数中引入一些传统损失函数可以使得训练效果更好，比如L1距离。L1距离可以确保图像低频分量的正确性。这样，判别器的目标保持不变，而生成器不光要欺骗判别器，而且还要在L1距离的定义下不断贴近真实图像。

LL1=Ex,y,z[‖y-G(x,z)‖1]

(5)

SN-GAN将cGAN的目标函数以及L1距离进行组合，最终的目标函数是：

(6)

其中，λ表示权重因子，本文中取值120。

在本文第5章表4中，对SN-GAN和未添加谱归一化的GAN优化后的3种目标的仿真SAR图像相似度评价指标最大值、均值和最小值做出量化对比，对比数据显示，SN-GAN优化后的仿真结果更接近真实SAR图像。

4 仿真结果

本文首先参照了MSTAR数据集的SAR参数对OpenSARSIM模拟器的仿真参数进行设置，得到BMP-2、BTR-70和T-72的散射强度分布图，并将MSTAR中俯角17°下的数据样本从1°开始，以10°为间隔对方位角进行等距采样(采样过程中若遇到某个方位角的真实数据不存在的情况，此时选择距离该方位角最近的数据)，加入训练集作为标签。3类目标共采样108张，约占MSTAR俯角17°下的数据总数的6%(108/1622)。本文的SN-GAN是一种监督式学习过程，所以本文在训练SN-GAN时，将108张MSTAR真实SAR图像作为训练标签，对应的108张散射强度分布图作为输入。

本文实验采用Pytorch深度学习框架。在训练过程中，设置batch size为32，训练800 epoch后SN-GAN收敛。生成器和判别器均采用Adam优化器，初始学习率设置为0.0002，超参数β1=0.5,β2=0.999。SN-GAN训练完成之后，将俯角17°下剩余94%的数据和俯角15°下的全部数据组成测试集。SN-GAN实验的训练集和测试集设置如表2所示。

表2 SN-GAN实验的训练集和测试集设置

为了展示SN-GAN在俯角和方位角上的泛化能力，本文选取测试结果中俯角15°下BMP-2、BTR-70和T-72的SN-GAN测试结果进行展示，如图4(a)、(b)、(c)所示。每组图像方位角从8°开始，间隔为30°，范围为[8°,338°]。

(a) BMP-2

(b) BTR-70

(c) T-72

将测试集中的俯角17°下相同方位角的散射强度分布图、SN-GAN优化后的仿真SAR图像和MSTAR真实SAR图像进行对比，对比结果如表3所示。可以发现，相比于未经优化的原始仿真图像，SN-GAN优化后的仿真SAR图像与MSTAR真实SAR图像更为接近，目标区域以及背景区域的亮度更为真实，质量较高，并且生成了斑点噪声。由于耦合物理模型对于真实目标的描述精度不足所导致的误差以及OpenSARSIM模拟器存在的仿真误差可以通过SN-GAN得到一定程度的修正。

表3 BMP-2、BTR-70、T-72的仿真图像与真实SAR图像(俯角17°)

5 相似度评估

为了评价本文算法仿真的SAR图像与MSTAR数据集中对应的真实SAR图像的相似度，本文选取了特征相似度[17](Feature Similarity, FSIM)、信息内容加权的结构相似性[18](Information Content Weighted Structural Similarity Measure, IW-SSIM)和梯度幅度相似性偏差[19](Gradient Magnitude Similarity Deviation, GMSD)3种评价指标。FSIM将相位一致性作为其主要特征，将图像梯度幅度作为其次要特征。两者相互补充，度量了图像所有频率分量的相位相似度以及图像的对比度特征相似度；IW-SSIM则评价了图像在不同尺度下基于信息加权的亮度、对比度和结构相似性；GMSD计算了图像之间的梯度幅度相似度图，然后将梯度幅度相似度图的标准差作为衡量准则。FSIM和IW-SSIM均为归一化评价指标，分数越高表明2张图像越相似，其中，IW-SSIM中卷积核窗口参数设置大小为5×5，标准差为0.3。而GMSD分数越低，则表明2张图像之间的相似性偏差越小，图像越相似。

表4对GAN和SN-GAN优化后的散射强度分布图与真实SAR图像的相似度作出对比，选取MSTAR俯角15°下的BMP-2(587张)、BTR-70(196张)和T-72(582张)的数据进行评测。从评价指标来看，可以看出SN-GAN的仿真效果优于GAN。并且SN-GAN优化后仿真SAR图像的FSIM、IW-SSIM分数分布在70%左右，GMSD分数也分布在0.14左右，表明仿真图像的散射点强度分布和阴影区域很接近真实SAR图像。

表4 GAN和SN-GAN优化结果(俯角15°)相似度对比

6 SAR ATR实验

近几年来SAR ATR研究火热，有许多相关的研究基于MSTAR数据集。为了验证在稀疏数据集中添加本文的仿真SAR图像可以有效地提升分类准确率，本文在AlexNet[20]、VGG16[21]以及ResNet-18[22]这3个分类网络上，对BMP-2、BTR-70和T-72这3类目标的SAR图像进行分类实验。

6.1 数据预处理

所有分类实验的训练集均为俯角17°下的数据(包含真实数据和仿真数据)，设置如表5所示。所有分类实验的测试集保持一致，均为俯角15°下的BMP-2(587张)、BTR-70(196张)和T-72(582张)的MSTAR真实数据，共1365张。

表5 分类实验训练集设置

稀疏数据集(即第4章中SN-GAN的训练集的标签)、完备数据集分别考察分类网络在数据稀疏、数据完备情况下的测试分类准确率。扩充数据集1～扩充数据集3均在稀疏数据集的基础上添加了新样本。扩充数据集1用于考察添加普通数据增广(随机旋转、随机水平翻转、随机垂直翻转)方法生成的新样本对测试分类准确率的影响，随机旋转角度范围控制在10°以内；扩充数据集2、扩充数据集3用于考察添加传统方法的仿真图像、SN-GAN的仿真图像(即第4章中SN-GAN在俯角17°下的测试结果)对测试分类准确率的影响。

6.2 实验结果

在所有分类网络训练过程中，为了防止杂波干扰，本文将输入图片进行了中心裁剪，裁剪后像素为60×60。在训练过程中并未使用其他数据增广手段。同种分类网络的每次实验参数均保持一致，训练至网络收敛进行测试，深度学习框架采用Pytorch。表6对比了用5个不同数据集训练的3个经典分类网络的测试准确率。在该对比试验中，本文只关注使用5个数据集训练同种分类网络所带来的分类准确率差异，而不关注分类网络之间的准确率优劣。

表6 不同数据集训练经典分类模型的测试准确率

可以直观地发现，在数据稀疏情况下，使用扩充数据集1～扩充数据集3训练分类网络，都能带来测试分类准确率的提升。扩充数据集3训练的3个分类网络的测试分类准确率明显高于数据集2。因此，SN-GAN得到的仿真SAR图像相比于传统方法仿真结果更加接近于真实SAR图像，从而可以进一步提升测试分类准确率。而且，本文提出的SN-GAN仿真方法，相较于传统的数据增广方法，分类准确率提升更高，可以很好地解决SAR数据稀疏导致网络泛化能力差的问题。本文提出的仿真方法还可以快速地生成任意方位角的仿真SAR图像，有效地完善SAR图像数据库，这点是传统数据增广方法无法做到的。

7 结束语

本文构建了耦合物理模型，尽可能利用模型特征，得到散射强度分布图，并利用6%的真实数据训练SN-GAN，最后通过SN-GAN对散射强度分布图进行优化，得到高质量目标仿真SAR图像。在图像相似度评估和SAR ATR实验阶段，验证了本文仿真SAR图像与真实SAR图像具有较高的相似度，并且在数据稀疏情况下可以直接改善SAR目标分类准确度，一定程度上缓解数据稀疏问题。但是，本文的方法也存在很多不足之处，比如并未考虑复杂场景下的SAR图像仿真，并且一定程度依赖真实SAR图像作为SN-GAN的训练数据。