基于生成对抗网络的SAR图像降噪模型

解 涛， 郭建胜， 张晓丰， 顾涛勇， 赵博欣

(空军工程大学，西安 710000)

0 引言

合成孔径雷达(Synthetic Aperture Radar,SAR)是雷达发展中应用广泛的一种，其有在全时间段、全气候条件下对地球表面进行成像观察的能力。然而,由于SAR系统自身的成像机理就是借助目标物众多随机散布的雷达微波进行矢量叠加成像，是一种相干成像系统，所以经常会被斑点状噪声所污染。含有大量噪声的SAR图像给后续的图像分割、识别等造成困难，影响准确率。

在去除SAR图像相干斑噪声的方法中，利用局部统计的方法对SAR图像进行估计，从而达到抑制相干斑噪声的滤波器[1-3]都有较为不错的去噪效果。1994年，文献[4]提出了硬阈值和软阈值的小波降噪算法降噪方法，这是一种变全域滤波技术；同时，软阈值的降噪效果要优于硬阈值。之后，软阈值的小波降噪算法[5]在各类图像的降噪上均有应用；2008年，文献[6]针对空域滤波法对细节处理不够好的缺点，采用非局部均值法，利用块与块之间的相似度，设计出的三维匹配块算法(Block-Matching and 3D filtering,BM3D)对相干斑噪声的抑制有着不错的效果；2009年，文献[7]结合Contourlet变换和小波降噪算法相关知识设计了更适合SAR的噪声抑制算法。

近年来，随着深度学习的不断发展，深度学习在分类[8]、检测[9]相关的各种应用中表现出良好的性能。由于深度学习不需要人工干预便可自动提取相关特征，SAR相干斑噪声抑制的相关研究学者便开始将深度学习应用于SAR图像噪声抑制。卷积神经网络(Convolutional Neural Networks,CNN)由于自身网络结构特点被广泛应用于图像处理，因此就有了专为SAR图像噪声抑制而设计的CNN[10]，其与传统方法相比，降噪效果更好。近年来，研究人员加大了深度学习在SAR图像噪声抑制上的应用，尤其是改进CNN以达到降噪的目的。CNN模型的性能通常取决于其配置调整网络的方式，包括网络深度、每个深度中的单元数量、非线性函数的形式、使用的优化器类型，以及超参数(如学习率、衰减率等)[11]。2014年，文献[12]设计了使用对抗博弈策略来训练生成模型的生成对抗网络(Generative Adversarial Networks，GAN)的模型，这种网络模型的提出给研究者们提供了一个新的训练模型的思路，得到了图像、语音等领域的广泛研究，有着巨大的应用前景[13]；2015年，文献[14]将CNN作为GAN的生成器组成新的架构深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Networks,DCGAN)，一定程度上弥补了GAN训练不稳定的不足，但还是存在模型训练困难的问题；2016年，文献[15]设计出残差网络(Residual Network,ResNet)应用于图像处理，ResNet在加深网络层数提升性能的同时又一定程度缓解了模型训练时梯度消失的问题；2020年，文献[16]将残差网络加入到GAN的生成器网络中，在图像修复质量上有着良好的表现。

经典的降噪算法往往是以牺牲图像分辨率为代价来提升降噪效果，并且对图像细节的保留效果不是很好。以深度学习为代表的算法存在模型训练难度大的问题，而且要提升训练效果往往需要大量的训练时间。

受到这些研究的启发，本文将ResNet中的残差块加入GAN网络中构成Re-GAN，在提升降噪效果的前提下，既缓解了梯度消失的问题，又缩短了训练时间，并针对SAR图像相干斑的特性，设计了新的组合损失函数，用以提升降噪效果。

1 基本原理

1.1 生成对抗网络

博弈论中的非合作博弈均衡为GAN提供了创造源泉，其网络模型主要是由生成器和判别器两部分组成的。生成器G的目标是尽可能地捕获数据分析特征，学习真实数据集的分布情况；而判别器D的目标则是尽可能正确判断输入来源。目标函数为

minGmaxDV(D,G)=Ex～pdata(x)[lgD(x)]+Ez～pz(z)[lg(1-D(G(z)))]

(1)

式中：x为真实图像;pdata(x)为真实数据分布；Ex～pdata(x)为服从pdata(x)分布的x的数学期望；pz(z)为噪声分布。这里的生成器是通过学习真实数据的概率分布，然后，令产生数据的分布概率尽可能去靠近真实数据的分布概率，从而达到模拟真实数据的目的，就是一个寻找非合作博弈均衡的过程[12]，GAN网络结构如图1所示。

图1 GAN网络结构Fig.1 Structure of GAN network

1.2 残差网络

残差网络是由人脑的神经元学习得到启发从而搭建的，本质是通过跳跃学习来减少学习的难度,其思想是通过学习残差函数代替学习完整函数，降低学习难度，并且通过更深的网络层数来提升整个网络的性能，其中，恒等映射使网络结构随着深度增加而不退化。残差块结构[15]如图2如示。

图2 残差块结构Fig.2 Structure of residual block

2 基于GAN的SAR图像降噪模型

Re-GAN是采用GAN对抗结构设计出的一个对SAR图像降噪的网络模型。对于一幅带有噪声的SAR图像，首先要学习出关于低噪声SAR图像像素点的分布情况，进而对SAR图像的噪声进行比较和抑制。

2.1 生成器网络结构

SAR图像降噪处理的目标是生成去噪后的图像，因此在不丢失底层干净图像的细节信息的前提下，生成器应该尽可能地去除噪声。因此，降噪效果好坏的关键在于设计一个良好的生成器网络结构[17]。

生成器网络结构采用了相对称的结构，与经典的CNN框架较相似。这种网络结构的生成器可以直接从成对的噪声图像和原始图像中学习到它们之间的映射关系。为保证模型训练的稳定性和效率，在生成器网络结构中加入残差块，残差块的跳跃式连接在保证训练质量的前提下大大提升了效率。

生成器网络结构如图3所示。生成器网络结构的第1部分是由3个卷积块构成，其中，K表示卷积核大小，N表示输出的通道数，S表示步长，卷积层、BN(Batch Normalization)和Leaky ReLU激活函数被压缩其中。生成器网络结构的第2部分是由3个残差块构成，在各个残差块中都包含了2个卷积层、2个BN,以及2个Leaky ReLU激活函数。残差块的加入使得网络在训练学习时有比较高的效率并且有更好的收敛性。在训练过程中，残差块的跳跃式连接不仅能将输入传送给更深层的网络，而且保证了残差块根据输入去调整输出的同时依旧可以保持空间信息不损失。在最后的网络结构中是3个反卷积块，各个反卷积块与生成器网络前面的卷积块一一对应，达到还原图像的目的。

图3 生成器网络结构Fig.3 Network structure of the generator

2.2 判别器网络结构

为了优化生成器，加入了一个能够对生成器监督的判别器网络,其主要作用是分辨输入图像的来源是真实数据集，还是生成器产生的假的数据,然后反馈结果给生成器，让生成器进行自我调整。

图4所示为判别器网络结构。

图4 判别器网络结构Fig.4 Network structure of the discriminator

图4中，判别器网络结构中设置了5个卷积块，前4个卷积块都是由卷积层、BN和Leaky ReLU激活函数3部分组成的，这4个卷积块主要作用是学习输入图像的特征。最后1个卷积块是由卷积层、BN和Sigmoid函数构成的，其主要是要将结果映射到一个正则化在[0,1]之间的可能性分数，做到对输入图像的判别功能。

2.3 损失函数

在神经网络的训练过程中，损失函数是极其重要的一个组成部分。为满足SAR图像降噪的需求，Re-GAN将原始GAN的损失函数进行重构，设计出一种新的组合损失函数，使得处理后的图像细节保留较好。

首先，将像素损失函数(Euclidean Loss/Pixel Loss)加入其中，它是通过比较降噪后图像和原图的各像素点之间的差异，然后，用正确的颜色去填充噪点来达到减少噪声的目的。假设给定一个图像对(X,Y)，其中,Y是降噪处理后的图像，X是对应的真实图像，则其定义式为[18]

(2)

式中：φG是从生成器G中学习到的参数；W，H分别表示图像的长与宽。为保证去噪后的图像与原图像在全局结构上有更好的一致性，将感知损失函数加入其中，其定义式为[19]

(3)

式中，V表示卷积层，用来做特征提取器。原始GAN中的对抗损失函数亦尤为重要，对抗损失函数(Adversarial Loss)就是将具体的生成问题转换成生成器G和判别器D关于值函数V(G,D)的极大极小化相博弈的问题，定义式为

(4)

本文网络模型的总体损失函数为L，由像素损失、感知损失和对抗损失3种损失函数按照不同的权重进行组合而成，即

L=λaLA+λpLP+λeLE

(5)

式中，λa，λp，λe为预定义的权重值；LA代表对抗损失；LP代表感知损失；LE代表像素损失。

3 实验对比与结果分析

3.1 实验条件

在16 GiB的Intel®CoreTMi7-10875H 的CPU 上进行实验。使用MATAR数据集中的D7-SAR图像数据集，该数据集包含城市、农村、高山等不同场景。本文主要选择了其中关于城市场景的260幅包含人工建筑物的图像集。

选取了2种传统算法与Re-GAN进行对比实验，选择的对照实验的方法有小波降噪算法[20]和BM3D算法[21]。对于SAR图像降噪的评价性能指标，选择了峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性指数(Structural Similarity,SSIM)[22]和平均绝对误差(Mean Absolute Error，MAE)。

PSNR的计算原理是计算处理前后图像对应像素点之间的误差，可以很灵敏地察觉到误差。其算式为

(6)

式中：(i,j)为像素点的位置；Xmax表示图像点颜色的最大数值。

SSIM用于测量图像与图像间的相似程度，符合人的视觉感受，算式为

(7)

MAE是来计算预测值与真实值之间误差绝对值的平均值，算式为

(8)

式中：n表示像素点数量；xi和yi分别为X与Y的像素点的值。

3.2 结果分析

图5显示了建筑SAR图片降噪结果。

图5 建筑降噪图像Fig.5 Denoising images of buildings

由图5可以清楚看出，本文Re-GAN算法在减少噪声和保留细节方面都优于其他2种算法。小波降噪算法降噪后的图像一定程度上减少了噪声，但细节保存不好，图像中房屋的烟囱被平滑掉部分细节;BM3D算法降噪后的图像在一定程度上降低了噪声，但斑点噪声仍有残留。

表1给出了3种算法在 PSNR和SSIM等评价指标的得分。

表1 SAR图像仿真噪声降噪结果Table 1 Noise reduction results of SAR image simulation

由表1可以看出，本文算法的PSNR指标，比小波降噪算法、BM3D算法分别提升12.7%和11.4%，SSIM指标分别提升10.4%和7.6%，在计算时间上也要优于小波降噪算法和BM3D算法。

4 结束语

Re-GAN是一种基于GAN对SAR图像去噪的网络模型。采用残差块来加深生成器网络深度，提升了对SAR图像的降噪效果。同时,跳跃连接的方式缓解了梯度消失的问题并缩短了训练时间。针对SAR图像的特性，设计出一种新的组合损失函数，处理图像后的细节保留得比较好。

Re-GAN分别与小波降噪算法、BM3D算法进行了比较，可视化结果表明，Re-GAN对SAR噪声图像具有较好的去噪能力，降噪后的图片纹理细节也可以得到很好的保留；与小波降噪算法和BM3D算法相比，Re-GAN在PSNR与SSIM指标上都有一定幅度的提升。然而，训练出来的Re-GAN只能对某一类别的SAR图片进行降噪，今后将继续研究如何改进模型提升学习能力，最终能对所有类别的SAR图像进行降噪。