改进卷积神经网络的SAR图像噪声抑制算法

冯博迪,杨海涛,张长弓,高宇歌

(航天工程大学航天信息学院,北京 101416)

1 引言

合成孔径雷达是一种主动式高分辨率成像传感器[1],与光学遥感成像不同的是,SAR成像能够不受外界条件的干扰,全天候的对目标进行观测,然而由于SAR图像相干成像的特点,真实SAR图像无法避免的会受到斑点噪声的影响,这些噪声大大降低了SAR图像的质量,并对后续的解译和分析工作造成了极大的困扰。因此,为了更好地推动SAR图像的广泛应用,需要采用合适的去噪算法对图像中的斑点噪声进行抑制削弱。

近几十年来,涌现出了大量关于SAR图像噪声抑制的方法,传统的方法有基于空域滤波的方法和基于变换域滤波的方法。前者是直接对目标图像进行滤波,能够有效抑制均匀区域的噪声,但是其容易受到滤波器滤波核大小的影响,并且在图像去噪的效果和细节保留方面存在折衷情况,二者之间的关系难以得到平衡。后者是将原始信号转移到对应的变换域中进行滤波,再对降噪后的信号进行逆运算得到噪声抑制后的图像。常用的方法有Lee[2]滤波、Kuan[3]滤波和Frost[4]滤波等。变换域滤波一般通过例如傅里叶变换或小波变换[5][6]等方法进行变换,拥有优于空域滤波的效果,但在使用变换域滤波算法时,图像复原后边缘有时会出现虚假信息,即吉布斯(Gibbs)现象,导致图像像素失真,传统的噪声抑制算法均会对图像的边缘信息造成一定的损失。

随着深度学习在各领域的成功应用,为了更好的规避上述问题并获得更好的去噪效果,深度学习被引入了图像去噪领域[7],在深度网络的众多模型中,卷积神经网络(Convolutional Neural Networks,CNN)由其优越的特征学习能力,在图像降噪领域得到了众多学者的青睐。Jain[8]等人使用CNN对自然图像进行去噪,与传统的去噪方法相比,卷积神经网络获得了有更为优秀的去噪效果。Zhang[9]等人提出了一种深度卷积神经网络(DnCNN),该算法由17层的全卷积网络构成,首次将残差学习(Residual learning)和批标准化(Batch Normalization, BN)思想引入图像去噪。DnCNN在图像处理领域做出了巨大贡献,采用了更加高效的残差图像学习方法,通过神经网络计算噪声图像和干净图像的差值,引入跳跃连接,使用输入图像减掉学习到的残差图像从而实现噪声的去除。该网络的实验结果证明,残差学习和批标准化的结合能够有效提升去噪的效果。随后,Chierchia[10]等人采用对数变换的思想变换噪声性质为更易去除的加性噪声,提出了基于CNN的SAR图像去噪方法SAR-CNN。该方法虽然取得了较好的噪声抑制效果,但对数变换过程增加的运算量导致了噪声去除的实际效率较低。

虽然多年来关于 SAR 图像斑点噪声抑制的方法研究取得了非常大的进步,但是人们仍然不断探寻如何在有效抑制SAR图像斑点噪声的基础上,更加准确的保留图像中的细节信息。在使用CNN对图像的噪声进行抑制的过程中,为了得到更好的去噪效果,往往构造比较深的网络,层叠使用卷积层来加强对图像信息的获取,但当网络结构较为深的时候,网络的参数数量较大,网络训练较为复杂,难以对模型进行优化,另一方面较深的网络模型在训练过程中容易发生梯度消失现象,对模型的调优也存在一定的难度,同时会消耗大量的时间和计算资源。因此,针对上述问题,本文在文献[9]的基础上,提出了一种基于Inception结构、非对称卷积结构、残差学习和跳跃连接的卷积神经网络去噪模型,通过实现含噪图像和干净图像的非线性映射关系来提高网络性能。模型的第一层是Inception结构,在该层包含了4种尺度不同的卷积操作来提取更多的特征信息,在第2至16层,层叠使用非对称卷积块,全部采用ReLU激活函数,同时为了加快网络的训练速度,引入了批量归一化操作。最后一层使用一个卷积核来进行非线性映射,并引入跳跃连接,使用残差学习思想来学习残差影像。

在本文的第二部分介绍了文章所使用的方法,包括网络结构,多尺度卷积,非对称卷积块和训练过程,第三部分通过实验验证了本文方法的有效性,并与其它经典去噪方法做对比,突出本文方法的有效性。第四部分对文章进行总结。

2 相关理论

在本节中首先对 SAR图像噪声模型进行了介绍,然后简要介绍了CNN的基本原理。

2.1 SAR图像噪声模型

SAR图像中的斑点噪声是由于雷达目标回波信号的衰落现象所引起的,在进行斑点噪声的噪声抑制算法研究时,经常采用乘性噪声模型对斑点噪声进行描述。相较于传统的高斯噪声而言,斑点噪声的去除更为复杂[11]。

zij=xijyij

(1)

这里zij指SAR图像上第(i,j)个像素的强度或振幅,yij是指服从均值为1,标准偏差σ分布的噪声。图像去噪的过程是从含噪图像中恢复出原始干净图像信息的过程,通过对图像的处理获得与初始图像近似的一个估计值,获得的估计值与初始图像相差越小,模型的去噪效果越好。

2.2 卷积神经网络基本原理

CNN的出现是得到了生物学领域的启示,拥有多层结构,且是一种通过有监督学习获得的神经网络,生物中的神经元只对特定的局部信息有反应,与生物视觉皮层中的神经元相似,卷积神经网络中的每个人工神经元也只对图像的局部特征进行感知,在卷积神经网络中,有权值共享和局部感受野两个重要思想。如图1所示,为经典LeNet-5[12]结构,该结构主要包含卷积层、下采样层和全连接层。

图1 LeNet-5网络结构

图2 Unit-block

CNN的特征提取功能主要是靠卷积层和池化层来实现的,卷积层通过对各区域进行卷积来实现对图像特征的提取。卷积核的具体值可在训练过程中通过学习获得。下采样层主要的作用是降低数据维度,来有效避免训练过程中可能出现的过拟合现象,通过下采样的操作可以有效的减少网络中需要被处理数据的数量,同时保留有用的信息。全连接层采用多层结构,每层都包含大量神经元,可对输入的数据进行分类或回归。

3 基于卷积神经网络SAR图像去噪

对于SAR图像的小样本来说,如何提取和充分利用更多的特征信息至关重要。因此,为了提升网络对图像特征信息的捕捉,实现更为有效的特征提取,更好的得到输入和输出的非线性映射关系,本文构建了如图3所示的网络结构,使用了Inception结构来深度挖掘原始图像,获取更多特征信息,采用扩张卷积的方法来增加模型的感受野,在网络构造过程中交叠使用非对称卷积块来进行特征映射,使用非对称卷积块替换掉传统的方形对称卷积块,在不引入额外参数的同时,来达到提高网络精度和提升网络特征提取能力的目的,使用残差学习思想来学习残差影像,由含噪图像减去学习到的残差影像从而得到干净的去噪图像。

图3 网络结构图

3.1 多特征提取层

Inception[13]网络结构更宽,使得网络可以更好的选择有用的特征。在标准的CNN中,层与层之间通过提取特征信息将输入网络的图像转换成更有用的特征表示,不同类型的层提取获得的特征种类也是不同的[14]。Inception结构的特点是可以采用不同的卷积核对同一个输入进行特征提取,并将提取的结果连接到同一个输出。这样的网络结构有助于从输入图像中获取更多的特征信息,以提高网络模型的训练效果,在对未知的噪声图像进行处理时,获得更好的泛化效果。同时,由于Inceotion模型的卷积网络特征映射的数量增加会增大计算成本,为了避免网络中的参数数量过多,本文的结构只在第一层使用Inception结构,旨在尽可能降低计算复杂度的同时又能增强对原始图像特征信息的获取,增强对输入图像特征信息的利用率,在该层使用3×3,5×5,7×7,9×9这4种尺度不同的卷积核并列组合来提取更多的特征信息,使用非线性Relu激活函数获得每层的输出值,通过concat操作对各个尺度卷积之后的数据进行拼接,同时使用扩张卷积,扩张卷积的主要优点是在不使用池化层的条件下,提供更大的感受野,同时不会引入较为复杂的计算量。在使用过程中,为了避免感受野不连续的问题,采用锯齿型扩张率,使小的扩张率能关注近距离信息,大的扩张率来关注远距离信息。

3.2 非对称卷积模块

在网络的第2至16层,串联堆叠使用非对称卷积模块来增强卷积神经网络的内核骨架,使得网络的特征提取能力得到提升,并通过填充零值,来确保每一层的输出与输入图像的维数相同。非对称卷积块的主要结构如图2所示,将3×3,1×3,3×1三个卷积核卷积运算的结果相加作为最终输出,这种方式使得在进行卷积运算时信息集中于卷积核十字位置的像素,尤其是卷积核的中心位置的像素[15]。利用非对称卷积组增大对信息熵较大位置的信息提取,增强了网络的表达能力。此外,通过这种方式得到的卷积结果不会受到图像水平/垂直翻转的影响。

3.3 残差学习

随着网络深度的增加,在网络模型训练的过程中可能会出现梯度消失的现象,无法有效的调整各层网络的权重,深度网络模型会变得难以训练,网络模型的映射能力逐渐退化,模型的训练效果也会越来越差,为了解决由于网络深度的增加而引起的模型退化问题,ResNet模型中提出了残差模块,通过残差模块构造恒等映射,来增加网络深度。

去噪网络中引入的残差学习思想与残差网络的残差学习不同的是,去噪网络并不是在神经网络层之间增加跳跃连接,而是使网络直接学习输出残差。假设干净图片为x,含噪声图片为y,那有y=x+n,这里的n就是残差,也就是噪声。在网络的学习过程中,通过非线性特征提取,优化残差与网络输出之间的误差,使网络的学习结果与真实SAR图像的噪声分布特征更为相近。再直接使用含噪图像减去学习到的噪声分布图像,达到去噪的效果。

3.4 算法流程

具体的算法流程如图4所示,利用卷积网络对图像进行去噪训练的过程中需要学习含噪图像和干净图像之间映射,而SAR图像本身就是含有斑点噪声的含噪图像,由于SAR图像的斑点噪声可以近似的看作乘性噪声,因此首先对光学图像添加乘性噪声模型形成仿真数据,将仿真图像送入网络模型中,利用损失函数更新网络参数,使网络达到收敛,从而完成对网络的训练。本文算法在训练过程中采用ReLU[16],批量归一化(BN)[17],Adam算法[18]。

图4 用于验证算法的光学图像

测试阶段使用一副真实SAR图像输入网络,通过训练好的网络模型,得到一幅抑制过噪声的清晰图像。

使用平均均方误差(MSE)作为损失函数,具体的表示如下

(2)

式中,L为损失值,R(Li)为网络的输出,Ri为实际残差。

4 实验结果与分析

在这一部分中,主要的工作是把改进的算法应用在仿真图像和SAR图像上展示其运行结果。并与Forst filter、PPB[19]、SAR-BM3D[20]这三种去噪算法的性能进行比较。其中PPB、SAR-BM3D是较为先进且去噪效果较为优越的图像去噪算法。这些算法的参数都根据参考文献中的建议进行设置。

4.1 数据预处理

在本文中使用Train400数据集,添加乘性噪声模型,来用于模型训练,Train400数据集中包含400张尺寸为180×180的不含噪灰度图像,在使用图像进行训练时,为了训练方便,首先将图像划分成为238336张40×40的图像块,同时为了提高网络性能,增强网络的泛化性,在训练过程中对训练图像进行数据增强的操作。使用python里的skimage库对图像添加乘性噪声后将图像输入网络进行训练。实验在64位windows10系统下进行,使用TensorFlow深度学习框架进行网络训练。

本文所用测试集分为两部分,一部分是添加乘性噪声的灰度图像,一部分是真实的SAR图像。添加了噪声水平为L=1,2,4,8的斑点噪声进行训练。在仿真图像实验中,利用峰值信噪比(PSNR)来衡量比对不同方法的去噪性能。PSNR 是一种全参考的图像质量评价指标,两幅图像间的PSNR(单位:dB)值越大,表示去噪后的图像与原始图像的相似度越高,去噪性能越好。在真实SAR图像测试实验中,使用ENL作为图像去噪评价指标。

4.2 仿真SAR图像去噪实验对比

为了验证本文算法的有效性,选择了不同场景的图像来对算法进行验证,用于验证网络的图像来自数据集Set12,具体图像如图4所示。使用峰值信噪比(PSNR)对实验结果进行量化。

本文方法和Forst filter、PPB、SAR-BM3D这三种去噪算法的去噪结果对比图如图5,图6,图7所示。其中图a是原始图像,图b是添加了噪声强度等级L=8 乘性噪声的含噪图像,图c是使用Forst filter方法去噪之后的图像,由这三类场景的对比图可以看出,传统的Forst filter滤波算法去除噪声的能力相对较差,处理之后的图像还明显的残留着一些没有滤掉的斑点噪声。这是由于该算法去噪原理的局限性,使用该算法滤波的结果与滤波窗口的大小息息相关,当窗口较大时会失去边缘纹理细节信息,窗口较小时会使得去噪结果的有效性降低,导致两者之间不能得到有效平衡。图d是使用PPB方法对图像进行噪声抑制之后的效果,PPB算法相较Forst 这种传统滤波算法而言,对相干斑噪声的抑制效果要好很多,但通过观察细节发现,去噪后的图像在边缘处会产生一些伪吉布斯纹理。图e是使用SAR-BM3D方法对图像进行滤波处理之后的结果,SAR-BM3D是将小波变换与非局部均值去噪方法相结合产生的方法,该算法是目前图像去噪领域被广为认可的去噪方法,由图可以看出,该算法较前两种方法而言,去噪效果有了较为明显的提升,但使用该算法处理完的图像局部纹理过于平滑,存在细节纹理信息丢失的情况,图f是使用本文改进的算法进行去噪处理之后的图像。仅从视觉效果看,本文提出的方法都能较好的去除仿真图像的相干斑噪声,去噪之后的图像与原始图像的相似性更高,在细节和边缘方面保留的信息也较多。

图5 去噪算法流程图

图6 不同去噪算法对人物图像的去噪结果图

图7 不同去噪算法对房屋的去噪结果图

针对3种光学仿真图像,4种噪声水平,各算法的PSNR评价指标如表1所示。根据表1可以看到,在大部分情况下,由本文方法得到的去噪图像的PSNR指标均稍高于其它算法,说明本文的去噪方法是有效且较为优越的。通过观察对比数据发现,PSNR值并没有随着噪声水平L的变化而发生较大水平的变化,这也进一步说明了本文改进的算法对噪声变化的敏感性较低。

表1 噪声等级L=1,2,4,8仿真光学图像去噪性能指标PSNR

4.3 真实SAR图像的去噪验证

为了证明本文算法的有效性,本文选取了真实的SAR图像来验证去噪性能。该图像来自于美国国防高等研究计划署(DARPA)支持MSTAR数据集中的一张大场景图像,分别使用Forst filter滤波算法,PPB滤波算法,SAR-BM3D滤波算法和本文使用的算法对真实SAR图像进行去噪处理后得到的图像如图8所示。

图8 不同去噪算法对船的去噪结果图

图9 真实SAR图像的去噪结果图

从各图像的视觉效果看,使用Frost算法的去噪效果依然较差,图像中还存在较为明显的斑点噪声。PPB算法抑斑效果比Frost方法有所提高,但是使用该算法去噪完的图像产生了额外的纹理。SAR-BM3D和本文提出的方法都对SAR噪声有较好的去除,但仔细看使用SAR-BM3D处理完之后的图像还存在一些残留噪声,放大去噪处理过后的图片,发现图像的部分区域存在轻微模糊。而本文提出的算法对SAR图像的斑点噪声进行了有效的抑制,既可以在匀质区域取得很好的平滑效果,对边缘的保持能力也较好,同时图像中的细小的纹理特征信息也得到了保留。且没有额外的纹理生成。

为了能够更好的衡量对比各个算法的去噪性能,使用等效视数(ENL)对实验结果进行量化评价,等效视数是一种衡量均匀区域光滑性的指标,被广泛应用于SAR图像去噪领域。ENL的值越大,表示去噪算法在平滑区域对斑点噪声的抑制效果越好。ENL的计算公式为

在图(a)所示的两个红色匀质区域内来估算ENL的值,从左到右以此为区域1和区域2,各类方法滤波之后的图像的ENL估算结果如表2所示,通过对比发现,本文算法去噪之后的ENL值相较于其它算法较高,这也证明了本文改进的算法的优越性。

表2 真实SAR图像的ENL估计值

5 结束语

为了降低SAR图像中的相干斑噪声且保持图像原本的纹理细节信息,从而提高SAR图像的质量,以便于后期对SAR图像的解译处理。本文提出了一种改进的基于CNN的斑点噪声抑制算法,为了增强网络模型的性能,增强网络提取特征的能力,本文使用非对称卷积模块代替了传统的对称卷积模块,并在网络的第一层引入Inception来增强网络的受野,同时使用扩张卷积操作,采用残差学习结构,并引入批量归一化操作,以便于加速网络的学习过程,同时提高去噪性能。通过实验数据证明,本文改进的用于去除SAR图像的算法,不管在SAR图像仿真算法还是真实的SAR图像上都表现得较好。