基于改进生成对抗网络的图像去噪方法

李思平

摘要：针对在图像去噪领域一些传统方法已无法解决数据维度、數据质量、数据复杂度的问题，本文提出基于改进的生成对抗网络GAN的图像去噪方法。该方法首先给在ImageNet数据集中随机挑选出的原始图像分别加上0.15、0.25的高斯噪声得到带噪声的模糊图像，然后将模糊图像输入到增加了残差网络的生成网络里得到去噪图像，将原始图像和去噪图像一同输入到判别网络里进行训练，训练时采用特定的损失函数来优化训练，最后用峰值信噪比和结构相似性两个指标来衡量该方法与其他方法的去噪结果。实验结果表明，该网络的改进部分不仅解决了用传统方法去噪时容易丢失图像的细节或边缘信息的问题，还提高了图像去噪后的细节特征。

关键词： 图像去噪;生成对抗网络;残差网络;损失函数;细节特征

中图分类号：TP391      文献标识码：A

文章编号：1009-3044（2022）12-0061-03

开放科学（资源服务）标识码（OSID）：

1 引言

过去的图像都比较简单且数据量不会太大，因此用传统方法如Wiener 滤波[1]、中值滤波器[2]、小波去噪[3]等就能很好地处理。虽然传统方法处理速度快且结果与实际也吻合，但随着图像变得更加复杂且多元，这些方法便难以满足如今的要求，因此利用深度学习来处理图像得到快速发展。

基于卷积神经网络[4]（Convolutional Neural Networks， CNN）的图像处理算法是主流之一。CNN具有的权值共享、稀疏连接等优点，但随着卷积神经网络层数的加深，不仅使得训练耗时变得更长且与原始清晰图像相比丢失了许多细节部分，从而给人不和谐的视觉体验。本文针对RGB彩色图像进行图像去噪研究，以原始生成对抗网络GAN[5]为基础，对图像去噪算法进行更深的研究。

2  实现方法

2.1 网络结构

GAN网络的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上即通过生成器G（Generator）和判别器D（Discriminator）不断博弈，进而使G学习到数据的分布，其网络结构和工作过程如图1所示。G以含噪图像（数据集）为输入，输出为去噪图像（假数据）;D以原始图像（真数据）和去噪图像（假数据）为输入，输出为[0，1]，当D训练得足够好时则会给真实图像打出接近1的分数，给去噪图像打出接近0的分数。

在该网络中判别器D给真实图像与去噪图像打分的误差之和构成了判别器整体损失，而该损失的反向传输导致生成器G会产生损失，最大化D的损失以此来最小化G的损失即为GAN网络的训练过程，整体损失函数的数学表达形式如下：[ minGmaxDVD，G=Ex～PxlogDx+Ex～Pzlog1-DGz ]    （1）

其中真实图像对应上式的[x]，噪声图像对应[z]， G生成的去噪图像对应G（z）;V（D，G）相当于表示真实数据和生成真实的差异程度。

2.2 生成网络

生成网络的目的是生成能以假乱真的图像，我们期望将噪声图像输入到生成网络之后，能得的相比真实图像更加清晰且细节和色彩更加丰富的图像。原始的GAN 的网络层使用的是多层感知机网络，这种使用全连接层的网络结构使得训练生成的图片数据质量很差，因此改进的生成对抗网络采用卷积-残差-反卷积的网络结构[6]，如图2所示。

首先三个卷积层（Conv）、批量正则化（BN）和非线性激活函数（Leaky relu）压缩在一起组成卷积模块。其后的残差网络中，每个残差块包含了两个卷积层（Conv）、两个批量正则化（BN）和两个Lrelu激活函数来增加神经网络的深度;在残差网络中还包含了对称结构的跳跃连接，这样使得网络在训练的时候高效并且有更好的收敛性，这些跳跃式连接将输入给更深层，因此每个残余层可以根据输入调整输出，并且保持空间信息。最后是三个反卷积层，每个反卷积层对应于该网络最前面的卷积层，前两个反卷积层的卷积层（Conv）前还有调整大小的图像块（resize）。

2.3 判别网络

判别网络的目的是对假图像（生成器生成的去噪图像）和真实图像进行判别，若网络训练得好则能有效地区分真假图像。判别网络结构比较简单，首先为能输入自定义尺寸的图片判别网络将传统全卷积神经网络中的全连接层替换为卷积层，然后判别网络在此基础上加入了一个自我学习的鉴别子网络，以分辨输入图像的真假，判别网络结构如图3所示。判别网络包含5个卷积层，前四个卷积层由一个卷积层（Conv）、一个批量正则化（BN）和一个非线性激活函数（Leaky Relu）压缩在一起组成，而最后一个卷积层则是采用的线性激活函数（Sigmoid），目的是将判别结果映射到一个正则化在[0，1]之间的可能性分数，输出的数值越高则表明输入图像越接近真实图像，反之则越接近生成器生成的假图像。

2.4损失函数

2.4.1 对抗损失

在原始GAN网络中，损失函数是由生成器的损失和判别器的损失两部分组成的对抗损失，如式（1）所示。

2.4.2 像素损失

在对图像去噪方面，对抗损失虽能改善图像的去噪性能，却会产生高频伪影，因此需加入像素损失函数（Pixel-wise）来对所有像素进行平均，从而达到增强细节的目的。该函数具体采用的是均值平方差（MSE）算法，表达式为：

[Lpixel=Gz-u2]                            （2）

2.4.3 特征损失

在比较两幅看起来十分相似的图像时，若其中一幅图像的某一个像素与另一幅不同或两幅图像采用的分辨率不同，那么像素损失函数会输出一个较大的误差值，因此需要在损失函数中添加特征损失（Feature）函数[7]。将真实图像和G生成的去噪图像同时送入预先训练好的VGG网络进行特征提取之后得到的损失即为特征损失，其表达式为：

[Lfeature=Ez，  x∅Gz-∅x2]                 （3）

2.4.4 改进的损失函数

综上所述，基于原始GAN改进的WGAN损失函数如下：

[Ltotal=λ1Ldisc+λ2Lpixel+λ3Lfeature]                  （4）

其中，[λ1]、[λ2]、[λ3]分别表示各损失函数相应的权重，其可基于实验人为设置。

3  实验结果分析

为了验证基于原始GAN网络改进的生成对抗网络的去噪效果，实验以ImageNet数据集中的3000张具有丰富的纹理及边缘特征的图像为基础，首先将选取的3000张图片分为2000张训练集和1000张测试集并全部剪裁为256×256×3的尺寸，然后给训练集中的真实图像加入方差为0.15和0.25的高斯白噪声，以得到具有不同噪声的噪声图像，最后将真实图像和噪声图像进行横向拼接构成最终的数据集。实验使用的软件为PyCharm Community Edition 2020.2.3 ×64版本，训练批次设置为5，总迭代次数为25k。

损失函数中的超参数[λ1=0.7、λ2=1.0]、[λ3=1.0]，生成网络、判别网络中的各项参数设置如表1、表2所示。

随机挑选4张测试集中的原始图像与经过改进的生成对抗网络去噪后的图像进行对比发现，去噪效果显著、图像细节明显且边缘信息得以保留，如图4所示。训练结果还采用峰值信噪比PSNR（Peak Signal to Noise Ratio）和结构相似性SSIM（Structural Similarity）来衡量，如表 3、表4所示。

对比上表不难发现，无论是何种方法，高斯白噪声的值越大，PSNR和SSIM越小，去噪后图像的质量也更高。在同一高斯白噪声影响下，改进的GAN网络的PSNR和SSIM不仅小于Wiener 滤波和小波去噪两种传统方法，同时也优于原始的GAN网络。

4 结束语

本文基于生成对抗网络GAN对图片的去噪效果优于传统去噪算法，明确提出一种改进的生成对抗网络算法。该算法结合了卷积神经网络CNN能快速提取图像特征的特点，并加入了残差块跳跃连接来保持空间信息，进而显著增强了图像的纹理细节且保留了边缘信息。实验结果图说明，采用改进的生成对抗网络的去噪方法无论是在整体内容上还是具体的细节上，该算法都能取得较好的视觉效果。通过与传统算法Wiener 滤波、小波去噪和原始GAN网络对比，在不同的高斯白噪声下，所提算法的峰值信噪比（PSNR）和结构相似性（SSIM）指标均高于对比算法，从而结果表明，本文提出的基于生成对抗网络的去噪方法WGAN相较于其他对比算法具有较强的去噪效果。

参考文献：

[1] 王瑞，张友纯.新阈值函数下的小波阈值去噪[J].计算机工程与应用，2013，49（15）：215-218.

[2] 陈顺.几种类型图像边缘检测的相关问题研究[D].武汉：武汉纺织大学，2021.

[3] Karlekar V V， Biradar M S， Bhangale K B. Fabric defect detection using wavelet filter [C]//International Conference on Computer Communication Control & Automation Pune， India： IEEE， 2015： 712-715.

[4] LeCun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521（7553）：436-44.

[5] 陳佛计，朱枫，吴清潇，等.生成对抗网络及其在图像生成中的应用研究综述[J].计算机学报，2021，44（2）：347-369.

[6] 王洪雁，杨晓，姜艳超，等.基于多通道GAN的图像去噪算法[J].通信学报，2021，42（3）：229-237.

[7] 王子远.基于改进GAN网络的图像去噪及图像超分辨方法研究[D].重庆：西南大学，2020.

【通联编辑：光文玲】