基于GAN生成对抗网络的图像去噪及去噪原理的探究

梁威鹏 洪盛伟

摘  要：把高频的噪声在傅里叶频谱上和低频的图像很好地分离开。通过一系列高频滤波的理论与技术，达到图像降噪的目的。该文提出了一个基于GAN思想的编码（encoder）-解码（decoder）架构来解决图像去噪的问题。网络由判别网络和生成网络组成，半监督学习从噪声图像到去噪图像的端到端的映射。在生成网络中，在全卷积的情况下，噪声一步步地被消除，最后得到去噪图像。

关键词：图像去噪  GAN  神经网络

中图分类号：TP39   文献标识码：A            文章编号：1672-3791（2019）05（a）-0026-02

在城市夜景拍摄或者星空拍摄中，会产生大量的噪点，这是由于高ISO和弱光散粒形成的随机噪点。图像噪点很大一部分原因是感光元件造成的。例如照片曝光度不足、采取了过高的ISO值等都会导致图像噪点的增多。

根据傅立叶定理，任何一个信号都可以由简谐波相加得到。因此，一个信号可以分解成由多个频率的简谐波相加。组成信号的单个简谐波，被称为信号的一个分量。通过傅立叶变换，可以得到一个信号的不同频率的分量。将各个频率分量的强弱通过图形表示出来，可以得出信号的频谱。如图1是图像处理领域里经典的一张图像，其信号值可以用它的黑白分量代替。右边是该图像对应的傅里叶频谱。明暗程度表示频率分量的振幅强弱。X轴、Y轴分别对应表示图像x方向的频率和y方向上的频率，值得注意的是，频谱的中心位置亮点表示的是低频信号的分量强弱，频谱边缘及四周表示的是高频信号的分量强弱。

对该图像加入随机噪声，我们发现，在图像里，出现了很多和原图像混在一起的小颗粒效果，这些“小颗粒”正是最直观的图像噪点的体现。此时，观察噪点图像的傅里叶频谱图可以发现，频谱非中心区域明显变亮，这说明图像中的高频分量有所增强。由此，可得出噪点正对应着图像中的高频分量，而原图像对应着图像中低频分量的特性。噪点在空间上原本与原图像混合在一起，难以去除。然而根据上述特性，我们可以把高频的噪声在傅里叶频谱上和低频的图像很好地分离开。运用数学原理，建立合理的数学模型，即通过一系列高频滤波的理论与技术，达到图像降噪的目的。

近几年来，针对这个图像处理的经典任务，有关研究人员发表了数千篇论文。在这些论文里，有利用偏微分方程思想，例如全变差法，还有从几何学理论角度将图像看做多维度空间处理等，提出了各种有效且精妙的数学思想。

在去噪任务中，有许多绝妙的数学原理被提出，其中小波理论和稀疏表征取得了重大突破。其他的精彩理论还包括非局部均值（NLP）和贝叶斯估计等。如图2所示，左边是原始图像。中间是图像增加了STD=100的高斯噪声污染，右边是由BM3D算法[1]实现的去噪图片。

小波滤波虽然是目前图像降噪的常见方法，但随着ISP影像处理器的AI化，越来越多的深度学习方面的算法，被应用到后端图像处理上，来弥补因传统感光元器件在夜景拍摄、自动美化方面的缺陷而造成的图像噪点。传统的图像降噪方法是根据图像噪声类型的不同设计不同的滤波器，才能对图像进行降噪。其局限性便体现在需要设计不同算法来针对不同的图像噪声。如果算法设计不当，则会造成画面变得过度平滑、细节信息丢失、对比度和质感降低、颜色溢出、饱和度降低等问题[1]。

该文根据上述基础，提出了一个基于GAN思想的编码（encoder）-解码（decoder）架构来解决图像去噪的问题。网络由判别网络和生成网络组成，半监督学习从受损图像到原图像的端到端的映射。判别网络主要由多层卷积层和反卷积层构成，负责特征提取，捕获图像内容的抽象信息，判断输入图片中是否含有大量噪声。相对应的，生成网络中也采取了卷积层和反卷积层用来恢复图像细节，同时提取并消除噪声。除此之外，网络中还加入了残差网络。我们通过向模型输入一个带有噪声的图片，在输出端给模型没有噪声的图片，让模型通过卷积自编码器去学习降噪的过程[2]。

在判别网络中，卷积层（conv）的特征图与跟其对应的反卷积层（deconv）特征图进行跳跃连接。对应像素直接相加后经过非线性函数激活层（可以是relu等激活函数），所得结果输出到下一层。这样做的目的是解决在深层网络的情况下梯度弥散的问题。跳跃连接同时也加快了网络的训练过程，使反向传播（BP）的梯度更大。

在生成网络中，在全卷積的情况下，噪声一步步地被消除。经过每次卷积后，噪声信息减小，图像内容的细节虽可能会随之丢失。但由于有判别网络的存在，可以鉴别图像的“真假优劣”，生成网络最后的输出结果会保留主要的图像内容。并且在生成网络中也加入反卷积层，用来补偿细节信息。通过我们的去噪网络，可以达到良好去噪效果的同时较好地保留图像细节。网络的架构如图4，其中判别网络和生成网络均为如图4结构。

解决图像去噪这个经典又困难的问题，还有很长的路要走。降噪一直是图像视频处理领域很基础、很热门的问题，虽然其有数以千计的论文的理论研究，但其基于深度学习的降噪技术却极少在实际产品中有效地应用，这方面的研究还需继续深入开展。

参考文献

[1] 张力娜，李小林.基于图像分解与边缘检测的图像去噪方法[J].咸阳师范学院学报，2014，29（2）：22-25.

[2] 王海武.基于生成对抗网络的语音增强方法研究[D].南昌航空大学，2018.

[3] 杨大为.生成式对抗网络GAN及应用[J].信息系统工程，2018，294（6）：83-84.