基于DCGAN的图像增强方法

程远航 余军

（贵州大学科技学院 贵州省贵阳市 550003）

1 引言

随着移动设备和拍摄设备的普及，普通用户也可以方便的获取大量照片及图像，但是由于普通用户对拍摄技能不专业，在光照条件、拍摄场地较差以及运动环境等因素的影响，非常容易产生低照度、模糊等效果差的图像。为使这些图像还原清晰，需要进行一定的处理。传统的方法有直方图均衡化、基于小波变换的图像增强、基于偏微分方程的图像平滑等方法。区别于这些单图像对比度增强的算法，深度学习方法在增强图像方面也有很好的效果，尤其使用改进的卷积神经网络并加入残差学习的方法获得了很好处理效果。本文将研究GAN即生成对抗性网络的方法来增强图像。生成对抗性网络模型由Generator（生成模型）和discriminator（判别模型）两个子模型组成，两个模型间相互对抗，使得模型参数能变得尽可能的好。利用这个特性，可以把该方法用于图像的增强。

图1：GAN结构示意图

2 DCGAN模型

GAN是一种深度学习的模型，它两个相互对抗的模型（Generator和discriminator）来完成学习产生数据样本。Generator不断更新网络使discriminator无法分辨出生成真伪，而discriminator也不断更新网络提高判别能力。训练GAN就是一场博弈，Generator试图在欺骗discriminator时变得更优，而discriminator也在尽可能判别真假图像中变得更好。GAN的结构如图1所示。

图2：DCGAN图像增强模型

图3：Generator架构

图4：Discriminator架构

图5：处理结果对比

图6：颜色失真对比

图7：模糊修复对比

DCGAN模型是GAN的改进模型，是一种带深度卷积神经网络的GAN模型。DCGAN最大的优势就是使用了conv（卷积层），卷积神经网络对图像分类有最佳的效果。DCGAN模型的生成网络G接收一个随机噪声z，通过噪声生成图像G(z)。判别网络D接收一张图像x，输出D(x)，表示图像x是真实图像的概率。DCGAN的数学模型公式（1）所示：

Pdata(x)是真实的图像数据分布，pz(z)是生成网络G产生的图像数据分布。模型的目标是通过训练，调整生成模型参数增大D(G(z))的值，同时调整判别模型增大D(x)使得D(G(z))减小，最终使两个模型达到一个均衡点。

3 基于DCGAN的图像增强模型

整个网络由Generator和discriminator组成。Generator完成图像的增强功能，discriminator反馈增强效果。整体架构如图2所示。

Generator架构如图3所示，它是基于ResNet的卷积神经网络。

图中包含了dense层即全连接层和reshape层，4个ResBlock，每个ResBlock包含一个上采样层（upsampling），一个卷积层（conv），一个批标准化层（batch normalization）和一个激活层（ReLU）。最后，Tanh表示双切正切激活。

Discriminator模型的网络架构的中间隐层处理卷积层外还使用LeakyReLU弱修正线性激活函数，并加入了Dropout方法的归一化层。Dropout可以是神经网络单元在训练中按一定的概率暂时将其从网络中丢弃。使用Dropout归一化层会减少每层迭代的时间，加快参数速度的更新。另外还增加了泛卷积zeropadding（零填充），其可以有效控制图像大小，最后使用Sigmoid激活函数输出。其结构如图4所示。

图8：特殊曝光不足图像处理对比

4 实验分析

本文使用了Cai等人提供的多曝光图像数据集和GOPRO数据集中的3000多张模糊图像和其所对应的清晰图像，另外还增加了部分来自网络和自己采集的图像。实验所用开源人工神经网络库Keras，epoch为500次，图像尺寸调整为900*600pixel。通过模型后的亮度不足的图像对比结果如图5所示。低照图像亮度很低，图像很暗，经过模型修复后图像亮度提高，对比原始参考图像效果可以乱真。

对颜色失真的图像处理结果对比如图6所示。原始图像色彩中青色成分过多，修正后图像黄色也成分提高，青色减少，最后比参考图像的对比度略高，提升效果也很明显。

对模糊图像实验对比如图7所示。修复后效果明显提高。

对拍照过程中即有亮又有暗图像，需要对暗的区域进行增强，同时需要降低被2次增强了的过亮区域的情况。本文采用方法对图像中亮的区域有一定的过多增强，但是不影响视觉，对比LightenNet和MDIIN两种也属于深度学习的基于CNN的方法，其亮度过度增强，已经影响图像的视觉效果。如图8所示。

5 结论

本文研究了一种基于DCGAN的图像增强方法。改进了传统Unet作为生成模型，使用了ReLU和LeakyReLU作为中间层的激活函数，并加入了带归一化的Dropout方法和zeropadding零填充，依靠两个模型在训练中的相互对抗，使整个模型获得更好的处理图像增强的能力。同最终实验分析，表明本文的方法具有生成更清晰的图像，更好实现图像增强的目标。