基于GAN的低照度图像增强算法研究

黄路遥，叶少珍, 2

(1. 福州大学数学与计算机科学学院，福建 福州 350108； 2. 福州大学智能制造仿真研究院，福建 福州 350108)

0 引言

在图像形成、 采集、 传输等过程中受到各种因素影响，从而造成图像质量下降的现象，通常称为图像退化． 在光照不足的夜间、 阴天或光线阴暗的室内环境下，目标物体表面反射光所具有的能量发生衰减，传播到达人眼或相机等成像设备的通量减少，在亮度、 对比度和饱和度等方面都会受到影响． 由于照明度低而无法获取到物体真实的色彩信息和纹理细节，从而导致采集到的图像降质，这类颜色失真、 信噪比和对比度都较低的退化图像，称为低照度图像． 低照度图像通常有着较低的对比度和饱和度，图像整体灰度值较低且动态范围较小，细节信息严重丢失.

图像复原是利用退化图像中的可用信息，建立图像退化模型，复原、 重建得到原始清晰图像估计值的过程． 低照度图像增强是图像复原领域中非常重要的一项研究内容． 针对低照度图像增强这一不适定性问题，各种各样的图像增强算法相继被提出，大致可以分为三类：基于直方图均衡化(histogram equalization，HE)的图像增强方法[1-2]、 基于Retinex的图像增强方法[3-5]以及基于数据驱动(data-driven-based)的图像增强方法[6]． 这些方法虽然取得了一定的图像增强效果，但都存在着种种缺陷与不足.

生成式对抗网络(generative adversarial networks，GAN)[7]已被广泛应用于图像复原领域中，其所迸发出的巨大潜力，也为无监督学习提供了良好的基础． 虽然文献[8]提出了一种循环一致性生成式对抗网络(cycle-consistent adversarial networks，CycleGAN)，采用非配对(unpaired)方式实现了图像到图像之间的相互转换，不再需要一一对应的成对图像，但依然需要至少两类图像数据集来进行学习． 使用GAN来进行低照度图像增强，不仅可以抛开传统方法对于图像先验知识的依赖，引入无监督学习方式，还可以大大降低数据集的收集难度． 因此，本研究提出一种基于GAN的低照度图像增强算法，设计全新的循环式网络架构，引入无监督学习方式，通过减少循环一致性损失和对抗性损失，来更好地估计低照度图像的原始光照图，从而复原出生动、 直观、 清晰、 自然的高质量图像.

1 低照度图像增强算法

1.1 基于数据驱动与无监督学习方式

现有的低照度图像增强算法中，基于数据驱动的方法效果最好，这类方法普遍使用成对的人工合成低照度图像与目标高质量图像组成训练集，来训练神经网络． 由于这类训练集模拟生成的过程中，往往存在一些潜在的不合理因素，人工合成的低照度图像也会存在一些问题，例如有限的颜色和分辨率动态范围的影响等． 因此，使用这类人工合成的数据集来训练网络，并不能够很好地对真实自然的低照度图像进行增强.

为了克服基于数据驱动的图像增强方法的不足，并汲取其优点，本研究引入无监督学习方式，不再使用成对的人工合成训练集，而仅使用低照度图像来训练网络． 这不仅大大降低了训练集的收集难度，而且更有利于对真实自然的低照度图像进行增强.

1.2 低照度图像建模

低照度图像可以建模为如下公式：

(1)

线性变换矩阵t无法直接通过低照度图像得到，需要对其进行估计，可以将t建模为如下公式：

t=αH+ε

(2)

其中：H∈RM×N表示利用低照度图像信息估计得到的中介图，包含了低照度图像中的一些可用信息；α和ε分别表示相关的权重及偏置.

为了以无监督学习方式来有效地对低照度图像进行增强，采用循环式的网络架构，利用循环一致性损失来约束网络收敛． 将建模公式 (1) 重新整理，可以得到图像退化模型公式：

(3)

1.3 权重α与偏置ε参数设置

为了更好地估计低照度图像的中介图，需要对权重α和偏置ε的值进行合理的设置． 经过大量实验，在低照度图像增强问题中，当权重α和偏置ε分别设置为0.8和0.2时，得到的图像增强效果最好，在图像亮度得到足够提升的同时，又不会出现过度曝光的现象.

如图1所示，当偏置ε的值被固定为0.2时，将权重α设置为不同的值，能够得到不同的增强效果． 其中，图1(a) 是一张低照度图像，图1(b) 为图1(a) 唯一对应的高质量目标图像，图1(c) 是使用本研究提出的方法，利用图1(a) 估计得到的中介图H． 在偏置ε被设置为固定数值0.2时，图1(d)～(f) 分别是当权重α被设置为0.4、 0.8、 1.2时，对图1(a) 的低照度图像增强结果，图1(d)～(f) 分别与图1(b)计算得到的PSNR值依次为12.36、 23.53、 19.39． 当权重α被设置为0.8时，低照度图像增强的效果在视觉上最好，得到了最高的PSNR值，最接近高质量的目标图像，整体的亮度得到了适当的提升，图像中物体的轮廓信息和纹理信息得到了很好的复原.

图1 权重α设置为不同数值时的增强效果对比Fig.1 The effects with different weight α

在图2中展示了令权重α的值固定为0.8，当偏置ε被设置为不同的数值时，图像增强效果的变化． 在权重α被设置为固定数值0.8时，图2(d)～(f) 分别是当偏置ε被设置为0.0、 0.2、 0.4时，对图2(a) 的低照度图像增强结果，图2(d)～(f)分别与图2(b) 计算得到的PSNR值依次为6.70、 24.51、 14.63． 当偏置ε被设置为0.2时，低照度图像增强的效果在视觉上感受最佳，得到了最高的PSNR值.

图2 偏置ε设置为不同数值时的增强效果对比Fig.2 The effects with different bias ε

2 基于GAN的循环式低照度图像增强算法

2.1 网络架构设计

图3 循环式低照度图像增强网络架构示意图Fig.3 Architecture of cycle-image enhancement network

2.2 损失函数设计与整合

2.2.1对抗性损失函数

对抗性损失被应用于生成器和判别器中． 由于线性变换矩阵t通常包含各种可用信息，例如大量精细的空间结构信息，但是在同一个目标物体的内部趋于平滑． 因此，对于生成器G和F，本研究加入了两种目标函数，分别为全变差正则化损失函数(TV-loss)和L1正则化损失函数(L1-loss)． 通过最小化这两种损失函数，可以帮助改善对于线性变换矩阵t的估计质量.

对于生成器G，全变差正则化损失函数可以表示为以下公式：

(4)

其中: 通过最小化全变差正则化损失函数的值，可以利用像素间的局部空间连续性，促使中介图中目标物体整体轮廓的内部区域变得更加平滑.

对于生成器G，L1正则化损失函数可以表示为以下公式：

(5)

通过最小化L1正则化损失函数的值，可以限制中介图H=G(IC)与输入低照度图像IC在一定程度上相似，以便将低照度图像IC中所包含的结构信息传递给中介图H． 降低L1正则化损失函数的值对于图像增强的质量至关重要.

对于生成器F，全变差正则化损失函数和L1正则化损失函数的定义方法也类似． 在本研究提出的循环式图像增强网络架构中，针对生成器G和F，其联合损失函数可以表示为相应的全变差正则化损失函数和L1正则化损失函数的线性组合：

(6)

其中:λTV和λL1分别表示全变差正则化损失和L1正则化损失的正则化权重． 经过大量的实验调试，对于低照度图像增强问题，λTV和λL1分别设置为0.000 5和5.0时，能够获得较好的增强效果.

(7)

针对判别器的损失函数LD，生成器G和F会试图令其最大化，而判别器D则会尽量最小化LD． 生成器和判别器互相对抗，共同进步，最终达到纳什平衡点，从而带来更好的图像增强效果.

2.2.2循环一致性损失函数

(8)

图4 增强图像与其二次退化后的低照度图像Fig.4 The enhanced images and their corresponding degraded images

表1 循环一致性损失Tab.1 The cycle-consistency loss

2.2.3整合损失函数

将对抗性损失与循环一致性损失函数进行整合，结合增强公式 (1) 与退化公式 (3)，本研究提出的循环式图像增强网络完整的损失函数可以表示为以下公式：

(9)

其中:λcyc是一个正则化参数，通过改变λcyc可以调整循环一致性损失在完整的损失函数中的权重． 通过大量实验调整，λcyc的值设置为10.0时能够获得较好的增强效果.

2.3 训练集与参数设置

本研究使用HDR&LDRImageDatabase[9]图像数据集作为训练集，在训练过程中，以无监督学习的方式，仅使用低照度图像作为输入.

权重α与偏置ε分别设置为0.8和0.2，全变差正则化损失函数的权重λTV设置为0.000 5，L1正则化损失函数的权重λL1设置为5.0，循环一致性损失函数的权重λcyc设置为10.0． 使用优化器可以让网络更快地收敛至局部最小值，循环式图像复原网络中使用了Adam优化器，一阶矩估计的指数衰减率β1设置为0.9，二阶矩估计的指数衰减率设置为0.999，同时学习率设置为0.000 01.

3 实验结果及性能评价

为了更加全面地对所提出循环式图像增强网络的性能进行评价和分析，选择6种目前常用和经典的图像增强方法，使用人工合成的低照度图像数据集Multi-ExposureImagesDataset(MEID)[6]以及真实自然的低照度图像数据集BustingImageEnhancementDataset(BIED)[10]进行质化评价和量化评价． 其中，文献[1-2]提出的方法属于基于直方图均衡化图像增强方法，而文献[3-5]提出的方法属于基于Retinex的图像增强方法，文献[6]提出的方法属于基于数据驱动的图像增强方法.

3.1 质化评价

首先针对人工合成的低照度图像数据集MEID，使用本研究提出的循环式图像复原网络增强方法以及选取的6种图像增强方法，进行质化评价． 如图5所示，文献[1-2]提出的方法增强能力有限，文献[3]提出的方法增强效果同样不理想，图像信息有所损失． 文献[6]所提方法其图像增强结果依然显得有些昏暗，图像纹理信息也保留不足． 尽管文献[4-5]提出的方法改善了图像的亮度表现， 但增强结果中存在着较为明显的人工处理痕迹和色彩失真． 相比之下，本研究方法增强结果最为接近高质量目标图像，不仅能够有效地对低照度图像暗部区域进行亮度增强并复原出图像的结构信息，而且可以呈现出更为自然的增强图像． 接着，本研究针对真实自然的低照度图像数据集BIED进行质化评价． 如图6所示.

图5 不同图像增强方法在人工合成低照度图像数据集上的增强效果对比Fig.5 Image enhancement performed by different compared methods on synthesized low-light images

图6 不同图像增强方法在自然真实低照度图像数据集上的增强效果对比Fig.6 Image enhancement performed by different compared methods on real low-light images

文献[1-2, 4]提出的方法增强效果不够明显，大部分图像纹理信息依然难以辨识． 而文献[3]提出的方法增强效果略微优于以上3种方法，但增强结果画面依然比较昏暗和模糊． 文献[6]提出的方法将低照度图像的亮度进行了整体的提高，有过度增强的倾向，亮度和颜色都很不自然． 与以上方法相比，文献[5]提出的方法图像增强效果更为明显. 然而，图像中的亮部区域存在严重的过度增强，例如：图6第1行中，窗外的树叶和百叶窗的轮廓已经难以辨识，右下角的黄色方框中可以更加清晰地观察到，室内镜子反射的景象也出现了明显的过度曝光现象； 图6第3～4行中，亮部区域出现了明显的过度增强现象，石块上的纹理信息未能复原完整． 相比之下，本研究所提出的图像增强方法没有出现明显的过度增强，图像中的各种纹理和细节轮廓都比较清晰，图像的亮度和对比度均得到了适度的提升.

3.2 量化评价

为了量化地评估与衡量每种图像增强方法的效果，本研究针对人工合成的低照度图像数据集MEID增强结果，计算峰值信噪比(peaksignal-to-noiseratio，PSNR)的平均值； 针对自然真实的低照度图像数据集BIED增强结果，计算离散熵(discreteentropy，DE)的平均值、 增强测度(measureofenhancement，EME)的平均值以及颜色质量增强值(colorqualityenhancement，CQE)的平均值.

表2展示了不同图像增强方法的增强效果量化评价． 本研究提出的循环式图像增强方法得到了最高的PSNR平均值，这意味着相较于其他方法，本研究的图像增强结果更接近于二次退化前的高质量图像． 同时，所提方法的图像增强结果，在DE、 EME和CQE上均优于其他6种图像增强方法，这说明使用本研究方法进行图像增强的结果包含最多的平均信息量, 有着最优的平均对比度并且物体轮廓最为清晰.

表2 不同图像增强方法增强效果量化评价Tab.2 Quantitative assessment on image enhancement performance of different compared methods

量化评价的结果表明，该方法可以有效地使用无监督学习方式，对人工合成的低照度图像和自然真实的低照度图像进行增强，复原出更为生动、 清晰、 直观、 自然的高质量图像.

4 结语

本研究基于GAN提出了一种循环式图像增强方法，利用循环一致性损失、 全变差正则化损失、L1正则化损失和对抗性损失，引入无监督学习方式，克服了现有基于数据驱动图像增强方法使用人工合成训练集的不足，并取得了更佳的增强效果，能够更好地处理真实、 自然的低照度图像． 所提出网络模型具有一定的通用性与可拓展性，对相应参数进行调整，可以应用于图像除雾、 图像去雨雪等问题中.

致谢: 感谢台湾元智大学资讯学院与多媒体大资料系统实验室陈柏豪教授在研究过程中给予的支持和指导.