基于端到端双网络的低照度图像增强方法*

陈清江，李金阳，屈 梅，胡倩楠

(西安建筑科技大学理学院，陕西 西安 710055)

1 引言

在光照不足、背光等环境下拍摄的图像往往存在对比度低、亮度低和颜色失真等问题，这些问题会影响后续图像处理工作。图像增强技术通过提高图像的对比度和亮度，提升图像质量，恢复图像内容，解决低质量图像中存在的问题，具有十分重要的应用价值。

目前，国内外用于图像增强的主流技术主要有4种：(1)直方图均衡化HE(Histogram Equalization)[1]的图像增强算法。(2)基于Retinex理论[2]的图像增强方法，文献[3,4]对Retinex理论算法进行了改进，提出了单尺度Retinex算法SSR(Single Scale Retinex)与多尺度Retinex算法MSR(Multi-Scale Retinex)。(3)Ying等[5]提出的相机重建模型，可获取同场景下不同曝光度的图像，有明显的增强效果。(4)李庆忠等[6]提出的基于小波变换的图像增强算法，有效实现了图像增强与去噪。随着深度学习的快速发展，该技术也被广泛应用于计算机视觉领域。Park等[7]提出了一种自编码网络，以实现低照度图像增强；Li等[8]提出了LightenNet网络，将卷积层与Retinex理论相结合得到增强后的图像；马红强等[9]将色彩空间进行转换，对亮度通道进行增强，从而得到正常曝光度的图像。通过深度学习实现低照度图像增强，其效果显著，说明利用深度学习技术增强低照度图像是可行性。

针对低照度图像增强现存的问题，本文提出了一种基于端到端双网络的低照度图像增强方法。该方法有3个创新点：(1)采用并联网络进行特征提取，并且引入区域损失与结构损失，目的在于捕获深层特征；(2)增加网络宽度，缓解了网络层数增加造成的过拟合；(3)解决了边缘信息丢失问题。利用峰值信噪比PSNR(Peak Signal to Noise Ratio)与结构相似度SSIM(Structural SIMilarity)2项评价指标对本文方法进行性能测试。测试结果表明,本文所提方法优于其他方法，可以显著提高图像亮度与对比度，解决部分现存问题，增强后的图像更加符合人类视觉。

2 相关理论

2.1 残差网络

残差网络是由He等[10]于2015年提出的，其解决了深层网络易造成信息丢失、训练困难等问题。残差模型的引入可以加深网络层数，降低错误率，缓解神经网络梯度消失问题。基本残差结构如图1所示。

Figure 1 Residual learning: A building block图1 基本残差单元结构

该模型可表示为式(1)：

H(x)=F(x)+x

(1)

其中，x表示输入特征，F(x)表示经过2层卷积后的输出，H(x)表示整个残差网络的输出。

2.2 Retinex理论

在Retinex算法[2]中,人眼视觉感知是由物体反射属性决定的，与自然环境中的光照无关。一幅图像由入射分量图像与反射图像分量组成，其理论模型如式(2)所示：

S(x,y)=R(x,y)×L(x,y)

(2)

其中,(x,y)表示像素点坐标，R(x,y)表示入射图像分量，L(x,y)表示反射图像分量，×表示对应像素点相乘。

3 双网络低照度图像增强模型

由于图像特征复杂，信息量多，采用单网络模型难以提取深层次特征。本文所提方法中设计了一种双网络模型结构，缓解了单网络模型层数过深造成的部分信息丢失、神经网络性能饱和等问题。双网络模型是将2个单网络模块并联以增加网络宽度,减少网络层数,缓解过拟合，获得更多特征信息，提升图像的对比度与亮度，最终得到增强图像。

3.1 双网络模型结构

本文的端到端双网络模型结构包含2个子网络：Inception网络模块INM(InceptionNet Module)和URes-Net模块URM(URes-Net Module)，主要分为特征提取、特征融合与特征重建3个部分，如图2a所示。

Figure 2 End-to-end dual network structure图2 端到端双网络模型结构

(1)特征提取：URM中特征提取结构与Ronneberger等[11]提出的Unet模型的类似。在网络模型结构中统一采用3×3的卷积核，在第1和第9层、第2和第8层、第3和7层、第4和第6层以及第5层采用的卷积核数分别为16,32,64,128和256；在第1和第9层、第2和第8层、第3和第7层以及第4和第6层之间采用跳跃链接，防止信息丢失。在INM中采用InceptionNet V1模块[12]进行特征提取，可提高模型收敛速度，其中InceptionNet V1模块如图2b所示，每层卷积核均为16个。URM与INM中每层卷积后都使用ReLU作为激活函数。

特征提取中的卷积计算公式如式(3)所示：

Hi,j=Wi,j*C+bi,j

(3)

修正单元中ReLU激活函数的计算公式如式(4)所示：

Ri,j=max(0,Wi,j*C+bi,j)

(4)

聚合(Concat)操作计算公式如式(5)所示：

Gi=∑max(0,Wi,j*C+bi,j)

(5)

其中,Wi,j表示第i层卷积的第j个分支的卷积核,Hi,j表示第i层卷积的第j个分支的卷积输出，Ri,j表示第i层卷积的第j个分支的修正单元输出，Gi表示第i层聚合操作后的输出，C表示输入特征，bi,j表示第j个分支的第i层卷积的偏置，*代表卷积操作。

(2)特征融合：INM网络采用2个3×3×16卷积核和4个InceptionNet V1进行特征融合；URM采用残差网络进行特征融合。残差学习模型由2个双路径残差块和1个卷积操作组成，双路径残差块由4个3×3卷积与1个1×1的卷积组成，卷积核的个数均为16，每层卷积后都使用ReLU作为激活函数。残差网络如图2c所示。

(3)特征重建：对URM与INM网络模型输出的特征进行聚合(Concat)操作后，再用1个1×1×3的卷积核进行重建，输出正常照度的图像。采用1×1的卷积核是为了减少网络参数，加快模型的训练速度。

3.2 损失函数

针对增强后的图像存在边缘细节丢失的问题，本文提出了一个新的损失函数，由结构损失SL(Structural Loss)与改进的区域损失RL(Regional Loss)组成，如式(6)所示：

L=λ1Ls+λ2Lr

(6)

其中,Ls表示结构损失;Lr表示区域损失;L为总损失;λ1,λ2为权重，λ1=0.75,λ2=0.25。

结构损失可以防止细节丢失，提高模型的泛化能力,具体表示如式(7)所示：

Ls=LSSIM+LMS_SSIM

(7)

其中,LSSIM考虑了亮度、对比度和结构3个方面，使增强后的图像更加符合人类视觉；LMS_SSIM表示多尺度结构相似度损失。SSIM损失和MS_SSIM损失计算如式(8)和式(9)所示：

LSSIM=1-SSIM(X,Y)

(8)

LMS_SSIM=1-MS_SSIM(X,Y)

(9)

其中,X表示增强后的结果，Y表示对应的正常照度图像。

在真实低照度图像中，由于不同区域照度不同，因此不同区域需要的增强程度也不同，区域损失函数可以用来平衡不同区域的增强程度。本文根据低照度图像的实际情况，设置极端低光区域约占40%，弱光区域约占40%，其他区域约占20%。区域损失函数计算如式(10)～式(13)所示：

Lr=μ1×L1+μ2×L2+μ3×L3

(10)

L1=

(11)

L2=

(12)

L3=

(13)

其中，mL1和nL1分别表示极端低光区域的宽和长，mL2和nL3分别表示弱光低光区域的宽和长，mL3和nL3分别表示其他低光区域的宽和长，EL1和GL1分别表示增强图像的极端低光区域和正常图像的对应区域;EL2和GL2分别表示增强图像的弱光区域和正常图像的对应区域;EL3和GL3分别表示增强图像的其他区域和正常图像的对应区域;L1,L2和L3分别表示增强图像的极端低光区域、弱光区域和其他区域的损失;wL1,wL2和wL3为权重，wL1=4,wL2=2,wL3=1。

4 实验结果分析

由于真实世界的低照度图像与合成的低照度图像有一定的差距，因此为了检验双网络模型的性能，在实验中对合成的低照度图像数据集与真实低照度图像数据集进行测试与比较分析。利用本文方法与6种对比方法(MRSCR[12]、Ying等[5]方法、Ren等[13]方法、Li等[14]方法、Guo等[15]方法和Zhang等[16]方法)实现低照度图像增强，运用峰值信噪比PSNR和结构相似度SSIM2项指标进行定量分析。

4.1 低照度图像的合成

在现实世界中获取同一场景中不同曝光度的图像是十分困难的，因此本文从Berkeley Segmentation Dataset公开数据集[16]中选取正常曝光度的图像，然后运用Retinex理论[2]合成低照度图像来模拟真实环境下的低照度图像，其中光照分量R∈(0,1)，并对合成的不同亮度的低照度图像进行90°，180°与270°翻转，共计获得990幅合成低照度图像。从中选取850幅组成训练集，140幅组成测试集。

4.2 实验条件及参数设置

本文采用Keras和TensorFlow2.0深度学习框架与Python3.7环境进行训练与测试，计算机硬件配置如下：CPU 为 Intel Core i7-15750H,主频为 2.40 GHz，内存为16 GB,GPU 为 NVIDIA GeForce 1660Ti(6 GB)。所有输入图像统一裁剪为256×256,3通道；采用Adam优化器，动量参数β1=0.9,β2=0.999；batch_size=2,epoch=5000。0～2 000次迭代设置固定学习率lr=0.001,2 000～4 000次迭代设置固定学习率lr=0.0005，4 000～5 000次迭代设置固定学习率lr=0.0001。

4.3 4种模型实验与结果分析

采用本文所提的双网络模型(Model1)、Inception网络模型分支(Model2)、URes-Net模型分支(Model3)、没有跳跃连接的URes-Net模块(Model4)进行对比实验，4种模型增强后的结果如图3所示，其指标计算结果如表1所示。

Figure 3 Comparison of enhancement images using four models图3 4种模型的增强图像结果对比

Table 1 PSNR and SSIM of four network models

由图3可知，Model1与Model2的增强效果优于Model3的，Model1相比于Model2细节恢复更好，具体表现在墙面瓷砖的细节更加清晰。由表1可以看出，Model1的PSNR值与SSIM值高于其他2个对比模型的，同时也可以看出，不采用跳跃连接的Model4存在伪影与部分细节丢失问题，其指标值远远低于采用跳跃连接的模型。

4.4 不同损失函数的对比实验与结果分析

采用结构损失(SL)、区域损失(RL)以及结构损失与区域损失的5种线性组合(RL+SL)损失函数的增强结果如图4所示，其指标计算结果如表2所示。

Figure 4 Comparison of subjective visual results of enhancement images using five loss functions图4 使用5种损失函数的图像增强主观视觉结果对比

Figure 5 Comparison of subjective visual results between the proposed methodand six contrast methods on synthetic datasets图5 合成数据集上本文方法与6种对比方法增强图像主观视觉对比

从图4和表2可以看出，LS和Lr+LS的增强效果要好于Lr的增强效果，仅采用Lr损失函数增强后的图像存在伪影;Lr+LS损失函数相比于LS损失函数细节恢复上效果更佳，亮度更加自然。当权重λ1=0.75,λ2=0.25时增强结果最优，其指标值高于其它2种组合方式的。

Table 2 PSNR and SSIM using five loss functions

4.5 不同对比方法对合成低照度图像进行增强的结果分析

随机选取4组合成的低照度图像，分别利用本文方法和6种对比方法对选取的图像进行增强，增强后的图像如图5所示。

从图5可以看出，Ren等[13]方法的增强图像与低照度图像相比有一定的增强效果，但从图像的亮度与细节来看与清晰的图像相比还有很大差距。Ying等[5]方法增强后的图像整体偏暗，细节模糊。MSRCR[12]增强后的图像曝光过度，图像整体偏白。Li等[8]方法和Zhang等[15]方法增强后的图像亮度偏低，存在伪影问题。Guo等[14]方法相比于其他几种对比方法增强效果显著提升，但是在细节与亮度等方面依然与真实图像有一定的差距。本文方法中所提网络模型在恢复亮度的同时最大限度地保留了图像的纹理细节，在视觉效果上更加真实自然。

为了从定性和定量2方面评价增强后的图像质量，对上述4幅增强后的图像采用PSNR和SSIM进行衡量,结果如表3所示。

Table 3 PSNR and SSIM of the proposed method and six contrast methods on synthetic datasets

由表3中Image2与Image3的结构相似度可以看出，本文方法与Zhang等[15]方法相比没有明显提升，但总体上本文方法的PSNR与SSIM相比于6种对比方法的有显著提高，说明本文方法在合成数据集上总体优于其他方法。

4.6 不同对比方法对真实低照度图像进行增强的结果分析

为了进一步说明本文方法优于其他方法，以及本文方法在真实数据集上的有效性，从LOL dataset公开数据集[18]中随机选取了5组图像，运用不同方法增强低照度图像，增强后的图像如图6所示。

Figure 6 Comparision of subjective visual results between the proposed method and six contrast method on real dataset图6 真实数据集上本文方法与6种对比方法增强图像主观视觉对比

从图6可以看出,MRSCR[12]增强的图像结果存在曝光过度问题，其中Image3沙发增强后的结果亮度偏高，失真最为明显。文献[5,8,13]3种方法增强的图像亮度整体偏暗，图像边缘轮廓不清晰，其中文献[8]较其他2种方法在Image1增强中表现最差。文献[14]和文献[15]在真实图像数据集上相比其他几种对比方法而言恢复的效果明显有提升，但依然与真实图像有一定差距。本文方法中所提网络模型在低照度图像增强上不仅提升了亮度，而且视觉效果更加真实自然，明显优于其他对比方法。

为了从定性和定量2方面评价增强后的图像质量，对上述4幅增强后的图像采用客观评价指标PSNR和SSIM进行衡量,其计算结果如表4。

由表4可看出,在真实低照度图像数据集上,本文方法的PSRN和SSIM与其他6种对比方法的相比有显著提高，说明本文所提方法在真实低照度图像增强上具有明显优势。

4.7 网络模型性能测试

为说明本文方法中网络模型的效率，记录了本文方法与6种对比方法增强单幅图像的运行时间。其中文献[5,8，13,14]的4种方法基于Matlab环境运行，本文方法、MRSCR[12]和文献[15]3种方法基于Python3.7环境运行。具体时间如表5所示。

Table 4 PSNR and SSIM of the proposed method and six contrast methods on real dataset

Table 5 Comparison of running time between our method and six comtrast methods on different datasets

由于本文方法较为复杂，网络参数较大，因此本文方法相比于文献[8，13]的运行时间有所增加，降低模型运行时间是后续有待解决的问题。

5 结束语

本文提出了一种基于端到端双网络的低照度图像增强方法，通过增加网络宽度防止网络层数过多造成梯度消失、特征丢失等问题。将InceptionNet V1作为特征提取模块，改进了常见网络中的特征提取方式，并将改进的U-Net网络与残差网络相结合，提高了网络利用率。实验结果表明，本文方法中所提双网络模型可以显著提升图像增强后的效果，加快网络模型收敛速度，获得更加符合人类主观视觉的图像。尽管增加网络宽度缓解了过拟合，在一定程度上减小了网络深度，但也导致网络模型变大、参数量增大、训练时间增加。下一步将继续优化减小运行时间，改进损失函数，以获得更好的增强效果。