改进零参考深度曲线低照度图像增强算法

陈从平,张 力,江高勇,凌 阳,戴国洪

(1.常州大学 机械与轨道交通学院,江苏 常州 213164;2.常州大学 材料科学与工程学院,江苏 常州 213164)

0 引言

低照度环境下获得的图像会包含较高的噪声，且图像存在对比度低，色彩还原不正确，细节丢失等问题，不仅会影响视觉观感，也给后续图像处理带来困难，尤其在机器视觉在线识别、检测、测量等应用场合，所获取的低照度图像因其质量退化会严重影响应用精度，因而需要对低照度图像增强。

目前图像增强方法主要有直方图均衡化及其改进算法、Retinex及其改进算法，基于深度学习的图像增强方法等。其中，王智奇等人[1]提出的基于同态滤波和直方图均衡化的图像增强算法，在频域通过一种单参数的滤波算法，校正了光照，之后通过自适应直方图均衡化算法对HSV色彩空间的调整，提高图像对比度，该方法虽抑制了图像的噪声，提高了亮度，但图像暗部像素信息丢失严重，导致图像信息熵下降；为此，王利娟等人[2]提出了一种基于加权直方图均衡化彩色图像增强算法，通过增加权重参数实现自适应调节图像像素信息，该方法较好的保留了图像的像素信息，但亮度信息恢复不足。赵征鹏等人[3]提出的改进的Retinex低照度图像清晰化算法，将低照度图像从RGB 通道转换到HSV通道，对饱和度分量进行拉伸，对亮度分量进行基于BLPF的改进Retinex增强，该方法注重提高图像的对比度和亮度，而忽略了噪声对于图像细节的影响，甚至放大了噪声。翟海祥等人[4-6]提出的改进Retinex算法虽然在一定程度上降低了图像增强后噪声的影响，但在亮度和色彩信息恢复方面仍存在问题。Ignatov等人[7]提出了一种基于GAN的图像增强方法，通过学习一对内容相同而照度不同图像之间的映射关系来得到增强图像，取得了较好的效果，但成对的图像较少，图像数据集获取困难。因此，Kobyshev等人[8]在前者基础上改进，提出了一种基于GAN的网络模型WESPE，该模型不需要输入图像内容上的对应，而是通过学习低照度与正常图像之间的照度映射关系来增强图像，该方法虽然降低了数据集的获取难度，但其对图像增强的效果比Ignatov等人的方法差。

近年来，弱监督学习被广泛应用在图像增强领域，它不需要输入图像内容上的一致，只需图像数据集中包含不同照度的图像，降低了数据集的获取难度。CHUN LeGuo等人[9]提出了基于零参考深度曲线的弱监督图像增强方法Zero-Reference Deep Curve Estimation(Zero-DCE)。它利用卷积网络构建一个轻量级的深度曲线网络Deep Curve Estimation Network(DCE-Net)来训练像素级的高阶光增强曲线Light-Enhancement Curve-s(LE-curves)，通过LE-curves对低照度图像像素的动态范围调整来增强图像，增强效果优于Kobyshev和Ignatov等人的方法。但由于它是逐像素对低照度图像调整的，因此计算量较大，又因其网络的损失函数固定且网络较浅，在非均匀、低照度情况下对图像增强效果较差。

本文旨在改进Zero-DCE，通过使用轻量化网络MobileNetV2[10]改进其网络结构，在增加网络深度，增强网络学习能力的同时降低了计算复杂度；通过将空间一致性损失值与输入图像的尺寸相关联，统一了不同尺寸图像的增强效果，将颜色一致损失，照明平滑损失值与输入图像的类型相关联，使其在非均匀、低照度情况下达到更好的增强效果；通过使用对称式的卷积结构，对LE-curves训练前后的图像进行处理，解决了图像增强计算量过大的问题。

1 Zero-DCE

1.1 DCE-Net与LE-curves

DCE-Net网络如图1所示，其由7个卷积层通过对称连接组成简单的卷积网络，每层由32个大小为的卷积核组成。通过输入低照度图像，经过DCE-Net网络训练，后经迭代获得一组高阶的最佳拟合LE-curves，用于调整图像每一像素的动态范围，从而将低照度图像增强到其正常光照的水平。

图1 深度曲线估计网络

Zero-DCE提出了一种能够自动将低照度图像映射到其正常光照的LE-curves，并满足以下条件：1)增强图像的每个像素值归一化后在的数值范围内；2)曲线是单调的；3)形式简单，并在梯度反向传播过程中可微分，即：

LE(I(x);α)=I(x)+αI(x)(1-I(x))

(1)

其中:x为像素坐标，LE(I(x);α)为输入I(x)增强后的值，α∈[-1,1]为可训练的曲线参数，用于调整LE-curves的幅度，并控制曝光。LE-curves分别作用于RGB三通道，更好的保留图像原有的色彩，并降低饱和度过高的风险。式(1)可按式(2)进行迭代以提高增强效果：

LEn(x)=LEn-1(x)+An(x)LEn-1(x)(1-LEn-1(x))

(2)

其中:n为迭代次数，An是与输入图像尺寸相同的参数图。设局部区域中的像素具有相同的强度和相同的调整曲线。

1.2 零参考损失函数

零参考深度曲线低照度图像增强算法通过提出可微分的零参考损失函数用来评估增强图像的质量，实现了在DCE-Net中零参考学习。零参考损失函数包含空间一致性损失函数、曝光控制损失函数、颜色恒定性损失函数和照明平滑度损失函数。其中， 通过空间一致性损失函数Lspa可控制增强后的图像与输入的低照度图像在空间上保持一致性：

(3)

其中:K是局部区域的个数，Ω(i)是以区域I为中心的四邻域，Y为增强后图像局部区域像素的平均强度值，I为输入图像中局部区域像素的平均强度值。

通过曝光损失函数Lexp来控制图像中曝光不足的部分：

(4)

其中:M为不重叠部分区域的个数,Y是增强图像中部分区域的像素平均强度值，E为正常曝光水平像素的强度值[11-12]。

每个传感器通道中的颜色在整个图像上平均值为灰色[13]。通过制定颜色恒定性损失函数Lcol来校正增强后的图像中可能存在的颜色偏差，此损失分别作用于彩色图像的3个通道：

Lcol=Σ∀(p,q)∈ε(Jp-Jq)2,ε={(R,G),(R,B),(G,B)}

(5)

其中:Jp表示增强图像中p通道像素值的平均强度值，(p,q)为一对通道。

通过照明平滑度损失函数LtvA以保持相邻像素之间的单调性关系，使图像亮度平滑：

(6)

其中:N为迭代次数，▽x和▽y分别表示水平和垂直梯度运算。

2 改进算法

原DCE-Net由七个卷积层组成简单的CNN,网络层数较浅，虽然在一定程度上降低了网络训练的成本，但较浅的网络学习能力有限，导致对光线复杂的图像增强效果差。而若过度地增加网络深度，易使网络过拟合且浪费大量的计算资源。MobileNetV2 轻量化网络的优势在于将普通卷积替换为深度可分离卷积，同时加入了线性瓶颈和倒残差结构来避免信息损失。极大降低模型参数量和计算量，提高了模型精度，增强了网络的泛化能力。本文将轻量化网络MobileNetV2与DCE-Net融合并优化参数：将深度可分离卷积和点卷积替换掉传统卷积，使得减少网络模型计算复杂度的同时保证模型精确性。

2.1 MobileNetV2-DCE

与传统卷积方式不同，深度可分离卷积是一种可分解的卷积操作，其可以分解为深度卷积和点卷积两种更小的卷积，其中，深度卷积通过在各个输入通道使用不同类型的卷积核，相比标准卷积将卷积核作用在全部的输入通道的方式，其卷积效率明显提升；逐点卷积与普通卷积相同，但其卷积核大小始终为1×1。融合深度可分离卷积后的轻量化深度曲线估计网络(MobileNetV2-DCE)结构，它包含11个卷积层，具有对称跳跃式连接，每层均使用大小为3×3的卷积核。

本文通过将MobileNetV2[15]的瓶颈层扩张系数t的围限制在1～6，而不是原本的固定值6，实现了较好的控制网络规模，使得网络结构更加灵活，避免了因为固定的扩张系数导致瓶颈层输出通道可能过多，使得网络计算量过大和参数增加过快的情况出现。图2为本文的MobileNetV2的瓶颈结构。

图3 改进网络参数图

图2 改进的MobileNetV2的瓶颈结构

图3展示了MobileNetV2-DCE的详细网络结构和参数设置。它包含11个卷积层，具有对称跳跃式连接，每层均使用大小为 的卷积核。其中Conv_1，Conv_10由64个卷积核构成，Conv_2，Conv_9由128个卷积核构成，Conv_3，Conv_7，Conv_4，Conv_8由256个卷积核构成，Conv_5，Conv_6由512个的卷积核构成，第11个卷积层由24个卷积核和Linear激活函数构成且步长为1，它为迭代生成曲线参数映射，每次迭代需要3个3通道的曲线参数映射(即RGB通道)，当输入为灰度图像时将只计算一个通道的值。其中，第零层为下采样层，不参与图像的特征提取，仅控制输入MobileNetV2-DCE图像大小的一致性。生成LE-curves后，利用和第零层具有相同大小卷积核的反卷积结构，将高阶曲线特征图映射到输入图像的大小，使得LE-curves可直接作用于输入图像。此对称式卷积结构避免了过度卷积使得原图细节丢失，也解决了原算法增强大尺寸低照度图像计算量过大的问题。

从Conv_1到Conv_11为MobileNetV2-DCE的11个卷积层， Conv_12卷积层用于获取更多图像参数特征。考虑到深度可分离卷积DW(Depth-wise)卷积只能用于提取特征，没有改变通道数的能力。在前一层通道数较少的情况下，DW卷积只能在有限的低维空间提取有限的图像特征，容易过拟合，导致网络学习效果差。而点卷积PW(Point-wise)能够提升通道数，使得DW卷积能够在相对高维的空间提取特征，提高特征的提取率和效果。因此本文通过在Conv_1,Conv_3,Conv_4,Conv_6,Conv_7,Conv_9层中搭配使用DW-PW的卷积方式，改善了特征的提取效果。并且本文通过在Conv_2, Conv_5, Conv_8, Conv_9, Conv_10层用PW-DW-PW的卷积方式，在提升高低为空间特征提取的同时，避免了在PW卷积降维后使用ReLU6激活函数破坏特征。

2.2 改进零参考损失函数

图像经下采样卷积后尺寸减少，卷积后图像的每一像素值对于原图像像素值是在卷积核作用下加权的结果，故每一像素值所占权重减小。且不同大小的卷积核会导致不同的增强效果，因此本文将空间一致性损失函数式(3)更改如下，统一了不同尺寸图像的增强效果。

(7)

其中:d为卷积核的大小。

通过将式(3)按式(8)修改，降低了卷积后单个像素值对空间一致性损失函数的影响。同时通过引入参数d，将卷积核的大小考虑进空间一致性损失内，避免了因为采用不同大小卷积核而导致的效果差异。

卷积后的图像，整体图像的灰度级并未改变，因此本文保留式(4)曝光控制损失函数的定义。同时CHUN LeGuo等人[9]在实验中发现通过将E设置在[0.4，0.7]内，无明显性能差异，因此本文将E设置为中间值0.6。曝光控制损函数为:

(8)

为了更好的适应复杂色彩图像下的细节还原与不同图像数据输入，经实验后本文将颜色不变损失调整为：

Lcol=∑∀(p,q)∈ε(Jp-Jq)c，ε={(R,G),(R,B),(G,B)}

(9)

其中:C∈[0,3]为控制参数，通过控制C的大小，能够更好的还原复杂彩色图像的细节；而对于灰度图像，调节C的取值，可以在图像灰度值大小和细节还原上达到更好的平衡。p和q在灰度图像中变成同一像素点。

考虑到增强后的图像的应用场合，如目标检测，图像识别等，需要更多的细节纹理信息。因此通过将照明平滑度损失改为可调的如下，以适应不同的任务需求。

(10)

其中:t为可调参数，经实验后，本文将其限制在(1,3]。

总的损失可表示为：

Ltotal=Lspa+Lexp+WcolLcol+WtvALtvA

(11)

其中:Wcol和WtvA是损失权重参数。

在MobileNetV2-DCE网络训练的过程中，通过网格搜索法来确定各损失函数中的可调参数的值，并将搜索的步长设置为0.2，达到消耗计算资源与增强效果上的平衡。

3 实验结果及分析

实验在Inter(R)Core(TM) i9-9900k CPU @3.6 GHz，内存为32 GB，显卡为Nvidia RTX 2080Ti，操作系统为Windows10教育版(中文)的平台上进行。本文算法以及对比算法均采用Python编程实现，编程软件PyCharm采用Community2021.2版本。实验所用的图像数据集选取LOL(Low-Light Dataset)，它由500个低照度和正常光照图像对组成。

3.1 实验验证与分析

3.1.1 增强效果一致性实验

本文通过对比同一图像的不同尺寸样本在增强前后差异，来验证改进后空间一致性函数对不同尺寸图像增强效果的一致性，如图4所示。

图4 不同尺寸图像的增强效果对比

其中，a(1)为像素的图像，a(2)为像素的图像，其内容相同。b(1)和b(2)分别为a(1)和a(2)在MobileNet-DCE + 式(3)增强后的图像，c(1)和c(2) 分别为a(1)和a(2)在MobileNet-DCE + 式(7)增强后的图像。表1更直观的展示了空间一致性损失函数改进前后图像增强效果的差异。

表1 改进前后各样本增强效果对比

改进前b(1)和b(2)在信息熵、峰值信噪比(PSNR)和对比度差的绝对值分别为0.099 2，0.168 9，0.000 7，改进后c(1)和c(2)在信息熵、PSNR和对比度差的绝对值分别为0.021,0.001 3,0.000 2。对不同尺寸增强效果的差异性在3个参数化评价指标上分别降低了78.8%,99.2%,71.4%。表明了改进后的空间一致性函数对不同尺寸图像增强效果的一致性要优于改进前。

3.1.2 计算复杂度实验

本文通过使用MobileNetV2轻量化网络 Zero-DCE进行优化，将深度可分离卷积和点卷积替换掉传统卷积，减少网络模型计算复杂度，按式(12)计算深度卷积与普通卷积在计算量上的比值：

(12)

其中:DK×DK为卷积核的尺寸，M为输入通道大小，N为输出通道大小，DF为特征图的高和宽。输入特征图尺寸为DF×DF×M，输出特征图尺寸为DF×DF×N，输入与输出特征图尺寸一致。当DK=3，M=512，N=512，DF=14时，表2为普通卷积与深度可分离卷积的计算量对比。深度可分离卷积相较于普通卷积每层计算加法减少约88.7%,参数量减少约88.6%。

表2 普通卷积与深度可分离卷积的计算量对比

训练时结合迁移学习[14]技术对MobileNetV2-DCE模型进行训练，预先加载在LOL(low light dataset)数据集上训练好的DCE模型权重作为MobileNetV2-DCE模型前4层的初始值，模型后6层参数进行随机初始化。DCE模型训练时占用显存为2 783 M，本文算法模型训练时占用显存为367 M，显存占用减少约88.6%。

3.2 可视化分析

从公开低照度图像数据集LOL数据集中选取四幅低照度图像，数据集包含500个低光和正常光图像对组成，图像分辨率为400×600。选用直方图均衡化算法[16-18]，多尺度Retinex图像增强算法[19-22]，零参考深度曲线低照度图像增强算法(以下简称深度曲线算法)和本文算法在图像增强可视化效果上进行对比，可视化结果如图5所示。

图5 各算法图像增强可视化效果对比

由图6所示，本文选取了四幅不同照度的低照度图像，从样本一到样本四图像的照度依次提升。样本一为室内书房图。该图像整体色彩单一，以黑白为主色调，场景最简单，主要考察各个算法对图像整体照度的还原情况。可以明显看出直方图均衡化算法存色彩严重偏移,失真问题，而多尺度Retinex过度的增强了图像对比度，使得图像噪点较多，也存在较为严重的偏色，深度曲线算法较多尺度Retinex算法整体色彩还原准确，但整体画面亮度不足，本文算法整体明亮,墙壁、空调、书画容易观察到,包含的信息更多,亮度也更好。

样本二为低照度厨房图。该图像整体色彩单一，场景简单，但厨具部分在原图中几乎消失不可见，和暗光环境融为一体，主要考察各个算法对图像暗部照度的还原情况。可以明显看出直方图均衡化算法依然存在严重的偏色问题,图像整体偏暗，灶台细节未能还原,多尺度Retinex 算法亮度提升不错，但也增加了过多的噪点，深度曲线算法虽然改善了图片视觉效果,整体符合人眼特性颜色还原较为准确,但整体仍偏暗,细节显示不够清晰，本文算法颜色还原较好，图像整体亮度适中，灶台暗部细节得到还原。

样本三为家具图。该图色彩简单，场景较为简单，照度相较于样本一和样本二有所提升，但家具上的纹理较为复杂，主要考察各个算法对图像暗部细节与色彩的还原情况。可以明显看出直方图均衡化算法依然偏色,噪声很大,多尺度Retinex 算法,强调了局部,整体细节没有显示，且图像曝光度过高，出现了光晕，深度曲线算法图像色彩和细节得到还原，但亮度过低，部分暗部区域增强效果不明显，细节没有还原，本文算法整体亮度提高,色彩和细节也被体现出来，但在这幅图像中存在少许偏色。

样本四为桌面的一角。该图色彩复杂，场景复杂，但照度相对较好一些，主要考察各个算法对图像暗部细节与色彩的还原情况。可以明显看出直方图均衡化算法处理后图像中间亮度提高，边缘较暗，整体亮度不足,视觉效果不佳,对于多尺度Retinex算法,玩偶和其他物品细节有所体现,但亮度过于增强导致图像泛白，色彩退化严重，深度曲线算法色彩还原较好，但亮度过暗，虽保留了玩偶色彩但部分暗部细节丢失，而本文算法在色彩和亮度上的到了折中的表现，即色彩还原校准，亮度增强合适，暗部细节也得到了还原。

总之，算法一(直方图均衡化算法)颜色信息恢复不准确，其增强的样本一和二颜色整体偏绿，而算法二(多尺度Retinex)过度的增强了图像对比度，导致其增强的样本二和三噪点较多。算法三(深度曲线算法)较多尺度Retinex算法色彩还原准确，但整体画面亮度不足，其增强的样本在亮度信息上恢复不准确。经本文算法增强后的样本整体明亮, 包含的信息更多,亮度信息也更好，例如样本一中的墙壁、空调颜色信息恢复准确,样本三中凳子的暗部细节和样本四中毛绒玩具的颜色都得到了较好的恢复。

3.3 参数化分析

采用信息熵、PSNR和对比度3个参数化评价指标将本文算法与另3种算法进行对比，处理对象依然为图6所述四类样本。图6直观的展示了本文改进算法在信息熵，PSNR和对比度上较直方图均衡化算法，多尺度Retinex和深度曲线算法的优势。

图6 各算法图像增强后信息熵、PSNR、对比度的值

为了更直观的比较本文算法较其他3种算法在信息熵，PSNR和对比度上的数值提升，表3计算了4种算法在四类样本上的平均增强效果。

表3 各算法增强效果在四类样本上的平均值

由表3可以看出,本文算法在信息熵，PSNR和对比度比3个重要评价指标上都优于其他3种算法。其中，本文算法较深度曲线算法信息熵提高了0.860 8，表明本文算法处理后的结果还原了原图像更多的信息；峰值信噪比提高了3.430 4，表明降噪明显；对比度提高了0.002 9,表明整体图像更清晰。本文算法较好的还原了低照度图像的丢失的细节，色彩，亮度，说明了本文对原有深度曲线算法改进的有效性。

3.4 增强图像在目标检测中的表现

本文选取了两幅待检测的低照度图像，分别用直方图均衡化算法、多尺度Retinex算法、深度曲线算法和本文算法对其增强，通过在不同增强算法下检测出的目标个数的差异来评价增强算法的优劣。目标检测算法采用YOLOV3，训练集选用VOC2007数据集，目标检测结果如图7。

图7 各算法图像增强后目标检测效果

表4列出了样本五和六在YOLOV3目标检测算法下检测出的目标数。

表4 各算法检测出的目标数

图7可以看出,样本五中的手机、闹钟等小物体和样本六中马路边缘的行人，远处的车辆因图像亮度较低，且包含较多的噪点，未能被检测出，经各算法增强后目标检测数均得到提高，而本文算法检测出的目标数优于其他3种算法，说明了本文算法在实际应用中的优势。

4 结束语

本文基于零参考深度曲线网络改进的低照度图像增强算法。通过使用轻量化网络MobileNetV2改进其网络结构，在增加网络深度、增强网络学习能力的同时降低了计算复杂度；通过改进损失函数，使其在峰值信噪比、对比度上和信息熵上达到了更好的增强效果；通过使用对称式的卷积结构，使其在面对大尺寸低照度图像时也能有较好的表现，对比分析实验证了本文对原算法改进的有效性。