基于明度分量的Retinex-Net 图像增强改进方法*

张航瑛 王雪琦 王华英 曹良才†

1) (清华大学精密仪器系,精密测试技术与仪器国家重点实验室,北京 100084)

2) (河北工程大学数理科学与工程学院,邯郸 056038)

1 引言

现代生活工作中,人们无可避免会在低照度条件下获取图像.从原始的低照度图像中,很难直观地提取有效信息,不仅影响视觉效果而且对后续使用造成困难[1].因此低照度条件下的图像增强技术一直是图像算法中的一个具有挑战性的问题[2-5].

Retinex 理论是一类有效的低照度图像增强方法,该理论是依据成像过程而建立起来的图像增强模型[6-8].基于颜色感知的一致性假设,Retinex 理论在图像增强技术中发挥着重要作用[9].Retinex理论的早期尝试有单尺度Retinex 算法(single scale Retinex,SSR)[10]和多尺度Retinex 算法(multi scale Retinex,MSR)[11].SSR 算法通过高斯滤波器将光照图像约束为一个平滑函数,MSR 算法则通过多尺度高斯滤波器约束扩展了SSR 算法的功能.随后,带有色彩恢复的多尺度Retinex 算法(multi scale Retinex with color restoration,MSRCR)[12]被提出,使得该类算法得到了更为广泛的关注.近年来,与经典算法相结合的各种派生算法相继被提出[13-15].例如,Kwon 等[16]提出了一种基于视觉亮度函数的多尺度亮度自适应变换,用于增强渲染图像的对比度和饱和度.Yang 等[17]利用双边滤波通过转变色彩空间估计出光照图像,实现了亮度的增强.Wang 等[18]提出了一种针对非均匀照明保持自然性的增强算法,一定程度上保持了图像的自然性,但是亮度增强不明显.Fu 等[19]提出一种加权变分模型来同时估计反射图像和照明图像,然后通过调整亮度来生成增强图像.Guo 等[20]通过使用先验结构来细化估计光照图像,结合相应的反射图像得到最终的增强结果.然而,许多实验结果表明,上述基于 Retinex 理论的图像增强方法仍然存在“光晕伪影”、图像过度增强和计算效率低等缺陷[18-22].

近年来,随着深度学习算法的进步,低照度图像增强也实现了深度处理[23-25].Lore 等[26]提出一种使用深度自编码器学习完成低照度图像增强的方法,证明了基于合成数据训练的堆叠稀疏去噪自编码器可以同时实现对比度增强和图像去噪.Wang等[27]利用全局光照感知和细节网络对原始光照情况进行估计,利用原始图像对细节进行补充,实现了低照度图像增强.He 等[28]依据U-Net 网络,利用照明保护的方式来抑制过曝光及亮度增强不足的区域.Wei 等[29]利用光照一致性假设结合全变分约束理论,设计出一种深度卷积神经网络Retinex-Net,依据Retinex 原理把图像分解为反射图和照明图,利用增强网络提高低照度图像照明图的亮度,最后进行用元素级相乘得到最终的增强图像.然而上述基于RGB 色彩空间模型实现的图像增强,在RGB 三原色相关性的影响下,增强图像时容易出现色彩失真的现象[30-32].

为了解决网络算法中RGB 三原色之间相关性引起的色彩失真问题,本文以Retinex-Net 算法为例,提出了一种在HSV 色彩空间进行的Retinex网络改进方法.该方法首先把低照度RGB 图像转换到HSV 色彩空间,然后利用Retinex 分解网络对明度分量进行分解增强后,将HSV 色彩空间转换回RGB 色彩空间,最后采用小波变换图像融合技术,与原始低照度图像进行融合,消除初始增强图像中的过曝光现象.为简洁起见,下文简称所提方法为ARN(advanced Retinex-net)方法.

2 改进的Retinex 网络方法

2.1 HSV 色彩空间和算法整体结构

基于人眼对视觉的感知,在HSV 色彩空间中颜色由色相(hue,H),饱和度(saturation,S),明度(value,V)分量共同决定,3 个分量相互独立,可以对各色彩分量进行单独的提取与变换.而在RGB 色彩空间中红绿蓝3 个分量相互耦合在一起,Retinex-Net 方法直接对RGB 图像进行增强处理破坏了各颜色通道之间的相互关系,致使色彩失真.在处理低照度图像时,本文提出仅对明度分量进行增强,这有利于在色彩增强过程中保持原本图像的色彩信息,同时降低图像信息处理的数据量与复杂性,增加了训练结果的可靠性.所以本文首先把低照度图像转换到HSV 色彩空间,(1)式为RGB 色彩空间转化到HSV 色彩空间的转化公式:

式中,R,G,B分别表示RGB 色彩空间中红绿蓝三通道各像素点的数值,Mmax和Mmin分别表示红绿蓝三通道中的最大值与最小值.

Retinex 理论的数学表达式为

式中,S代表观测图像,I代表照明图像分量,R代表物体反射图像分量.如图1(a) 所示,Retinex 理论认为人类所观测的图像由照明分布情况和物体对光的反射情况组合决定,并且物体对光的反射能力是物体本身的固有属性,其不随光照条件的变化而改变.这里对Retinex 的算术思想进行一个简单的介绍,在对(2)式进行对数变换后,可以得到

基于对数的算术性质,通过对

进行简单变形即可求出反射图像分量,整个流程如图1(b)所示.

图1 (a) Retinex 成像理论模型;(b) Retinex 算术思想简介Fig.1.(a) Retinex imaging theoretical model;(b) arithmetic ideas of Retinex algorithm.

图2 为本文所提算法的结构框架,其中分解网络依据Retinex 理论,在V分量上进行低照度图像到正常照度图像之间的映射关系学习,把低照度图像的V分量分解为反射图像和照明图像2 个分量.增强网络利用低照度图像V分量和分解后得到的图像分量进行亮度增强,网络采用端到端的训练方式.为了保持H分量,S分量与V分量的尺寸一致性,本文采用最近邻点插值的方式提高H分量与S分量的分辨率.

图2 改进的Retinex 网络增强算法流程图Fig.2.Flow chart of the advanced Retinex network enhancement algorithm.

2.2 Retinex 分解网络改进

分解网络采用类似于Retinex-Net 的分解网络架构设计[29],依据Retinex 原理进行图像分解,为了使文章表述更简明清晰,下文中如无特殊说明,所提低照度图像与正常照度图像均代指低照度图像与正常照度图像的V分量.依据低照度图像和正常照度图像具有一致的反射图像分量,以及照明图像分量在平滑的同时需要保留一定的边缘结构,把图像分解为2 个部分,分别是V分量的反射图像和V分量的照明图像.分解网络包含7 个卷积层,依次提取图像特征信息,最后得到反射图像分量和照明图像分量,表1 为分解网络的具体结构框架.

表1 V 分量分解网络结构Table 1.V-component decomposition network structure.

分解网络同时对低照度图像和正常照度图像进行分解,由于低照度图像和正常照度图像的2 个图像分量均可以用来重新构建图像V分量,因此重构损失函数可表示为

式中,Rlow和Rnormal分别表示低照度图像和正常照度图像的反射图像分量,Ilow和Inormal分别表示低照度图像和正常照度图像的照明图像分量,Vlow和Vnormal分别表示低照度图像V分量和正常照度图像V分量,λij表示对应重构图像的权重信息.

依据低照度图像和正常照度图像具有一致的反射率,构造反射一致性损失函数如(10)式所示:

照明图像在纹理细节方面应该保持平滑,在物体边缘部分应该保持一定的结构特性.总变分模型(total variation,TV)在计算图像梯度方面应用广泛,作为损失函数能够约束图像保持平滑,在此基础上,对图像结构剧烈变化的边缘区域,应用反射图像分量的变分模型并增加照明图像分量的变分模型权重,最终得到的光照平滑损失函数如(7)式所示:

式中,∇包含了水平和竖直2 个方向的偏导数,λg表示了结构感知系数.最后分解网络的总损失函数为上述几种损失函数的加权总和:

式中,λir和λis分别表示了平滑损失和重构损失的权重信息.

2.3 Retinex 增强网络改进

增强网络通过1 个编码与解码的整体框架来实现,整体为1 个U 型网络结构,利用低照度图像信息及反射图像分量和照明图像分量,通过1 个端到端的神经网络框架,实现低照度图像到正常照度图像的映射,表2 为增强网络的具体结构框架.同上,下文中如无特殊说明,所提初步增强图像与正常照度图像均代指初步增强图像与正常照度图像的V分量.为了提高图像整体的清晰度,恢复图像的细节信息,首先用上采样函数对图像进行上采样提高分辨率,再经过逐层下采样得到图像的全局分布信息,在上采样过程中,引入了对应镜像块,使全局上下文信息保持一致,并使用最近邻点插值的方法增大分辨率.经过1 个1×1 的卷积层来连接所有特征,最后用1 个3×3 的卷积层来重构图像的V分量.其中out3 up,de1 up,de2 up,de1 r,de2 r 分别为out3,de1,de2,de1,de2 利用最近邻点插值方法增大分辨率之后的图像,使同一层网络的输入端有相同的分辨率.

表2 V 分量增强网络结构Table 2.V-component enhancement network structure.

增强网络的损失函数包含2 个部分,其中初步增强图像理应与正常照度图像在V分量上具有一定的结构相似性,因此,这里选用结构相似性作为损失函数来判断2 个图像的相似程度:

式中,µx和µy代表了初步增强图像和正常照度图像的均值,σx和σy代表了初步增强图像和正常照度图像的方差,为避免分母为0,C1和C2是2 个极小的常数,分别取0.012和0.032.

利用初步增强图像和正常照度图像的一致性构建另外1 个损失函数为

式中,Vnew表示初步增强图像的V分量,Vhigh-normal表示正常照度图像的V分量.则增强网络的总损失函数为

式中λs表示权重信息,本文中取1,得到增强后的V分量.

2.4 图像融合

将HSV 色彩空间转回RGB 色彩空间,得到初步增强的RGB 图像后,本文采用小波变换融合的方法来抑制过曝光现象.二维小波变换是在行和列上依次进行一维小波变换,分别为低低、低高、高低、高高频段,在下一层分解中低低频段再次被分解.采用sym4 函数作为小波基函数,sym4 函数源自Symlet 的函数系,是一组近似对称的紧支正交小波函数,在保留Daubechies 小波系优势的同时,具有较好的正则性,即该小波作为稀疏基所引入的光滑误差很小,使得信号重构过程比较光滑,同时具有对称性,从而在处理图像信号时避免失真问题.sym4 函数作为没有具体的表达式的小波基函数,如图3 所示为sym4 函数的尺度函数(scale function)和3 个小波函数(wavelet function)的示意图.

小波变换有可以把图像分解为不同频段的优势,对不同频段的图像信息分别进行融合处理[33]:

为本文采用的高频信息(high frequency,HF)和低频信息(low frequency,LF)融合方式与过曝光区域所占比例(ratio,R)的关系,通过融合方法能够实现图像信息互补,去除融合前模糊不清的区域.

3 实验结果分析

为验证所提ARN 算法的效果,本文选取了MSRCR[12],自适应伽马校正(automatic gamma correction,Auto GC)[30],Retinex-Net[29]算法作为对比算法,从主观视觉效果和客观评价指标2 个方面进行了验证分析.需要说明的是,本文ARN 算法中选用了与Retinex-Net 算法一致的数据训练集(low light paired dataset,LOL)[29].

3.1 主观评价

在主观视觉效果方面,如图4 所示,自上而下选取了6 组不同场景的图像,其中第1、第2 组是自然景观图像,第3、第4 组是人文街景图像,第5、第6 组是室内场景图像.从左到右各列依次为原始低照度图像,MSRCR 算法,Auto GC 算法,Retinex-Net 算法和ARN 算法的增强效果图.

从图4 中的结果可以看出,MSRCR 算法增强图像的整体清晰度不佳,而且在图像色彩保持上也存在一定缺陷,很多物体的颜色都偏向白色,有明显的褪色现象.Auto GC 算法在提升图像亮度方面效果不足,以至不能恢复出图像中更多的信息.Retinex-Net 算法的增强图像中色彩明显失真,部分图像有明显的油墨感.本文所提的ARN 算法增强效果则更加可靠,整体视觉效果也更加自然真实.

图5 为图4 中图像局部放大的效果图.从图中可进一步看出MSRCR 算法得到的结果亮度提升明显,但是由于缺少一致性约束,增强图像的亮度无法与原始图像保持一致的亮度分布特征,部分区域出现亮度失真,例如图像中光源区域和天空区域.Auto GC 算法在图像对比度提升方面表现不够,存在一定的色差问题,导致图像整体色彩感暗淡,而且有明显的细节丢失问题.Retinex-Net 算法没有考虑到红绿蓝三通道之间的相关性,增强过程中无法保持色彩自然性,而且在图像边缘部分出现细节增强过度现象,造成伪影的存在.本文所提的ARN 算法相比其他方法借助HSV 色彩空间的优势,在保持结构的同时,保留了图像原本的大部分信息,最大程度地避免了色彩失真.

图4 不同算法对比效果图Fig.4.Comparison of different algorithms.

图5 不同算法增强效果局部放大图Fig.5.Local enlarged view of the enhancement effect of different algorithms.

3.2 客观评价

在客观评价指标方面,本文选取了NIQE 值(natural image quality evaluator,NIQE)[34],信息熵(entropy),标准差(standard deviation,SD)3 个常用的无参考指标作为图像质量客观评价的标准.其中,NIQE 值是提取图像中的自然特征拟合成1 个多元的高斯模型,利用这一模型对图像进行评价,本质上是衡量1 张待测图像在多元分布上的差异,NIQE 值越小代表图像有更好的视觉效果,更加符合人眼的视觉习惯.信息熵是从信息论角度反映图像信息丰富程度的一种度量方式,是图像信息量的1 个统计指标,信息熵越大表示图像携带的信息量越丰富,质量也越好.标准差是图像对比度的衡量指标,暗弱图像的对比度比正常照度图像的对比度会低很多.

表3 为6 组图像的NIQE,信息熵和标准差3 组无参考指标的数值结果.同时,为增加计算结果的可靠性,本文计算了6 组图像的各个指标的均值,如图6 所示为各评价指标均值的对比变化情况.从表3 和图6 中可以注意到,与MSRCR 算法相比,本文所提ARN 算法的NIQE 值平均降低了29.60%,信息熵平均提高了12.00%,标准差平均提升了52.71%;与Auto GC 算法相比,本文所提ARN 算法的NIQE 值平均降低了25.43%,信息熵平均提升了14.88%,标准差平均提升了34.05%;与Retinex-Net 算法相比,本文所提ARN 算法的NIQE 值平均降低了19.49%,信息熵平均提高了3.84%,标准差平均提升了41.35%.综上,通过3 个客观评价指标的比对,可以得出结论,本文所提ARN 算法在提升原始低照度图像的对比度,保持图像细节信息和更加自然真实的增强图像视觉效果等方面具有明显优势.

表3 不同图像的客观评价指标Table 3.Objective evaluation metrics for different images.

图6 不同方法图像评价指标的均值变化情况Fig.6.Changes in mean values of image evaluation metrics for different methods.

4 总结

为了解决低照度条件下图像可见度差和色彩失真等问题,本文提出了一种改进的Retinex 网络方法.所提方法首先对RGB 图像进行HSV 色彩空间变换,利用Retinex 分解网络仅针对HSV 色彩空间中的明度分量进行分解增强,并通过上采样操作增大明度分量的分辨率.然后对色相分量和饱和度分量,运用最近邻插值增大其分辨率,结合增强的明度分量转换回RGB 空间,得到初始增强图像.最后采用小波变换图像融合技术,与原始低照度图像进行融合,消除初始增强图像中的过曝光现象.通过实验分析表明,本文所提算法在低照度图像亮度增强与色彩恢复方面具有明显优势.特别是与原Retinex 网络方法相比,NIQE 值平均下降了19.49%,图像标准差平均增加了41.35%.今后还将继续优化算法,进一步提高算法对纹理细节等方面的保持能力.