基于迭代多尺度引导滤波Retinex的低照度图像增强

张 杰，周浦城，张 谦



基于迭代多尺度引导滤波Retinex的低照度图像增强

张 杰1,2，周浦城1,2，张 谦1,2

(1. 陆军炮兵防空兵学院，安徽 合肥 230031； 2. 偏振光成像探测技术安徽省重点实验室，安徽 合肥 230031)

为提高低照度图像的视觉感知，提出了基于迭代多尺度引导滤波Retinex的低照度图像增强算法。首先，将图像转换到YCbCr空间；然后对Y分量用迭代多尺度引导滤波算法估计照度图像，以指数形式迭代增加尺度参数与平滑参数，在保持边缘的同时消除各种对比度细节；接着用照度图像求得反射图像，并进行对比度校正；最后将图像转换到RGB空间，得到最终增强后的图像。实验表明，该方法能更好地估计照度图像，从而使增强后的图像视觉效果获得明显改善。

低照度图像；Retinex；引导滤波；保边平滑；多尺度

在夜晚、黄昏等低照度条件下拍摄的图像，其亮度、对比度较低，多含有噪声，有些还具有很高的动态范围，给后续图像处理与分析带来困难，对低照度图像增强是目前解决这个问题的重要途径。

低照度图像增强的传统方法主要有基于空域的增强算法和基于频域的增强算法，如文献[1-2]提出的基于灰度水平来实现图像的增强算法。其可提高亮度与对比度，但往往会丢失信息，而且对于高动态范围的低照度图像，也不能压缩动态范围。LAND和MCCANN[3]提出的基于Retinex理论的图像增强方法具有动态范围压缩大和颜色恒常性等特点。在Retinex理论中，图像表示为照度图像与反射图像的乘积，照度图像反映的是光照的情况，而反射图像才是图像的本征属性。由于照度图像对应于图像的低频部分，往往通过将图像卷积一个低通滤波器来求取照度图像。

最经典的Retinex算法是美国国家航空航天局的JOBSON等[4]提出的单尺度Retinex(single scale retinex，SSR)算法和多尺度Retinex(multi-scale retinex，MSR)算法[5]，这两种算法以高斯滤波器作为低通滤波器，但增强后的图像边界处有较严重的光晕现象。文献[6-7]先后提出了基于双边滤波的Retinex算法，虽然在保持边缘、克服光晕上有了长足的进步，但未彻底解决光晕的问题。文献[8]提出一种局部线性滤波器——引导滤波器，其具有良好的边缘保持性。为此，文献[9-10]也提出基于引导滤波的Retinex算法，能够较好地保留边缘细节，并且效率很高。但引导滤波器在维持保边能力的同时不能对图像充分平滑，所以得不到对照度图像的准确估计，因此，增强后的图像往往细节恢复不好。针对此，LI等[11]提出了一种加权引导滤波，以自适应的因子作为权重来提高引导滤波的保边平滑能力，可以在较充分的平滑同时不产生边缘模糊，但是会有增加噪声的问题出现。WANG等[12]提出将高斯平滑后的图像作为引导滤波器的引导图像，虽然能更好地平滑，但得到的增强图像仍存在光晕。

影响引导滤波器保边平滑能力的因素是图像中存在各种对比度的细节。为了解决以上问题，本文提出一种基于迭代多尺度引导滤波的Retinex算法，通过迭代地增加引导滤波的尺度，在保边的同时平滑各种对比度细节，能够得到更好的照度图像，从而有效地实现低照度图像的增强。

1 Retinex理论

Retinex理论的基本思想是入射光决定了一幅图像中的所有像素点的动态范围的大小，而物体自身所固有不变的反射系数决定了图像的内在固有属性。所以将一幅图像分为照度图像与反射图像两部分，通过去除或降低照度图像对反射图像的影响，就能得到图像的本质视觉感知，从而达到增强图像的目的。根据Retinex理论，可以得到

其中，为输入图像；为反射图像；为照度图像。

为了符合人眼在获取信息的非线性特性与简化运算，将式(1)改为对数形式

其中，(,)=log2(,),(,)=log2(,),(,)= log2(,)。

反射图像对应于图像的高频部分，照度图像对应于图像的低频部分。因此，求取照度图像就是图像与一个低通滤波器进行卷积的结果。在Retinex理论中，光照是分片平滑的，所以光照区域分的越准，区域内细节平滑的越充分，照度图像就会估计的越准确，反射图像也就越能反映图像的本质。因此，低通滤波器的选择对于Retinex算法至关重要。SSR算法是最经典的基于中心环绕的Retinex算法，其可表示为

其中，Ä表示卷积符号；表示高斯函数，即

为了兼顾颜色保真与细节保持，又发展了MSR算法。MSR算法是通过将不同尺度的SSR增强结果以线性加权的方法结合起来，同时实现细节增强和色彩保真。可表示为

其中，G(,)为高斯函数；为尺度的总个数；W为第个尺度SSR所占的权重，且∑W=1。一般，MSR可选择小、中和大3个尺度，令W=1/3，通过结合3个尺度的特性来达到压缩动态范围、增强细节和恢复色彩的目的。

SSR与MSR以高斯滤波器作为估计照度图像的低通滤波器，缺乏保边平滑能力，会导致光照分片不准。如图1所示，增强后的图像虽然亮度与对比度有所提高，但存在颜色失真与光晕伪影的现象，使得视觉效果非常差。其中光晕伪影是因为在估计照度图像时，在高对比度的边缘处发生了平滑，导致产生了光晕伪影现象。

图1 SSR与MSR增强结果

2 照度图像估计

针对传统Retinex算法的不足，本文采用迭代的多尺度引导滤波代替高斯滤波，以便更好地估计照度图像。

2.1 引导滤波及其性能分析

引导滤波采用最小二乘法的思想，在引导图像和输出图像之间是一个局部线性滤波，如下式

其中，ω为尺寸为(2+1)×(2+1)的方形滤波窗口，为ω的半径，为ω的中心像素；U为图像中的像素；q为U线性映射到图像中的像素；a与b为线性关系的系数，可由下式求出

其中，(a,b)为窗口ω的代价函数；为原图像；为一个正则化参数，由式(7)解出

其中，μ和σ分别为引导图像在窗口ω中的均值和标准差，||为ω中像素的个数。

与高斯滤波类似，引导滤波也具有核权重，考虑到一个像素点与所有覆盖像素的重叠窗口ω相关，于是对所有情况取平均，核权重如下式表示[8]

那么，式(6)用核权重可表示为

下面对引导滤波器的保边平滑性能进行分析。当引导图像为原图像时，滤波后图像会保留原图像的边缘梯度，因此引导滤波表现出保边平滑的特性。当σ2>>时，该区域为高方差区域，区域中像素U与另一个像素U有较高的对比度，U–μ与U–μ异号，则核权重W()接近于0，U被认为是边缘上的像素，而得到a≈1，b≈0，因此q≈U，边缘得到了保留；当σ2<，窗口ω中像素U与U相差较小，则W()为1，U被视为细节区域内的像素，而得到a=0，b=μ，因此q=μ，细节得到了平滑。所以，对于引导滤波，可被视为尺度因子，决定了滤波器的大小。可被视为平滑因子，决定了平滑的程度。

为进一步分析与对滤波效果的影响，可通过改变其值，以平滑后图像的平均梯度作为平滑效果的评价。平均梯度表示图像的边界附近灰度的差异，反映了图像微小细节反差变化的速率，表征了图像的相对清晰程度。如下式

其中，与为图像尺寸；ΔI与ΔI为图像中像素的水平方向与垂直方向的一阶导数。平均梯度G越小，说明平滑效果越充分。

对图像Tree计算不同尺度参数与平滑参数下平滑后的平均梯度G，图2表示在一定平滑参数、不同尺度参数下的G，随着尺度变大，G呈现出负指数减少的趋势，相对的，平滑效果则为对数增加的趋势。图3表示在一定尺度参数、不同平滑参数下的G，随着平滑参数变大，G也呈现出负指数减少的趋势，那么平滑效果则也为对数增加的趋势。

图2 不同尺度参数下的Gr

图3 不同平滑参数下的Gr

虽然引导滤波具有较好的保边平滑能力，但仍有不足之处。基于SUBR等[13]的分析，图像中存在各种对比度的纹理细节与边缘。对满足边缘为高对比度、细节为低对比度的图像，引导滤波能够较好地实现保边平滑。但对于低照度图像，往往存在具有较高对比度的细节，而这些细节会被误认为边缘，因此在求照度图像会被保留下来，于是无法估计出正确的照度图像，也无法实现低照度图像的有效增强。

2.2 迭代多尺度引导滤波

尺度是衡量不同对比度的重要性质，尺度变大，一些低对比度的细节就会消失，因此可以在不同尺度下平滑不同对比度的细节。由引导滤波求取照度图像如下

其中，为低照度图像；为照度图像。可知，滤波结果与不同尺度窗口有关。

当较小时，引导滤波对低对比度细节区域的像素可以较好地平滑。而高对比度细节区域的像素之间相差较大，当σ2>时，这些像素被误认为边缘，很难被平滑。只有很大时，才能让核权重W()接近1，但很大的不满足式(7)代价函数的最小化，所以小尺度无法实现高对比度细节的平滑。而当变大时，高对比度细节区域的像素方差σ2减小，在一定大小的下，就可以让核权重W()接近于1，从而像素得到平滑。所以大尺度能够在一定程度上实现高对比度细节的平滑，但相对较大时，需付出性能降低的代价。如图4所示，图4(b)~(d)为在小、中、大3种尺度下引导滤波估计出的照度图像的扫描线，不难看出，随着尺度增加，更高对比度的细节得到了平滑。图4(d)在大尺度下，边缘发生了偏离，表明引导滤波的保边性能有所下降。

为了解决单尺度下引导滤波不能很好的保边平滑的问题，本文提出采用迭代多尺度引导滤波，即

其中，(n)为第步照度图像；(n–1)为第–1步照度图像；(n)为第步尺度因子；(n)为第步平滑因子；G表示引导滤波，由与决定。该式表述了迭代滤波的方法，即由第–1步照度图像，进行尺度因子为(n)、平滑因子为(n)的引导滤波，得到第步照度图像。当满足一定条件时，迭代终止，从而获得最终的照度图像。其计算过程步骤如下：

(1) 初始化。设(0)为原始图像，(0)的平均梯度记为G(0)，初始(1)取2，(1)取0.042，迭代终止阈值为，最大迭代次数为max，令=1；

(2) 根据式(13)计算(n)，转步骤(3)；

(3) 根据式(11)计算(n)的平均梯度G(n)，计算平均梯度G(n)与G(n–1)之差ΔG，转步骤(4)

(4) 迭代终止条件判断。若满足ΔG<或>max，则终止迭代，转步骤(5)；否则令←+1，(n)=f((n–1))，(n)=f((n–1))，返回步骤(2)；

(5) 输出。(n)为最终的照度图像。

由图2~3分析，随与的增大，滤波呈现出对数增加的效果。为此，与在迭代中选择指数增加可以加快迭代，这里取(n)=f((n–1))=(1)×2，(n)=f((n–1))=(1)×2。如图5所示，当阈值取10–3、最大迭代次数max取10时，对图像Tree两次迭代之间照度图像的平均梯度差值ΔG随迭代次数的变化关系。可以看出，在第6次迭代后，ΔG=0.0009<，就可以完成迭代滤波过程。

图4 不同尺度滤波结果

图5 迭代之间的ΔGr随迭代次数的关系

迭代多尺度滤波的保边平滑性能体现在随着尺度参数与平滑参数迭代增加，在保持边缘的同时，逐步平滑掉各种对比度的细节。对像素I与I，满足

其中，W()(n)表示在第步迭代时的核权重；I(n–1)表示第–1步迭代时像素I的值，I(n)表示第步迭代时像素I的值。若I(0)与I(0)为原图像高对比度细节区域的两个像素，由于其有较高的对比度，在某个小尺度下核权重W()较小，不易被平滑，但小程度的平滑也会让两个像素趋向于均值μ。随着尺度增大，像素I与I会逐渐被平滑，平滑的结果使二者中高灰度像素越来越小，低灰度像素越来越大，也就是二者的差值逐渐减小，即|I(n)–I(n)|< |I(n–1)–I(n–1)|。由式(9)可知，|I(n)–I(n)|减小，则核权重变大，即W()(n)>W()(n–1)，这时就可以更大程度地平滑。因此，尺度增大到一定程度，存在的最高对比度的细节也会被平滑掉。而在整个迭代过程中，边缘像素核权重一直接近0，不会被平滑。所以，迭代结束时，各种对比度的细节均得到了平滑，而边缘一直较好地保持着。

为验证本文估计照度图像算法的有效性，选取引导滤波和近些年比较有效的保边平滑滤波器如域变换滤波器(domain transfer filter，DT)[14]和局部拉普拉斯金字塔滤波器(local Laplacian filter，LLF)[15]做比较。分别对图像Tree求照度图像，计算其扫描线。如图6所示，引导滤波、DT滤波器和LLF估计的照度图像中还存在树叶等高对比度的细节，而墙面等边缘却发生了模糊，本文算法则很好地估计出光照情况，即平滑掉各种细节，又较准确地划分了光照区域。从扫描线也可以看出，本文算法对边缘有很强地跟踪能力，而对各种对比度的细节又有很强地平滑能力。

图6 几种保边平滑滤波器的比较结果

3 低照度图像增强

3.1 颜色空间转换

如果在R、G、B 3个通道分别进行Retinex处理，再合成彩色图像，往往会导致色彩的失真。为此，本文将待增强的图像从RGB空间转为YCbCr空间，Y是亮度，Cb是RGB输入信号蓝色部分与RGB信号亮度值之间的差异，Cr是RGB输入信号红色部分与RGB信号亮度值之间的差异。在进行Retinex处理时，只处理Y分量，不处理Cb与Cr分量，就可以避免色彩的失真，实现对色彩的保护。

RGB空间转换到YCbCr空间如下

YCbCr空间转换到RGB空间如下

3.2 反射分量校正

由迭代多尺度引导滤波算法估计出照度图像(,)，然后根据式(3)即可得到反射图像。反射图像中包含大量图像细节，需要增强其对比度，以获得更好的视觉效果。利用下式实现全局对比度提高

其中，r(,)为归一化后的反射图像；final为增强后的反射图像；为调整参数。

如图7(a)表示随着的变化的函数曲线，越小，拉伸越明显，增强效果也就会越好；图7(b)显示了本文曲线与伽马曲线的区别，伽马曲线对低亮度区域拉伸过大，会导致该区域的细节过增强，而本文的曲线则拉伸比较柔和，既实现了细节的增强，又可以避免失真。

3.3 本文增强算法流程

综上，本文提出的低照度图像增强算法可分为：

(1)根据式(16)，将待增强的低照度图像从RGB空间转换到YCbCr空间；

(2)提取Y分量作为初始图像，根据式(13)进行迭代多尺度引导滤波，得到照度图像；

(3)根据式(2)，得到反射图像；

(4)由式(18)对反射图像进行全局对比度校正，得到增强后的反射图像final，即为Y分量的增强结果；

(5)由式(17)，可将处理后的Y分量与Cb、Cr分量转化为R、G、B分量，合成为低照度图像的最终增强结果final。

算法流程如图8所示。

图7 校正曲线效果

图8 本文算法流程示意图

4 实验结果及分析

选取多组低照度图像进行试验，所有的试验均在操作系统为Windows 7、CPU为2.6 GHz酷睿i5，内存为4 G的PC机上运行，编程环境为MatlabR2013a。

为验证本文算法的可行性，首先与经典Retinex算法SSR与MSR算法做比较。SSR的参数为=60；MSR的参数为1=15，2=80，3=120；本文算法迭代终止阈值取10–3，最大迭代次数max取10。对图像Boat、Flower两幅图像进行处理，结果如图9~10所示。可以看出，SSR与MSR增强后的结果，边缘出现了严重的光晕伪影，还存在一定的颜色失真，破坏了视觉效果；相比之下，本文算法增强后的结果边缘清晰，没有光晕，且未出现颜色失真的现象，有效克服了SSR与MSR算法存在的问题。

图9 不同算法对图像Boat增强结果

图10 不同算法对图像Flower增强结果

为进一步验证本文算法的有效性，将与SSR算法、MSR算法、文献[1]算法、文献[16]算法进行比较，文献[1]、[16]算法参数按原文中的参数。对图像Chair、Car、Street 3幅图像进行处理，结果如图11~ 13所示。可以看出，SSR算法与MSR算法增强后的结果有较严重的光晕问题，尤其对于图Chair，在椅子边缘处有强烈的光晕伪影，导致视觉效果很差。另外，SSR算法与MSR算法的颜色失真问题也很大程度上破坏了增强效果。而文献[1]算法、文献[16]算法以及本文算法与其相比，在抑制光晕与克服色彩失真上表现较好。但文献[1]作为一种基于灰度直方图的算法，不能有效压缩动态范围，如图11(d)中，椅子表面的高光没有得到抑制；图12(d)中，车灯处出现过亮。文献[16]的算法对信息细节恢复不够，从增强结果的放大图中可以看出，如车灯、广告牌上的数字经过处理后较为模糊。本文算法增强后的图像细节明显改善，对各种对比度的细节与边缘都得到了较好的增强，清晰度较高。

图11 不同算法对图像Chair增强结果

图12 不同算法对图像Car增强结果

图13 不同算法对图像Street增强结果

通常情况下，对于低照度图像增强算法的评价没有真实图像可做参考，属于无参考客观质量评测范畴。本文主要在细节信息恢复、对比度、是否有光晕伪影这3个方面进行评价。其中，对比度采用文献[17]的CPBD(cumulative probability of blur detection)评价指标，其值越大，代表图像对比度越高；是否有光晕伪影采用文献[18]提出的PQM (perceptual quality metric)指标，其值越接近10，说明图像存在的光晕越少，质量也就越好；对于细节信息恢复程度，这里采用清晰度表示[19]

其中，max为图像中像素最大的值。清晰度的值越大，代表图像的细节与边缘越清晰。

不同算法增强图像的定量评价结果见表1。可以看出，与SSR与MSR算法相比，本文算法的客观质量评价结果有较大地提高，表明本文算法在性能上确实有一定的改善。与文献[1]和[16]的算法相比，本文算法的清晰度与PQM值要高于文献[1]和[16]的算法，说明本文算法在恢复细节、增强边缘、克服光晕等方面取得了更好的效果；而CPBD值对于图像Chair与文献[1]算法相同，对于图像Street略小于文献[16]的算法，这是因为本文算法采用全局对比度校正，所以在对比度方面表现还有待于提升。

表1 不同算法增强图像的客观评价结果

5 结 论

为解决低照度图像的增强问题，本文在Retinex理论的基础上提出一种改进的Retinex算法。在求取照度图像时利用迭代的多尺度引导滤波，很好地保留边缘与平滑各种细节，可以得到较为准确的照度图像。以此照度图像求得的反射图像可以很好地增强图像细节信息，提高清晰度。实验结果表明，本文算法对低照度图像，能够有效提高亮度，增强细节，提高视觉感知。但本算法增强后的图像还存在“泛灰”的现象，在色彩与对比度校正方面仍有不足，需要在下一步工作中研究解决。

[1] SINGH K, KAPOOR R. Image enhancement using exposure based sub image histogram equalization[J]. Pattern Recognition Letters, 2014, 36(1): 10-14.

[2] LEE C, KIM C. Contrast enhancement based on layered difference representation[J]. IEEE Transactions on Image Processing, 2013, 22(12): 5372-5384.

[3] LAND E H, MCCANN J. Lightness and retinex theory[J]. Journal of the Optical Society of America, 1971, 61(1): 1-11.

[4] JOBSON D, RAHMAN Z, WOODEL G A. Properties and performance of a center/surround Retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462.

[5] JOBSON D, RAHMAN Z, WOODEL G A. Amulti-scale Retinex for bridging the gap between color and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965-976.

[6] ELADE M. Retinex by two bilateral filters[C]// Proceedings of the Scale-Space Conference 2005. Berlin: Springer Press, 2005: 217-229.

[7] 胡韦伟, 汪荣贵, 方帅, 等. 基于双边滤波的Retinex图像增强算法[J]. 工程图学学报, 2010, 38(2): 217-223.

[8] HE K M, SUN J, TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[9] AHN H, KEUM B, KIM D, et al. Adaptive local tone mapping based on retinex for high dynamic range images[C]//IEEE International Conference on Consumer Electronics (ICCE). New York: IEEE Press, 2013: 153-156.

[10] 肖创柏, 赵宏宇, 禹晶. 基于引导滤波的Retinex快速夜间彩色图像增强技术[J]. 北京工业大学学报, 2013, 39(12): 1868-1873.

[11] LI Z, ZHENG J, ZHU Z, et al. Weighted guided image filtering[J]. IEEE Transactions on Image Processing, 2015, 24(1): 120-129.

[12] WANG Y, WANG H, YIN C, et al. Biologically inspired image enhancement based on Retinex[J]. Neurocomputing, 2015, 177: 373-384.

[13] SUBR K, SOLER C, DURAND F. Edge-preserving multi-scale image decomposition based on local extrema[J]. ACM Transactions on Graphics, 2009, 28(5): 147-154.

[14] GASTAL E S, OLIVEIRA M M. Domin transform for edge-aware image and video processing [J]. ACM Transactions on Graphics, 2011, 30(3): 69-77.

[15] AUBRY M, SYLVAIN R. Fast local Laplacian filters: theory and applications[J]. ACM Transactions on Graphics, 2014, 33(5): 167-175.

[16] GUO X J, LI Y, LING H B. LIME: low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2016, 26(2): 982-993.

[17] NARVEKAR N D, KARAM L J. A no-reference perceptual image sharpness metric based on a cumulative probability of blur detection[C]//International Workshop on Quality of Multimedia Experience. New York: IEEE Press, 2009: 87-91.

[18] GUPTA N, JHA R K. Enhancement of dark images using dynamics to chastic resonance with an is otropic diffusion[J]. Journal of Electronic Imaging, 2016, 25(2): 023017.

[19] FENG B B, TANG Y B, Zhou L, et al. Image enhancement under low luminancewith strong light weakening [C]//2016 8th International Conferenceon Wireless Communications & Signal Processing (WCSP). New York: IEEE Press, 2016: 1-5.

Low-Light Image Enhancement Based on Iterative Multi-Scale Guided Filter Retinex

ZHANG Jie1,2, ZHOU Pucheng1,2, ZHANG Qian1,2

(1. Army Academy of Artillery and Air Defence Forces, Hefei Anhui 230031, China; 2. Anhui Province Key Laboratory of Polarized Imaging Detection Technology, Hefei Anhui 230031, China)

In order to improve the visual perception of low-light image, a kind of low-light image enhancement algorithm based on iterative multi-scale guided filter Retinex was proposed. Firstly, the low-light image was converted into YCbCr color space. Secondly, the illumination image of the Y channel was estimated with iterative multi-scale guided filter. By increasing the scale parameter and the smoothing parameter iteratively in exponential form, the edge was preserved and details of different contrasts was eliminate. And then, the reflected image was obtained by the estimated illumination image and the contrast correction procedure. Finally, the image was converted into RGB color space, and this is the final enhanced image. Experimental results show that our method can better obtain the illumination image so that the visual effect of the enhanced image can be improved obviously.

low-light image; Retinex; guided filter; edge-preserving and smoothing; multi-scale

TP391

10.11996/JG.j.2095-302X.2018010001

A

2095-302X(2018)01-0001-11

2017-06-05；

2017-07-09

国家自然科学基金项目(61379105)

张 杰(1994–)，男，河北张家口人，硕士研究生。主要研究方向为图像分析与处理。E-mail：zj199402@163.com

周浦城(1977–)，男，江西宜春人，副教授，博士。主要研究方向为图像分析与处理、智能计算。E-mail：zhoupc@hit.edu.cn