基于多尺度梯度域引导滤波的低照度图像增强算法

李红 王瑞尧 耿则勋 胡海峰

摘 要：针对低照度彩色图像整体亮度较低，增强图像中颜色易失真，部分图像细节淹没在较低灰度值像素中等问题，提出一种改进的低照度图像增强算法。首先，把待处理图像转换到色调、饱和度、亮度（HSI）颜色空间，对亮度分量进行非线性全局亮度校正;然后，提出多尺度梯度域引导滤波的亮度增强模型，利用该模型对校正后的亮度分量进行增强，接着对增强后的亮度分量进一步实施避免颜色失真的亮度校正;最后，将图像再转换回红绿蓝（RGB）颜色空间。实验结果表明，增强后的图像亮度平均提高90.0%以上，清晰度平均提高123.8%以上，这主要得益于多尺度梯度域引导滤波具有更好的

亮度平滑和增强能力;

同时由于减小了颜色失真，使增强图像的细节表现能力平均提高18.2%以上;由于采用了多尺度梯度域引导滤波的亮度增强模型与直方图自适应的亮度校正算法，使提出的低照度圖像增强算法适宜应用于夜间等弱光源条件下的彩色图像增强。

关键词：低照度图像;图像增强;梯度域引导滤波;Retinex理论;HSI颜色空间

中图分类号：TP391.4

文献标志码：A

Abstract： An improved low-illumination image enhancement algorithm was proposed to solve the problems that the overall intensity of low-illumination color image is low， the color in the enhanced image is easy to be distorted， and some enhanced image details are drowned in the pixels with low gray value. Firstly， an image to be processed was converted to the Hue Saturation Intensity （HSI）

color space， and the nonlinear global intensity correction was carried out for the intensity component. Then， an intensity enhancement model based on multi-scale guided gradient domain filtering was put forward to enhance the corrected intensity component， and the intensity correction was further performed to avoid color distortion. Finally， the image was converted back into  Red Green Blue （RGB） color space. Experimental  results show that the enhanced images have the intensity increased by more than 90.0% on average， and the sharpness increased by more than 123.8% on average， which are mainly due to the better intensity smoothing and enhancement ability of multi-scale gradient domain guided filtering. At the same time， due to the reduction of color distortion， the detail performance of enhanced images increases by more than 18.2% on average. The proposed low-illumination image enhancement algorithm is suitable for enhancing color images under night and other weak light source conditions， because of using intensity enhancement model based on multi-scale gradient domain guided filtering and histogram adaptive intensity correction algorithm.

Key words： low-illumination image; image enhancement; gradient domain guided filtering; Retinex theory; HSI color space

0 引言

在低照度（如夜间、建筑物内、曝光不够等）环境下，受图像采集器件的制约，致使所得到的图像存在信噪比偏低、对比度不高、颜色欠饱和等不利因素，最终使得图像的多数细节都淹没在了暗区。这给图像分类、分割、辨认等进一步的应用造成极大的麻烦。因此，为了更好地显示景物信息，尽可能多地展现图像细节特点，增强低照度图像具有重要的意义。

常用来增强低照度图像的算法有像素级的灰度变换[1-5]、暗通道先验模型的增强算法[6-8]、Retinex方法[9-14]等。基于像素级的灰度变换增强通常有对数变换、直方图均衡化、Gamma校正等。文献[1]提出一种自适应双向保带宽对数变换的图像增强方法;文献[2]提出受限于对比度的直方图均衡化方法;文献[5]利用双边伽马校正保亮度的图像增强方法。这三种方法实现过程较简单，易于实现;但处理后的图像容易出现暗区得到一定增强，而亮区的部分细节可能会被淹没掉。文献[8]中利用雾天退化模型对低照度图像进行间接增强，该方法提高了图像的视觉效果及亮度，但对图像较暗区域的噪声抑制能力不强。由于Retinex方法具有使局部对比度加强、动态范围被高压缩、图像颜色维持恒常等特性，所以低照度图像最常用的增强方法是利用Retinex理论进行增强。文献[15]中提出的方法是对低频子带进行Retinex增强，在一定程度上减少了光照因素对图像的作用;但难以实现充分显示图像细节又使图像颜色不失真的要求。文献[16]利用梯度域的引导滤波代替高斯滤波对低照度图像进行Retinex增强，解决了Retinex算法常出现的梯度反转、光晕伪影现象;但处理后的图像容易出现暗区增强不足、亮区增强过甚、色彩畸变等现象。文献[17]对原始图像的强度分量进行了多尺度的Retinex增强，使图像细节信息、色彩保真度得到一定增强;但图像较暗区域增强不明显，且图像噪声容易扩大。

综上，低照度图像增强方法有很多，但以下问题尚未得到很好的解决：1）暗区得到一定增强，但亮区的部分细节可能会被淹没掉;2）图像对比度增强过甚，使得图像某些细节消失;3）留存不同程度的光晕伪影、色彩畸变、噪声扩大等现象。针对以上问题，并结合Retinex增强的优缺点，提出一种新的低照度图像增强算法。该算法首先把图像转换到色调、饱和度、亮度（Hue Saturation Intensity， HSI）空间[15]，再利用基于多尺度梯度域引导滤波的Retinex算法对I分量进行增强，最后转换回红绿蓝（Red Green Blue， RGB）空间得到增强后图像。通过对大量的实验数据分析，表明经新算法处理后的图像无光晕现象，细节更突出，视觉效果更好。

1 相關研究

1.1 Retinex理论

Retinex是由Retina（视网膜）和Cortex （大脑皮层）这两个词组合而来的。Retinex理论主要描述了两个方面的内容：1）事物所呈现出来的颜色是由事物对不同波长的电磁波反射能力所支配的，而不是由照射光强度支配;2） 照射光的非均匀性对事物的色彩不起作用，具有一致性。

由Retinex理论可知，人眼所能感知到的物体的亮度取决于所处环境的照明和物体表面对照射光的反射，其成像模型可用式（1）表示：

其中：I（x， y）表示获取的观测图像;L（x， y）表示环境中光源对物体的照射分量;R（x， y）表示体现物体本身特性的反射分量。 对式（1）取对数，就可用减法的方式使照射分量被去除，而反射分量被保留，其关系式为：lg（R（x， y））=lg（I（x， y））-lg（L（x， y））（2）把Retinex思想运用到图像增强处理上，即对一幅待处理图像数据I（x， y），估算出照射分量L（x， y），利用式（2）求出反射分量R（x， y），再将R（x， y）映射到实数域，就是被增强的图像，其关键是如何估算出L（x， y）。

Retinex理论的提出者认为L（x， y）可以由待处理图像I（x， y）经高斯模糊获得。目前有许多论文也列出了相应的中心/环绕函数以及需要归一化的相应参数，其实质就是进行一次平滑或模糊。从实际运用的角度来看，高斯模糊可以被其他性能更佳的滤波器来代替，如双边滤波（Bilateral Filter，BLF）、引导滤波（Guided Image Filter，GIF）等。通常称经由式（2）的增强算法为单尺度Retinex（Single Scale Retinex， SSR）。多个SSR进行加权求和，称之为多尺度Retinex （Multi-Scale Retinex， MSR），如式（3）：

1.2 梯度域引导滤波

1.1节提到高斯滤波器可以被其他性能更佳的滤波器替代，比如用双边滤波替代高斯滤波作为中心环绕函数是常见的方法，但其运算复杂、耗时，使用时效率非常低下，而且在文献[18]中指出双边滤波会导致图像的梯度反转。引导滤波通过box filter和积分加速的方法提高了计算速度，并且在细节信息的表现上优于双边滤波;但引导滤波在图像边沿处留存了一定的滤波瑕疵。于是关于引导滤波的修正算法被不断提出，具有代表性的有Li等[12]提出的加权引导滤波（Weighted Guided Image Filter，WGIF）算法，以及Kou等[13]提出的梯度域引导滤波（Guided Image Filter in Gradient Domain， GDGIF）算法。GDGIF算法所得效果优于GIF和WGIF，具有好的维持边缘和平滑的特点[16]。

2 本文算法

本文算法的具体步骤为：

1）颜色模型转换，原始图像经RGB空间变换到HSI空间，获得H、S和I分量。

2）针对I分量，首先按式（8）进行非线性全局校正，输出图像定义为I1;然后采用多尺度GDGIF对I1进行边缘保持的平滑处理，估计出平均照射分量L，同时结合多尺度Retinex增强算法求出反射分量R。

3）对反射分量R，按照特定的比例剔除数据中的极大和极小部分，然后把中间部分线性量化到0～1，得到增强后的反射分量R1。

4）利用式（12）把R1、L融合，获得新的亮度分量I2，并对I2进行亮度修正，得最终增强的亮度分量I3。

5）把H分量、I3分量和S分量合成新的HSI图像，再转换回RGB空间输出即最终增强图像。

2.1 非线性全局亮度校正

该步骤的目的是使图像全局对比度得到增强，同时对图像的动态范围压缩。本文利用式（8）对I分量进行非线性全局亮度校正[18]。

其中：I（x， y）∈（0，1），表示HSI空间下的原始亮度分量;I1（x， y）表示全局亮度校正后的亮度分量;a用于控制曲线的曲率。本文选取a=0.08，式（8）所对应的亮度映射曲线（实线）与传统的Gamma曲线（虚线，γ=0.4）类似，但在亮度极低的区域校正特性比Gamma曲线更好，如图2所示。

由于标准的Gamma校正在极低亮度区域的曲线更陡峭导致暗区细节的丢失，而本文所选的全局亮度校正模型不仅能够对暗区细节进行增强，还能够避免强光区域的失真，当I（x， y）=1时，I1（x， y）=1，不会超出最大亮度范围。

2.2 亮度分量增强

非线性全局亮度校正后，图像的整体亮度水平提高，但是局部细节往往得不到足够的增强，甚至于被削弱。因此，本文选用边缘维持和平滑特性都非常好的GDGIF作为中心环绕函数，采用多尺度的GDGIF并结合多尺度Retinex算法对亮度分量增强。

2.2.1 平均照射分量和反射分量的估计

文献[11]中提出了一种自适应设置尺度参数的方法，它利用GIF获取每个尺度的反射分量。本文在此基础上把GIF替换为GDGIF，目的是使滤波结果图像的边缘和平滑效果都达到最佳。

取每个尺度的引导图像和输入图像都为全局亮度校正后的亮度分量I1，qi为每个尺度输出结果图像，同时也是每个尺度下估计出的照射分量。则每个尺度下的滤波公式为：

2.2.2 改进的亮度分量合成

传统的Retinex增强算法是把反射分量直接作为增强后的图像，但这样的图像局部区域会出现不均匀性，暗区噪声也可能会突显出来。

为解决此类问题，

首先对反射分量R经本文算法步骤3）处理得到R1，接着按本文提出的式（12）对R1和L进行融合，求取亮度分量I2。

亮度图像增强后与原始亮度图像对比如图3所示。

2.2.3 亮度分量修正

当原始RGB图像的R、G、B各分量如果有同时等于零或非常接近于零的像素点，HSI颜色空间下I分量对应的像素点也等于零或非常接近于零，但经过增强算法处理后相应的像素点被放大且远大于零。如果不加修正，直接把增强后的亮度分量I2经HSI空间转回RGB空间，那么显示的RGB图像会在相应像素点出现不同程度的失真，如图4所示。

从图4（b）画出的3个方框可以看出增强后的图像明显失真。所以，为了使本文算法能够适应的待处理图像更广，对于此类图像还需要将增强后的亮度分量I2进行修正。在实验基础上，设计了基于亮度放大因子直方图的亮度分量修正模型。该模型的修正方法如下：

其中：A（x， y）为亮度分量在每个像素点处灰度值的放大倍数;esp为很小的正常数，目的是使分母不为零。

2）获取A的直方图数据，根据图像的直方图数据，自适应地查找其概率最大的像素点作为分界点。该分界点的灰度值同时也是亮度分量被放大的倍数。

3）如果A（x， y）的灰度值大于或等于分界点的灰度值，说明该像素点的原始灰度值等于零或非常接近于零，是造成图像失真的像素点，则亮度分量在该点的灰度值需要修正;反之，则保持。修正公式为：

其中：I3（x， y）表示修正后的亮度分量;idx为第2）步骤所求得的分界点的灰度值。

修正前后对比如图5所示。从图5（b）中看到颜色失真现象被处理掉了，而图像的亮度、对比度和细节显示等几乎没有受到影响。

本文提出的修正方法，对当前部分针对HSI颜色空间下进行的图像增强的研究结果所出现的图像失真现象也可进行合理的修正，比如文献[16]中的算法，该方法把图像转换到HSI空间下进行增强处理，结果如图6（a）所示。如果在该算法基础上对其亮度分量加上本文提出的修正方法，颜色失真现象会消失，如图6（b）所示。

3 实验结果与分析

由于没有公共的低照度图像数据库，本文从华盛顿大学的Ground truth Database和相机拍摄两个方面收集大量的图像进行了实验，并与带色彩恢复的多尺度Retinex（Multi-Scale Retinex with Color Restoration， MSRCR）算法、自适应双向保带宽对数变换算法[1]、基于梯度域引导滤波增强算法[16]、具有色彩保护的多尺度Retinex图像增强算法[17]进行了比较。

本文图像增强的实验环境： CPU为Intel core i7-8550U 1.8GHz， 内存8GB，Windows 10操作系统， Matlab 2015b软件平台实现相关算法。

3.1 主观评价

由于篇幅限制，本文算法实验所用的图像在此随机选取了其中8组图像展示增强效果并进行对比分析，增强结果对比如图7所示。Image1～3展示图像从华盛顿大学的Ground truth Database中选取;Image4～8展示图像由相机（型号：佳能EOS 350）拍摄获取。

从图7可以看出：

MSRCR算法对增强后的图像有明显的“白色”现象，表明图像的颜色失真。该算法应用在Image1中方框内过度增强并丢失详细信息，Image3中方框显示出现光晕伪影现象，Image5中和Image7中所示方框内出现块状效应，Image6中方框内天空变灰，表明天空处颜色严重失真。

文献[1]算法增强后的图像整体表现为图像清晰度不高，色彩的明锐度低。

部分区域由于图像灰化使得颜色严重失真如Image8所示;Image3中方框内颜色失真，而且这种方法也没有增强该图像的对比度和亮度，如Image6中方框内天空颜色过度增强而失真。

文献[16]算法增强后的图像部分区域绿色显示过重，颜色不自然，如Image1-2、Image5和Image7的方框内所示;该算法对高亮度区域有明显的过增强现象，如Image1方框内的灯、Image3和Image6方框内的天空细节都丢失了;该算法还有对图像增强效果不明顯现象，如Image4和Image8方框所示。

文献[17]算法增强后的图像出现亮区域更亮、暗区域更暗现象，如Image1～2、Image4～5和Image7方框内所示;该算法与本文算法相比部分区域增强不足，如Image4、Image7方框所示;该算法还会放大图像部分区域的噪声，如Image8圆角矩形所示。

本文算法增强后的图像不仅没有“白色”“灰蒙蒙”、光晕伪影现象，而且在细节表现能力、色彩保真度上都比其他方法强。从图像整体看，增强后图像更自然、更切合人眼视觉特性。

3.2 客观评价

为了客观评价各算法的增强效果，本文计算了各算法增强后图像与测试图像的均值、平均梯度、信息熵，计算结果分别如表1～3所示。均值是图像的平均亮度，表示图像的明亮程度，在图像为256个灰度级的情况下，127.5是理想的均值，故图像的均值越接近理想值越好，从表1的平均值数据可算出本文算法增强后的图像亮度平均提高90.0%以上;平均梯度是图像的清晰程度，表示图像在细节信息对比方面的表现能力，平均梯度越大，表明图像清晰度越高，从表2的平均值数据可算出本文算法增强后图像清晰度平均提高123.8%以上;信息熵是图像包含信息量大小的指标，表征图像体现细节信息的能力，信息熵越大，说明图像所包含的信息量越丰富，从表3的平均值数据可算出本文算法增强后的图像细节表现能力平均提高18.2%以上。

表1～3显示MSRCR算法各项指标都高，而从图7可以看出其增强的结果明显失真，所以表1～3的客观指标结合主观评价说明MSRCR算法增强效果不理想。在表1～3中的其他3种算法与本文算法对比，从总体来看，本文算法优于其他3种算法。

4 结语

本文提出了多尺度梯度域引导滤波的模型，使低照度图像的亮度分量得到合理增强，抵偿了细节淹没现象;设计了基于亮度放大因子直方图的亮度分量修正模型，抑制了增强图像中的颜色畸变或失真问题。通过实验结果表明，本文算法可以对低照度图像进行有效的增强，对于Retinex方法所产生的光晕伪影和颜色失真得到避免，而且增强后图像有更好的细节体现和色彩复原度，更加切合人眼视觉。

不过，本文算法也存在一定的局限性，即增强后的图像其亮度还有待进一步的提高。因此，下一步工作是在保持图像自然的条件下，考虑如何进一步提高图像高度。

参考文献（References）

[1] 毛东月， 谢正祥， 贺向前， 等. 自适应双向保带宽对数变换及低照度图像增强[J]. 中国图象图形学报， 2017， 22（10）： 1356-1363. （MAO D Y， XIE Z X， HE X Q， et al. Adaptive bilateral logarithm transformation with bandwidth preserving and low-illumination image enhancement[J]. Journal of Image and Graphics， 2017， 22（10）： 1356-1363.）

[2] SMITHA M L， SHEKAR B H. Illumination invariant text recognition system based on contrast limit adaptive histogram equalization in videos/images[C]// Proceedings of the 3rd International Symposium on Women in Computing and Informatics. New York： ACM， 2015： 174-179.

[3] 姜柏军，钟明霞. 改进的直方图均衡化算法在图像增强中的应用[J]. 激光与红外， 2014， 44（6）： 702-706. （JIANG B J， ZHONG M X. Improved histogram equalization algorithm in the image enhancement [J]. Laser & Infrared， 2014， 44（6）： 702-706.）

[4] SINGH K， KAPOOR R. Image enhancement using exposure based sub image histogram equalization[J]. Pattern Recognition Letters， 2014， 36（1）： 10-14.

[5] 胡钰，李甜甜， 黄梁松，等.基于双边伽马校正的保亮度图像增强方法[J]. 计算机应用与软件， 2019， 36（5）： 204-210， 241. （HU Y， LI T T， HUANG L S， et al. Brightness preserving image enhancement method based on bilateral Gamma correction[J]. Computer Applications and Software， 2019， 36（5）： 204-210， 241.）

[6] JIANG X， YAO H， ZHANG S， et al. Night video enhancement using improved dark channel prior[C]// Proceedings of the 2013 20th IEEE International Conference on Image Processing. Piscataway： IEEE， 2013： 553-557.

[7] 赵宏宇， 肖创柏， 禹晶. 基于双MRF模型的夜间图像增强方法[J]. 中南大学学报（自然科学版）， 2016， 47（10）： 3361-3368. （ZHAO H Y， XIAO C B， YU J. Night color image enhancement based on dual MRF model[J]. Journal of Central South University （Science and Technology）， 2016， 47（10）： 3361-3368.）

[8] 余春艷，徐小丹，林晖翔，等.应用雾天退化模型的低照度图像增强[J]. 中国图象图形学报， 2017， 22（9）： 1194-1205. （YU C Y， XU X D， LIN H X， et al. Low-illumination image enhancement method based on a fog-degraded model[J]. Journal of Image and Graphics， 2017， 22（9）： 1194-1205.）

[9] 遆晓光， 曲悠杨. 一种改进的色彩保持低照度图像增强方法[J]. 哈尔滨工业大学学报， 2014， 46（3）： 1-7. （DI X G， QU Y Y. An improved method of image enhancement with color preservation and low illumination[J]. Journal of Harbin Institute of Technology， 2014， 46（3）： 1-7.）

[10] PETRO A B， SBERT C， MOREL J-M. Multi-scale retinex [J]. Image Processing on Line， 2014（4）： 71-88.

[11] 溫海滨， 毕笃彦， 马时平， 等. 消除光晕和细节增强的多尺度Retinex红外图像增强[J]. 红外技术， 2016， 38（2）： 149-156. （WEN H B， BI D Y， MA S P， et al. Halo-free and detail enhancement based on multi-scale Retinex for infrared image[J]. Infrared Technology， 2016， 38（2）： 149-156.）

[12] LI Z， ZHENG J， ZHU Z， et al. Weighted guided image filtering[J]. IEEE Transactions on Image Processing， 2015， 24（1）： 120-129.

[13] KOU F， CHEN W， WEN C， et al. Gradient domain guided image filtering[J]. IEEE Transactions on Image Processing， 2015， 24（11）： 4528-4539.

[14] 张菲菲， 谢伟， 石强，等. 人眼视觉感知驱动的梯度域低照度图像对比度增强[J]. 计算机辅助设计与图形学学报， 2014， 26（11）： 1981-1988. （ZHANG F F， XIE W， SHI Q， et al. A perception-inspired contrast enhancement method for low-light images in gradient domain[J]. Journal of Computer Aided Design and Graphics， 2014， 26（11）： 1981-1988.）

[15] 宋瑞霞， 李达， 王小春. 基于 HSI 色彩空间的低照度图像增强算法[J]. 图学学报， 2017， 38（2）： 217-223. （SONG R X， LI D， WANG X C. Low illumination image enhancement algorithm based on HSI color space[J]. Journal of Graphics， 2017， 38（2）： 217-223.）

[16] SUN X， LIU H， WU S， et al. Low-light image enhancement based on guided image filtering in gradient domain[J]. International Journal of Digital Multimedia Broadcasting， 2017（2）： 9029315.

[17] 张翔， 王伟， 肖迪. 一种改进的具有色彩保护的多尺度Retinex图像增强算法[J]. 计算机科学， 2018， 45（10）： 247-249. （ZHANG X， WANG W， XIAO D. Improved image enhancement algorithm based on multi-scale Retinex with chromaticity preservation[J]. Computer Science， 2018， 45（10）： 247-249.）

[18] HE K， SUN J， TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（6）： 1397-1409.