基于物理模型与边界约束的低照度图像增强算法

陈 勇 詹 帝 刘焕淋



基于物理模型与边界约束的低照度图像增强算法

陈 勇*①詹 帝①刘焕淋②

①(重庆邮电大学工业物联网与网络化控制教育部重点实验室 重庆 400065)②(重庆邮电大学光纤通信技术重点实验室 重庆 400065)

针对低照度下图像降质严重的问题，该文提出一种基于边界约束与图像亮度的低照度图像增强算法。该算法首先通过改进的边界约束对伪雾图进行透射率估计，并对其进行优化；同时从伪雾图“雾”的形成原理出发，利用低照度图像的亮度分量进行伪雾图大气光值的估计；最后将增强后的伪雾图反转，即得到增强后的低照度图像。实验结果表明，针对低照度下的图像，该算法可以有效地提升对比度和亮度，过增强现象得到改善；效果优于对比算法，且复杂度低。

低照度图像增强；伪雾图；边界约束；物理模型

1 引言

当前针对低照度图像的优化主要有基于图像空域变换的方法、基于小波变换的方法、基于直方图均衡化的方法、基于Retinex理论的方法、基于图像物理模型的方法等。Mukherjee等人[6]利用HSV空间变换，分别对亮度分量V和色度分量S进行处理, 提升了图像亮度并改善了饱和度，提出一种基于DCT变换的图像增强算法。Zhou等人[7]通过构建对比度增强函数对图像HSV变换后的V分量进行处理，实现了低照度图像全局亮度增强与局部对比度增强。小波变换因能分离图像高低频成分而被广泛应用于图像增强，但其存在缺乏平移不变性、分解方向有限等缺陷[8]。李庆忠等人[9]对由离散小波变换分离的图像低频分量进行照射分量估计与去除，高频分量进行纹理信息增强与去噪，并利用鲍威尔与模拟退火相结合的优化算法实现了低照度图像对比度的快速、自适应增强，但其并未解决小波变换存在的问题。基于直方图增强算法简单有效且处理速度快，但对噪声敏感，细节易丢失。文献[10]实现了图像的局部优化增强，图像的细节信息保留更加完整，增强效果更加明显，但需要图像的所有像素点，时间复杂度较高。Jobson等人[11]在Retinex算法[12]的基础上提出了MSRCR(Multi-Scale Retinex with Color Restoration)算法，引入色彩恢复的概念，利用原图各波段的色彩比例因子对低照度图像进行优化，增强效果较好，然而该算法在明暗对比强烈的边缘处, 会出现光晕伪影及有部分色彩失真现象。在此基础上，文献[13]采用自适应高斯滤波来去除光晕伪影等失真现象，实现低照度图像的优化增强，在增强对比度的同时保留了明亮区域的纹理，但该算法导致图像饱和度降低，色彩失真现象依旧存在。Dong等人[14]发现低照度图像经反转与雾天图像具一定的相似，采用图像去雾的思想，利用暗原色先验理论[15]并结合大气散射模型[16]进行低照度图像的复原，取得了较好的增强效果。但其并未考虑到由伪雾图中大量的白色区域所导致的暗通道理论失效的问题，而直接将暗原色先验理论应用于伪雾图“去雾”中，存在一定的局限性。

针对上述问题，本文通过分析伪雾图特性改进了边界约束条件，对伪雾图物理模型中透射率进行了准确估计；根据低照度图与伪雾图间的联系，采用亮度信息进行大气光值估计；最后通过物理模型对伪雾图进行“去雾”，并再次反转得到最终增强图像，取得了较好的增强效果。

2 低照度图像反转质量优化

文献[14]将低照度图像与反转后雾天图像进行对比，发现两者具有相似性，提出采用去雾技术来实现低照度图像的质量优化，将图像复原与图像增强两者结合起来，而该方法的关键就在于去雾方法的选择。

MSRCR算法是当前研究较多且效果较好的基于图像增强的去雾方法；基于物理模型的去雾算法主要是结合暗原色先验理论，具有较好的去雾结果。本文从图像复原的角度进行低照度图像处理，选择基于物理模型的去雾方法。

2.1 大气散射物理模型

大气散射模型其表达式如式(1)

2.2 边界约束条件

3 基于边界约束的低照度图像复原方法

根据反转后图像与雾天图像的相似性，结合大气散射物理模型，采用去雾方法对图像进行复原，关键是伪雾图的透射率估计与大气光值估计。通过分析伪雾图的特点，本文提出了基于边界约束的低照度图像复原方法，其算法流程如图1所示。

3.1 边界约束估计透射率图的改进

图1 算法流程图

图2 边界约束透射率估计对比

本文对图像的暗像素点进行实验统计是通过像素灰度值来划分不同区域，所提的算法是根据像素的灰度值来划分的，不考虑图像其它因素，适用于一般的低照度图像；同时该方法仅针对图像的暗像素点进行统计，针对性强，能针对不同区域进行自适应去雾强度调节，相对于一般直接运用去雾算法进行低照度图像增强方法更合理，而且降低由于所有像素同强度增强导致的过增强现象，保留更多的图像信息。

3.2 透射率图优化

由于上述透射率估计方法的是利用局部块内有相同景深的假设，在深度突变的边缘容易产生光晕。同时，伪雾图是由低照度图像反转之后得到的，在不考虑人造光源影响的前提下，低照度图像中景深越深，亮度越低，伪雾图则越亮。而理想的透射率图应该更好地代表图像场景中的深度信息，场景内深度的变化是分段平滑且缺乏细节的，因此需要在保留边缘的条件下去除透射率图的细节信息，否则恢复出来的图像会出现偏色。目前边缘保持滤波大多采用双边滤波，但由于其是3维空间的滤波，耗时较长，为了提高算法效率，采用降维边缘保持滤波[19]对透射率估计即细节进行处理。

在3维空间中，一幅2维灰度图像表示为

首先通过变换将滤波核从3维空间降低到1维空间，变换满足

式中，为1维滤波核函数。由于变换保持了原始3维空间内的像素距离，在进行边缘保持滤波时由于像素间的混合强度与距离成反比，因此在1维空间中也具有边缘保持的特性。降维变换的表达式为

式中，。经边缘保持滤波即可得到优化的伪雾图透射率估计。本文优化方法即边缘保持滤波较双边滤波在保持边缘的同时较好地模糊了细节，如图3为实验对比结果。

3.3 基于亮度的大气光值A的估计

由式(1)可知，若取值较大则去雾后的图像会整体偏暗，局部对比度也会降低，反之则偏亮，并且会造成天空区域失真。当图像中有太亮的物体时，文献[15]方法会出现的错误估计，而伪雾图大多数区域为白色，因此需要优化的估计。

伪雾图中的“雾”是由光照决定的，大气光值应该是雾最浓的区域，对应低照度图像中的最暗区域。对此，本文提出了基于低照度图像亮度图的大气光值估计方法。首先，将低照度图像由RGB空间转换到HSV空间，得到亮度分量图。将亮度图分成4个子块，分别计算每个子块的平均亮度值，选择最暗的块再次划分为4个块，重复执行直到块尺寸小于阈值。文献[14]选择利用图像中最亮的前1%的像素点进行估计，经过实验对比，本文选取阈值为13×13即可得到有效的估计值。为了得到最终的大气光值，选取与最后得到子块所对应伪雾图中与理想的大气光值(255, 255, 255)距离最小的点，估计大气光值

4 实验与分析

在操作系统为旗舰版64位Windows 7，配置为 Intel Core i5-2410M CPU@ 2.3 GHz, 4.00 GB(内存)的计算机，软件环境为Matlab 2010b；选择具有代表性MSRCR算法[11]、Dong算法[14]为对比算法。现从图像库中选择具有代表性低照度图像(图4(a)来自Color Checker Dataset图库；图4(e)由LIVE图库图像降低亮度得到)并结合实际拍摄的低照度图像(图4(i)、图4 (m))作为实验测试图。

4.1 主观评价

图4为选用对比算法与本文算法处理低照度图像的结果。因为大气光值的估计不够准确，Dong算法得到的图像存在明显的光晕；MSRCR算法结果整体亮度较高，但偏色严重，且在高亮区域出现过增强现象；由于透射率估计方法更适合处理具有大面积白色图像，且基于亮度的大气光值估计更加准确，经本文算法处理的图像细节增强较好，而且无明显的过增强现象。

由图4(i)与图4(m)的处理结果可知，Dong算法由于采用He算法进行伪雾图大气光值估计，对于存在大面积白色区域的图像失效，其处理结果信息丢失较多；MSRCR算法由于采用对R, G,B各分量分别滤波后再合成的步骤，使处理结果出现偏色，同时还引入大量噪声；本文算法采用基于亮度的大气光值估计，保留了图像的颜色信息，图像观感更自然。由于过增强现象一般出现在低照度图像中较亮区域，而图4(i)具有上述特征，为了进一步呈现算法处理效果，现将图中树干局部与灯箱局部的处理的放大图进行对比，如图5，图6所示。

如图5，图6所示，本文算法处理灯箱局部图像未出现明显过增强现象，而经MSRCR与Dong算法处理的图像存在光晕与细节丢失，有明显的过(欠)增强现象。而针对色彩恢复部分方面，MSRCR算法与Dong算法处理结果均有一定的偏色，其中MSRCR算法失真明显，而本文算法较好地避免偏色现象的产生。

4.2 客观评价

为客观反映算法的增强效果，采用信息熵、平均梯度、归一化相对亮度距离NNF[20](Normalized Neighborhood Function), CAF[20](Comprehensive Assessment Function of the optimal quality image)等对增强图像进行客观评价。其中，信息熵反映了图像信息量大小，其值越大则图像信息越丰富，算法增强效果越好；平均梯度反映了图像清晰度，平均梯度越大则图像层次越多、越清晰；NNF是图像平均亮度与人眼视觉最佳亮度的偏差，越接近1则图像质量越好；CAF是从人眼视觉特性对图像质量的评价，其值越大表示图像质量越好。表1、表2、表3和表4分别是对本文实验对比算法的客观评价指标的统计。

图4 不同光照条件下各算法处理结果

图5 树干局部处理图

图6 灯箱局部处理图

表1图4(a)算法处理结果

算法信息熵平均梯度NNFCAF 测试图4(a)4.4366 11.94290.0936 1.5436 Dong6.5629 49.48800.4881 7.4136 MSRCR7.7506128.28690.993816.6752 本文算法6.9848 73.38910.5756 9.4435

表2图4(e)算法处理结果

算法信息熵平均梯度NNFCAF 测试图4(e)4.5781 9.05030.0709 1.1294 Dong6.3215 41.16910.3228 6.2289 MSRCR7.7512128.10330.995215.3312 本文算法6.9660 52.47250.4115 7.5496

表3图4(i)算法处理结果

算法信息熵平均梯度NNFCAF 测试图5(i)6.3163 35.15910.2757 4.5893 Dong6.9849 69.75660.5471 9.2728 MSRCR7.4756127.19660.997617.5316 本文算法6.9544 79.62860.6245 9.7469

表4图4(m)算法处理结果

算法信息熵平均梯度NNFCAF 测试图4(m)4.0324 6.36240.0499 1.1467 Dong1.4998 10.58450.0830 0.5597 MSRCR7.7993127.13760.997119.9656 本文算法7.0045 54.15730.4247 9.3002

表5各算法单位信息熵提升量对比

算法图4(a)图4(e)图4(i)图4(m) Dong5.38986.92102.4635-76.5135 MSRCR3.68143.43291.6059 3.9768 本文算法5.28677.01081.8294 7.9298

从表5可以看出，本文算法相比于MSRCR算法信息增强能力较强，与Dong算法较接近。但Dong算法实际亮度提升小于本文算法，使得其实际信息熵低于本文算法，同时针对过暗图像(如图4(m))易出现错误估计，导致增强效果不理想；MSRCR算法随着亮度的提升大量引入噪声，导致单位信息熵提升量较小；本文算法则在提升亮度的同时较好地挖掘了图像信息并抑制了噪声，单位信息熵提升具有明显优势。

由于图4(e)是由图7(a)进行亮度调整后得到的，因此可将图7(a)作为参考图像对各算法实验结果进行全参考质量评价。本文选择将各算法处理图像H(色调)分量与标准图像的H分量进行结构相似度SSIM(Structural Similarity)比较，以表征各算法对颜色信息的恢复能力，其值越接近1，则表明该算法颜色恢复越好，对比结果如表6所示。

图7 标准图像与其低亮度图像图4(e)

表6算法实验结果与图7色调相似度

图像算法色调相似度 图4(f)Dong算法0.9912 图4(g)MSRCR算法0.9876 图4(i)本文算法0.9934

从表6可知，本文算法处理结果与标准图像色调相似程度最高，表明其对颜色信息的保持能力最好。这是由于其根据伪雾图特性利用低照度图像亮度对大气光值估计，与Dong算法相比提高了估计准确性从而色彩恢复能力更好；而MSRCR算法由于是对图像R, G, B 3个分量分别进行处理，忽略了各分量间的相关性，导致其彩恢复能力较差，处理结果颜色信息丢失。

4.3 算法复杂度

在操作系统为旗舰版64位Windows 7，配置为Intel Core i5-2410M CPU@ 2.3 GHz, 4.00 GB(内存)的计算机，软件环境为Matlab 2010b进行算法验证，表7为各算法的处理效率对比。其中，MSRCR算法需要在原始图像R, G, B 3个分量的对数域分别进行高斯滤波来估计照射分量，故复杂度较高；与Dong算法相比，由于本文算法在透射率估计优化部分采用了快速的边缘保持滤波，降低了复杂度处理时间得到降低。

表7算法处理时间对比(ms)

图像大小DongMSRCR本文算法 320×240144 533121 480×3203311257243 720×5407652245567

5 结束语

本文通过分析伪雾图的特性，提出了基于物理模型与边界约束的低照度图像增强算法。通过改进边界约束条件提高了伪雾图透射率估计精度，并提出了基于亮度的大气光值估计方法，最后结合物理模型进行图像增强。本文算法一定程度上限制了噪声与过增强现象，保留图像信息。实验结果的主客观分析表明本文算法能更加有效地还原低照度图像信息，提升图像质量，避免了偏色、过增强等缺陷。但由于低照度图像受人造光源影响较大，且实际情况复杂多样，如何得到适应性更强的图像区域划分方法有待进一步研究。

[1] 田畅, 姜青竹, 吴泽民, 等. 基于区域协方差的视频显著度局部空时优化模型[J]. 电子与信息学报, 2016, 38(7): 1586-1593. doi: 10.11999/JEIT151122.

TIAN Chang, JIANG Qingzhu, WU Zemin,. A local spatiotemporal optimizationframework for video saliency detection using region covariance[J].&, 2016, 38(7): 1586-1593. doi: 10.11999/JEIT151122.

[2] 王超, 王浩, 王伟, 等. 基于优化 ROI 的医学图像分割与压缩方法研究[J]. 重庆邮电大学学报(自然科学版), 2015, 27(2): 279-284. doi: 10.3979/j.issn.1673-825X.2015.02.025.

WANG Chao, WANG Hao, WANG Wei,. Study of optimized ROI based medical image segmentation and compression method[J].(), 2015, 27(2): 279-284. doi: 10.3979/j.issn.1673-825X.2015.02. 025.

[3] 杨爱萍, 张莉云, 曲畅, 等. 基于加权L1正则化的水下图像清晰化算法[J]. 电子与信息学报, 2017, 39(3): 626-633. doi: 10.11999/JEIT160481.

YANG Aiping, ZHANG Liyun, QU Chang,. Underwater images visibility improving algorithm with weighted L1 regularization[J].&, 2017, 39(3): 626-633. doi: 10.11999/JEIT160481.

[4] 何林远, 毕笃彦, 熊磊, 等. 基于亮度反馈的彩色雾霾图像增强算法[J]. 电子学报, 2015, 43(10): 1978-1983. doi: 10.3969/j. issn.0372-2112.2015.10.015.

HE Linyuan, BI Duyan, XIONG Lei,. Color image haze removal algorithm based on luminance feedback[J]., 2015, 43(10): 1978-1983. doi: 10.3969/ j.issn.0372-2112.2015.10.015.

[5] 戚曹, 朱桂斌, 阳溢, 等. 基于局部自相似性的视频图像超分辨率算法[J]. 重庆邮电大学学报(自然科学版), 2015, 27(5): 692-699. doi: 10.3979/j.issn.1673-825X.2015.05.019.

QI Cao, ZHU Guibin, YANG Yi,. Local self-examples based video images super-resolution algorithm[J].(), 2015, 27(5): 692-699. doi: 10.3979/ j.issn.1673-825X.2015.05.019.

[6] MUKHERJEE J and MITRA S K. Enhancement of color images by scaling the DCT coefficients[J]., 2008, 17(10): 1783-1794. doi: 10.1109/ TIP.2008.2002826.

[7] ZHOU Z, SANG N, and HU X. Global brightness and local contrast adaptive enhancement for low illumination color image[J].-, 2014, 125(6): 1795-1799. doi: 10.1016/j.ijleo.2013.09. 051.

[8] SELESNICK I W, BARANIUK R G, and KINGSBURY N G. The dual-tree complex wavelet transform[J]., 2005, 22(6): 123-151. doi: 10.1109/MSP. 2005.1550194.

[9] 李庆忠, 刘清. 基于小波变换的低照度图像自适应增强算法[J]. 中国激光, 2015, 42(2): 272-278. doi: 10.3788/cjl201542. 0209001.

LI Qingzhong and LIU Qing. Adaptive enhancement algorithm for low illumination images based on wavelet transform[J].2015, 42(2): 272-278. doi: 10.3788/cjl201542.0209001.

[10] CHANG Y C and CHANG C M. A simple histogram modification scheme for contrast enhancement[J]., 2010, 56(2): 737-742. doi: 10.1109/TCE.2010.5505995.

[11] JOBSON D J, RAHMAN Z, and WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]., 1997, 6(7): 965-976. doi: 10.1109/83. 597272.

[12] LAND E H. The retinex theory of color vision[J]., 1977, 237(6): 108-128. doi: 10.1038/ scientificamer- ican1277-108.

[13] XU K and JUNG C. Retinex-based perceptual contrast enhancement in images using luminance adaptation[C]. 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2017: 1363-1367.doi: 10.1109/ ICASSP.2017.7952379.

[14] DONG X, WANG G, PANG Y,. Fast efficient algorithm for enhancement of low lighting video[C]. IEEE International Conference on Multimedia and Expo, Barcelona, 2011: 1-6. doi: 10.1109/ICME.2011.6012107.

[15] HE K, SUN J, and TANG X. Guided Image Filtering[J]., 2013, 35(6): 1397-1409. doi: 10.1109/TPAMI. 2012.213.

[16] NARASIMHAN S G and NAYAR S K. Contrast restoration of weather degraded images[J]., 2003, 25(6): 713-724. doi: 10.1109/TPAMI.2003.1201821.

[17] MENG G, WANG Y, DUAN J,. Efficient image dehazing with boundary constraint and contextual regularization[C]. IEEE International Conference on Computer Vision, Sydney, 2013: 617-624. doi: 10.1109/ ICCV.2013.82.

[18] CHEN Y, XIAO X, LIU H L,. Dynamic color image resolution compensation under low light[J].-, 2015, 126(6): 603-608. doi: 10.1016/j.ijleo.2015.01.032.

[19] GASTAL E S L and OLIVEIRA M M. Domain transform for edge-aware image and video processing[J]., 2011, 30(4): 1244-1259. doi: 10.1145/1964921. 1964964.

[20] 陈勇, 李愿, 吕霞付, 等. 视觉感知的彩色图像质量积极评价方法[J]. 光学精密工程, 2013, 21(3): 742-750. doi: 10.3788/ OPE.20132103.0742.

CHEN Yong, LI Yuan, LÜ Xiafu,. Active assessment of color image quality based on visual perception[J]., 2013, 21(3): 742-750. doi: 10.3788/ OPE.20132103.0742.

陈 勇： 男，1963年生，教授，博士，研究方向为图像处理与模式识别.

詹 帝： 男，1991年生，硕士，研究方向为图像处理.

刘焕淋： 女，1970 年生，教授，博士，研究方向为信息处理.

Enhancement Algorithm for Low-lighting Images Based onPhysical Model and Boundary Constraint

CHEN Yong①ZHAN Di①LIU Huanlin②

①(,,,400065,)②(,,400065,)

The aim of this paper is to achieve a low-lighting image enhancement method by using the similarity between fog image and inverted low illumination image. The transmittance estimation of the pseudo-fog image is estimated by the improved boundary constraint, and then it is optimized.Based on the formation principle of pseudo fog, the light intensity of pseudo fog map is estimated by using the brightness component of low illumination image.The enhanced pseudo fog image is reversed to obtain the enhanced low illumination image. Extensive experimental results using natural low-lighting images indicate that the proposed method perform better than contemporary algorithms in terms of several metrics, including the intensity, the contrast. The proposed algorithm can effectively suppress the wrong phenomenon caused by enhanced with low complexity.

Low-lighting image enhancement; Pseudo-fog image; Boundary constraint; Physical model

TN911.73

A

1009-5896(2017)12-2962-08

10.11999/JEIT170267

2017-03-29；

2017-09-18；

2017-10-27

通信作者：陈勇 chenyong@cqupt.edu.cn

国家自然科学基金(60975008)，重庆市研究生科研创新项目(CYS17235)

: The National Natural Science Foundation of China (60975008), Chongqing Graduate Student Science Research Innovation Foundation (CYS17235)

1)图库网址：http://www.eecs.harvard. edu/~ayanc/oldcc/dbs.html