基于统计特性和亮度估计的夜晚图像去雾

杨爱萍，杨苏辉，田 鑫，赵美琪，王金斌

(天津大学电气自动化与信息工程学院，天津 300072)

雾、霾等天气条件下采集到的图像，存在对比度降低、颜色失真和细节模糊等问题，严重影响户外视频监控、目标识别等系统的性能．近年来图像去雾技术已成为计算机视觉领域的研究热点．

现有的图像去雾算法可分为两大类：图像增强方法和图像复原方法．图像增强又称为非模型方法，如直方图均衡化方法[1]、Retinex方法[2]等．这类方法不考虑图像退化的具体原因，通过增强图像的对比度，突出或抑制某些信息来弱化雾霾对图像的影响，但是这类处理方法只是改善图像的可识别度，同时容易出现细节丢失和颜色失真，并不能从根本上实现去雾．

基于模型的图像复原方法考虑图像退化的具体原因，建立相应的物理模型实现去雾．该类方法包括基于多幅图像的去雾方法[3-7]和基于单幅图像的去雾方法[8-10]．基于多幅图像的去雾方法包括利用不同极化程度的多幅图像去雾[5-7]和利用同一场景不同天气条件下拍摄的多幅图像去雾[3-4]．由于采集满足特定条件的多幅图像难度较大，基于单幅图像的去雾方法成为研究的热点，并取得了一系列成果．这类算法根据大气散射规律建立雾天图像退化模型，并充分利用图像的先验知识实现去雾．如Tan等[8]提出基于局部最大化图像对比度的图像去雾算法；He等[9]提出基于暗通道先验的图像去雾；Fattal等[10]提出基于独立成分分析(ICA)的图像去雾算法等．这类去雾算法均针对日常光照条件提出，并不适用于夜晚图像去雾．

近年来，夜晚图像去雾引起了学者们的广泛关注．Pei等[11]提出了基于暗原色先验和颜色转换的夜晚图像去雾，该方法首先将白天有雾图像作为目标图像，通过颜色转换将夜晚有雾图像转换为近似的白天有雾图像，然后基于暗通道先验去雾；Zhang等[12]先利用 Retinex算法估计入射光强度，然后通过估计入射光的颜色属性进行颜色校正，最后基于暗通道先验理论去雾；Li等[13]则利用相对平滑约束分解算法分离出光晕层，然后利用暗通道先验去雾．以上这些算法大都利用了暗通道先验理论，但是由于夜晚有雾图像的暗通道可能是由于光照不足引起，并不一定满足暗通道先验假设，导致复原图像出现不同程度的失真，并不能有效去雾．

针对当前算法的不足和夜晚图像成像规律，本文提出了一种基于统计特性和亮度估计的夜晚图像去雾算法．由于夜晚雾天图像和低照度图像亮通道[14]直方图具有很大相似性，可将夜晚有雾图像近似看成有色偏、光照不均的低照度图像．由文献[15]可知，低照度图像其反转图像与白天有雾图像相似，可用去雾方法处理其反转图像．但由于低照度、人工光源等问题，文献[15]的方法处理后的图像存在整体偏暗、显著块效应和多噪点等问题．由此，本文先考虑到夜晚雾天图像成像特点，建立了带有色偏因子的雾天图像成像模型；给出带色偏的大气光概念，基于色偏因子改进大气光估计；同时，对透射率的三通道分别处理，并基于亮度估计进行优化；针对全局非一致色偏，提出利用局部 Grey-world算法对去雾后的图像进行颜色校正．实验结果表明，所提算法对夜晚图像取得较好的去雾效果．

1 带有色偏因子的雾天图像成像模型

存在人工光源的雾天条件下，图像成像模型如图1所示．

图1 含有人工光源的雾天图像成像模型Fig.1 Imaging model for hazy image with artificial light

与白天均匀光照下的有雾图像不同[8-9]，像夜晚、低照度等含有人工光源的雾天图像成像不仅包括自然光成像，还要考虑人工光源的影响，且人工光源往往为主要光源．由于人工光源分布具有随机性，且带有颜色属性，笔者提出带有色偏因子的雾天图像成像模型为

2 基于统计特性和亮度估计的夜晚图像去雾

2.1 夜晚雾天图像统计特性

由视觉观察易知，夜晚有雾图像和低照度图像具有很大相似性，如图 2所示．对随机搜集的 1,000幅夜晚有雾图像和 1,000幅低照度图像的亮通道直方图进行统计，如图 3所示．可以发现，二者亮度直方图具有相似分布．因此，可将夜晚有雾图像近似看作光照不均、带色偏的低照度图像．

由文献[15]可知，低照度图像其反转图像与白天有雾图像相似，夜晚有雾图像亦有类似特性．因此，先将夜晚有雾图像I(x)进行反转，即

式中G(x)是夜晚有雾图像的反转图像，且仍具有光照不均和色偏特征．G(x)仍是带色偏的有雾图像，因此根据式(1)可得到

图2 夜晚有雾图像和低照度图像Fig.2 Hazy images and low-light images at nighttime

图3 夜晚有雾图像和低照度图像的亮通道直方图Fig.3 Intensity histograms of night hazy images and lowlight images

式中：r(x)、A(x)、t(x)分别为反转图像的色偏因子、大气光和透射率；J(x)是I(x)的反转图像G(x)对应的清晰图像．

2.2 带色偏的局部大气光估计

由于人工光源随机性存在，使得夜晚雾天图像具有光照不均、色偏等特点，其反转图像亦有类似特性．因此，不能通过常规的去雾方法估计大气光．考虑到大气光的局部化特性和色偏现象，笔者提出带色偏的局部大气光的概念和估计方法．首先求出夜晚有雾图像其反转图像的点暗通道[16]，然后在点暗通道的局部块中取前 0.01%,最亮像素对应的反转图像三通道值作为局部带色偏的大气光估计．

式中：W(x)表示以x为中心像素的局部窗口，本文选择局部窗口尺寸为 5像素×5像素；c表示 R、G、B三通道之一；是反转图像对应的局部带色偏的大气光．同时为了消除块效应，对求出的局部带色偏的大气光进行指导性滤波[17]．

2.3 透射率估计和优化

由式(4)可知，透射率t(x)是去雾的关键．Meng等[18]提出了基于边界约束的透射率估计方法，可有效克服基于暗通道先验求取透射率时存在的缺陷，且能较好地处理天空等过亮区域．但其只考虑了清晰图像的边界，并没有考虑图像真实的亮度分布，求出的透射率偏小．

另外，由于人工光源导致夜晚图像色偏，使得透射率三通道值差异较大．与常规方法不同，本文将透射率三通道单独进行处理．同时提出基于亮度估计优化透射率的新方法，使复原图像亮度得到提升的同时可保留更多的细节信息．

2.3.1 三通道带色偏的透射率估计

由式(4)可得透射率为

由式(6)和式(7)可得

对t1(x)进行闭运算可得三通道局部透射率，表示为

式中MC表示形态学的闭运算．

进行闭运算操作时，当选取的结构元素较大时得到的透射率块效应明显；结构元素过小会导致算法时间复杂度增大．通过反复实验，对透射率计算结果和算法复杂度折中考虑，本文采用边长为5的方形结构元素进行闭运算操作．图 4给出几种典型方法估计得到的透射率．可以看出，本文方法考虑了夜晚图像三通道的差异性，透射率估计更加准确．

图4 各方法透射率估计Fig.4 Transmissions estimated based on different methods

2.3.2 基于亮度估计的透射率优化

由于只利用了清晰图像边界先验，式(10)估计得到透射率偏小．因此本节对透射率进行优化．这里假设雾的存在并不会使夜晚清晰场景发生亮度突变.因此，其反转图像的像素值与其亮通道应具有近似的分布．

为了自适应地改善复原后图像的整体亮度，这里加入可调节亮度的参数l；同时为了得到和原始图像相近的亮度分布，取l为亮通道的均值，最后通过指导性滤波[17]对透射率进行细化．

由图5可见，经亮度优化后的透射率复原得到的图像亮度分布更加均匀，过度曝光得到抑制，同时光源区域的轮廓更加清晰．

图5 不同透射率估计对应的复原图像Fig.5 Images restored based on different transmissions

2.4 复原图像

为避免t(x)出现 0的情况，这里的e取 0.01，最后再反转得到复原图像Jp(x)．

上述各步骤得到的Jp(x)实现了夜晚雾气散射去除，但色偏依然存在，为了得到颜色自然的夜晚清晰图像，可将Jp(x)表示为

式中：rs(x)表示复原图像Jp(x)的色偏因子；Js(x)表示无色偏的夜晚清晰图像．

2.5 颜色校正

去除了雾气影响后，本节对复原图像进行颜色校正．常用的颜色恒常性算法[19-22]有很多，但是都以均匀光照图像为前提．这里假设复原图像光照局部均匀，因此提出基于局部Grey-world的颜色校正方法．

根据理想的朗伯特反射模型[23-24]，复原图像可表示为

颜色恒常性算法假设场景是由单一光源所照射，光源颜色依赖于某波段光的分布和相机对某种光的感光特性通过估计光源颜色，达到将图像校正到标准白光下的目的．根据式(18)，复原图像的光源颜色Ms表示为

式中RM、GM、BM分别表示复原图像Jp(x)的R、G、B通道的光源颜色．

在整个成像过程中，已知复原图像Jp(x)，而未知，因此需要进一步假设和限定条件才能进行求解．Grey-world 算法是基于 Grey-world假设提出，即认为场景中所有物体表面的平均反射是无色差的，即

式中m为[0，1]之间的一个常数．

根据对角模型[25]，并考虑到夜晚图像光照的全局非一致性和颜色衰减特性，本文对复原图像进行局部化 Grey-world处理近似得到夜晚图像的色偏因子rs(x)为

式中：W表示局部窗口大小；的局部光源颜色．由式(21)和式(17)，即得到颜色校正后无色偏的夜晚清晰图像Js(x)．

图6为利用局部Grey-world算法校正得到图像效果图．可以看出，局部化Grey-world算法在光源周边取得了更好的视觉效果．

图6 不同颜色校正算法结果Fig.6 Results of color correction by different methods

3 本文算法流程

综上，本文提出的夜晚图像去雾算法流程如下.

输入夜晚有雾图像I(x)．

步骤 1利用式(3)得到夜晚有雾图像的反转图像G(x).

步骤 2由式(5)求出三通道局部化带色偏的大气光

步骤 3由式(9)和(10)得到三通道局部透射率

步骤 4由式(12)计算反转图像G(x)的亮通道l并通过式(13)校正透射率，最后利用指导性滤波进行细化．

步骤5由式(15)求出带色偏的清晰图像

步骤 6由式(16)对再次反转得到复原图像Jp(x).

步骤 7由式(21)和(17)对复原图像Jp(x)进行颜色校正，得到最终无色偏的夜晚清晰图像Jp(x)．

结束

4 实验与结果分析

本文使用MATLAB R2012b实现算法编程，实验过程中，对式(5)和式(13)进行指导性滤波的滤波半径均为 41，正则化参数均为 0.1，式(5)和式(21)中的局部窗口大小W均为5像素×5像素，式(10)中的形态学滤波的结构元素采用边长为5的方形结构．

4.1 主观评价

为了验证本文提出的夜晚图像去雾方法的有效性，将所提算法与目前主流的He等[9]、Zhang等[12]及Li等[13]的方法进行对比．选取 Pavilion、Trains和Street作为实验图像，各方法去雾效果如图 7所示.其中图 7(a)为输入夜晚有雾图像，图 7(b)、(c)、(d)分别为He等[9]、Zhang等[12]及Li等[13]各方法去雾结果，图 7(e)为本文所提方法去雾效果．可以看出，He等[9]的去雾方法并没有考虑到夜晚图像特有的成像特点，去雾方法对夜晚图像几乎失效；Zhang等[12]的方法可在一定程度上去除雾气影响，但是由于亮度过度拉升导致去雾后的图像出现不同程度的失真，同时该方法以暗通道先验去雾为基础，因此天空区域块效应明显，去雾不完全；Li等[13]的方法对夜晚图像取得了较好的去雾效果，但是其只针对光源部分进行特殊处理，并没有考虑到夜晚图像的特点，因此也存在去雾不完全、整体亮度偏低、色偏严重等缺点．

相比之下，本文算法通过提出带有色偏因子的雾天图像成像模型，可较好地适用于夜晚图像去雾；通过局部化求解带有色偏因子的大气光，使复原图像不会出现 halo效应；三通道分开求解透射率并基于亮度估计优化透射率，可使图像亮度提升的同时分布较为均匀．上述带色偏因子的局部大气光估计及三通道透射率计算方法可使图像在去除雾气散射的同时得到很好的增强；考虑到夜晚图像的非一致性色偏问题，利用 Grey-world算法局部求解色偏因子校正图像，复原图像可取得更佳的视觉效果．

4.2 客观评价

为了进一步说明本文算法的优越性，采用体现图像色偏程度K、对比度C和算法运行时间T的客观评价指标，图像像素色偏程度代表了图像的整体颜色属性，图像的色偏程度K越大代表恢复出的图像偏色越严重；图像像素的对比度C用来衡量图像中细节信息的丰富程度，对比度越大代表图像细节信息越多；算法的运行时间T则代表了算法的复杂度．

为保证计算得到的颜色差异与人眼实际感知差异一致，本文在 CIE Lab颜色空间来检测色偏情况．彩色图像色偏不仅与色度均值相关，也与图像色度分布相关．这里定义衡量色偏程度的指标K为

式中：meana、meanb分别表示CIE Lab颜色空间a、b分量的均值；Ma、Mb分别表示a、b两个分量的平均值；分量的方差；Thres为阈值，取值为 2,000.计算得到的K值越大，表明图像色偏越严重．

同时使用 Lab 颜色空间的L分量计算图像的对比度C，C越大说明图像细节越清晰，其定义为

式中：num表示L分量分块数目；Ni为第i个L分量块的像素数；表示第i个L分量块中像素点x的值；lb为第i个L分量块的像素均值．

表 1给出本文方法与 He等[9]、Zhang等[12]、Li等[13]方法对 Pavilion、Trains及 Street图像去雾后图像的色偏程度、对比度，算法运行时间的统计结果，图像尺寸分别为333像素×500像素、573像素×380像素、648像素×432像素．

由表1可看出，本文方法对几幅图像处理后都能获得较为理想的指标结果，能够有效校正色偏，同时可显著提高图像对比度；其中对Pavilion图像处理结果比Zhang等[12]的方法稍差，但Zhang等[12]的方法利用正则化的方法校正图像的色偏导致算法的运行复杂度大大增加；虽然 He等[9]的方法时间复杂度较低，但是并不能对夜晚雾天图像进行有效处理；Li等[13]的方法利用复杂的图像分层的方法对光源进行处理，因此在光源亮度不突出的场景下运算复杂度较高，如图像 Street．综合来看，本文方法不需要对图像进行附加的亮度处理，同时复原后的图像整体亮度和对比度得到显著改善，色偏得到有效校正，恢复出更多图像细节，并且平均运算复杂度较低．

表1 各性能指标统计Tab.1 Evaluation indexes of different methods

图7 各种方法去雾结果Fig.7 Dehazing results by different methods

为了验证本文算法的实用性，本文人工采集了一些夜晚雾天图像进行测试，图 8为部分实验结果．由图8可以看出，本文算法对实际复杂环境下拍摄到的图像仍然具有较好的去雾效果．

图8 本文方法去雾结果Fig.8 Dehazing results by proposed method

5 结 语

基于夜晚图像成像特点，建立了带有色偏因子的有雾图像成像模型，提出了一种基于统计特性和亮度估计的夜晚图像去雾算法．通过统计分析低照度图像和夜晚有雾图像的相似性，将图像进行反转处理，从成像模型出发估计三通道透射率，然后通过亮度估计优化透射率以保留图像更多的细节和亮度信息，考虑到去雾后图像色偏不一致等特点，利用局部 Greyworld算法对复原图像进行颜色校正．实验结果表明所提算法可有效去除雾气，改善图像亮度、对比度和色度信息，视觉效果理想．需要指出的是，由于夜晚图像存在一定的噪声，处理后有时会出现噪声放大的现象．

［1］ Kim J Y，Kim L S，Hwang S H，et al. An advanced contrast enhancement using partially overlapped subblock histogram equalization[J].IEEE Transactions on Circuits and Systems for Video Technology，2001，11(4)：475-484.

［2］ Rahman Z H，Jobson D J，Woodell G A，et al. Retinex processing for automatic image enhancement[J].Journalof Electronic Imaging，2004，13(1)：100-107.

［3］ Narasimhan S G，Nayar S K. Chromatic framework for vision in bad weather[C] //Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York，USA，2000：598-605.

［4］ Narasimhan S G，Nayar S K. Contrast restoration of weather degraded images [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(6)：713-724.

［5］ Schechner Y Y，Narasimhan S G，Nayar S K，et al.Instant dehazing of image using polarization[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Kauai，USA，2001：325-332.

［6］ Shwartz S，Namer E，Schechner Y Y，et al. Blind haze separation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.New York，USA，2006：1984-1991.

［7］ Fang S，Xia X，Huo X，et al. Image dehazing using polarization effects of objects and airlight[J].Optics Express，2014，22(16)：19523-19537.

［8］ Tan R T. Visibility in bad weather from a single image[C] //Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Alaska，USA，2008：2201-2208.

［9］ He K，Sun J，Tang X，et al. Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(12)：2341-2353.

［10］ Fattal R. Single image dehazing[C]//Proceedings of the International Conference on Computer Graphics and Interactive Techniques. Los Angeles，USA，2008：1-9.

［11］ Pei S C，Lee T Y. Nighttime haze removal using color transfer pre-processing and dark channel prior[C]//Proceedings of the IEEE International Conference on Image Processing. Orlando，USA，2012：957-960.

［12］ Zhang J，Cao Y，Wang Z，et al. Nighttime haze removal based on a new imaging model[C]//Proceedings of the IEEE International Conference on Image Processing. Paris，France，2014：4557-4561.

［13］ Li Y，Tan R T，Brown S M，et al. Nighttime haze removal with glow and multiple light colors[C]//Proceedings of IEEE International Conference on Computer Vision. Santiago，Chile，2015：226-234.

［14］ Fu X，Lin Q，Guo W，et al. Single image dehaze under non-uniform illumination using bright channel prior[J].Journal of Theoretical and Applied InformationTechnology，2013，48(3)：1843-1848.

［15］ Dong Xuan，Wang Guan，Pang Yi，et al. Fast efficient algorithm for enhancement of low lighting video[J].Journal of Information and Computation Science，2011，10(7)：1-6.

［16］ Wang Z，Feng Y. Fast single haze image enhance-ment[J].Computers and Electrical Engineering，2014，40(3)：785-795.

［17］ He K，Sun J，Tang X，et al. Guided image filtering[J].IEEE Transactions on Software Engineering，2013，35(6)：1397-1409.

［18］ Meng Gaofeng，Wang Ying，Duan Jiangyong，et al.Efficient image dehazing with boundary constraint and contextual regularization[C]//Proceedings of IEEE International Conference on Computer Vision. Sydney，Australia，2013：617-624.

［19］ Land E H. The retinex theory of color vision [J].Scientific American，1977，237(6)：108-128.

［20］ Buchsbaum G. A spatial processor model for object colour perception[J].Journal of the Franklin Institute，1980，310(80)：1-26.

［21］ Finlayson G，Trezzi E. Shades of gray and colour constancy[C]//Proceedings of12th Color Imaging Conference. Scottsdale，USA，2004：37-41.

［22］ van de Weijer J，Gevers T，Gijsenij A，et al. Edgebased color constancy[J].IEEE Transactions on Image Processing，2007，16(9)：2207-2214.

［23］ Forsyth D A，Ponce J.Computer Vision：A Modern Approach[M]. New Jersey：Prentice Hall，2003.

［24］ Kobus B. Practical Colour Constancy[D]. Vancouver：School of Computer Science，Simon Fraser University，1999.

［25］ Li Fang，Wu Jinyong，Wang Yike，et al. A color cast detection algorithm of robust performance[C]//IEEE International Conference on Advanced Computational Intelligence. Nanjing，China，2012：662-664.