基于视觉物理模型的去雾算法

马时平，李权合，马红强，毕笃彦



基于视觉物理模型的去雾算法

马时平，李权合，马红强，毕笃彦

(空军工程大学航空航天工程学院，陕西 西安 710038)

针对现有图像去雾算法不能有效增强复杂大气环境下退化图像的问题，结合单色大气散射模型、大气传输函数(ATF)以及Retinex提出了一种基于视觉物理模型(VPM)的图像去雾算法。新模型可同时描述非均匀光照退化、雾霾退化以及噪声退化等复杂大气环境下的图像退化。模型求解过程首先使用变分法消除环境光退化，然后引入马尔科夫随机场将场景反射率求解问题转换为了最大后验概率问题，最后利用对比度抑制自适应直方图均衡来校正场景反射率亮度，从而实现图像去雾。实验结果表明VPM能够指复杂大气环境下退化图像的增强，使其物理保真度和视觉愉悦性得到有效改善。

图像去雾；人类视觉机制；单色大气散射模型；视网膜皮质模型；大气传输函数

根据去雾技术路线划分，可以分为基于增强的算法和基于模型的算法。基于模型的算法以求解图像退化的物理模型为目的，利用退化要素的相关先验和假设，分析、求解物理模型中的相关参数，继而恢复场景反射率，尽可能再现真实场景[1]。基于复原的去雾算法近年来取得了很大进展，实现了从依赖多幅图像到单幅图像直接去雾的跨越，先后涌现出文献[2]提出的基于多幅图像的算法、文献[3]提出的基于偏振滤波的算法、文献[4-8]提出的单幅图像去雾算法。

目前，用于图像处理的模型大致可分为模拟视觉机制的模型和物理模型，但都存在一定的局限性。例如，Retinex模型建模之初是用于描述外部乘性光照不同而引起成像的亮度和色彩差异的，可以指导图像增强前后保持色彩恒常，在描述雾霾退化图像时不易于从视觉认知角度理解[9-10]；ATF(atmospheric transmission function)是一个用以描述场景反射率到视觉感光强度间映射关系的函数，该模型对人眼视觉的认知过程建模，但并没有考虑到成像背后的物理机制[11]；单色大气散射模型(monochrome atmospheric scattering model，MASM)针对单一光源、单次散射条件下的雾霾退化图像建模，但实际物理过程往往存在复杂光照、多次散射，甚至会随着景深的变大引入湍流退化；双色大气散射模型[12]的复杂度较高，而且同样没有考虑可能存在的湍流退化。虽然上述诸多模型能够较好的用于指导雾霾退化图像的增强，但去雾结果有的对低照度或者光照不均图像的能见度提升效果欠佳，有的远景仍然存在较为严重的模糊。文献[13]引入变分求解大气传输图像的基础上，对景深进行约束，有效缓解了远景模糊现象，但是算法在求解时尚未考虑图像中的噪声。文献[14]利用深度学习的方法对雾天图像进行纹理、颜色特征提取，得到雾天条件下纹理结构特征及颜色特征与场景深度间的映射关系，并估算出有雾图像的场景深度图；最后结合大气散射模型，根据场景深度图复原无雾图像。该方法虽具有一定的普适性，但是对于雾气分布极度不均匀的图像去雾效果并不理想。究其原因是因为现有模型所涵盖的大气退化要素还不足以描述复杂大气环境下的图像退化，故而针对复杂大气环境(包括混浊介质、复杂光照、湍流介质、噪声等)下的图像去雾，需要对现有模型进行改进。

本文从多种模型融合，以及在已有模型中融入更多退化要素两个方面对现有模型进行了改进，并基于改进后的模型设计了去雾算法。首先，为了兼顾雾霾天气、低照度、非均匀光照及噪声退化[15-16]，结合MASM、ATF和Retinex提出了一种改进模型，这里称之为视觉物理模型(visual-physical model，VPM)。新模型包含两部分：场景反射光衰减项和外部光照叠加项，前者描述低照度和非均匀光照退化，后者可描述雾霾和噪声退化。模型求解过程首先采用变分法消除外部环境光，然后引入马尔科夫随机场求解场景反射率，最后采用对比度抑制自适应直方图均衡(contrast limited adaptive histogram equalization，CLAHE)调节场景反射率的亮度，得到VPM的最终求解结果。

1 视觉物理模型

1.1 ATF模型

综上，可以得出L是经大气散射干扰之后的L，L=hL，而且光源是非单一光源。至此，可得到改进后的模型表达式为

式(2)即为VPM，为了区别已有模型，式中()为场景反射率；()为大气环境光；()为大气散射率。模型的实质是：进入人眼的光强为被场景反射部分和被大气散射部分的大气环境光加和，也即退化图像由场景反射光衰减项和外部光照叠加项构成，前者描述低照度和非均匀光照退化，后者可描述雾霾退化和噪声退化。与Retinex算法和ATF算法关系见表1。

表1 Retinex算法、ATF算法与VPM算法比较

1.2 VPM模型

大气环境光()作为场景的背景亮度，造成真实场景的色彩偏移和光照不均，具有局部光滑的属性，在模型求解过程中首先要消除()对图像造成的退化，考虑到非均匀、非单一光源，VPM引入变分法对其求解；消除大气环境光退化之后再对大气散射率进行粗估计，之后为了抑制噪声干扰，将场景反射率恢复问题转换为已知大气散射率估计前提下的最大后验概率问题；最后对场景反射率进行亮度校正，得到最终去雾结果。

将VPM另写为

通过Kimmel算法[18]求解上式，估计大气环境光，即

2 消除环境光退化

2.1 场景反射率恢复

其中，表示图像中所有像素点构成的集合，函数(·)同噪声的概率密度分布函数相关；为计算噪声分布函数时所选择的窗口大小。计算过程中，VPM将噪声分布假定为高斯分布，即()=2。先验项H_通过惩罚相邻像素间的亮度差值较大项，约束恢复图像的平滑性，其表达式为

式(8)所描述的能量函数可以归纳为

另外，对于彩色图像而言，需在3个色彩通道独立求解式(8)，得到不同色彩通道的场景反射率。

2.2 亮度校正

这里通过对图像的直方图进行均衡化操作来调节上述求解结果的亮度。由于全局直方图均衡容易造成图像中的噪声放大，细节丢失，以及伪轮廓效应，而局部直方图均衡，又称为自适应直方图均衡(adaptive histogram equalization，AHE)，也存在将同一区域内噪声过度放大的问题。所以，VPM选用CLAHE算法调节图像亮度，其能够适应图像不同区域的灰度差异，且处理结果的全局灰度分布较为协调，兼具全局直方图均衡和局部直方图均衡的优点，算法步骤归纳为文献[21]：

步骤1. 将输入图像分割为连续不重叠的子块。

步骤2. 对每个子块进行灰度剪切，以抑制灰度直方图均衡后出现尖峰，将该步骤形象的称为对比度受限。计算子块内每个灰度级上分配的平均像素数，即

其中，,分别为子块的行和列数目；S表示第个子块内灰度级数。然后得到剪切阈值

其中，为剪切系数。设第个子块内由剪切阈值确定的被剪掉的像素个数为M，那么该子块内每个像素被均分的“剪切”像素数为

计算剩余像素的分配步长，即

其中，S表示剩余像素的灰度区间长度。

按B规定的步长从最小到最大灰度级开始搜索，像素小于剪切阈值的位置，则分配一个剩余像素。搜索完毕后如果仍有剩余像素，则重新计算分配步长，并重新搜索，直到剩余像素分配完为止。

步骤3. 将对比度受限后的每个子块进行直方图均衡，并提取均衡后每个子块的中心点作为样本点。

步骤4. 对样本点以外的像素点进行灰度插值，按照像素点所在图像中的位置不同，分为3类像素点；第1类是4个角的像素，第2类是仅有一个临近外围样本点的像素，第3类是临近4个样本点的像素。不同像素点的插值原则如下：

第1类：用临近样本点灰度值计算；

第2类：用临近两个样本点的灰度进行线性插值；

第3类：采用式(16)进行插值

其中，,为权值；I(),I(),I(),I()分别表示被插值像素左上方、左下方、右上方和右下方的样本点灰度值。

3 实验和分析

实验选取远景处存在噪声干扰的图像、非均匀光照图像和雾霾浓度不均图像，使用基于VPM的去雾算法进行处理，证明VPM算法的有效性。然后对比He和Tarel的算法分析VPM算法存在的优势和不足。

3.1 有效性分析

图1(a)为远景处存在噪声干扰的图像，图1(b)为含低照度区域的非均匀光照图像，图1(c)为雾霾浓度不均的图像；1~4行分别为原如图像、VPM算法、大气环境光图及大气散射率估计图。从实验结果可知，VPM算法去雾效果明显，对比度提升显著，雾霾基本去除，结果不存在明显噪声，图像亮度得到很好的均衡，低照度区域的目标得以显现。另外，大气环境光图像很好的反映了图像的亮度信息，而大气散射率图像则同景深和雾霾浓度的相关性强，进一步印证了模型的实际物理意义。

图1 VPM算法去雾结果示意图

3.2 对比实验

依次选取大景深图像、存在低照度区域的非均匀光照图像、雾霾浓度不均的图像和远景存在噪声干扰的图像，使用VPM、He和Tarel算法进行去雾实验对比。图2~5为相应的对比实验结果。

从图2的大景深图像去雾结果可知，He和VPM算法较Tarel算法去雾结果优势明显，对比度更大，VPM较He的算法清晰度则更高，尤其是远景处的目标更容易观察。

从图3存在低照度区域的非均匀光照图像去雾结果可知，Tarel和VPM算法优于He的算法，因为前两者的去雾结果对比度较高，且亮度得到很好的均衡，VPM较Tarel算法更为自然，既无颗粒感，也无伪轮廓现象。

图2 大景深图像去雾结果

图3 存在低照度区域的非均匀光照图像去雾结果

图4 雾霾浓度不均的图像去雾结果

图5 远景存在噪声干扰的图像去雾结果

从图4雾霾浓度不均的图像去雾结果可知，He和VPM算法去雾较Tarel算法彻底，不存在个别区域有雾残存的问题，He算法去雾结果最为自然，不存在天空区域变为黄色的问题，而Tarel和VPM算法去雾结果的天空区域，3个色彩通道的差异被放大，导致天空变为黄色。但He的算法存在信息丢失的问题，如图4中蓝框框住的雾霾浓度较大的区域，相比之下VPM和Tarel算法去雾结果的场景信息得到较好的恢复。

从图5远景存在噪声干扰的图像去雾结果可知，Tarel算法去雾结果模糊不清，He和VPM算法具有较好的对比度和清晰度，但远景处He算法具有较强的噪声干扰，而VPM算法则相对平滑，图6是He和VPM算法去雾结果远景处的放大图，VPM算法去雾结果噪声明显小于He算法的去雾结果。

图6 He算法和VPM算法去雾结果的远景放大图

目前，国内外研究者在图像去雾算法方面开展了大量的研究工作，但对于去雾效果的客观评价则关注较少。在为数不多的去雾效果评价方法中，应用最广的是基于可见边的对比度增强评估方法[22]。文献[23]提出一种基于分类学习的去雾后图像质量评价算法。该算法通过分析去雾后图像本身所蕴含的质量特征，提取出基于图像增强、图像复原、统计先验以人类视觉系统(human visual system，HVS)的度量指标。并在本文数据库基础上，利用支持向量机(support vector machine，SVM)将质量评价问题转换为分类问题。但是该算法计算复杂度高、耗时较长，且数据库有限，对于多幅去雾后图像的质量评价问题，还只能利用“冒泡法”解决。鉴于此，本文仍选用可见边梯度法对上述实验结果进行客观质量评价，评价结果见表1。HAUTIERE等[24]依据Jourlin和PHinoli的对数图像处理(logarithmic image processing，LIP)模型提出了可见边梯度法，该方法可从不同角度对去雾效果进行客观评价，具体包括以下3个指标

表2 图2~5基于可见边梯度的评价结果

4 结论和讨论

通过对比实验可知，基于VPM的算法具有一定的噪声抑制性能，对非均匀雾霾、非均匀光照、含低照度区域的退化图像能够有效提升能见度。由图4可见，VPM算法处理后的天空区域存在严重的色偏，对比分析去雾前后天空区域3个通道的像素值，发现去雾前后天空区域3个通道像素值的相对大小顺序没有改变，故而可以认为天空区域色彩本来就是黄色的，但饱和度很低，VPM算法处理过后色彩饱和度提高，原有色彩变的显而易见了。因此，VPM在提升图像对比度、色彩饱和度方面效果显著，但会存在色彩过饱和的现象，这种现象在天空区域尤为明显，后续可以考虑通过白平衡或者分割天空区域和其他背景的算法消除。

另外，VPM处理结果的远景仍然存在模糊现象，导致这种模糊的原因除了有部分未消除的雾霾之外，还有光线间的相互干扰、光波相位的畸变[25]，这种退化可以归结到大气湍流退化当中。因此，下一步工作将在现有MASM中融入湍流介质退化要素，以减少远景处的模糊。

[1] KRATZ L, NISHINO K. Factorizing scene albedo and depth from a single foggy image [C]//Proceedings of IEEE International Conference on Computer Vision. New York: IEEE Press, 2009: 1701-1708.

[2] SCHECHNER YY, NARASIMHAN S G, NAYAR SK. Instant dehazing of images using polarization [C]// Proceedings fo IEEE International Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2001: 33-256.

[3] NAMER E, SCHECHNER Y Y. Advanced visibility improvement based on polarization filtered images [J]. Proceedings of SPIE-The International Society for Optical Engineering, 2005, 5888: 36-45.

[4] FATTAL R. Single image dehazing [J]. ACM Transactions on Graphics, 2008, 27(3): 1-9.

[5] TAN R. Visibility in bad weather from a single image [C]// Proceedings of 26th IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2008: 1-8.

[6] KOPF J, NEUBERT B, CHEN B, et al. Deep photo: model-based photograph enhancement and viewing [J]. ACM Transactions on Graphics, 2008, 27(5): 1-10.

[7] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior [C]//Proceedings of 27th IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2009: 1956-1963.

[8] 唐宁, 吕洋. 基于物理模型的快速单幅图像去雾方法[J]. 电视技术, 2015, 39(9): 36-39.

[9] 李明, 杨艳屏. TV-Retinex:一种快速图像增强算法[J]. 计算机辅助设计与图形学学报, 2010, 22(10): 1778-1782.

[10] 谭小勇. 基于Retinex理论的红外热成像增强算法研究[D]. 长沙: 中南大学, 2011.

[11] 李庆菲, 朱志超, 方帅. 大气湍流退化图像的复原研究[J]. 合肥工业大学学报: 自然科学版, 2011, 34(1): 80-83.

[12] NARASIMHAN S G, NAYAR S K. Chromatic framework for vision in badweather [C]//Proceedings of IEEE conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2000: 855-874.

[13] 南栋, 毕笃彦, 马时平, 等. 基于景深约束的单幅雾天图像去雾算法[J]. 电子学报, 2015, 43(3): 500-504.

[14] 麦嘉铭, 王美华, 梁云, 等. 特征学习的单幅图像去雾算法[J]. 中国图象图形学报, 2016, 21(4): 464-474.

[15] MILANFAR P. Removal of haze and noise from a single image [J]. Proceedings of SPIE-the International Society for Optical Engineering, 2012, 8296(3): 17.

[16] BUADES A, COLL B, MOREL JM. A non-local algorithm for image denoising [C]//Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2005: 60-65.

[17] 毕笃彦, 葛渊, 李权合, 等. 单幅图像去雾算法研究[J]. 空军工程大学学报: 自然科学版, 2013, 14(6): 46-53.

[18] DESAI N, CHATTERJEE A, MISHRA S, et al. A fuzzy logic based approach to de-weather fog-degraded images [C]//Proceeding of the 6th International Conference on Computer Graphics, Imaging and Visualization. New York: IEEE Press, 2009: 383-387.

[19] CARAFFA L, TAREL J P. Markov random field model for single image defogging [C]//Proceedings of 2013 IEEE Intelligent Vehicles Symposium (IV). New York: IEEE Press, 2013: 994-999.

[20] BOYKOV Y, VEKSLER O, ZABIH R. Fast approximation energy minimization via graph cuts [J]. IEEE Transanctions on PAMI, 2001, 23(11): 1222-1239.

[21] 张璞, 王英, 王苏苏. 基于CLAHE变换的低对比度图像增强改进算法[J]. 青岛大学学报: 工程技术版, 2011, 26(4): 57-60.

[22] 郭璠, 蔡自兴. 图像去雾算法清晰化效果客观评价方法[J]. 自动化学报, 2012, 38(9): 1410-1419.

[23] 南栋, 毕笃彦, 马时平, 等. 基于分类学习的去雾后图像质量评价算法[J]. 自动化学报, 2016, 42(2): 270-278.

[24] HAUTIERE N, TAREL J P, AUBERT D, et al. Blind contrast enhancement assessment by gradient ratioing at visible edges [J]. Image Analysis and Stereology Journal, 2008, 27(2): 87-95.

[25] 李庆菲, 朱志超, 方帅. 大气湍流退化图像的复原研究[J]. 合肥工业大学学报: 自然科学版, 2011, 34(1): 80-83.

The Dehazing Algorithm Based on Visual-Physical Model

MA Shiping, LI Quanhe, MA Hongqiang, BI Duyan

(Aeronautics and Astronautics Engineering College, Air Force Engineering University, Xi’an Shaanxi 710038, China)

Aiming at the problem that the existing image dehaze algorithm can not effectively enhance degraded images in complex atmospheric environment, animage dehaze algorithm based on visual physical model (VPM) is proposed bycombiningmonochrome atmospheric scattering model (MASM), atmospheric transmission function (ATF) and retinex. The model can describethe image degradation under complex atmospheric conditions such as non-uniform light degradation, haze degradation, and noise degradation. Environmental light degradation is first obtained though variational method. And then, markov random field is introduced to convert the problem of scene reflection rate to the maximum posterior probability. Finally, the brightness of scene reflectance is adjustedwith adaptive histogram equalization, and this is the final dehazed image. Experimental results show that VPM can enhance degraded images under complex atmospheric environment and has better physical fidelity and visual pleasure compared.

image dehaze; human visual system; monochrome atmospheric scattering model; retinex; atmospheric transmission function

TP 391

10.11996/JG.j.2095-302X.2018020269

A

2095-302X(2018)02-0269-09

2017-07-10；

2017-08-05

马时平(1976–)，男，四川绵竹人，副教授，博士。主要研究方向为图像处理、模式识别。E-mail：mashiping@126.com