基于改进暗通道先验的图像去雾算法

张 宏，张玉伦，邓 旭，徐 梅

(哈尔滨理工大学计算机科学与技术学院，黑龙江 哈尔滨 150080)

1 引言

由于在雾霾天气下拍摄的图像模糊不清并且对比度较低，这将影响后续的交通监控、军事侦查、目标识别等任务[1-4]。因此，如何将有雾图像清晰化显得尤为重要。

目前图像去雾算法主要可以分为两类，即：基于图像增强方法和基于图像复原方法。基于图像增强方法通常不考虑图像退化原因，通过提高图像的对比度来改善图像的视觉效果。例如，直方图均衡化[5]和Retinex算法[6]是典型地基于图像增强方法。然而，直方图均衡化方法容易导致去雾后的图像信息丢失，Retinex算法去雾后图像的色彩保真度不够令人满意。基于图像复原方法通常分析图像退化的原因，建立相应的退化模型，并在退化过程中补偿丢失的信息。例如，基于偏振成像的方法[7]和基于先验知识的方法[8-10]是典型地基于图像复原的方法。然而，基于偏振成像的方法对景深信息的确认以及大气散射系数的改动需要用户交互式操作。因此，国内外研究学者们着手研究雾气浓度分布规律以期望得到合理的先验信息，从根本上达到图像去雾的目的。这类方法早期由Tan等人[8]提出，基于无雾图像具有较高对比度的先验信息，通过最大化局部对比度来达到图像去雾效果。但是复原图像的颜色容易出现过饱和。Tarel等人[9]提出使用中值滤波，该方法运行时间较快，但是复原图像容易出现光晕效应。Fattal等人[10]基于大气光传播介质与局部场景透射率不相关作为先验信息，使用独立成分分析来估算透射率，但是该方法复原的图像容易发生失真情况。He等人[11]基于无雾图像的非天空区域中至少一个颜色通道上的像素强度非常低的先验信息，提出了经典的暗通道先验方法。但是该方法对天空区域的去雾效果不是很理想。为此，文献[12，13]是基于He等人提出的暗通道先验方法做出了改进。Zhu等人[14]提出了颜色衰减先验的假设，通过建立场景深度线性模型来获取深度信息。Meng等人[15]提出了边界约束和正则化图像去雾方法，通过牺牲部分边界信息来复原图像。Cai等人[16]提出了一种端到端的网络，称为DehazeNet图像去雾方法，该方法将深度学习与传统方法相结合，以有雾图像为输入，通过深度学习估计透射图，然后使用大气散射模型复原图像。与传统网络相比，该网络图像去雾的效率更高。但是，复原图像容易出现雾气去除不彻底的情况。

2 背景

2.1 大气散射模型

大气中细小颗粒物的散射作用是形成雾霾的主要因素，在雾霾天气下拍摄的图像可视性大大降低。1999年，Nayar等人[17]提出了著名的大气散射模型，该模型可以表示为

I(x)=J(x)t(x)+(1-t(x))A

(1)

式中I(x)表示为观测到的有雾图像，t(x)表示为场景透射率图，A表示为全局大气光值，J(x)表示为所要求取的无雾图像。

2.2 暗通道先验

He等人[11]通过观察大量室外无雾图像的暗通道发现：在大多数室外无雾图像的非天空区域内，至少一个颜色通道上的像素强度非常低，并且像素值接近于0或者等于0。

(2)

式中Jdark(x)表示观测到的无雾图像J(x)的暗通道，Jc(x)表示无雾图像J(x)的第c个颜色通道，其中c∈{R，G，B}，Ω(y)是以像素y为中心的窗口。由于无雾图像J(x)非天空区域的暗通道灰度强度较低，因此Jdark(x)→0。

3 本文算法

He等人[11]选取暗通道图像中最亮的前0.1%的像素点作为大气光候选区域，并在大气光候选区域对应其在原始图像的位置中寻找最大像素点的值作为估计的大气光值A。然而，当有雾图像含有亮白色物体或者其它高亮噪声时，大气光候选区域可能会错误定位在亮白色物体或其它高亮噪声上，导致大气光值估计的不准确，从而影响图像的去雾效果。此外，由于暗通道先验方法复原图像的颜色相对较暗，影响图像的视觉效果。

针对上述分析，本文提出了基于改进暗通道先验的图像去雾算法，图1为本文提出算法的流程图，其主要贡献如下：

1)提出了四叉树搜索算法来估计大气光候选区域，避免了大气光候选区域定位在高亮噪声或者亮白色物体上，进而导致大气光值估计的不准确，影响图像的复原效果。

2)将初步的去雾图像转为HSI颜色空间，保持色调H和饱和度S不变，仅对亮度I进行限制对比度自适应直方图均衡化处理。最后，将HSI颜色空间转为RGB颜色空间得到最终的去雾图像，改善了去雾后图像亮度偏暗的问题。

图1 提出算法的流程图

3.1 估计大气光候选区域

理想情况下，大气光被估计于无穷远的天空区域上。当图像中存在较大的雾气时，为了避免估计的大气光候选区域定位在高亮噪声或者亮白色物体上，导致大气光值估计的不准确。本文通过四叉树搜索算法来估计大气光候选区域，其主要过程可以描述为：

1)将输入的有雾图像划分为四个大小相等的区域。

2)分别计算四个区域的均值和方差，并且将每个对应区域的均值减去对应区域的方差得出对应区域的得分。

3)选择得分最大的区域继续重复执行四叉树搜索算法。

4)当搜索选定区域的像素点个数小于等于设置的阈值时，停止四叉树搜索，此区域为最终估计的大气光候选区域。如图2所示，通过不同方法估计的大气光候选区域，大气光候选区域标记为红色。

图2 估计大气光候选区域

从图2中可以看出He等人[11]的方法错误地将大气光候选区域定位在白色物体上，这将导致大气光值估计的不准确，进而影响图像的去雾效果。而本文提出的算法将大气光候选区域定位在远处的天空区域内，有利于提高大气光值估计的准确性。

确定了大气光候选区域后，将大气光候选区域对应其在有雾图像中的位置，再将求得位置的R，G，B三个颜色通道的均值作为估计的大气光值Ac，其中c∈{R，G，B}。

3.2 估计透射率和复原图像

根据大气散射模型(式(1))可知，仅有含雾图像I(x)是已知的。若想求取无雾图像J(x)需要计算两个未知量，分别是大气光值A和场景透射率图t(x)。根据暗通道先验理论Jdark(x)→0，故根据式(1)可以求得透射率图t(x)，即

(3)

为了使去雾后的图像保留一定的雾度，使其看起来更加自然，在式(3)中引入一个参数w∈{0，…，1}，即

(4)

式中w值越大，复原图像中的雾气去除效果越明显，但是复原图像的颜色很大程度上会变得比较暗并且过度的凸显图像的细节，影响了图像的可视性。而w值越小，复原图像中的雾气去除效果越不明显。一般w设为0.95。

根据第3.1节计算得出的大气光值Ac和上述计算得出的透射率图t(x)，可以根据大气散射模型求出复原图像J(x)

(5)

式中t0是为了避免透射率t(x)过小而设置的阈值(通常设t0=0.1)。

图3 通过不同算法获得的透射图和相应的图像去雾结果

从图3中可以看出，通过He等人[11]提出的方法进行去雾时，去雾结果中的天空区域出现了颜色失真的情况。而通过本文提出的算法进行图像去雾时，去雾结果中天空区域的颜色比较自然，并且没有出现颜色失真的情况。

3.3 HSI颜色空间处理

由于本文提出的算法是基于暗通道先验原理，使得去雾后的图像J(x)颜色较暗。因此，将初步去雾后的图像转为HSI颜色空间并保持H(色调)和S(饱和度)不变，仅对I(亮度)进行限制对比度自适应直方图均衡化处理。将处理完的HSI颜色空间转为RGB颜色空间得到最终的去雾后图像。

限制对比度自适应直方图均衡化主要思想是对其对比度进行限幅，具体过程可以描述为：

1)将图像分割为n个大小相等的连续子区域(不重叠)，计算出每个区域内的直方图。

图4 直方图裁剪和重新均匀分配示意图

2)对每个子区域内的直方图进行裁剪，使其幅值低于预先设定好的上限。如图4所示，将裁掉的部分像素重新均匀分配到各个灰度级中。从图4中可以看出，经过重新均匀分配后的直方图有部分像素超过预先设定好的上限，故重复此过程直至所有被裁剪的像素被均匀分配为止。

3)对限制对比度后的每个区域的直方图分别进行均衡化。

4)最后为了消除人为引起的边界，使用双线性插值法将相邻区域合并，为每个像素进行线性插值运算得到最终的图像。

从图5中可以看出，通过对HSI颜色空间中的亮度I进行限制对比度直方图均衡化操作，有效的改善了图像场景亮度偏暗的问题，并且提高了图像的对比度，更加凸显去雾后图像的细节。

图5 初步去雾结果和最终去雾结果的比较

4 实验结果与分析

本文使用MATLAB编程语言，在windows7的操作系统上进行所有实验。硬件平台为Inter(R) Core(TM) i5 - 4278U CPU @ 2.60GHz处理器、8GB RAM。

将本文提出的算法与几种著名的图像去雾方法(He等人[11]，Zhu等人[14]，Meng等人[15]，Cai等人[16])进行比较，分别使用定性评估和定量评估的方式来验证本文方法的有效性。

4.1 真实有雾图像定性评估

图6到图10表示不同场景下真实有雾图像的去雾结果，其中(a)表示原始有雾图像，(b)表示He等人[11]的去雾结果，(c)表示Zhu等人[14]的去雾结果，(d)表示Meng等人[15]的去雾结果，(e)表示Cai等人[16]的去雾结果，(f)表示本文算法的去雾结果。

图6 火车图像的去雾结果比较

图7 稻草图像的去雾结果比较

图8 公路图像的去雾结果比较

图9 城市图像的去雾结果比较

图10 森林图像的去雾结果比较

从图6到图10中可以看出，虽然He等人[11]提出的经典暗通道方法可以有效地去除有雾图像中的雾气，但是去雾后的图像颜色偏暗，如图6(b)所示，并且天空区域容易出现颜色失真，如图10(b)所示。虽然Zhu等人[14]提出的颜色衰减先验方法可以增强图像的纹理信息，但是该方法去雾后的图像颜色偏暗，如图6(c)所示，并且远处的图像场景容易出现雾气去除不彻底的情况，如图7(c)所示。Meng等人[15]提出的基于边界约束的去雾方法，该方法可以有效地去除图像中的雾气，但是该方法去雾后的图像容易发生颜色失真的情况，如图6(d)所示。Cai等人[16]提出了一种端到端的网络去雾方法，虽然去雾后图像的颜色没有发生失真，但是并没有很有效的去除图像中的雾气，如图10(e)所示。

从图10(f)中可以看出，本文提出的算法改善了He等人[11]和Meng等人[15]去雾结果中的天空区域发生色彩失真的情况。并且避免了Zhu等人[14]和Cai等人[16]的方法对于远处场景的雾气去除不彻底的情况。从图6到图10不同场景下的图像去雾结果可以看出，本文提出的算法可以有效的去除图像中的雾气。与一些经典的图像去雾方法相比，避免了出现颜色失真的情况，并且改善了去雾后的图像亮度偏暗的问题。综合以上定性分析的结果可以看出，本文提出的算法总体去雾效果更佳。

4.2 真实有雾图像定量评估

由于每个人的视觉感知是不同的，使得定性评估的方式包含一些主观因素。为了更公平的比较实验，本文又采用定量评估的方式来验证提出算法的有效性。本文选取图像平均梯度、可见边边缘梯度法[18]和图像信息熵作为定量评估的指标。

图像平均梯度可以描述图像的清晰程度，反映了图像细节反差程度以及纹理变化。通常来说，平均梯度值越大，图像越清晰。图像平均梯度可以表示为

(6)

如表1所示，与其它4种对比的图像去雾方法相比较，通过本文提出的算法对真实有雾图像进行去雾处理，去雾结果的平均梯度值最高。这表明了通过本文算法去雾后的图像细节丰富，纹理清晰。

表1 去雾结果的平均梯度g对比

可见边边缘梯度法[18]包括三个评估指标，e(新增可见边比率)、r(恢复后对比度质量)和σ(恢复后饱和像素数)。一般来说，e和r的值越大表明去雾后的图像质量越好，σ值越小表明去雾后的图像质量越好，e、r和σ分别定义为[18]：

(7)

(8)

(9)

如表2所示，本文提出算法的新增可见边比率基本优于其它4种对比的图像去雾方法。仅有个别数据略高于本文提出的算法，并且相差较小。例如表2中有关图7的数据显示，He等人[11]提出方法的新增可见边比率略高于本文提出算法的新增可见边比率。但是结合定性评估的结果来看，He等人[11]的去雾结果中颜色相对偏暗，远处的细节不容易被人眼捕捉，而本文提出算法的色彩饱和度和亮度都略高于He等人的方法。

表2 去雾结果的新增可见边比率e对比

如表3所示，与几种著名的图像去雾方法相比较，采用本文提出的算法进行去雾处理，恢复后对比度质量最高。这表明了采用本文提出的算法恢复后的图像具有较高对比度的特点。

如表4所示，本文算法恢复后饱和像素数在图6、7、8中具有很好的竞争优势。在表4中有关图9的数据显示，Zhu等人[14]和Meng等人[15]提出方法的恢复后饱和像素数略优于本文提出算法的恢复后饱和像素数。但是从定性评估角度来看，Zhu等人[14]和Meng等人[15]的去雾结果中，近距离建筑物复原的细节略差于本文提出算法的去雾效果。表4中有关图10的数据显示，He等人[11]提出方法的恢复后饱和像素数略优于本文提出算法的恢复后饱和像素数。但是从定性评估角度来看，He等人[11]去雾结果中的天空区域出现了颜色失真，并且近距离的场景颜色暗淡。

表3 去雾结果的恢复后对比度质量r对比

表4 去雾结果的恢复后饱和像素数σ对比

图像信息熵值的大小可以反映图像信息量的多少。通常来说，图像信息熵的值越大，图像的信息量越丰富、质量越好。图像信息熵可以表示为

(10)

如表5所示，与其它4种对比的图像去雾算法相比较，本文去雾结果的图像信息熵具有较好的竞争优势，仅图10中Zhu等人[14]的数据略优于本文算法。但是从定性评估的角度来看，Zhu等人[14]方法的去雾效果并没有本文方法的去雾后效果显示的信息量丰富，并且远处场景存在雾气去除不彻底的情况。而本文算法的去雾结果中远处场景的细节较为突出。

表5 去雾结果的图像信息熵U对比

5 结论

本文针对现有的图像去雾算法存在颜色失真和去雾后图像亮度偏暗的问题，提出了基于改进暗通道先验的图像去雾算法。通过改进的四叉树搜索算法来估计大气光候选区域，提高了大气光值估计的准确性，并且有效地减少了去雾后的图像出现颜色失真的情况。此外，通过将初步去雾后的图像转为HSI颜色空间，仅对亮度I进行限制对比度自适应直方图均衡化处理，有效的改善了去雾后的图像颜色偏暗的问题，提高了图像的对比度，使去雾后的图像凸显更多细节。