一种快速单幅图像去雾新方法①

刘 哲, 黄文准, 黄世奇



一种快速单幅图像去雾新方法①

刘 哲, 黄文准, 黄世奇

(西京学院信息工程学院, 西安 710123)

为了再现雾霾天气下可见光图像的清晰场景, 有效抑制雾霾退化造成的图像对比度、清晰度下降, 本文提出了一种基于改进的双边滤波器的快速有效的去雾新方法. 该方法引进了本文首次发现的简洁高效的“类高斯核”, 代替传统双边滤波器的高斯核. 改进的双边滤波器具有很好边缘保持特性, 用该滤波器来准确优化雾天大气传输率的估计, 大大提高了计算效率; 在大气光值估计中, 对暗通道和原图两个区间亮度最大值, 进行加权平均, 精确的估计出雾天大气光值. 本文算法具有很快的处理速度, 能有效提高复原图像的清晰度和对比度, 获得较好的图像颜色.

图像去雾; 改进的双边滤波器; 大气散射模型; 暗通道先验; 图像处理

在视频监控、导航控制、目标跟踪、遥感和车辆自主驾驶等技术领域都涉及到雾天图像处理. 在雾天天气下, 空气中会漂浮着大量颗粒, 光在大气中传播时会受到悬浮在大气中的大量微小水滴、气溶胶等颗粒的影响, 对光线产生散射和吸收作用. 它会导致图像中目标的对比度降低、饱和度下降和色调偏移, 直接影响户外视觉系统效用的发挥[1,2]. 因此, 雾天降质图像的清晰化处理具有十分重要的意义[3]. 目前, 针对图像去雾, 人们提出了各种方法, 具体来说可以分为两类: 图像增强方法和图像复原方法. 图像增强处理这类方法是对被降质的图像进行增强, 改善图像的质量. 这种方法优势在于可以应用已有的成熟图像处理算法, 可以对常用的图像增强算法进行针对性的运用和改良, 增强图像的对比度, 突出图像中景物的特征和有价值的信息. 但是, 这种方法可能会造成图像部分信息的损失, 使图像失真[4]. 图像复原通过分析雾图降质机理, 建立图像散射模型, 充分利用图像退化的先验知识或假设, 实现场景复原. 相比而言, 利用图像复原的方法具有内在的优越性, 已成为图像去雾领域的研究热点.

近年来, 基于先验知识或假设的单幅图像去雾技术取得了重大突破[5,6]. Tan[7]利用对比度的区域最大法获得无雾图像, 由于该方法旨在增强图像的对比度, 没有从物理模型上求解真实场景反照率, 恢复后的颜色显得过饱和, 且在景深不连续的地方产生Halo效应. Fattal[8]假设物体表面色度与介质传播具有局部统计不相关性, 利用独立成分分析来估计场景反照率. 该方法的性能与输入图像的统计特性有关, 对于浓雾下的图像和灰度图像, 由于颜色信息不足将导致统计估计不可靠. He等[9]提出了暗通道先验法则, 并借助图像抠图算法, 对大多数户外图像都能获得很好的去雾效果, 具备物理有效性. 但在某些暗通道不接近0的区域会出现偏差, 导致复原图像失真, 且软抠图算法具有很高的时间和空间复杂度. Tarel等[10]假设大气耗散函数在可行域中逼近最大值, 且局部变化平缓, 利用中值滤波来估计大气耗散函数. 由于没有严格估计大气光参数, 导致复原效果整体偏暗, 且引入色调调整后, 容易引起颜色的失真和Halo效应.

在保证良好去雾效果的前提下, 尽可能的提高去雾算法执行效率是学者们一直以来研究图像去雾技术的方向. 很多新的快速算法源于对文献[7]、[8]和[9]中算法的改进. 文献[11]先求出部分像素点透射率值, 然后利用多源线性回归求出整幅图像的透射率, 以加快算法速度. 但这种方法求出的透射率较为平滑, 只适用于景深变化平缓的特定应用场合, 处理景物深度呈现剧烈跳变的图像则效果较差. 文献[12]中利用联合双边滤波器对透射率进行细化, 代替文献[9]中的软抠图, 一定程度上提升了算法的执行效率, 但还是不明显. 文献[13]对图像进行白平衡后, 求取颜色通道最小值作为环境光的粗估计, 然后进行边缘保持滤波来细化环境光. 上述方法中的滤波器仍然较为耗时, 快速性有待提高.

本文首次提出了一种新颖改进的双边滤波器, 来对透射率进行精确估计. 改进的双边滤波器在对图像进行滤波的同时, 能很好的保持图像边缘, 相比于He[9]采用软件抠图和He[9]提出引导滤波器对透射率进行细化, 改进的双边滤波器在保证透射率估计精度的同时, 具有更快的执行速度. 在全局大气光估计中, 本文从大气散射模型出发, 利用暗通道先验知识, 通过与有雾图像亮度最大值进行加权融合, 精确估计全局大气光的取值范围. 实验表明, 本文方法大大降低了去雾算法的复杂度, 具有很好的去雾效果, 能满足实时应用的要求.

1 背景

在计算机视觉数字图像处理学中, 描述有雾图像的散射模型[7,8]可表示为:

(2)

2 本文算法

2.1 传输率的粗估计

He[9]等通过对大量无雾图像统计特征的观察, 发现了被命名为暗原色先验的先验规律, 即在无雾图像的非天空区域里, 若把图像分为若干个子块, 则每个子块中都会有某些像素点的一个颜色通道的亮度接近于0.

(4)

(6)

又因为天空光来自无穷远处, 其传输率趋近于0, 所以式(6)能较好地同时处理包含或者不包含天空的区域. 我们并不需要事先把天空部分单独加以处理. 现实中, 即使是很晴朗的天气, 空气中总会不可避免地包含一些杂质分子. 所以当我们看远处的物体时雾依然是存在的. 而且, 雾的存在是人们感知深度的一个基本线索,这一现象被称为空间透视. 如果彻底地移除雾的存在, 图像会看起来不真实, 并且深度感会丢失. 所以我们可以通过在方程(6)中引进一个常数ω (0<ω≤ 1) , 有针对性的保留一部分覆盖遥远景物的雾:

(8)

2.2 双边滤波器

双边滤波 (Bilateral filter)[14]是一种非线性的滤波方法, 是结合图像的空间邻近度和像素值相似度的一种折衷处理, 同时考虑空域信息和灰度相似性, 达到保边去噪的目的. 具有简单、非迭代、局部的特点, 是一种同时考虑了像素空间差异与强度差异的滤波器, 因此具有保持图像边缘的特性. 其表达式为:

(10)

(11)

因此,

(12)

从式(12)可以看出, 双边滤波器的加权系数是这两部分因子的非线性组合, 空间邻近度因子和亮度像似度因子的乘积. 前者随着像素点与中心点之间欧几里德距离的增加而减小, 后者随着两像素亮度值之差的增大而减小. 在图像变化平缓的区域,邻域内像素亮度值相差不大, 双边滤波转化为高斯低通滤波器; 在图像变化剧烈的区域,滤波器利用边缘点附近亮度值相近的像素点的亮度值平均替代原亮度值. 因此, 双边滤波器既平滑滤波了图像, 又保持了图像边缘.

由上面公式可以看出, 双边滤波器每计算一个点的值, 都要在这个点的邻域进行两次高斯模板运算, 算法复杂度很高, 在实际应用中非常耗时. 为此本文提出了一种高效的改进的双边滤波器.

2.3 改进双边滤波器

1) 该函数图形是“类高斯分布图”, 具有轴对称、各向同性, 连续性、光滑性好;

2) 它与图像卷积不会改变图像的整体动态特性;

5) 具有与高斯函数相同的性质, 可以做为核平滑函数, 在图像处理领域可以得到广泛应用.

所以该滤波器在图像增强、图像平滑、图像降噪、图像分割、图像抠图等领域的应用, 将在另外一篇论文中详细讨论.

(15)

(16)

式(14)、(15)、(16)和式(17)共同构成了改进的双边滤波器. 从公式层面讲, 改进的双边滤波器的核比高斯核减少了非常耗时指数运算, 从整个算法效率上讲, 改进的双边滤波器比原来算法提高了近一倍. 为了进一步提高计算效率, 我们把二维滤波改为垂直和水平两个方向的一维滤波, 即:

2.4 传输率的优化估计

(20)

(21)

2.5 大气光值的估计

文献[10]直接采用最亮像素值估计大气光值, 方法简单但易受高亮度噪声或白色物体的影响. 文献[9]从暗原色中选取0.1%亮度最大的像素, 然后取这些像素对应于原图像中的最大值作为大气光值, 但是, 若图像中天空区域小于暗原色求取中滤波窗口的尺寸, 则错误地滤除了天空区域. 因此, 本文采用减小大气光取值范围的方法, 通过区间估计, 提高大气光值估计的精确度和鲁棒性.

(a)原图      (b)初始传输率图      (c)初始传输率去雾图   (d)优化后的传输率图   (e)优化传输率去雾图

(a)原图      (b)初始传输率图   (c)初始传输率去雾图   (d)优化后的传输率图   (e)优化传输率去雾图

(23)

(25)

(27)

2.6 图像去雾复原

3 实验和分析

3.1 算法复杂度分析

3.2 算法评价指标

为了衡量去雾算法的有效性, 实验使用图像均值(用m表示)来衡量图像亮度, 邻域标准差平均值(用e表示)表征局部对比对, 对于细节边缘等对比度信息则使用基于梯度域的清晰度(用d来表示)来进行测度. 为了改善客观评价指标的有效度, 便于两种算法去雾性能的对比, 将邻域标准差平均值和基于梯度域的清晰度在原计算公式的基础上分别除以图像亮度均值, 统一为单位亮度上的对比度和清晰度. 算法评价指标如表1所示, 其中算法执行速度用v表示, 单位为秒.

表1 定量评价指标集

3.3 算法评价与分析

为了验证本文算法的有效性, 选择了5幅典型图像进行复原实验, 并从定性和定量两个角度进行评价和分析. 图5至图9给出了5幅图像去雾前后的实验结果, 表1给出了5幅图像的定量评价指标体系.

从图中可以看出, 经过本文算法处理后, 5幅图像的清晰度和对比度都得到了很大程度的提高, 并且复原图像色彩鲜艳, 具有较好的图像颜色. 从表1中图像处理的运算时间(硬件为Intel酷睿i5CPU, 双核, 主频2.6GHz, 8G内存, 软件为Matlab R2008a)来看, 本文算法具有很快的运算速度, 计算效率大大提高. 从图像均值、邻域标准差平均值、梯度域的清晰度三个指标来衡量, 本文算法的指标明显高于He方法, 表现在:

1) 图像亮度得到了明显的提升. 如图8和图9, 经过本文算法的处理, 图像的整体亮度提高明显, 更符合人眼视觉特性.

2) 图像细节保持更好. 如图5和图9, 经过本文算法处理, 图像边缘得到了很好的保持, 细节更加丰富和细腻.

3) 图像的清晰度表现更好, 色彩更明快. 如图6和图7, 经过本文算法处理, 能较好地恢复景物结构, 色彩深浅适宜, 图像清晰度更高.

4) 计算速度得到了大幅度的提高, 如果进行算法优化和并行化处理, 可以达到实时性要求.

(1) 树林原始图      (2) He方法去雾图      (3) 本文方法去雾图

(1) 房屋原始图      (2) He方法去雾图      (3) 本文方法去雾图

4 结论

针对单幅图像去雾算法中存在的处理效率低、去雾图像偏暗等问题, 本文提出了一种基于改进的双边滤波器的快速有效的去雾新方法. 该方法引进了本文首次发现的简洁高效的“类高斯核”(国内外文献未见报道), 代替传统双边滤波器的高斯核. 改进的双边滤波器具有很好边缘保持特性, 本文用该滤波器来准确优化雾天大气传输率的估计, 大大提高了计算效率; 在大气光值估计中, 对暗通道和原图两个区间亮度最大值, 进行加权平均, 精确的估计出雾天大气光值. 本文算法具有很快的处理速度, 能有效提高复原图像的清晰度和对比度, 获得较好的图像颜色. 在下一步研究中, 针对改进的双边滤波器, 研究利用高效的查表计算方法代替差平方和倒数的计算, 运用并行化处理技术进一步提高算法的效率.

1 Sun XM, Sun JX, Zhao LR, Cao YG. Improved algorithm for single image haze removing using dark channel prior. Journal of Image and Graphics, 2014, 19(3): 381–385.

2 Wu D, Zhu QS. The latest research progress of image dehazing. Acta Automatica Sinica, 2015, 41(2): 221–239.

3 Ji XQ, Dai M, Yin CL, Feng YP, Bai XG. Haze removal for aerial degraded images. Optics and Precision Engineering, 2011, 19(7): 1659–1668.

4 Nan D, Bi DY, Xu YL, Wang SQ, Lou XL. Image dehazing method based on dark channel prior. Journal of Central South University (Science and Technology), 2013, 44(10): 4101–4108.

5 Sun W, Li DJ, Liu HJ, Jia W. Fast single image fog removal based on atmospheric scattering model. Optics and Precision Engineering, 2013, 21(4): 1040–1046.

6 Li QH, Bi DY, Xu YL, Zha YF. Haze degraded image scene rendition. Acta Automatica Sinica, 2014, 40(4): 744–750.

7 Tan RT. Visibility in bad weather from a single image. Proc. of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, USA. IEEE. 2008. 1–8.

8 Fattal R. Single image dehazing. ACM Trans. on Graphics, 2008, 27(3).

9 He KM, Sun J, Tang XO. Single image haze removal using dark channel prior. Proc. of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami,USA. IEEE. 2009. 1956–1963.

10 Tarel JP, Hautiere N. Fast visibility restoration from a single color or gray level image. Proc. of the 12th IEEE International Conference on Computer Vision. Kyoto, USA. IEEE. 2009. 2201–2208.

11 Li F, Wang HX, Mao XP, Sun YL, Song HY. Fast single image defogging algorithm. Computer Engineering and Design, 2011, 32(12): 4129–4132.

12 Xu HR, Guo JM, Liu Q, Ye L. Fast image dehazing using improved dark channel prior. Proc. IEEE Conference Information Science and Technology. 2012. 663–667.

13 Yu J, Xiao CB, Li DP. Physics-based fast single image fog removal. Proc. IEEE Conference Signal Processing. 2010. 1048–1052,

14 Tomasi C, Manduchi R. Bilateral filtering for gray and color images. Proc. of the Sixth International Conference on Computer Vision. Washington D.C., USA. 1998. 839–8461.

15 李大鹏,禹晶,肖创柏.图像去雾的无参考客观质量评测方法.中国图象图形学报,2011,16(9):1753–1757.

16 郭璠,蔡自兴.图像去雾算法清晰化效果客观评价方法.自动化学报,2012,38(9):1410–1419.

17 Pei SC, Lee TY. Nighttime haze removal using color transfer pre-processing and dark channel prior. Proc. of the 19th IEEE International Conference on Image Processing (ICIP). Orlando, FL. IEEE. 2012. 957–960.

18 Reinhard E, Adhikhmin M, Gooch B, Shirley P. Color transfer between images. IEEE Trans. on Computer Graphics and Applications, 2001, 21(5): 34–41.

New Fast Single Image Dehazeing Method

LIU Zhe, HUANG Wen-Zhun, HUANG Shi-Qi

(Department of Electronic and Information Engineering, Xijing University, Xi’an 710123, China)

Imaging in the atmosphere presents the phenomenon of low contrast, low saturation and hue offset due to atmospheric particles such as haze and fog. In this paper, a fast method is proposed to remove haze from a single image based on modified bilateral filtering. The similar Gaussian kernel that is firstly proposed in this paper is applied to structure the modified bilateral filtering. The modified bilateral filtering is a linear edge preserving filter and is used to refine medium transmission; meanwhile, it can effectively enhance the speed of data processing. The dark channel prior and fog image are used to accurately estimate the value of global atmospheric light by an interval through weighted fusion. Compared to some state-of-the-art methods, the proposed method can achieve a faster processing speed, effectively improve the visibility and contrast of the restored images, and obtain good color effect.

image dehazing; bilateral filtering; atmospheric scattering model; dark channel prior; image processing

国防预研项目(20157648)

2016-04-19;收到修改稿时间:2016-07-14

[10.15888/j.cnki.csa.005576]