基于暗原色先验的快速视频去雾优化算法

张万绪，袁永德，闫　阳，茹　懿，孟虹岐

(西北大学 信息科学与技术学院, 陕西 西安　710127)



·信息科学·

基于暗原色先验的快速视频去雾优化算法

张万绪，袁永德，闫阳，茹懿，孟虹岐

(西北大学 信息科学与技术学院, 陕西 西安710127)

对目前高分辨率视频图像去雾算法实时性差,天空及大量明亮区域处理不理想等问题,提出一种基于暗原色先验的快速视频去雾优化算法。针对视频图像,采用导向滤波和帧差法,实现快速视频去雾。根据经典大气散射物理模型,首先,利用暗原色先验估计大气光值和透射率图;然后,下采样透射率图并用导向滤波得到优化的透射率图后，上采样并改善透射率图;最终,得到去雾视频帧。与带颜色恢复的多尺度Retinex算法(MSRCR)和He算法进行对比,实验结果表明,所提优化算法能有效提高视频去雾速度,改善去雾效果。

视频去雾;导向滤波;帧差法

雾霾是一种常见的自然现象[1],该天气导致能见度降低,对比度差[2],影响视频系统的正常工作。因此，实时视频去雾在航拍、视频监控等领域有重要的实际意义。

当前基于图像处理的增强技术和基于物理模型的复原技术[3]是去雾技术的两类主要方法,基于图像处理的增强方法有同态滤波、直方图均衡化、Retinex算法等,该类方法适用范围广,但对有雾图像中突出部分恢复效果差。基于物理模型的复原方法针对性强,得到去雾图像更自然。Tan[4]采用最大化局部对比度的方法来达到单幅图片去雾的目的,但去雾图片易产生颜色偏移。Fattal[5]基于数据的统计特性无法得到正确的传播图像,因此去雾图像失真较大。He[6]等人提出基于暗原色先验的去雾方法,并通过软抠图改善透射率图,得到自然的去雾图像,但对于大量天空区域该算法失效,而且整个算法的空间和时间复杂度高,实时性差,影响其在对实时性要求高的领域中的应用。

本文针对含有大量天空区域的有雾场景,提出一种快速视频去雾的优化算法。首先,为了实时处理更高分辨率视频帧,下采样优化前的透射率图,并采用导向滤波对透射率图去噪，对去噪后的透射率图上采样;然后,针对大面积天空区域存在的失真进行修正;最后,获得清晰视频帧。实验结果表明利用帧差法能有效提高视频去雾效率,加快去雾速度。

1　大气散射模型

Narasimhan[7]提出的经典大气散射模型被应用于去雾研究,描述为

I(x)=J(x)t(x)+A(1-t(x))。

(1)

式(1)中,x表示图像中像素空间位置;J为去雾后的清晰图像;t为当前场景下的透射率图;A是当前场景全局大气光值;J(x)·t(x)为场景中清晰物体在经过透射媒介衰减后到达摄像设备的部分;A(1-t(x))为场景中大气光对成像的影响。

由式(1)可得去雾后图像J(x)为

(2)

2　图像去雾优化算法

2.1暗原色先验规律

文献[8]统计大量无雾户外清晰图像后,发现在非天空区域的小域中至少存在一个颜色通道，其强度值极低。图像暗通道可表示为

(3)

其中,Jdark为图像J的暗通道;x表示像素在图像中的坐标位置;Ω(x)为在图像中以x像素所在位置为中心的方形小区域;y是该小区域中像素点位置;Jc是无雾图像中RGB的一个通道。

2.2估计大气光值

图像无穷远处浓雾区域的细节信息受大气光值A的影响。He算法对含有大量白色区域的图像不能准确地估计A值。本文对A的估计过程如下:

1) 天空区域一般位于视频帧的上半部分,对视频帧前1/2进行下采样,得到分辨率较小的天空部分Ic(x)。

2) 求Ic(x)的暗通道图Idark

(4)

3) 在Idark中找到最亮的像素点,将下采样后视频帧的对应位置作为中心,作半径为1/30行的最大值滤波,在最大值位置取RGB三通道中最大值作为大气光值A。

2.3透射率t的粗估计

对式(1)两边求最小值运算可得

(5)

将式(3)代入式(5),并将Ω(x)区域大小选为1×1,可得

(6)

其中,Idark为有雾视频帧的暗通道图。为了去雾后视频帧效果更加自然,引入一个常数ω(0<ω≤1),本文中ω取0.9,则

(7)

2.4导向滤波优化透射率

由于去雾后的视频帧易出现光晕现象。因此本文利用文献[8]提出的一种快速保边去噪的导向滤波方法。导向滤波基于局部线性模型的假设,对于输入图像p,引导图I和输出图q,在以像素k为中心的图像I的一个窗口ωk中，存在线性表达式

qi=akIi+bk。

(8)

其中,ak，bk为窗口ωk中线性常系数。对式(8)两边求导,可知引导图与输出图具有相同梯度变化趋势,即实现保边特性。

若输入图像p中噪声为n,则

qi=pi-ni。

(9)

通过最优化输入图像p和输出图像q可解得ak，bk的值。

(10)

式(10)中,ε是为了防止ak过大的正则化系数，对式(10)可解出:

(11)

(12)

在保持去雾效果的前提下,为了提高实时性,本文采取下采样粗透射率图的方法，使用导向滤波优化下采样的透射率图后，再用线性插值的方法得到原来像素大小的透射率图。

(13)

3　视频去雾方法

在动态环境中，帧差法适应力较强[2]，因此本文采用帧差法处理有雾视频。具体过程如下:

1)对第n帧图像利用本文图像去雾算法进行去雾,得到第n帧去雾图像以及该帧的大气光值和透射率图。

2)根据帧差法,对第m帧与第n帧做差，若两帧图像中像素的灰度值之差大于阈值Th，则认为该处像素发生突变，否则视为该处像素没有突变，若突变像素个数与该帧图像像素总个数之比大于阈值D,跳到步骤4);否则执行步骤3)。

3)利用第n帧所得的大气光值和透射率图,以第m帧的灰度图作为引导图,计算第m帧去雾帧。m=m+1,转到步骤2)。

4)令n=m,转到步骤1)继续执行。

去雾的流程图如图1所示。

图1　视频去雾流程图Fig.1　Flowchart for video defogging

4　实验结果和分析

用本文算法对4个不同的图像进行测试，并与带颜色恢复的多尺度Retinex算法(multi-scale Retinex with color restoration, MSRCR)和He算法进行对比,去雾效果如图2所示。第1列为4幅原图，第2列、第3列和第4列分别为通过MSRCR算法、He算法和本文算法的去雾效果。

4.1主观视觉

对图2进行主观上的分析可知,本算法去雾效果自然,对大面积天空区域没出现颜色畸变。而MSRCR算法去雾效果偏白，He算法在去雾图像边缘出现光晕现象。

4.2客观质量评价

本文从平均梯度和信息熵这两个图像评价标准对不同算法图像去雾后的质量进行对比。平均梯度反映图像细节清晰度,图像平均梯度越大,其细节越清晰。信息熵反映图像信息丰富程度，图像信息熵越大,信息量越丰富,质量越好。以图2(a)中4幅不同的图为例(将4幅原图分别称为a，b，c，d)，表1和表2为评价指标的结果。

图2　3种方法去雾效果对比Fig.2　Comparison of defogging effection for three methods

表1　3种算法的平均梯度对比

表2　3种算法的信息熵对比

对表1和表2分析可知，3种算法处理后的图像的平均梯度和信息熵都有所提高,而本文算法和其他两种算法相比,平均梯度和信息熵更高。表3为3种算法处理不同分辨率有雾图像的时间,可知本算法缩短了单幅图像的处理时间。

表3　3种算法的时间对比

4.3视频去雾实验结果

针对雾霾天气的视频处理效果对比如图3所示,视频来源陕西西安地区。图3中(a),(d),(h)为原视频帧，(b),(e),(i)为逐帧处理结果，(c),(f),(j)为帧差法处理结果。该视频共有214帧,以25fps的播放速度播放时长为8.6s,每帧的尺寸为1 024*768,从图3的视频处理效果来看,视频图像色彩恢复自然和清晰,在天空区域没有出现颜色畸变。对整个连续视频进行逐帧法处理,其速度为9.9帧/s,采用帧差法处理速度可达13.9帧/s。

图3　逐帧和帧差法处理结果对比Fig.3　Comparison of the processing results for frame and frame difference

5　总结和展望

对于目前视频去雾实时性差的问题,本文基于大气散射模型,采用暗原色先验和帧差法进行视频去雾,提高了视频去雾效率和效果。在高分辨率的视频中,处理速度还不能达到人眼分辨的时间,采用专用图像处理芯片实现快速视频处理有重要意义。除此之外,在对视频帧中感兴趣部分进行针对性的处理,也很有实用价值。

[1]毕娟.基于FPGA的单幅图像去雾算法研究及其实现[D].西安：西安电子科技大学,2012.

[2]杨国强.图像和视频去雾技术的研究[D].天津：天津大学,2010.

[3]郭璠,蔡自兴,谢斌，等.图像去雾技术研究综述与展望[J].计算机应用,2010,30(9):2419-2421.

[4]TAN R T. Visibility in bad weather from a single image[C]∥Proceeding of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washingten, DC:IEEE Computer Society,2008,12 (5):1-8.

[5]FATTAL R. Single image dehazing[J]. ACM Transactions on Graphics, 2008, 27(3):1-9.

[6]He K,SUN J,TANG X. Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[7]SRINIVASA G,SHREE K. Contrast restoration of weather degraded images[J].IEEE Transactions on Patter Analysis and Machine Intelligence,2003,25(6):713-724.

[8]He K,SUN J,TANG X. Guided on image filtering[J]. IEEE Transactions on Patter Analysis and Machine Intelligence,2013,35(6):1-13.

(编辑李静，曹大刚)

Fasting video haze removal algorithm using dark channel prior

ZHANG Wan-xu, YUAN Yong-de, YAN Yang, RU Yi, MENG Hong-qi

(College of Information Science and Technology, Northwest University, Xi′an 710127， China)

To overcome the defects of the existing algorithms in the high resolution video, such as the poor real-time performance, bad effect in sky area dehazed image, a fasting video haze removal algorithm which is based on the dark channel prior was proposed. For video images, the frame difference method and guided filtering are combined to fast video defogging. According to the classical atmospheric scattering physical model, the dark channel prior is used to estimate atmospheric light and initial transmittance. Secondly, the method of guided filtering was used to refine the down-sampled rough transmission map. refined transmission map was upsampled and corrected to obtain the final transmission map. Finally, the clear video frames were got. Comparison experiments with other two kind of methods were given, including MSRCR (Multi-Scale Retinex with Color Restoration) and He. The experimental results show that the proposed method can improve the processing speed of video defogging, and the quality of video defogging is improved.

video defogging; guided filtering; frame difference

2015-03-10

国家自然科学基金资助项目(61503300)

张万绪,男,山西运城人,西北大学副教授,从事智能控制与测试和电视信号处理研究。

TP751.1

ADOI：10.16152/j.cnki.xdxbzr.2016-01-008