基于图像退化模型的图像去雾算法①

苏国强, 张 明(上海海事大学 信息工程学院, 上海 201306)

基于图像退化模型的图像去雾算法①

苏国强, 张 明
(上海海事大学 信息工程学院, 上海 201306)

在雾、霾之类的恶劣天气下拍摄的图像, 由于存在大气的散射作用, 使得物体特征难以辨认, 严重影响了图像的视觉效果, 同时还妨碍了图像的特征提取. 因此, 需要利用去雾技术对图像进行增强和修复, 以改善视觉效果和方便后期处理. 本文针对暗原色先验去雾算法耗时长和处理效果不佳等问题, 提出了一种改进的自适应边界约束去雾算法. 同时, 引入了信息熵和平均梯度对其进行客观评价, 对比实验结果表明该方法运算速度快,在细节处理上效果更好.

去雾; 边界约束; 自适应

近年来, 伴随着计算机技术的不断发展, 计算机视觉系统在军事、交通以及安全监控等领域应用的不断深入, 图像去雾已成为计算机视觉领域的重要研究方向. 由于大气污染的影响, 雾、霾等天气频繁出现,造成户外可见光成像系统特别是交通视频监控系统成像模糊, 对比度下降, 信息缺失等问题愈发严重. 在这种恶劣天气条件下, 大气中的水分及大量悬浮颗粒对光线的散射作用, 使得景物的能见度大大降低, 从而导致监控系统无法准确的提取目标景物的图像特征.因此必须要对恶劣条件下拍摄的图像进行去雾处理并进行优化, 来提高图像的质量. 目前, 国内外学者提出的去雾方法主要分为以下两种: 基于非物理模型的图像增强方法和基于物理模型的图像复原方法. 其中,基于非物理模型的图像增强方法, 是根据雾天图像对比度低、亮度低等特点, 通过增强图像某些特征(如对比度)来改善图像质量. 该方法能够实现一定程度的去雾, 但更容易造成图像信息的丢失和颜色失真. 而基于物理模型的图像复原方法则使用大气散射物理模型来进行求解, 只要确定了透射率和大气光强的值就可以恢复出原始的无雾图像, 该方法针对单幅图像, 处理效果自然, 是目前广泛采用的方法.

单幅图像去雾算法的研究作为一个综合性的、跨学科的课题发展, 近年来引起了人们的广泛关注, 许多学者都提出了自己的去雾优化方法[1]. Tan[2]提出了利用图像增强的方式进行去雾, 该方法不以物理成像模型为出发点, 而采用最大化局部对比度对图像进行恢复, 但缺点是容易造成信息的丢失. Fattal[3]采用大气物理模型的方法, 该方法首先假设目标的局部表面投影和透射率无关, 然后借助于物理模型对透射率进行独立分析与估计, 但缺点是只能用于处理单幅彩色图像且浓雾天气条件下不成立. Tarel等人[4]在此基础上, 对大气光的取值范围进行了深入分析, 先利用中值滤波器对环境光的衰减进行过滤, 去除图像中的多余纹理信息, 然后在带入物理模型中求解, 从而达到去雾效果, 但由于中值滤波不能很好地处理边缘部分,在景深突变处影响很大, 易造成颜色失真. 后来, He等人[5]提出了基于暗原色先验知识的去雾算法, 先采用最小值滤波的方式对透射率进行初步估计, 然后通过引入软抠图的算法对透射率进行细化处理, 最终也复原出了无雾图像, 该方法也是目前被普遍接受的有效去雾方法, 但该方法的时间复杂度较高, 不能达到实时性的要求.

上述方法各有利弊. 本文针对当前图像去雾算法的时间复杂度高和去雾图像信息丢失等问题, 对基于暗原色先验的去雾方法进行了优化与改进. 首先, 通过边界约束条件对透射率进行三阶段估计, 更准确的估计出了透射率, 然后引入容差机制对雾天图像进行恢复. 实验结果表明, 该算法具备有效的去雾功能,运算的时间较低, 更有实际应用价值.

1 基于暗原色先验去雾过程

1.1 大气散射物理模型

本系统在1975年, McCartney等人根据Mie散射理论提出了大气散射模型[6], 该模型是目前图像处理领域最为常用的模型, 该模型由大气光衰减模型和环境光成像模型两部分组成. 其中, 大气光衰减模型是指从人眼观测方向入射进来的光受到大气戒指的阻碍,发生了散射从而导致光强衰减; 而环境光成像模型则是描述周围环境中的各种光线, 经大气粒子的散射之后, 附加在目标景物上, 导致景物颜色的偏移. 用数学表达式表示, 即为:

在上式中, I( x)是待去雾的图像(有雾图像), J( x)是要恢复的图像(无雾图像), A是全球大气光,通常将其视为大气、地面或者远处天空的颜色, t( x)为雾气的浓度, 也称为透射率, 其数学表达式为

该式表明了透射率是随着景物深度d变化的, 且是按指数衰减的.

对式(1)进行变换操作, 即可推导出雾天图像的复原模型, 数学表达式为:

如式(3)所示, 只要求出大气光A和透射率()t x,即可恢复出无雾图像()J x.

1.2 暗原色先验理论

暗原色先验的理论可以有效地处理单幅有雾图像,该理论是通过对大量户外无雾图像的统计分析得出的规律. 该理论认为, 对于大部分的无雾图像而言, 在每个局部区域内都存在着一个或多个颜色通道的强度值很低的像素点, 这些点被就被称为暗通道. 其数学表达形式如下:

式中, Jc表示原始图像的每个通道, Ω(x)表示的是以点x为中心的一个局部块. 式(4)的代码意义是:首先求出每个像素点对应的RGB分量, 取最小的颜色分量值, 并将值保存在一幅和原图像大小相同的灰度图中, 接着再对其进行最小值滤波操作, 滤波的半径由窗口大小决定, 滤波的窗口一般都是手动设定好的.一般选取5*5, 7*7大小的窗口进行滤波.

1.3 暗原色先验去雾算法

从上文知, 要求得J( x)的值, 要做一些假设. 首先假设在每一个局部块内透射率t( x)为固定的常量,用符号t表示, 并且假设A的值已经给定, 对式(1)两边同时除以A, 进行归一化操作, 接着对式(1)的两边进行两次最小值滤波, 求其暗原色, 于是有

式(4)中, ()J x是需要求解的无雾图像, 根据暗原色先验知识的理论有

将式(6)代入式(5)可得

在一般天气情况下, 由于空气中存在着一些微小的运动颗粒, 所以总会让人感觉有一点雾蒙蒙的感觉.如果彻底将雾移除, 则去雾后图像看起来会不真实,即出现颜色失真, 同时对图像深度信息产生一定影响.因此, 在式(6)中我们引入一个可控的辅助参数ω(01ω＜＜)用来保留一定程度的雾. 原文中选取ω=0.8, 则式(7)修正为

由上文分析可知, 式(7)中()t x的比较粗糙, 所以图像用它处理后块效应会很明显, 即Halo响应. 为了修正该参数, 何凯明[8]等人对透射率使用Soft Matting[7]方法进行优化, 其()t x通过式(7)求解得到

式(9)中, λ是修正参数, U是大小和L相同的单位矩阵. 综上所知, 再估计出A的值, 便可根据公式(1)求出()J x, 但用Soft Matting方法的时间复杂度很高, 处理会花费较长的时间.

2 本文改进的算法

本文主要针对目前图像去雾存在的失真和信息丢失问题, 深入地研究了基于暗原色先验的图像去雾算法, 只要能够求解出大气光强A和透射率)(xt, 就可以根据大气散射模型恢复出无雾图像. 大气光强A的取值一般都需要手动的进行参数估计, 本文提出了自适应的求解方法. 关于透射率的求解过程, 分析了基于边界约束的方法, 发现其约束条件并不总是成立的,在某些区域条件并不满足, 从而会导致透射率的错误估计. 本文在此基础上对其进行了分析和改进, 设计出了一种三阶段的场景透射率的估计方法. 最后, 利用大气散射模型恢复出了清晰的无雾图像.

图1 算法流程图

整个算法的核心部分流程图见图1.

2.1 估计全局大气光

传统的求解全局大气光的方法是选取暗通道中前0.1%像素值较大的区域, 然后在原图像的目标区域内寻找像素值最大的点, 其对应的值即为全局大气光的值. 本文在计算全局大气光值时, 对其进行了优化和改进. 参照文献[9]求取大气光的方法, 首先对原图像的每一个通道进行局部最小值滤波, 得到三个暗通道图像. 接着把RGB三个暗通道图像中的灰度值做为大气光在该通道的灰度值. 其数学表达式也可表示为:

式(10)中, 本文所选用的滤波窗口不在是固定的窗口大小, 而是采用动态窗口, 选取图像的行和列的最大值的3%作为窗口半径r. 假设输入图片的大小为M*N, 则半径r的数学表示形式为: r=round(max(M, N )×3%). 实验结果表明, 本文选取的动态窗口能更好的实现去雾效果; 同时自适应的设置窗口的大小, 提高了处理效果和处理效率之间的均衡性.

2.2 估计透射率

在文献[9]的方法中, 通过线性外推的式(11), 来约束一幅图像的场景辐射大小:

式(12)中, C0和C1是两个与给定图像相关的常向量.

通过观察式(11)可知, 约束了J(x)就约束了t(x).因此, 每一个局部块内的x, 都有对应的Jb(x)和tb(x).

则有:

本文在Meng方法[9]的基础上, 提出了一种改进的边界约束方法求取透射率, 然后用正则化方法对其进行优化. 其详细过程如下所示:

第一, 对基于块的场景透射率进行粗估计, 主要计算场景透射率的下边界tb(x)和透射率粗估计~t( x).公式如下:

第二, 对基于块的场景透射率进行细化[10], 主要利用了基于加权L1范数的正则化技术. 构造目标函数如下:

式中, λ是正则化参数, Wj是一个权重矩阵, Dj是一阶微分算子.

然后, 引入辅助变量uj=Dj⊗t( j∈ω)和权重参数β, 将上式转换为下式:

之后, 通过迭代求解uj和t. 实验结果表明, 经过几次迭代之后, 估计的透射率就会很快的收敛. 本文中, λ的值取2, β的取值是从20到28按比例2 2递增的, Dj采用是高阶差分算子集, 具体的如图2所示.

图2 本算法用到的高阶差分算子集

第三, 引入容差机制[11]修正场景透射率. 增加可控参数K, 对于I-A＜K的区域, 认为是明亮区域,需要对透射率进行修正. 而对于I-A＞K的区域, 认为是非明亮区域, 仍然保持原始透射率不变. 修正后的公式如下:

式中, t0是一个很小的常数, 用来防止ttrue(x)为零. 本文中, t0的值取0.001, K的取值在50到80之间(默认取70).

当C0的取值为C0=(20,20,20)T,C1的取值为C1=2*A -C0时, 用本方法计算出的透射率图如图3所示.

图3 透射率对比图

由图3可以看出, 原始透射率图由于块的选取过大, 导致透射率出现了Halo效应[8]. 于是采用了软抠图7的方法对其进行细化,但是该方法在边缘处理上不佳. 而本文算法处理后的结果, 不仅细化了原始透射率, 而且很好的解决了图像边缘的细节问题.

综上所述, 只要估计完全局大气光和场景透射率的取值后, 即可对雾天图像进行复原操作. 采用该方法求得的透射率更为准确的反应了真实场景, 能够更好地恢复无雾图像

3 实验结果及比较分析

该算法的验证平台为Matlab2012a, CPU为intel core i5-2450M双核2.5GHz处理器, 在内存为4GB的win10操作系统上运行. 分别选取了大小不同的五张互联网图像进行验证, 其中前三张图像整体偏暗, 色彩较为均衡, 不存在明显的亮点, 去雾容易; 而后两张图像偏亮, 色彩变化较明显, 有明显的亮点, 去雾后易造成信息的丢失. 实验结果表明本方法去雾效果更理想, 并与He[8]方法, Tarel[4]方法进行了对比, 从而验证了该算法的优越性.

3.1 实验主观评价

本文算法处理大量的户外单幅有雾图像均实现了较好的去雾功能. 为验证算法的有效性, 对部分户外真实场景(互联网图片)进行了对比分析, 实验结果表明He算法对于天空等部分效果不佳, 可能会出现失真现象. Tarel方法由于增强了图像的对比度, 会导致图像的色彩不真实. 而本文算法在处理天空区域和边缘细节部分上效果更为逼真, 更加真实地再现了场景的实际颜色, 实验效果图如图4所示.

图4 实验结果比较

从实验结果可得如下结论, He采用暗原色先验加软抠图的方法, 虽然在部分图片边缘会出现失真现象,但是总体处理效果显著, 缺点就是运算时间较长; Tarel方法的运算时间明显缩短, 但是图像的过度增强,严重影响了图像的视觉效果; 本文方法处理获得了比较好的效果, 算法复杂度也不高(见表1). 综上所述,在与上述的对比方法中, 本文方法比其他方法能获得更好的视觉效果, 实验结果良好.

表1 各算法时间复杂度比较(单位/s)

3.2 实验客观评价

图像的客观评价主要是依靠相关的数学理论模型给出的量化指标, 来模拟人类视觉系统感知机制, 对实验结果进行定性的衡量. 目前, 该领域有多种图像质量评价的指标, 经常使用的客观评价标准有亮度、对比度、信息熵、平均梯度和信噪比等. 本文中, 选取平均梯度和信息熵作为评价指标. 下面简要介绍下指标的定义:

式(19)是平均梯度的定义式, 式中(,)F i j是图像中点(,)i j的灰度值, M,N分别为图像的总行数和总列数. 图像的平均梯度是衡量图像细节相关程度的重要指标, 反应了图像微小细节变化的速率.

式(20)是图像信息熵的定义式, 式中, ()p g表示灰度级g的分布概率, L为灰度级数. 图像的信息熵是图像信息的重要标志, 它衡量了图像信息的丰富程度, 通过对信息熵的分析, 也可以看出图像在细节处理上的表现能力.

上述两个指标的值越大, 则表明去雾后的整体质量越好. 比较结果如表2及表3所示.

表2 客观质量评价一

表3 客观质量评价二

从表2及表3可以看出, He算法在处理光线昏暗的图像时, 其平均梯度值大, 图像更清晰. 在处理光照不是特别暗的图像时, Tarel和本文算法更好; 同时,相比于Tarel算法, 本文处理后的图像信息熵和平均梯度的值都较高, 表明去雾后的效果更好. 实验结果表明: 本文方法在处理时间和去雾后的效果上更具优越性.

4 结语

本文在分析了暗原色先验去雾方法的基础上, 提出了一种改进的边界约束去雾算法. 针对He方法在处理户外有雾图像时, 天空部分去雾效果不好及算法耗时较长的问题, 提出了一种自适应的大气光值计算方法, 该方法可以有效的自动估计出大气光强的值, 同时通过边界约束条件对透射率进行三阶段估计, 更准确的估计出了透射率. 此外, 为了弥补人眼对于图像本身的评价带来的局限性, 引入了平均梯度和信息熵对图像进行客观评价. 通过实验结果对比分析可知,本文算法能够大幅度地提高了算法运算速度, 而且处理效果显著, 尤其在细节变化上, 弥补了图像的信息丢失问题.

1 郭璠,蔡自兴,谢斌,等.图像去雾技术研究综述与展望.计算机应用,2010,30(9):2417–2421.

2 Tan RT. Visibility in bad weather from a single image. IEEE Conference on Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE. 2008. 1–8.

3 Fattal R. Single image dehazing. ACM Siggraph, 2008, 27(3): 1–9.

4 Tarel JP, Hautiere N. Fast visibility restoration from a signal color or gray level image. IEEE 12th International Conference on Computer Vision. 2009. 2201–2208.

5 He KM, Sun J, Tang XO. Single image haze removal using dark channel prior. IEEE Conference on Computer Vision and Pattern Recogntion. 2009. 1956–1963.

6 McCartney EJ. Optics of the Atmosphere: Scattering by Molecules and Particles. John Wiley and Sons, 1976: 123–129.

7 He KM, Sun J, Tang XO. Fast Matting using large kernel matting Laplacian matrices. IEEE Conference on Computer Vision and Pattern Recognition. 2010. 2165–2172.

8 He KM, Sun J, Tang XO. Single image haze removal using dark channel prior. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341–2353.

9 Meng G, Wang Y, Duan J, et al. Efficient image dehazing with boundary constraint and contextual regularization. Proc. of IEEE 16th International Conference on Computer Vision. 2013. 617–624.

10 唐述,龚卫国,仲建华.稀疏平滑特性的多正则化约束图像盲复原方法.软件学报,2013,24(5):1143–1154.

11 蒋建国,侯天峰,齐美彬.改进的基于暗原色先验的图像去雾算法.电路与系统学报,2011,16(2):7–12.

Image Defog Algorithm Based on Image Degradation Model

SU Guo-Qiang, ZHANG Ming
(Information Engineering College, Shanghai Maritime University, Shanghai 201306, China)

For the images captured in the bad weather like fog or haze, the atmospheric scattering effect not only seriously affects the visual appearance of the image, but also hinders the image feature extraction. Therefore, it needs de-fog technology for image enhancement and restoration, to improve the visual effects and convenience of post-processing. Because that dark colors prior algorithm is time consuming and has poor treatment effect etc., we put forward an improved algorithm of boundary constraints defogging algorithms. At the same time, we introduce information entropy and average gradient to evaluate the algorithm objectively. Comparison of experimental results shows that this method has a high computing speed, and better effects on the deal.

defogging; boundary constraints; adaptive

2016-07-23;收到修改稿时间:2016-09-05

10.15888/j.cnki.csa.005710