基于图像增强和复原的图像去雾方法研究

刘雪峰+刘学远+付民

摘 要： 雾霭等天气下获得的图像存在对比度低、颜色退化、景物模糊等一系列图像退化的问题，直接影响了对图像信息的有效利用。因此，对雾天图像进行有效的去雾处理，有效改善降质图像的质量，具有一定的实际意义。分析讨论基于图像增强的多尺度Retinex算法和利用图像复原原理的基于暗原色先验理论的去雾算法，并对具有不同特点的单幅有雾图像进行去雾仿真。实验结果表明，不同理论基础的两种去雾算法各有特点，基于暗原色理论处理得到的图像去雾效果更显著， 算法运行速度更快。

关键词： 图像去雾； 图像退化； 图像增强； Retinex理论； 多尺度Retinex算法； 暗原色先验理论

中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）06?0018?05

Abstract： Images obtained in the weather like mist have a series of image degradation characteristics such as low contrast degree， color degradation， blurred scenery， which directly affects the effective exploitation of image information. Therefore， it has a certain practical significance for effective defogging processing of foggy images to effectively improve the quality of degraded images. In this paper， the multi?scale Retinex （MSR） algorithm based on image enhancement and the dark channel prior theory based defogging algorithm using the image restoration principle are analyzed and discussed. The defogging simulation was carried out for single foggy images with different characteristics. The experimental results show that the two defogging algorithms based on different theories have their own characteristics， the image defogging effect obtained on the basis of the dark channel prior theory is more significant， and the operation speed of the defogging algorithm based on the dark channel prior theory is faster.

Keywords： image defogging； image degradation； image enhancement； Retinex theory； MSR algorithm； dark channel prior theory

0 引 言

在现实生活中，许多视觉应用，如智能导航系统、监控、军事遥感等需要比较精细和准确的图像特征提取，大雾等恶劣的天气条件对这些系统的正常运行增加了许多障碍[1?3]。沿海的城市雾天比较多，图像去雾处理具有实际意义和现实的紧迫性，比如马路上摄像头抓拍的图像，普通的手机拍摄得到的图像在这种环境下都亟需有效的去雾处理。

图像去雾介于图像增强与图像修复之间，算法主要可以分成两类：一类是基于图像增强的去雾方法；另一类是基于大气散射规律建立图像物理退化模型，再根据模型进行去雾处理。这种模型利用先验知识，具有内在的优越性。实际条件下获取的往往是没有附加任何景深与大气前提信息的图像，因为已知信息量不够，所以图像去雾具有不确定性。

基于非模型方式的图像增强的方法目前主要有：直方图均衡算法、同态滤波算法、根据大气调制转移函数的算法、小波方式和Retinex的算法。Retinex的算法有动态范围压缩和颜色不变的特点，实时性增强方面优于其他算法，国外已经有人利用Retinex的理论来实时处理有雾航拍图像。基于Retinex的单尺度视网膜增强（SSR）和多尺度视网膜增强（MSR）在色彩的存留方面不够理想，研究人员已经开发出MSRCR有彩色恢复算法，但仍需进一步完善和改进[4]。

基于图像复原的模型方法需要找出图像质量下降的原因。1998年，Oakley等利用Mie大气散射定律对恶劣天气条件下的图像去雾开展了研究[4]。何恺明等通过统计检验提出了基于物理模型的暗原色先验（Dark channel prior）理论，并得到了很好的雾去除效果[5?7]；Tarel等用中值滤波器来估计大气耗散，是一种图像的快速去雾方式[8?9]，但平均图像边缘可能会出现明显的边界效应，实时性也不能保证。

本文着重研究基于Retinex理论的MSR算法和基于暗原色先验理论的去雾算法，并通过仿真实验对去雾效果进行了分析讨论。

1 多尺度Retinex图像去雾算法

多尺度Retinex（Multi?scale Retinex，MSR）算法是基于图像增强的去雾方式，即基于非模型的去雾方法，它用传统的图像增强方法作为基本的图像去雾处理技术，不考虑图像景深信息、图像退化原因，是一種常用的图像去雾方法。1963年，E.Land提出一种颜色恒常知觉的计算理论：Retinex理论[10]，该理论又被称为视网膜皮层理论。光照不均匀会带来图像对比度降低的问题，而这一算法会增强对比度降低的图像。为了弥补单尺度Retinex算法尺度参数单一、动态范围窄、和颜色获取上缺乏均衡一致性的缺点，在单尺度Retinex的基础上，又提出了多尺度Retinex增强（MSR）算法。对多个图像尺度的SSR算法操作进行加权，线性叠加后输出，使得输出能够得到改善[11]。MSR算法是对SSR算法的拓展和延伸，由入射光的反射分量经过高斯函数与原先图像做卷积而得到。此方法去除外界光的入射分量的影响，获得反射分量，含有所需原始图像的细节信息。因此，MSR既凸显图像的细节，又突出图像的色调。endprint

2 基于暗原色先验理论的图像去雾算法

有雾图像退化过程可以被模型化为一个退化函数和一个加性噪声项，通过对一幅输入图像处理得到一幅退化图像。暗原色是何恺明在2009年的CVPR国际会议上提出的[12]：在绝大多数户外无雾图像的任意局部小块中，总存在一些像素，它们的某一个或几个颜色通道的强度值很低，且接近于零，称之为暗原色。

基于暗原色先验理论的去雾算法对图像进行处理主要分以下几步：

1） 求一幅图像的暗通道图；

2） 取暗通道图中最亮的0.1%像素，求得大气光；

3） 求解透射率，并通过参数调整来选择保留一定程度的雾霾，以免损坏真实感；

4） 通过导向滤波来获得更为精细的透射图。

直接去雾后的图像会比原始的暗，在处理完后需要一定的曝光增强。一般在使用暗通道算法对图像去雾处理后，再用自动色阶之类的算法处理一下图像，就会得到比较满意的结果。

3 仿真实验

本文以5组不同的对比度的有雾图像为例，对上面所述的MSR算法及基于暗原色先验理论的去雾算法进行分析。在进行图像去雾仿真时，又将自适应直方图均衡化的效果一并进行了比較。考虑到实际中对图像去雾处理的实时性要求，本文还关注了算法运行的时间。实验均在以下环境中实现，Intel 2.6 GHz 双核CPU，内存为4 GB，Windows 7操作系统，平台为Matlab 9.0。

3.1 有雾的天安门图像

从图1a）可以看出，此图是一幅轻雾图像；在经过自适应直方图均衡化和MSR算法处理后，得到的效果图和原始图像的对比差值不大，说明它们含有的细节信息相差不多；3种算法得到的效果图的对比度均有所增加，说明都有一定的去雾效果。但可以看到MSR算法得到的图像在天安门的下方和花的交界处有明显的边缘；而且就色彩还原的舒适感而言，不如直方图均衡化和基于暗原色先验理论的去雾算法得到的结果好，去雾处理的效果也不如后两者；不过单就天安门下方的几座花蒲的不同颜色的区分看，MSR算法的结果要好；基于暗原色先验理论的去雾算法处理的结果色彩还原更真实。自适应直方图均衡化的处理时间是13.719 3 ms，MSR算法的处理时间是76.622 5 ms，基于暗原色先验理论的算法的处理时间是22.7 ms。

3.2 有雾的城市图像

对于图2a）的城市图像，经过MSR算法得到的结果在河流远处的天空区域和较近处的建筑黑白反差比较明显，这也造成了处理结果的高对比度。但是MSR算法的偏色效果比较明显，本来是蓝色的天空结果反而透着一些灰色。而基于暗原色先验理论的去雾算法大楼颜色整体单一色调，而且远处天空的云彩也复原的比较另外两种方法好。自适应直方图均衡化的处理时间是34.633 5 ms，MSR算法的处理时间是244.832 ms，基于暗原色先验理论的算法处理时间是52.970 4 ms。

3.3 房子图像

对于图3a）的房子这幅图像，可以看到MSR算法的偏色效果非常严重，尤其是树叶的部分色彩失真。自适应直方图均衡化结果图也很不理想，墙体的红颜色偏浅，树叶的边缘去雾效果不佳，而且整体颜色偏亮。基于暗原色先验理论的去雾算法处理后还可以肉眼可辨有雾没有处理掉，不过它对图像右下侧的花的处理还原的比较好。自适应直方图均衡化的处理时间是10.382 6 ms，MSR算法的处理时间是58.145 6 ms，基于暗原色先验理论的算法处理时间是16.953 ms。

3.4 浓雾陆地图像

对于图4a）所示的浓雾陆地图像，需要特别说明的是其自适应直方图均衡化得到的效果图在经过通道分离后，再次得到的结果几乎看不到偏色效果，而且结果图色彩还原度高。这说明这两种方法的结合对特定的对象会得到比较理想的结果。MSR算法的缺点在于图像去雾不彻底，可以看到结果图整体比较模糊。

基于暗原色先验理论的去雾算法处理后图像整体色彩区分比较明显、自然，但是远处的天空处理不理想，而且图像整体色彩偏暗。

图5是基于暗原色先验理论的去雾算法处理前后的直方图结果，其中图5a）是原图像的直方图，图5b）是处理后图像的直方图，可以看到直方图发生了左移，图像的确变暗了。因此可以考虑在用基于暗原色先验理论的去雾算法处理后，再用图像增强的方法对结果图增强亮度。

自适应直方图均衡化的处理时间是44.446 5 ms，MSR算法的处理时间是280.988 2 ms，基于暗原色先验理论的算法处理时间是67.802 ms。

3.5 灰度人脸图像

对于图6a）的灰度图像，色调比较单一，MSR算法得到了较为理想的结果，细节恢复的较好，但整体偏亮。基于暗原色先验理论的去雾算法处理后，直观看上去更加自然，但是整体效果不及自适应直方图均衡化的处理结果。从细节还原的角度上讲，3种算法都达到了较好的去雾效果。

自适应直方图均衡化的处理时间是13.736 3 ms，MSR算法的处理时间是74.844 1 ms，基于暗原色先验理论的算法处理时间是19.849 6 ms。

因此，可以看到MSR算法对整体偏暗的图像有较好的处理效果，其最大的缺点是存在明显的偏色效果，效果图看起来不太自然，所以处理结果要进行色彩恢复。因为该算法本身有大量的浮点运算，所以处理速度比较慢。endprint

基于暗原色先验理论的去雾算法处理有雾图像得到的综合效果比较好，运算时间仅比自适应直方图均衡化处理的多一点，相比经典的MSR算法来讲速度上有提升，而且还可以通过减少一点透射率图的精度来进一步提高运算效率。但是暗原色先验是一种统计规律，对某些场景下的图像去雾效果不佳。

测验表明，若是待处理图像中包括大面积的天空，该算法处理后天空可能会呈现明显的过渡区域[13]。

4 结 语

本文对图像去雾算法两大范畴里的典型算法进行了研究，即基于经典Retinex理论的MSR算法和基于暗原色先验理论的算法。

实验结果表明，MSR算法对整体偏暗的图像、航拍图像等的去雾效果都比较理想，并对整体特征单一的有雾图像处理效果比较理想，缺点在于存在光晕现象和彩色偏移为灰色，运算速度稍慢。基于暗原色先验理论的去噪算法得益于对大气散射理论的良好运用，处理得到的结果在色彩还原度上很真实，肉眼直观看上去自然，运算时间少于MSR算法。

由于MSR算法和暗原色先验理论对浓雾图像的去雾处理效果都不佳，可以考虑结合图像增强和复原两大领域的各一种算法对同幅有雾图像进行进一步的处理。

参考文献

[1] 涂雅瑗.雾天降质图像的对比度增强方法研究[D].大连：大连海事大学，2009.

TU Yayuan. Research on contrast enhancement methods for fog?degraded images [D]. Dalian： Dalian Maritime University， 2009.

[2] 孙茂金.基于暗通道优先的单幅圖像去雾算法研究[D].大连：大连海事大学，2010.

SUN Maojin. Research on single image defogging algorithm based on dark channel prior principle [D]. Dalian： Dalian Maritime University， 2010.

[3] 嵇晓强.图像快速去雾与清晰度恢复技术研究[D].长春：中国科学院研究生院，2012.

JI Xiaoqiang. Research on fast image defogging and visibility restoration [D]. Changchun： Graduate University of Chinese Academy of Sciences， 2012.

[4] 翟艺书.雾天降质图像的清晰化技术研究[D].大连：大连海事大学，2008.

ZHAI Yishu. Research of fog?degraded image clearness techniques [D]. Dalian： Dalian Maritime University， 2008.

[5] HE K， SUN J， TANG X. Single image haze removal using dark channel prior [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Miami： IEEE， 2009： 1956?1963.

[6] DENG L， LI O X， ZHAO S W. An improved image defogging algorithm based on global dark channel prior and fuzzy logic control [C]// Proceedings of 12th International Computer Conference on Wavelet Active Media Technology and Information Processing. Chengdu： IEEE， 2015： 188?191.

[7] 李坤，兰时勇，张建伟，等.改进的基于暗原色先验的图像去雾算法[J].电路与系统学报，2011，16（2）：7?12.

LI Kun， LAN Shiyong， ZHANG Jianwei， et al. Improved algorithm on image haze removal using dark channel prior [J]. Journal of circuits and systems， 2011， 16（2）： 7?12.

[8] TAREL J P， HAUTI?RE N. Fast visibility restoration from a single color or gray level image [C]// Proceedings of IEEE 12th International Conference on Computer Vision. Kyoto： IEEE， 2009： 20?28.

[9] XIE B， GUO F， CAI Z. Improved single image dehazing using dark channel prior and multi?scale retinex [J]. Journal of computer research & development， 2011， 26（5）： 1070?1079.

[10] 肖燕峰.基于Retinex理论的图像增强恢复算法研究[D].上海：上海交通大学，2007.

XIAO Yanfeng. Image enhancement and restoration algorithm based on retinex [D]. Shanghai： Shanhai Jiao Tong University， 2007.

[11] 赵晓霞，王汝琳，李雪艳.基于多尺度Retinex的雾天降质图像增强算法[J].工矿自动化，2009，35（10）：62?64.

ZHAO Xiaoxia， WANG Rulin， LI Xueyan. Enhancement algorithm of fog?degraded image based on multiscale retinex [J]. Industry and mine automation， 2009， 35（10）： 62?64.

[12] OAKLEY J P， SATHERLEY B L. Improving image quality in poor visibility conditions using a physical model for contrast degradation [J]. IEEE transactions on image processing， 1998， 7（2）： 167?179.

[13] LAND E H. Recent advances in retinex theory and some implications for cortical computations： color vision and the natural image [J]. Proceedings of the national academy of sciences of the United States of America， 1983， 80（16）： 5163?5169.endprint