雾霾图像恢复增强系统研究*

唐道发，李展，林晓兵，叶志航

（1.暨南大学信息科学与技术学院计算机科学系，广东广州510632；2.暨南大学天体测量、动力学和空间科学研究中法联合实验室，广东广州510632）

雾霾图像恢复增强系统研究*

唐道发1，2，李展1，2，林晓兵1，2，叶志航1，2

（1.暨南大学信息科学与技术学院计算机科学系，广东广州510632；2.暨南大学天体测量、动力学和空间科学研究中法联合实验室，广东广州510632）

为了增强雾霾图片的视觉效果，得到清晰的图片，同时也为了给研究人员提供一个去雾算法比较分析的工具，构建并实现了一个集图像预处理、去雾、超分辨重建和质量评估为一体的雾霾图像处理系统。系统采用了多种图像处理方法对图像进行处理，其中去雾技术和超分重建技术是系统的核心技术。测试表明，系统可以有效改善雾霾图像的质量和分辨率，同时通过图像质量评估为算法比较提供了依据。

去雾；超分辨重建；图像质量评估；系统软件

0　引言

近年来，我国的雾霾问题日益突出。雾霾不仅对人们的身体健康有害，而且雾霾天气下所采集的图像会导致颜色失真，清晰度降低，对比度下降［1］，远处物体模糊不清等一系列问题。此外，在许多图像处理应用领域，例如视频监控、交通监控［2］、卫星遥感［3］、车牌检测［4］都对处理图像的质量有一定的要求。雾霾引起图像降质，使这些应用系统的性能急剧下降。然而已知的图像处理软件一般只采用灰度拉伸、锐化、滤波去噪和对比度亮度调整等技术，主要是针对图像的特效和尺寸的变换。无法从本质上去除或消弱雾霾，改善图像质量。

图像去雾成为当前计算机视觉系统中一个研究热点［5］。国内外研究者们相继提出了很多行之有效的去雾算法。McCartney［6］对各种天气状况下的大气悬浮粒子的形状、半径大小和分布情况进行深入研究，提出了大气散射模型。Tan［7］通过最大化局部对比度来达到去雾的效果，但该方法仅关注提高客观对比度，没有从物理上求解场景反射率，复原后的图像颜色往往会失真。Fattal［8］等人利用数据统计发现局部区域的场景透射率为定值，因此利用独立成分分析求得常向量透射率。但是这种方法是基于颜色统计，无法处理浓雾下的图像和灰度图像，也会导致所估算出来的透射率不准。Tarel［9］利用中值滤波的方法对大气散射函数进行估计，最后经过色度调和获得恢复图像，不过中值滤波算法并不是很好的保留景物边缘细节信息的滤波算法，会造成颜色失真，易引起Halo效应。He［10］等人在09年CVPR上提出了一种暗通道先验算法。根据无雾图像的暗通道数据接近于0，再通过最小滤波算法来对大气模型函数进行估计，最后通过模型还原出原图像。这种算法对于后来的去雾算法有较大的影响，后人大多是基于He的算法来进行改进。张仁斌、李兴兴、夏宏丽［11］在14年在暗通道先验的基础上提出基于景深的快速去雾算法，利用景深信息估计大气散射模型，得到边缘突变景深关系比，再优化传输图，利用双边滤波对景物边缘进行处理，取得较好的效果。这些算法可以从一定程度上去除图像中的雾霾效应，但往往局限于某一种或一类算法的应用，不是一个较为完整的图像处理系统或者应用软件。

本文研究并构建了一个基于超分重建的雾霾图像恢复增强系统IHRRS（Image Haze Removal and Recovery System）。系统的主要特点体现在：①IHRRS集合了多种新近去雾算法，同时对图像序列采用超分辨率重建技术重建图像细节，可以从本质上改善图像的质量和分辨率;②系统集成了图像预处理、图像去雾、超分辨重建、质量评估，四个可单独或联合处理图像的功能模块，既针对雾霾图像恢复也用于去雾算法的研究和比较,是一个实用性较强、功能较完整的软件系统。

1　IHRRS系统设计

IHRRS系统由图像预处理、图像去雾、超分辨率重建、质量评估四个功能模块组成，系统总体框架如图1所示。图像预处理模块可实现对图像的对比度大小调整、灰度拉伸和图像锐化、图像去噪等图像增强的基本功能。

图1　IHRRS系统总体框架图

图像去雾模块分为单幅去雾和图像序列去雾两个子模块。单幅去雾子模块实现了基于Prewitt边缘检测的暗通道算法和矩形窗口可变暗通道算法，并集成了几种常用的暗通道算法以进行算法对比分析；图像序列去雾子模块则通过结合超分重建技术对多帧图像进行去雾得到高分辨率去雾图像。

超分辨率重建模块通过选择参考帧，对图像进行配准，使用基于像素可信度的超分辨率重建算法，对图像序列进行超分处理，生成较高分辨率的图像。该模块可为图像去雾模块图像序列的去雾提供多幅超分处理，提高生成图像的分辨率。

质量评估为无参考图像的评估，通过采集图像的对比度σ2、信息熵H、平均梯度GMG这三个指标的值对图像进行对比分析和质量评估。

2　IHRRS系统各功能模块的实现

2.1图像预处理

图像预处理模块通过对图像的对比度调整、灰度拉伸、图像锐化和去噪对图像进行增强，既可单独调用，也可作为图像去雾模块的去雾预处理部分。首先采用直方图均衡化进行灰度增强，然后采用自适应噪声识别去噪、巴特沃兹带阻滤波器、自适应中值滤波等多种算法对图像进行去噪处理。

2.2图像去雾

图像去雾模块分为单幅图像去雾和图像序列去雾。系统实现了四种基于暗通道先验的去雾算法，如表1所示，在用户选择去雾算法后，算法参数可由用户手动输入或系统自动计算。这几种算法的去雾过程如图2所示。实验表明，采用迭代的方法多次调用单幅去雾模块可以取得更优的视觉效果。基于暗通道的去雾算法原理可用公式（1）表示如下：

其中I（x）表示有雾图像，A表示整体的大气光强，t（x）表示雾霾中的传输率，t0为待输入的参数，J（x）表示复原后的图像，也是最终想要得到的图像。

表1　单幅图像去雾算法

图2　暗通道去雾算法的去雾过程

图像序列的去雾过程如图3所示。在用户选择好去雾算法和超分算法后，系统先调用单幅去雾算法对图像序列逐一进行去雾处理，然后对去雾后的图像序列进行配准和超分辨率重建得到高分辨率图像，最后将超分后的图像再进行一次去雾处理，得到一幅具有高分辨率的去雾图像。

图3　图像序列的去雾流程

2.3超分辨率重建

超分辨率重建模块处理流程如图4所示。图像序列的配准采用SIFT特征匹配及RANSAC算法消除误配，超分重建采用基于像素可信度的算法。读入低分辨率图像后，选择参考帧，调用配准算法生成相应的变换参数，然后调用超分重建算法对多幅低分辨率图像的信息进行融合，得到具有较高分辨率的图像。

图4　超分模块处理流程

2.4质量评估

质量评估模块既可以对比去雾前后的量化指标，也可以用于比较不同算法的去雾结果。对雾霾图像或序列进行去雾处理后，可调用质量评估模块对恢复图像进行评估。模块根据图像信息分析计算，得到图像的对比度、信息熵H、平均梯度GMG这三个指标，对比去雾前的输入图像获得去雾效果的评价。同时，还可以利用这三个指标对不同去雾算法进行量化比较和分析。图像对比度、信息熵H、平均梯度GMG三个指标的计算公式如下：

其中I（i，j）表示图像的像素灰度值，m×n为图像的像素大小，μ表示整幅图像的灰度均值，L表示图像的最大灰度级，Hr表示图像中r的灰度级所出现的像素个数。

3　IHRRS系统的测试与分析

IHHRS系统在Intel(R)Core(TM)i3-3301M 2.40GHz CPU、4G内存和64位Win7操作系统的环境中测试，开发平台是Matlab R2009b。系统主界面如图5所示，该图是IHRRS系统的图像预处理模块。

图5　IHRRS系统主界面

界面的导航栏分别是四个功能模块的按钮。最左边用于加载和保存图片，同时显示加载出来的图像列表和要保存的图像列表。右边是系统的主体显示区域，用于所选模块的参数输入以及图片显示，其中左边图像框显示输入图像，右边则显示处理后的输出图像。

图6　单幅城市远景图像的迭代去雾

图6显示了一幅有雾的城市远景图像采用基于prewitt边缘检测的暗通道算法，并经过多次迭代处理的去雾效果图。实验表明，对一般的浓雾图像进行两到三次去雾迭代处理就可以得到比较理想的效果。从图6可以看出，每一次迭代都对图像中的雾霾效应有明显的改善，三次迭代后去雾效果显著。

在图像序列的去雾实验中，对5幅操场远景图进行去雾处理和分辨率增强。先对序列中的每帧图像去雾，然后融合5幅图像进行两倍超分辨率重建，最后再对重建图像去雾进一步改善图像清晰度。图7显示了去雾和分辨率增强后的结果，对比图像序列中的原参考图像，处理后的图像视觉效果有了明显的改善。

图7　结合超分辨率来处理具有浓雾的效果

图像质量评估模块使用表格的形式显示无参考图像的量化指标计算结果，如图8所示，为去雾效果的比较提供参考。

图8　量化指标对比表格

表格的上下两行分别是处理前和处理后的图像的量化指标对比，由图8可以看出，处理后的图像的平均梯度值有了明显的增加，而灰度值和信息熵也有了增加。

4　结束语

论文设计开发的雾霾图像恢复增强系统IHRRS可应用到很多实际场景，包括对去雾和超分算法的研究和测试。系统针对雾霾污染的图像，采用多种去雾和超分重建方法进行恢复和增强，结合图像预处理和图像质量评估模块，为去雾算法的研究提供了一个测试和比较的平台。实验表明，IHRRS系统能明显消除或减少图像中的雾霾效应，改善图像质量和分辨率。

［1］嵇晓强.图像快速去雾与清晰度恢复技术研究［D］.长春：中国科学院长春光学精密机械与物理研究所，2013.

［2］周志宇，汪亚明，黄文清.计算机视觉在交通监控中的应用［J］.计算机系统应用.2003,（1）:51-53.

［3］梁天全，赵强，孙晓兵，等.雾霾天气条件下偏振遥感图像复原研究［J］.武汉大学学报,2014,39（2）:244-247.

［4］张涛，王剑魁，张国山，等.雾霾天气车牌识别系统图像预处理算法［J］.山东理工大学学报.2015,28（1）:15-19.

［5］郭璠，蔡自兴，谢斌，等.图像去雾技术综述与展望［J］.计算机应用，2010,30（9）:2417-2421.

［6］McCartney E J.Optics Of The Atmosphere:Scattering By Molecules And Particles[M].New York:John Wiley and Sons,1976:23-32.

［7］Tan R T.Visibility in bad weather from a single image[C]//Proceeding of IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Alaska,USA:IEEE Computer Society,2008:1-8.

［8］Fattal R.Single image dehazing[J].ACM Transactions on Graphics, 2008,27(3):1-9.

［9］Tarel J P,Hauti N.Fast visibility restoration from a single color or gray level image(C)//proceedings of the 12th IEEE International Conference On Computer Vision Kyoto,Japan:IEEE,2009.2201-2208.

［10］He K,Sun J,Tang X.Single image haze removal using dark channel prior[C]//proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR).Miami,FL,USA: IEEE Computer Society,2009:1956-1963.

［11］张仁斌，李兴兴，夏宏丽.基于景深的单幅图像去雾算法［J］.计算机工程.2014，40（2）：237-239.

［12］樊娜，李晋惠.图像边缘检测的Prewitt算子的改进算法［J］.西安工业学院学报，2005,25（1）:37-44.

［13］李展，张庆丰，孟小华，等．多分辨率图像序列的超分辨率重建［J］．自动化学报，2012，38（11）:1804-1814．

［14］Lowe D G.Distinctive image features from scale-invariant keypoints [J]．International Journal of Computer Vision，2004，60(2):91-110．

［15］Fischler M A，Bolles R C．Random sample consensus:A paradigm for model fitting with applications to image analy-sis and automated cartography[J]．Communications of the ACM，1981，24(6):381-395．

唐道发（1995-），男，本科在读，研究方向为图像处理及计算机应用技术；李展（1979-），女，副教授，博士，研究方向为图像处理及高精度天体测量；林晓兵（1995-），男，本科在读，研究方向为图像处理及计算机应用技术；叶志航（1995-），男，本科在读，研究方向为图像处理及计算机应用技术。

大学生创新创业训练计划项目“基于超分辨率的雾霾图像处理”（201510559035）；广东省自然科学基金“基于超分辨率重建的地面观测天文图像增强方法”（2014A030313374）；国家自然科学基金“星系图像的超分辨率重建算法研究”（11403008）；国家自然科学基金“天然卫星的CCD观测与精准定位关键技术的研究”（11273014）