图像去雾算法研究综述

魏红伟，田 杰，肖卓朋

（1.湖南大学 信息科学与工程学院，湖南 长沙 410082；2.张家界航空工业职业技术学院，湖南 张家界 427000）

0 引言

随着工业的飞速发展，大气污染越来越严重，由此带来的雾霾天气使室外拍摄的图片和视频发生质量退化现象，给智能交通带来很大安全隐患。此外，室外监控与遥感系统也会因浓雾对成像的退化作用而发生瘫痪。因此，提高雾天图像质量是目前亟待解决的重要问题。

雾霾天气下室外能见度低，这是由于空气中存在大量细微颗粒，光线从物体表面反射回来并向成像设备传播的过程中，这些颗粒对大气中的光线产生折射和反射作用，导致图像对比度下降，边缘与纹理信息丢失，使最终生成的图像或视频不能真实描述所处环境。这种场景辐射衰减与大气光散射叠加会随着传播距离的增加而逐渐累积，进行去雾操作时需要从给定的单幅雾图中同时恢复未知的大气环境光以及场景深度，因此恢复无雾原始图像是一项极具挑战的任务。为提高雾霾环境下图像的采集质量，降低尘雾天气对户外成像系统带来的不利影响，国内外学者对图像去雾技术开展了大量研究，根据去雾算法原理，可将其分为基于多幅图像的去雾算法、基于图像增强的去雾算法、基于物理模型的去雾算法以及基于神经网络的去雾算法4 种，其中基于物理模型的去雾算法与基于神经网络的去雾算法是目前该领域的主流解决方案［1］。以下针对4 类算法分别进行分析。

1 基于多幅图像的去雾算法

根据输入源数量可将去雾算法分为单图去雾和多图去雾两种。由于单幅图像去雾问题中缺少诸多关键信息，因此早期研究者尝试使用多幅图像或补充额外信息的方法为雾图成像的欠定方程增加约束。Narasimhan 等［2］通过在相同场景中拍摄多张不同天气条件下图片的方法恢复无雾图像，但需要等待天气变化；Schechner 等［3］和Tali 等［4］考虑到天气条件变化，提出基于偏振图像的去雾算法，即在相同场景下拍摄多幅不同偏振图像；Kopf 等［5］提出在去雾算法中将场景几何信息作为补充输入信息。虽然上述算法可有效实现图像去雾，但在实际应用场景中，获取这些额外信息并不容易［6］，一般研究较多的是单图去雾。

2 基于图像增强的去雾算法

基于图像增强的去雾算法不考虑图像降质原因，而是通过增强对比度的方法改善图像视觉效果。该类算法使用范围广，但是对于突出部分的信息可能会造成一定损失或过增强现象。根据操作对象是整幅图像还是局部区域，基于图像增强的去雾算法可分为全局化图像增强与局部化图像增强两大类［6］，具体如图1 所示。其中，直方图均衡化是将雾图的灰度直方图变换为均匀分布的形式，通过增加像素灰度值范围以提高图像对比度，如Stark［7］和Kim等［8］分别提出了自适应直方图均衡化算法和部分重叠的子块直方图均衡化算法。同态滤波是一种广泛用于信号和图像处理的技术，其将灰度变换与频率过滤相结合用于改善图像质量［9］。Retinex 是一种模拟人类在不同光照条件下视物情况的彩色视觉模型［10］。基于该模型，Adrian 等［11］提出一种效果显著的雾图增强算法。基于局部方差的图像增强算法［11-12］，通过计算并比较局部标准方差大小判断图像增强程度，进而进行局部灰度拉伸。然而，上述方法均未考虑雾图退化的本质原因，因此增强效果有限且鲁棒性往往较差。

Fig.1 Defogging algorithm based on image enhancement图1 基于图像增强的去雾算法

3 基于物理模型的去雾算法

雾天能见度较低是由大气中的悬浮粒子对光的吸收和散射造成的。研究者们通过建立数学模型，解释了雾天图像的成像过程与包含要素。该模型最早由McCartney［13］根据米氏大气散射理论提出，后续由Narasimha 等［2］推导得到。该模型认为在强散射介质下，引起探测系统成像结果降质的主要原因有两个［14］：一是目标反射光受到大气中悬浮粒子的吸收和散射作用造成能量衰减，导致探测系统的成像亮度降低、对比度下降；二是太阳光等环境光受大气中介质的散射作用影响形成背景光，两部分光叠加在一起到达成像设备，影响成像效果。基于大气散射物理模型的雾天物体成像过程如图2 所示。

Fig.2 Foggy picture formation process based on atmospheric scattering model图2 基于大气散射模型的雾图形成过程

根据物理模型去雾算法的理论基础，可将图像在恶劣天气下的退化描述为：

该模型的前提是场景中的雾是均匀分布的。式中，x表示图像像素点位置，J（x）和I（x）分别表示待恢复的无雾图和成像的有雾图，（tx）和A分别表示场景光透射率和当前大气环境光。

图像去雾即从给定的有雾图像I（x）中恢复出无雾图像J（x），但由于（tx）和A为未知项，故其是一个病态问题。要想恢复出高质量无雾图像，关键步骤是预测透射率（tx）和大气环境光A，再根据散射模型反演出去雾图像。以该物理模型为参考，许多优秀去雾算法被提出。如He 等［15］提出了暗通道去雾算法；Raanan［16］根据无雾图像与有雾图像的色线分布不同求解场景透射图，提出了单幅图像去雾算法，该方法耗时较长，不能用于处理雾浓度较高的图像；Robby［17］根据对比度不同，提出一种基于马尔科夫随机场的代价函数恢复无雾图像，虽然能够获得视觉感受较好的去雾图像，但常发生过度饱和以及图像失真现象；Meng等［18］提出一种正则化去雾方法，通过挖掘大气透射率函数固有的边界约束提升大气透射率精度，取得了很好的去雾效果；Berman 等［19-20］基于非局部先验提出一种全局评估透射图方法，能够同时恢复景深和无雾图像，然而在大气光非常强烈时，该方法会由于不能很好地检测雾线而失效；Zhu 等［21］提出基于颜色衰减先验的去雾方法，根据雾浓度与图像亮度和饱和度的差值呈正相关的关系建立线性模型，并通过监督学习方法学习模型参数，恢复场景深度信息，从而实现单幅图像去雾。还有一些研究基于暗通道先验，在算法效率与复原精度方面进行了优化［22-26］。以下将详细介绍暗通道先验去雾算法。

暗通道先验由He 等［15］基于物理模型率先提出，给图像去雾带来了变革性发展。其利用暗通道去雾原理计算透射率，采用软抠算法对透射率进一步优化，最终实现图像去雾。暗通道原理如下：

式中，Ω（x）为像素点x的邻域，Jdark为图像的暗通道，Jc为图像的颜色通道。

由暗通道先验理论可知，无雾图像局部图块的最小通道值趋近于0，该通道被称为暗通道，而雾图由于大气光的影响，其暗通道并不趋近于0，可通过雾图的暗通道值判断雾气浓薄程度，从而得到大气光和透射图。根据该理论简化大气散射模型，并进行相应变形得到：

两边取最小值，等号右边第一部分即为暗通道，其值趋于0，这样便可得到（tx，y）。

He 等［15］在处理透视图像时采用了soft mapping 软抠图，较其他图像去雾方法取得了更好效果。暗通道先验是对大量户外无雾照片的统计结果，若目标场景中有物体颜色与大气光类似，如雪地、白墙、大海等，将无法获得满意的去雾效果。

4 基于神经网络的去雾算法

近年来，卷积神经网络作为深度学习的代表算法备受研究者们关注。由于该网络具有表征学习能力，能有效捕捉输入信号与输出信号之间的潜在映射关系，在图像处理领域表现出较好性能。卷积神经网络结构如图3 所示，通常由卷积层、池化层与全连接层组成［27］。卷积层利用卷积操作完成图像特征提取，池化层完成下采样，对提取出的特征降维，相邻两层组成一个卷积组，通过若干个卷积层与全连接层连接，最终全连接层实现对图像特征信息的分类。经过多层卷积与池化操作，数据量庞大的图像处理问题的复杂度有所降低。

基于神经网络的去雾方法分为两阶段去雾算法和单阶段去雾算法两种。前者依赖于大气退化模型，利用神经网络对模型中的参数进行估计，早期去雾方法大多是基于这种思路；后者则是利用神经网络将输入的有雾图像直接恢复得到去雾图像，也即深度学习中常说的端到端去雾。两阶段去雾算法利用神经网络以一种回归的方式求取透射图或大气光值，同时还需结合传统先验评估，也就是说神经网络只是求取大气光或透射图的一个工具，最终还是要根据大气散射模型求出无雾图像。单阶段神经网络去雾算法则完全脱离了大气散射模型，无需通过先验评估透射率和大气光，而是通过训练学习输入有雾与无雾图像之间的映射关系，再通过映射关系求出无雾图像。

目前越来越多的研究者倾向于单阶段去雾方法，比较有代表性的包括：Cai 等［28］提出了一种名为DehazeNet 的网络，利用神经网络估计输入图像的大气透射率，根据大气散射模型求得无雾图像；Li 等［29］提出一种名为AOD-Net 的网络，将大气散射模型公式进行适当变形，通过神经网络学习其相关参数；Zhu 等［30］提出DehazeGAN 算法，采用与AOD-Net 相似的方法，在一个生成对抗网络中同时估计透射率与大气光值；Ren 等［31］提出MSCNN 算法，通过多尺度网络结构构建不同粗细粒度的子网，实现透射图的粗略与精细化评估，该算法有效抑制了去雾过程中出现的光晕现象；Mei 等［32］完全摒弃物理模型，将神经网络视为黑盒，通过训练得到雾图与无雾图之间的映射关系，并采用编码器—解码器联合残差网络块的结构实现了端到端去雾。

Fig.3 Convolution neural network structure图3 卷积神经网络结构

4.1 DehazeNet

DehazeNet 是Cai 等［28］于2016 年提出的可训练的端到端网络结构，其通过神经网络直接学习有雾图像与透射图之间的映射关系，进而求出透射率。其还提出新颖的非线性激活函数BReLU，通过卷积神经网络进行非线性回归得到透射图，采用假设先验求出大气光A，最后根据大气散射模型恢复出无雾图像。DehazeNet 结构如图4 所示。

与传统先验去雾方法相比，DehazeNet 的去雾效果明显提升。虽然该方法在透射率计算上具有优势，但对于全局大气光的计算却存在一定缺陷。由于真实的大气环境十分复杂，化学成分的多样性和颗粒分布的不均匀性导致大气中不同位置对光的吸收、散射与透射作用程度不同，从而使得环境光并非均匀分布。

Fig.4 DehazeNet structure图4 DehazeNet 结构

4.2 AOD-Net

AOD-Net 是Li 等［33］于2017年国际计算机视觉大会（ICCV）上首次提出的端到端去雾网络。其认为对透射率与大气光分别进行评估，再代入大气散射模型恢复无雾图像会导致误差叠加放大，因此将其集成在神经网络中同步完成，并对大气散射模型进行如下变形：

式（6）中，I（x）、J（x）、（tx）和A分别表示原始无雾图像、输入雾图、场景透射率和环境大气光，而b为算法引入的参数。Li 等［33］将透射率与大气光合并为一个中间变量K，利用轻量级神经网络回归变量K恢复出无雾图像。

基于神经网络的图像去雾方法是目前该领域的主流研究方向，大量仿真雾天数据集通过卷积神经网络进行学习，取得了很好的去雾效果。但由于自然场景中的有雾、无雾图对很难获得，数据集基本都是自然场景图片进行人工加雾处理而得，导致神经网络在训练时数据集易产生过拟合现象，因此该算法用于真实自然场景的去雾效果与仿真场景有一定偏差。

5 实验结果与分析

分别对直方图均衡化、暗通道先验去雾［34］、DehazeNet和AOD-Net去雾算法进行测试，实验结果如图5和表1所示。

Fig.5 Comparison of several defogging algorithms图5 几种去雾算法效果对比

Table 1 Calculation time of several defogging algorithms表1 几种去雾算法计算时间 单位：s

从图5 中可以看出，基于图像增强的直方图均衡化算法的去雾图像对比度明显增强，由于不考虑降质原因，在增加对比度的同时也对噪声进行了放大，出现细节丢失与色彩偏差现象。基于物理模型的暗通道去雾算法、基于神经网络的DehazeNet 和AOD-Net 算法的去雾效果较直方图均衡化算法更佳。

从表1 可以看出，基于图像增强的直方图均衡化算法和基于物理模型的暗通道算法去雾所用时间较短，具有较强的实时性，而基于神经网络的DehazeNet 和AOD-Net 去雾算法由于计算量大，去雾所需时间较长。

6 结语与展望

基于图像增强的去雾方法使去雾图像的对比度显著提高，视觉效果明显，应用较为广泛，但该方法没有考虑图像降质原因，会出现细节信息损失或过增强现象。基于物理模型的去雾方法考虑到物体成像原理，根据大气散射模型求得无雾图像，去雾效果明显优于基于图像增强的去雾方法，但对于透射率与全局大气光的评估需要通过先验假设，而这些假设在特定情况下会失效。基于神经网络的图像去雾方法利用卷积神经网络的学习能力，取得了显著效果，其中基于神经网络的两阶段去雾不是真正的端到端去雾，而是先利用神经网络学习评估出透射率和大气光，再根据大气散射模型求出无雾图像。如果对二者估计不准确，由于累积效应，最后使用物理模型恢复无雾图像时可能会出现颜色失真现象。端到端单阶段去雾方法完全脱离了大气散射模型，避免了透射率和大气光的评估，通过训练学习输入有雾图像与无雾图像之间的映射关系得到无雾图像，但这种方法更依赖于仿真数据集，网络模型容易发生过拟合现象，导致在仿真数据集上的去雾效果明显优于真实场景。可见，如何将真实场景图像数据加入到训练数据集中是基于深度学习的图像去雾领域亟待解决的问题。

目前，图像去雾技术虽已取得较大进步，但由于真实大气场景十分复杂，每种方法都有其局限性，后续研究可关注以下几个问题：

（1）复杂度和实时性。目前多数去雾算法都存在算法复杂、时间和空间复杂度过高的缺点，在一些实时性要求高的场合无法满足需求，因此可从降低算法复杂度和利用计算机硬件加速两方面着手。

（2）普适性。目前的算法并不能适用于所有场景，尤其是浓雾时往往会失效，需要人工干预。智能交通、实时监控等系统对图像和视频的去雾要求较高，因此去雾算法应在不同场景条件下自动作出调整，以适应多种去雾要求。

（3）评价体系。目前去雾效果评价方法较少，且现有评价方法存在一定局限性，不能全面评价算法优劣，缺少认可度高的客观评测体系。建立并完善一套图像去雾评价体系将有利于相关技术的规范发展。