基于多尺度连接的区域自适应去雾算法

韦照川，王皓坤，纪元法

(桂林电子科技大学广西精密导航技术与应用重点实验室，广西 桂林 541004)

1 引言

雾霾是大自然界中十分常见的一种天气现象。在雾天环境下，大气中的水分凝结成细微水滴悬浮于空气中，大气中可见光传的传播途经这些微型水滴产生折射和散射，致使多媒体系统捕获到景物图像的入射光线发生衰减，成像画质偏灰白色、色彩饱和度以及对比度降低。图像内部众多细节信息丢失，提高了目标检测与跟踪、情感分割等高级视觉任务的难度。图像去雾问题在计算机视觉、图像处理领域中是一个经典问题，对雾天环境中捕获到的雾霾图像进行有效的去雾处理、恢复图像视觉效果、增强场景内部细节信息等研究受到了广泛关注，文献[1-3]中提出了基于图像去雾算法的研究。

早期进行去雾的方法大多是基于图像增强技术，常用的此类方法主要包括直方图均衡化算法[4]、同态滤波算法[5]、Retinex算法(视网膜皮层理论)[6]。此类去雾算法直接通过该改变图像对比度、饱和度和亮度等内在信息，以突显出图像中有价值的信息，在一定程度上改善图像的视觉效果。但此类方法没有考虑到图像雾化的物理模型，没有真正意义上的实现去雾。基于先验的去雾算法通常使用先验理论或假设对全局大气光值和透射率进行估计，将所得估计值带入大气散射模型中恢复出清晰图像。由何凯明等人[7]通过对大量户外清晰图像观察统计，提出的暗通道先验去雾算法是基于先验方法中具有代表性的一种。此外，Zhu[3]等人，对有雾图像建立线性模型，使用监督学习的方法对模型中的参数进行训练，取得了良好的去雾效果。相比于图像增强去雾方法，此类算法效果得到明显的提升，但由于强烈依赖所提先验假设理论的准确性，假设不准确情况下去雾结果中通常会出现色彩失真、光晕伪影以及物体轮廓模糊等现象，致使去雾后的图像不能满足高级视觉任务的需求。

图1 多路连接与特征聚合图像去雾网络

近些年，深度学习的崛起在计算机视觉领域中体现出良好的性能，越来越多的研究人员致力于将深度学习的方法用于解决图像去雾问题中。如：ren等[8]通过使用一种多尺度卷积神经网络对透射率进行估计，实现单幅图像去雾。Cai等[2]在可训练端到端去雾网络中首次使用了双边整流线性单元(BReLu)作为激活函数，对输入雾霾图像的透射率进行估计，实现去雾。Li等[9]提出一种多合一除雾网络，该网络重新构造大气散射模型参数，将透射率和全局大气光值引入到一个新的参数中，通过轻量级卷积神经网络直接恢复出无雾图像。Zhang等[10]提出一种端到端深度学习除雾网络，同时对全局大气光值、透射率和去雾图像学习。Shao等[11]利用一种域自适应范式，利用清晰图像的特性将真实模糊图像融入训练网络中，进一步提高区域的自适应去雾。上述基于深度学习的去雾算法，学习过程中忽略了图像本身的内在信息，导致去雾后的图像轮廓细节不清晰，并且网络中使用的最大池化操作，容易造成信息丢失导致去雾不完全等问题。

基于以上提出的诸多问题，本文提出一种基于多尺度连接的区域自适应去雾算法。网络框架类似于U-Net网络，主要由编码部分、上采样层、下采样层和解码部分组成，其网络结构如图1所示。算法相比于其算法有以下优点：1)在编码网络和解码网络之间使用新颖的交互式多路连接，将各级编码层中提取到的特征信息送入解码网络，为解码操作提供足够的细节信息。2)利用“微元”的思想使用众多矩形像素块，将图像中的雾霾区域划分为多个雾浓度分布“近似”均匀的矩形区域，对各区域执行非局部操作提取背景信息。3)使用离散小波变换(Discrete Wavelet Transformation，DWT)[12]和逆离散小波变换(Inverse Discrete Wavelet Transform，IDWT)[12]进行尺度变化操作，防止采样过程中特征信息丢失。

2 本文算法

在此节中，将描述本文所提出网络的体系结构，该结构能在合成数据集和真实数据集之间准确的去除雾霾并且保留原始图像中的背景细节。此网络类似于U-Net网络结构，整体流程如图1所示。

所述去雾网络大致由编码器和解码器两个部分组成，网络的前三个阶段构成编码器部分，后四个阶段构成解码器部分。本文提出交互式多路链接，将编码器中每一阶段的输出作为解码器中各阶段的部分输入，多路链接的思想使去雾过程中可以使用更多来自不同编码层的特征信息，不同尺度的特征信息可以使去雾的结果中保留原图中更多细节。网络中各级编码器均由一个密集连接残差网络(Densely Connected Residual Network，DCRN)和一个矩形区域非局部(Rectangle Regional Non-Local，RRNL)块组成。密集连接残差网络是在三个相同的3*3卷积操作和PReLU整流函数之间，使用跨越连接所构成。由于来自个各编码层的特征信息尺度大小不同，为了在多路级连之后自适应的调整特征通道，需要在每个解码阶段前面添加了一个“压缩激励”(Squeeze-and-Excitation，SE)块和一个紧随SE块之后的1*1卷积操作去调节通道数量。

2.1 多路连接

2.1.1 压缩激励块

在CNNs中逐通道注意的方法并不少见，其主要思想是利用特征之间的通道相关性。本文提出算法采用SE块进行逐通道调整特征，SE块的主要思想是通过显式建模通道之间的相互依赖性来自适应地重新调整通道特征响应[13]。在SE-Net中通过全局平均池化层(Global Average Pooling，GAP)，利用局部接受域之外的全局上下文信息获取通道统计特性。为完全捕获通道相关性，本文引入了一种门控机制，以形成通过比例去降低或提升维度的两个全连接层(Fully Connected Layers，FC)。本文结合残差块[14]和逐通道注意的思想，如图2所示构建SE块。

图2 SE块模型

给定输入特征图X，SE块fSE(·)能够被表示为如下形式

S=σ(W2δ(W1HG(X)))

(1)

(2)

2.1.2 多路连接

通常类似于U-Net网络中，编码器和解码器之间的连接仅存在于同一层中特征尺度相同之间，这种情况下解码器在低级特征恢复期间，各级特征信息不能得到充分利用。然而，图像去雾是一项低级视觉任务，需要丰富的特征信息来恢复图中的细节。受到[15]的启示，本文制定交互式多路连接将自各级编码层之间的所有特征传输到解码网络中。网络中上采样部分的每个阶段，将所有来自下采样部分的特征信息进行聚合。因为不同层之间的特征具有不同的尺度特性，所以采用SE块来自适应的调整通道特征。

(3)

(4)

2.1.3 密集连接残差网络

各编码层将提取到不同尺度的特征信息，随着网络层数的持续加深，不同层之间的特征信息和层次信息组合将增多。理论上讲，当然是网络深度越深所提取到的细节信息越多，实验结果的准确度也会相对提高。但是，在以往的大量研究中发现，随着网络深度加深所面临的主要问题有“梯度弥散”或“梯度爆炸”。采用传统解决方式对数据进行初始化和正则化，这样虽然解决了梯度的问题，但是却带来了网络性能退化和准确度降低等新问题。

本文使用残差网络优化网络性能退化问题，同时缓和了网络加深所带来的梯度问题。密集连接残差网络如图3所示，此残差网络的设计简单有效，在标准前馈卷积网络上加入一些跳跃连接，将这一层卷积之后的特征叠加到下一层的输入中，使网络之间的数据流通更加顺畅，提取到的特征信息更加丰富。

图3 密集连接残差网络

2.2 矩形区域非局部块

将RRNL的输入特征表示为，将输入特征划分到一个像素块的网格中，其中是像素块的个数，网格划分如图4所示，用生成输出的线性嵌入公式如下所示

(5)

(6)

(7)

(8)

(9)

2.3 离散小波变换

上述网络中使用离散小波变换(DWT)和逆离散小波变换(IDWT)[12]分别进行下采样和上采样操作。特别的，本文还使用Haar变换，得利于这种方法的简单性与实用性，因此Haar变换在图像处理领域中得到广泛的运用[16]。该变换大致基于四个滤波器进行计算。

(10)

(11)

给定滤波器fLL与平均池化层具有相同的功能，LL通过压缩特征图的尺寸来实现局部平移不变性(式(10、11))。LH、HL和HH包含采样图像中的边缘信息。特别地，LH包含垂直边缘信息，HL包含水平边缘信息，因此可以有效地获得雾霾分布的特征。上采样过程中的IDWT操作是DWT的逆操作。

3 实验结果与分析

在本节中，首先介绍了本文网络在数据集上的实现细节，针对合成图像数据集和真实图像数据集对提出算法进行实验。最后，进行消融研究以确定算法中各个部分的重要性。

3.1 数据集

RESIDE数据集[17]分为五个子集，包含了室内场景和室外场景图像对(雾霾图像/清晰图像)，分别是ITS(室内训练集)、OTS(室外训练集)、SOTS(合成测试集)、URHI(未注释真实模糊图像)和RTTS(真实驱动数据集)。对于合成模糊图像，从ITS和OTS数据集中各选4000张共8000张合成雾图进行训练。从URHI真实数据集中选择2000张真实有雾图像进行训练网络。SOTS是RESIDE数据集的测试子集，为了便于分析所有进行比较的算法都在选定训练数据集中训练，并在SOTS测试集上评估。根据以下经典去雾算法对本文所提出的去雾算法进行对比分析：DCP[7]、CAP[3]、DehazeNet[2]、MSCNN[8]、AOD-Net[9]和GFN[1]。

3.2 合成雾图实验

使用SOT数据集，对所提网络框架进行性能评估。如图5所示，不同图像去雾算法在SOTS数据集上的仿真结果，在图5(c)和(e)中可以观察到CAP和GFN除雾算法具有明显的色彩失真现象，去雾后的图片跟真实无雾图片相差较大。如图5(g)所示，GFN算法中某些区域的亮度明显偏安，DCP除雾算法的第一张去雾图像中，天空区域显示出了明显的色彩失真和光晕伪影等现象，而在DehazeNet和AOD-Net去雾的图像中某些区域的部分雾霾没有去除干净。比较图5中列举出来的去雾算法，本文所提算法恢复出的无雾图像具有更清晰的细节和轮廓，更接近真实无雾图像。

如表1所示，在SOTS测试集中对各去雾算法进行定量比较，表中所示本文所提算法对PSNR和SSIM均有提升的表现。与较新的GDN[18]去雾算法相比，PSNR增加了1.77dB，SSIM增加了0.02。

表1 去雾结果在SOTS数据集上的定量比较(平均PSNR/SSIM)

3.3 真实雾图实验

为了进一步验证本文所提出算法的实用性，运用六种不同经典去雾方法与本文提出算法进行实验对比。图6中显示六种较新去雾算法在真实图像上的去雾效果，MSCNN和GFN算法出现严重色彩失真、光晕伪影等现象，某些区域跟本文去雾效果相比更暗。DCP算法中第二行和第三行去雾后天空区域与真实情况有偏差，MSCNN中的第二行也有此类似情况出现。AOD-Net和DehazeNet去雾结果中仍有残留雾霾出现在部分区域中。CAP去雾效果与提出的方法进行对比明显偏暗。总体而言，对比图6中各算法去雾效果，本文提出的算法去雾过程中保留了更多的细节信息，去雾后的图像色彩饱满并且视觉效果令人愉悦。

图5 各去雾算法在SOTS数据集上进行视觉比较注：(a)雾霾图像、(b)DCP、(c)CAP、(d)DehazeNet、(e)MSCNN、(f)AOD-Net、(g)GFN、(h)本文提出算法、(i)清晰图像。

图6 在真实雾霾图像上的视觉比较注：(a)雾霾图像、(b)DCP、(c)CAP、(d)DehazeNet、(e)MSCNN、(f)AOD-Net、(g)GFN、(h)本文提出算法

3.4 消融研究

在本节执行消融研究，以证明本文网络框架中所使用方法的重要性。在RESIDE数据集上进行两个实验的消融研究。例出实验数据的平均值以进行观察比对。

3.4.1 应用策略的消融研究

对提出的策略进行消融研究以评估其性能，用于比较类似U-Net的基准模型，每个阶段由对应的DCRN组成。分别采用了2×2的最大池化层操作和pixel shuffle操作作为下采样和上采样操作。从表2中可以明显观察到，每种策略对于峰值信噪比(PSNR)和结构相似度(SSIM)的提高都有明显帮助。

表2 对网络中所提出各种策略的消融研究

3.4.2 非局部块区域类型消融研究

为比较PRNL块的性能，本文分别使用高矩形、宽矩形和方形非局部块进行性能评估。表3中结果表明，方形非局部块无论是在PSNR还是SSIM上都表现的比较出色，这表明方形像素块对去雾效果影响较大。

表3 非局部块区域类型的消融研究

4 结论

针对传统去雾方法对物体细节恢复不清晰以及对雾浓度不均匀的图像去雾不干净等问题，提出一种基于多尺度连接的区域自适应去雾算法。运用交互式多路连接和区域性非局部块操作提取到丰富的特征信息供解码时使用。消融研究中的数据显示，本文提出的网络模型和RRNL块在去雾工作中扮演着重要的角色。对运用在RESIDE数据集上的实验结果定性、定量分析后得出：相比GDN去雾算法，本文所提算法PSNR提高了1.77dB、SSIM提高了0.02去雾效果得到明显提升，解决了去雾后物体细节不清晰以及去雾不完全等问题。