基于双尺度特征融合的单幅图像去雾网络

兰云伟，崔智高，苏延召，汪 波，王 念，李艾华

（火箭军工程大学 研究生院，西安 710025）

0 概述

摄像机在成像过程中，光线会受到空气中雾霾和水雾粒子散射与吸收作用的影响，导致图像细节缺失、色彩暗淡、亮度降低。这些降质的图像严重制约了目标检测、目标跟踪、自动驾驶等领域的发展。因此，近年来图像去雾算法逐渐成为计算机视觉中的热点研究问题。

目前，通常使用大气散射模型［1］描述雾天图像的退化过程，但是大气散射模型是一个典型的不适定方程，即只有在透射图和大气光值先验信息的基础上才能够求解。

为解决这一问题，大量图像去雾算法被提出，主要包括基于先验信息的图像去雾算法和基于深度学习的图像去雾算法。基于先验信息的图像去雾算法采用观察到的统计规律提取相关特征，以此来估计大气光和透射图，进而通过大气散射模型反演出清晰图像。基于深度学习的图像去雾算法不再估计大气散射模型的中间参数，而是通过网络学习雾霾相关特征，直接恢复出最终的无雾图像。上述两类图像去雾算法均有一定的去雾效果，但基于先验信息的图像去雾算法需要人为设定先验知识来约束模型进行求解，存在一定误差和局限性。基于深度学习的图像去雾算法需要成对的有雾图像和相对应的无雾图像进行训练，算法仅在合成有雾图像时的去雾效果较好［2］。

本文提出一种基于双尺度特征融合的图像去雾网络，采用堆叠残差密集块（Residual Dense Block，RDB）加强图像局部特征的提取，通过堆叠包含空间注意机制的特征提取块提取图像的全局特征，优化去雾图像的细节。为有效结合图像的局部特征和全局特征，采用通道注意力机制对局部特征图和全局特征图进行通道加权，并通过卷积操作进行特征融合。此外，考虑到网络深度的增加容易导致浅层信息丢失，本文通过门控网络进一步融合3 层不同深度的融合特征图。

1 相关工作

基于先验信息的经典图像去雾算法包括暗通道先验（Dark Channel Prior，DCP）理论、颜色衰减先验（Color Attenuation Prior，CAP）理论、非局部去雾（Non-Local Dehaizng，NLD）［3］理论、雾颜色线先验（haze Color-Line Prior，CLP）理论等，后续陆续有研究人员在这些算法的基础上提出新的改进。文献［4］提出一种基于逆通道与改进引导滤波的暗通道去雾算法，通过利用蓝色光的逆通道得到雾天图像的暗通道图，引入自适应引导滤波计算透射率，最后得到无雾图像。文献［5］提出一种结合暗通道和Retinex 理论的图像去雾算法，该算法采用四分加权算法准确估计大气光值，结合多尺度Retinex 方法进行图像去雾。文献［6］提出一种基于光幕约束和分段调整的去雾算法，从大气光幕基本条件出发进行图像去雾。文献［7］提出一种结合暗亮通道先验的远近景融合去雾算法。文献［8］提出一种基于雾浓度分布与自适应衰减的图像去雾算法。尽管基于先验信息的图像去雾算法具有较好的去雾效果，但由于单方面的假设并不适用于复杂多变的实际场景，因此该类算法容易过度增强图像，导致图像出现光晕、色偏等现象。例如，暗通道先验会过度增强图像的天空区域或类似于大气光的白色物体。

为解决这一问题，REN 等［9］提出基于多尺度卷积神经网络的图像去雾算法，该算法将大卷积核估计的粗略透射图与小卷积核提取的精细透射图进行通道融合，有效提升透射图估计的准确度。CAI 等［10］构建一种DehazeNet 网络，该网络采用3×3、5×5、7×7 共3 个卷积核的并行卷积来提取雾霾特征，并利用最大输出单元（Maxout）和双边线性修正单元优化透射图的估计准确度。然而，上述2 种算法仍然采用传统方法估计大气光值，导致图像去雾结果并不稳定。为此，LI等［11］提出AODNet网络，通过对大气散射模型进行线性变换，将大气光和透射图2 个参数变换为1 个中间参数，从而减小2 次参数估计的误差累积。ZHANG 等［12］将大气散射模型嵌入到网络中，通过网络学习的方式同时估计透射图与大气光，提高估计的准确度。上述图像去雾网络虽然取得了相对较好的去雾效果，但仍依赖于传统的大气散射模型，而大气散射模型只是一个简化的数学模型，它假定了光线衰减速率与颜色通道相互独立，导致网络容易陷入局部最优解［13］。

文献［14］提出一种基于条件生成对抗网络的图像去雾方法，该方法通过设计密集块结构能够更加充分地提取图像特征，减少去雾色差较大的问题。文献［15］提出一种结合卷积神经网络与动态环境光的图像去雾方法，使用动态环境光代替全局大气光，对透射率估计网络的透射率进行平滑滤波来进行去雾。文献［16］提出一种基于内容特征和风格特征融合的单幅图像去雾网络，该方法通过对图像内容和图像风格进行提取并融合，在进行图像去雾的同时较好地保留了图像的原始色彩。REN 等［17］提出GFN 网络，通过门控网络有效结合白平衡、对比度增强和伽玛矫正衍生图像，从而直接得到最终的无雾图像。QU 等［18］提出EPDN 图像去雾网络，该网络通过生成器与多尺度判别器的对抗训练生成初步的去雾结果，然后利用增强模块优化去雾图像的颜色与细节信息。但这2 种方法容易过度去雾导致色彩过饱和。不同的是，LIU 等［19］通过搭建1 个深度的多尺度去雾网络来最大程度地提取雾霾特征，并利用学习到的参数将不同尺度的特征图有效融合。该算法的缺陷在于没有区别对待局部特征和全局特征，使恢复的图像容易丢失细节并存在残余雾霾。此外，DONG 等［20］提出MSBDN 去雾网络，利用反投影的方式加强不相邻编码层间的信息流动，在合成数据集中取得了较好的结果。但MSBDN 去雾网络泛化能力差，在真实场景中不能有效去雾。因此，SHAO等［21］通过搭建一个循环的网络来弥补合成数据和真实雾霾图像的差别，提高模型在真实场景中的去雾效果，虽然该方法具有较好的泛化能力，但是去雾后的图像对比度较低。

2 双尺度特征提取与融合

本文基于CNN 设计一个基于双尺度特征融合的单幅图像去雾网络，该网络不依赖于大气散射模型，而是直接从有雾图像恢复出无雾图像。本文所提图像去雾网络结构如图1 所示，主要包括双尺度特征提取与特征融合2 部分。在特征提取模块中，通过5 个残差密集块（RDB1～RDB5）提取图像的局部特征，残差结构加强了局部特征在网络深度上的流动，同时在梯度反向传播时能有效防止梯度爆炸。此外，本文网络通过5 个包含空间注意机制的特征提取块（FEB1～FEB5）提取图像的全局特征，从而使网络能有效去除不均匀的雾霾。在特征融合模块中，通过2 次下采样和3 次上采样操作将图像局部特征和全局特征统一到一个尺度上进行特征融合，在此基础上采用门控网络自适应地融合3 层不同深度的融合特征图，并通过1×1 的卷积层实现特征图到无雾图像之间的非线性映射。

2.1 双尺度特征提取

2.1.1 局部特征提取

如图1 所示，为有效提取图像的局部特征，本文堆叠了5 个残差密集块RDB。残差密集块结合了残差结构和稠密结构的优势，其中：残差结构能够确保反向传播时梯度的流动，促进网络的收敛；而稠密结构将之前每一次的卷积结果通道叠加到之后的卷积输入中，能够有效防止浅层信息在传播过程中的丢失。先前研究表明，浅层卷积层能有效提取图像的边缘和纹理信息，而纹理信息在传播到深层卷积层时容易丢失，从而造成去雾图像的对比度不高。为此，本文设计了如图2 所示的残差密集块结构，以有效结合浅层和深层的局部特征。本文设计的残差密集块由5 个卷积层组成，其中：前4 个卷积层卷积核大小为3×3，步长为1，激活函数为ReLU 函数；最后1 个卷积层卷积核大小为1×1，步长也为1，但无激活函数。

图2 残差密集块Fig.2 Residual dense block

2.1.2 全局特征提取

图像的全局特征主要包括颜色特征和亮度特征，颜色特征和亮度特征是基于像素点的属性，影响最终去雾图像的视觉效果。此外，雾霾多数是成片连续的，也可以近似为全局特征。因此，全局特征对提高最终去雾图像的质量具有至关重要的作用。

为有效提取图像的全局特征，本文通过下采样将输入图像的尺寸缩减1/2，即图像大小从512×512 缩小到256×256，通道数从16 扩大到32，以增大卷积的感受野。同时，设计了如图3 所示的特征提取块来增强图像全局特征的表征。该特征提取块包括2 个残差结构，能够有效防止网络训练时发生梯度爆炸。

图3 特征提取块Fig.3 Feature extraction block

在图3 中，第1 层卷积初步提取图像的特征，其卷积核大小为3×3，步长为1，激活函数为ReLU 函数；第2 层卷积进一步增强这些特征，其卷积核大小和步长与第1 层卷积相同但不用激活函数。随后，采用空间注意机制关注图像的重要区域（如浓雾区域）。空间注意机制通过一层卷积核为1×1、步长为1 的卷积层提取特征信息，该卷积层的激活函数为ReLU 函数。接着，利用另一个相同的卷积层增强特征，并通过Sigmoid 激活函数形成特征图的权重图。最后，该权重图与输入空间注意机制前的特征图逐点相乘，从而使浓雾区域获得更多的权重。

2.2 特征融合

为实现上述图像局部特征和全局特征的有效融合，本文令通道注意机制加权通道叠加后的特征图。考虑到网络越深感受野越大，容易使网络更加关注全局特征而导致局部信息丢失，本文进一步采用门控网络自适应结合FEB1、RDB3 和RDB5 之后的融合特征图。这些特征图包含丰富的颜色、纹理和边缘信息，可有效避免随着网络深度的增加而出现局部信息丢失问题。

2.2.1 全局特征提取

考虑到不同特征图之间的重要性差异，本文首先采用通道注意机制融合2.1 节提取的图像局部特征和全局特征。特征融合模块结构如图4 所示，其中：Fl和Fg分别表示提取的局部特征和全局特征；Ff表示采用通道注意机制融合后的特征图。

图4 特征融合模块Fig.4 Feature fusion module

以图4（a）所示的上采样为例，首先通过1×1 的卷积将全局特征图数量改变为16，然后利用上采样将全局特征图大小变为512×512，并通过通道叠加形成32张特征图（局部特征图和全局特征图各16 张）。为区分这些特征图的重要程度，首先通过池化层将每一通道上的特征图尺寸进行归一化，形成通道向量。然后利用1×1 的卷积层和ReLU 激活函数进一步增强特征，再通过1×1 的卷积层和Sigmoid 激活函数生成通道维度的权重图，将通道权重图与输入的32 张特征图在通道维度上逐点相乘，从而使重要的特征图获得更多的权重。最后，采用一个1×1 的卷积层融合加权后的特征图，形成最终的16 张特征图。

如图4（b）所示，在下采样时，通过1×1 卷积和下采样将局部特征变换到全局特征的尺度上。此时通道注意机制输入的通道数为64（局部特征图和全局特征图各32 张），并利用1×1 的卷积层输出最终的32 张融合特征图，以确保这一尺度上的通道数不变。

2.2.2 门控网络特征融合

为进一步实现图像局部特征和全局特征的有效融合，本文采用门控网络自适应融合基于通道注意机制获得多张特征图。门控网络是通过卷积操作学习特征图的权重，能使网络自动关注到重要的特征图，从而获得丰富的色彩与结构信息。门控网络在相同尺度的特征图融合过程中表现出良好的性能。例如，GFN 网络将有雾图像预处理为3 张衍生图像，通过编码结构进行特征提取，在解码过程中采用门控网络自动得到3 张衍生图像的权重，降低了过度增强图像带来的负面影响。GCAN 网络［22］通过平滑空洞卷积提取自动编码结构瓶颈层的语义特征，并利用门控网络自适应地结合不同深度的特征图，提高去雾图像的清晰度。

不同的是，本文通过门控网络结合通道注意机制生成的特征图融合了同一网络深度上的局部特征和全局特征，因此这些特征已经包含了较丰富的色彩与结构信息。但随着网络深度的增加，卷积核的感受野成倍数增加，网络会更加关注全局特征，导致结构、纹理信息的丢失，进而使去雾图像对比度下降。具体来说，首先将FEB1 后通道融合的特征图进行卷积操作，使特征图的数量变为16，并利用上采样将特征图的大小改变为512×512，得到特征图Fl。然后，将Fl与RDB3、RDB5 后通道融合的特征图Fm、Fh进行通道叠加，并将其输入门控网络。门控网络输出3 个不同的权重图αl、αm、αh，分别对应于这3 个不同深度的特征图。最后，这3 个特征图与其对应的权重进行线性组合，如式（1）和式（2）所示：

本文的门控网络由一个3×3 的卷积层组成，其输入是Fl、Fm、Fh，通道数为48，输出的通道为3，对应于权重图αl、αm、αh。生成的权重图αl、αm、αh分别与对应输入Fl、Fm、Fh逐像素相乘并相加，得到最终的融合特征图。

最后，通过一层卷积层和ReLU 激活函数将门控网络融合后的特征图映射为最终的无雾图像。该卷积层的卷积核大小为3×3，步长为1，输入和输出通道数分别为16 和3。

3 损失函数

大量实验表明将感知损失函数和L1 损失函数结合能有效训练网络，得到更加清晰自然的去雾图像。L1 损失将去雾结果与清晰图像逐像素比较，能迅速将去雾结果的特征映射到清晰图像的特征分布中，达到初步的去雾效果。感知损失将去雾结果与清晰图像进行特征差异的比较，能够进一步恢复去雾图像的细节信息，优化最终的去雾结果。

因此，本文采用平滑L1 损失函数和感知损失函数训练网络，总的损失函数表达式如式（3）所示：

其中：Ls代表平滑L1 损失函数；Lp代表感知损失函数；λ为权重系数，本文取λ为0.05。

3.1 平滑L1 损失函数

相比于L2 损失函数（均方误差），L1 损失函数（标准差误差）训练更加稳定，因此被广泛应用于超分辨率重建、图像去雾等图像恢复任务中。然而，L1损失函数在误差较小时梯度仍较大，导致模型的收敛速度受到影响。为实现上述2 种损失函数的优势互补，本文采用平滑L1 损失函数，平滑L1 损失函数在误差小于1 时采用均方误差形式，而其余情况均采用标准差误差形式，从而有效兼顾2 种损失函数的优点，其表达式如式（4）和式（5）所示：

其中：N代表总的像素个数；x代表像素点的位置；Ji(x)Δ和Ji(x)分别为雾天图像和无雾图像在第i通道上的像素强度；ei代表误差，即Ji(x)Δ和Ji(x)的差值。

3.2 感知损失函数

不同于L1 和L2 损失函数，感知损失函数没有将去雾结果与真实无雾图像进行逐像素比较，而是从预训练的深层卷积网络中提取中间特征图，进而量化去雾结果和真实无雾图像之间的视觉差异。在具体实施过程中，本文使用在ImageNet 上预先训练的VGG16 作为损失网络，并从前3 个阶段（Conv1-2、Conv2-2 和Conv3-3）的最后一层中提取特征图。本文采用的感知损失函数如式（6）所示：

其中：φj(JΔ)和φj(J)分别代表去雾结果JΔ和真实无雾图像J在VGG16 网络中的3 张特征图；Cj、Hj、Wj分别代表特征图φj(JΔ)和φj(J)的通道数、高度和宽度。

4 实验结果与分析

本文采用雾天图像数据库RESIDE［23］中的室内训练集ITS 和室外训练集OTS 进行网络训练，其中ITS 包含13 990 张雾天图像与其对应的无雾图像，OTS 包含313 950 张雾天图像与其对应的无雾图像。在测试过程中，本文采用SOTS 测试集（包含室内图像和室外图像各500 张）和HAZERD 数据集［24］验证网络在合成雾霾数据集中的去雾效果，并采用近年来图像去雾领域常用的真实雾霾图像进一步验证本文网络对真实雾天图像的去雾能力。本文选择图像去雾领域的多个经典网络进行比较，包括DCP、DCPDN、GFN、GridDehazeNet、EPDN 和MSBDN 网络。在比较过程中，采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似度（Structural Similarity，SSIM）定量评估网络在合成雾天图像上的去雾结果，该值越高，代表图像去雾效果越好。由于真实的雾天图像没有参考无雾天图像，本文采用定性的方法进行对比。

4.1 实验设置

本文分别利用ITS 和OTS 数据集训练室内、室外图像去雾网络模型，在训练过程中，将所有图像的尺寸均调整为512×512。本文方法基于PyTroch 框架实现，GPU 选用NVIDIA GeForce RTX 2080 Ti。在训练过程中，采用ADAM 优化器优化网络，衰减系数采用默认值，即β1为0.900、β2为0.999，训练的批处理大小（batch size）设置为16，初始学习率设定为0.001。室内模型训练100 轮次，学习率每10 个轮次下降为原来的1/2。室外模型训练10 个轮次，学习率每2 个轮次下降为原来的1/2。

4.2 合成雾图对比实验

图5 所示为本文网络与其他对比网络在合成雾天图像SOTS 上的对比实验结果（彩色效果见《计算机工程》官网HTML 版本）。从图5 中可以看出，DCP 网络所得到的去雾结果过度增强了图像的颜色，如图5（b）第1、第2 和第4 幅图像的红色框区域，这是由于在白色物体和天空区域等没有暗通道的地方，DCP 网络对透射图的估计不够精确。DCPDN 网络虽能较好地去除雾霾，但是却过高估计了图像的亮度，如图5（c）第1 和第3 幅图像的红色框区域，以及图5（c）第2 和第4 幅图像中的绿色框区域，其原因在于DCPDN 网络需要使用合成雾霾图像来模拟真实场景中的大气光和透射率，导致估计的参数不够准确，进而影响了去雾图像的视觉效果。相比之下，GFN、GridDehazeNet、EPDN、MSBDN 网络以及本文网络这5 种不依赖大气散射模型的网络具有更好的去雾效果。其中，EPDN 网络虽然能有效去雾，但是过度增强了图像的颜色，如图5（f）第1 幅图像中的天空和第4 幅图像中红框内的地面。GFN 网络虽然能在去雾的同时较好地还原无雾图像的色彩和亮度，但是会导致图像部分区域存在暗影，如图5（d）第3 幅和第4 幅图像中的红色框区域，而GridDehazeNet 网络、MSBDN 网络和本文网络的去雾结果与真实无雾图像最接近，均达到了较好的视觉效果。

图5 不同网络在SOTS 数据集下的去雾结果对比Fig.5 Comparison of dehazing results of different networks on SOTS datasets

图6 为本文网络与其他对比网络在合成雾天图像HAZERD 数据集下的对比实验结果（彩色效果见《计算机工程》官网HTML版本）。从图6可以看出，当使用训练的模型测试另一数据集的雾天图像时，其去雾图像的视觉效果普遍降低，特别是对天空等区域，对比网络无法恢复出天空的颜色。具体地，DCP网络的去雾结果颜色过度饱和，DCPDN网络去雾结果亮度异常，如图6（c）第2幅图像中的房屋颜色所示。GFN网络和MSBDN网络的去雾结果有明显的残余雾霾，导致2幅图红框内的建筑模糊不清。相比之下，GridDehazeNet网络和EPDN网络处理后的图像与真实无雾图像更加接近，这是因为这2种方法从多尺度特征中恢复出无雾图像，能更好地保留原始图像的细节信息。但如图6（e）和图6（f）所示，GridDehazeNet和EPDN两种网络存在颜色失真的问题，如天空部分偏白（见红框区域）和建筑物颜色偏深（见绿色框区域）。从图6（h）第1幅图像红框内的天空区域和第2幅图像绿框内的房屋颜色可以看出，本文网络颜色失真较小。综上可知，本文通过通道注意机制减小了过度增强特征图的权重，且门控网络自适应地结合了3个深度的特征图，增强了网络的泛化能力。

图6 不同网络在HAZERD 数据集下的去雾结果对比Fig.6 Comparison of dehazing results of different networks on HAZERD datasets

为进一步验证本文网络的有效性，选取PSNR、SSIM、模型参数量和浮点运算数（Floating Point Operations，FLOPs）4 个指标对本文网络和对比网络的图像去雾效果进行量化对比，使用模型参数量和FLOPs 衡量网络的复杂度，其中，DCP 作为一种传统的图像去雾网络，其模型参数量和FLOPs 在此不做比较，实验结果如表1 所示，表中加粗数字表示该组数据最大值。从表1 可以看出，本文网络在SOTS 室内、室外数据集下的PSNR、SSIM 指标均略高于MSBDN 网络，并远超其他网络。其中在室内数据集的指标更高，峰值信噪比为33.04 dB，结构相似度为0.983。在HAZERD 数据集下的对比实验中，本文网络的指标仍是最好，其PSNR、SSIM 比GridDehazeNet网络分别高出1.33 dB 和0.041，并且远高于其余5 种网络。在网络复杂度方面，本文网络的模型参数量仅为0.34M，浮点运算数为16.06×109frame/s，除传统图像去雾DCP 网络外，本文网络的复杂度均低于其他网络，且在SOTS 数据集下的对比实验中，本文网络的复杂度远低于MSBDN 网络。在HARZED 数据集下的对比实验中，本文网络的复杂度同样远低于GridDehazeNet 网络。实验结果表明，本文网络在进行图像去雾时不仅能够有效恢复原始图像的结构、色彩和亮度，而且具有较低的复杂度和较好的泛化能力。这进一步验证了本文通过注意机制和门控网络融合局部和全局特征图，能够有效解决去雾过程中的色彩、亮度失真问题。

表1 合成雾霾图像去雾指标对比Table 1 Comparison of dehazing indicators for synthetic haze images

4.3 真实雾图对比实验

若将基于合成雾霾图像训练的网络应用于真实雾霾图像的去雾过程中，容易存在去雾不彻底、颜色失真等问题，因此在真实雾图上的对比实验更能验证不同网络的有效性。基于此，本文选取近年来图像去雾领域常用的真实雾图进行对比实验，结果如图7 所示（彩色效果见《计算机工程》官网HTML 版）。

图7 真实雾天图像去雾结果对比Fig.7 Comparison of dehazing results of real haze images

从图7 可以看出，DCP、DCPDN 和EPDN 网络虽能取得较好的图像去雾效果，但均过度增强了图像，其中DCP 网络的图像去雾结果颜色失真严重，如图7（b）第2 幅图像中的树林和第3 幅图像中的天空区域。DCPDN 网络的图像去雾结果亮度失真，使得图7（c）的背景光均明显过亮。EPDN 网络造成了严重的色偏，如图7（f）第1 和第3 幅图像中的天空呈现异常的蓝色，且从图7（f）第2 幅图像中可以看出，树林里依旧存在成片的雾霾。相比于上述2 种网络，GFN、GridDehazNet、MSBDN 和本文网络的图像去雾结果更自然，但GFN网络虽具有一定的图像去雾效果，但仍存在残余雾霾，如图7（d）第1幅图像中草堆上方的天空区域以及图7（d）第2幅图像中的树林区域。GridDehazeNet网络在图7（e）第1 幅图像中的去雾效果较好，但是图像背景变暗，此外，该网络在图7（e）第1 幅图像中的去雾结果中仍存在成片的雾霾。更重要的是，MSBDN网络泛化能力差，并不能有效去除真实场景中的雾霾，如图7（g）第1 幅图像中的天空和第2 幅图像中的树林区域。相比之下，本文网络能够更好地恢复原始图像的亮度与色彩（如如图7（h）第1幅和第3幅图像中的天空颜色，以及第5幅图像中的绿色框放大部分），并且能较好地去除浓雾（图7（h）第2 幅图像中的树林）。此外，由于本文网络有效结合了局部特征和全局特征，因此可以提取更多图像信息，恢复出高对比度的图像（如图7（h）第4 幅图像中的绿色框放大部分）。

4.4 消融实验

为验证本文所提网络中每个模块的有效性，设计以下消融实验：

1）仅提取有雾图像的局部特征（Local Feature，LF）；

2）提取有雾图像的局部特征和全局特征（Local Feature and Global Feature，LF+GF）；

3）提取有雾图像的局部特征和全局特征，并对提取的2 种特征进行通道注意机制融合（Local Feature and Global Feature with Channel Attettion，LF+GF+CA）；

4）本文网络，即使用通道注意机制加权局部特征和全局特征，并通过门控网络融合3 个不同深度的特征图（Local Feature and Global Feature with Channel Attettion and Gated Network，LF+GF+CA+GN）。

本文在SOTS 室内测试集下进行了测试，该测试集包含500 张合成雾天图像，其图像去雾对比结果如图8所示（彩色效果见《计算工程》官网HTML版），平均PSNR和SSIM 定量评估结果如表2 所示。从图8 绿色框内的红墙可以看出，LF 去雾网络在图像去雾时错误估计了墙壁的颜色，这表明其缺乏全局特征，去雾结果的色彩恢复并不稳定。LF+GF 去雾网络虽然结合了局部特征和全局特征，提取了更丰富的颜色和亮度信息，但由于没有采用注意机制有效结合两种特征，因此绿色框内的红墙颜色仍偏白。LF+GF+CA 去雾网络虽然在图像去雾时有效避免了颜色失真，但绿色框内仍隐约存在白雾。相比之下，本文采用的LF+GF+CA+GN 去雾网络得到的无雾图像效果最佳，墙壁颜色与清晰图像最为接近。从表2 的客观指标可以看出，本文采用的LF+GF+CA+GN 去雾网络恢复的无雾图像指标最高。此外，本文方法结合全局特征和局部特征，以及采用通道注意机制，对图像去雾效果有较大的促进作用。

图8 消融实验结果Fig.8 Results of ablation experiment

表2 消融实验结果对比Table 2 Comparison of results of ablation experiment

5 结束语

本文提出一种基于双尺度特征融合的单幅图像去雾网络，通过残差密集块和包含空间注意机制的特征提取块分别提取图像的局部特征和全局特征。在此基础上，利用通道注意机制高效融合局部特征图和全局特征图，从而获得丰富的结构和色彩信息。此外，采用门控网络自适应结合不同深度的融合特征图，并由卷积层映射出最终的无雾图像。实验结果表明，与现有网络相比，本文网络对合成图像和真实图像均可取得理想的去雾效果，且不用依赖于大气散射模型，有效解决了现有网络去雾不彻底、因过度去雾而导致的色彩失真等问题。下一步将进行自适应图像域研究，将深度信息和先验信息相结合，进一步增强去雾网络对真实有雾图像的去雾能力。