MAGNet融合导向滤波的真实图像去雾方法

2022-05-12申红倩张世辉路佳琪左东旭牛景春

计量学报 2022年3期

桑榆，申红倩，张世辉，2，路佳琪，左东旭，牛景春，2

(1.燕山大学信息科学与工程学院，河北秦皇岛 066004；2.河北省计算机虚拟技术与系统集成重点实验室，河北秦皇岛 066004)

1 引言

雾会导致图像模糊、能见度降低，更会阻碍视觉测量[1]、光学检测[2]、三维重建[3]等任务的执行效果，将雾从场景中去除更有助于相关任务的顺利完成。因此，近年来去雾问题受到学者们的广泛关注。

根据处理对象的不同，已有的去雾方法可分为基于视频的去雾方法[4,5]以及基于单幅图像的去雾方法[6,7]。由于基于视频的去雾方法的实质也是对单幅图像进行处理，且基于单幅图像的去雾方法更具挑战，因此，相关学者们更多地进行了单幅图像去雾方法的研究。已有单幅图像去雾方法可分为3类，即基于图像增强的去雾方法、基于先验知识的去雾方法以及基于学习思想的去雾方法。基于图像增强的去雾方法按照雾的视觉属性差异可分为直方图均衡化方法[8,9]、同态滤波方法[10]、小波变换方法[11]以及Retinex方法[12,13]等。近年，相关学者们对Retinex方法进行了较多研究，其思路是将有雾图像分为自身反射信息部分和亮度信息部分，并基于图像自身反射信息决定了有雾图像的固有属性这一假设，通过设计模型计算有雾图像亮度信息与自身反射信息，从而获取去雾图像。虽然，Retinex方法在一定程度上可以提高视觉效果，但是由于没有考虑有雾图像的退化原因，所以对于具有复杂结构的真实有雾图像去雾效果一般。

与基于图像增强的去雾方法思路不同，基于先验知识的去雾方法通过分析图像中雾的形成原因及分布特性，总结出雾所具有的特征并将特征作为先验知识从而设计具体的去雾方法。Tan R T[14]发掘有雾图像的对比度通常低于无雾图像，基于此通过最大化局部对比度来进行去雾，但是去雾后图像通常会出现颜色失真的现象。He K M等[15]对大量有雾和无雾图像进行对比及分析后，提出无雾图像在R、G、B三通道中至少一个通道数值接近于零这一假设，并将该假设命名为暗通道先验(dark channel prior, DCP)，围绕暗通道先验以及大气散射模型设计了相应的去雾方法。随后，学者们基于暗通道先验设计了各自的去雾方法[16～18]。Zhu Q S等[19]发掘图像中雾的浓度与景深信息密切相关，由此建立景深模型实现对图像中雾的去除。基于先验知识的方法需在一定的约束条件下实现对图像中雾的去除，因此这类方法具有一定的局限性且去雾后图像存在伪影。

为了解决上述问题，学者们提出了基于学习思想的去雾方法。基于学习思想的方法可分为应用大气散射模型方法以及端到端方法。应用大气散射模型的方法利用深度卷积神经网络计算有雾图像的透射图，并将计算出的透射图输入至大气散射模型从而实现去雾功能。Cai B L等[20]设计并构造了名为去雾网络(dehaze network, DeHazeNet)的卷积神经网络，DeHazeNet通过特征提取、多尺度映射、局部极值和非线性回归获取有雾图像对应的透射图，并应用大气散射模型获取去雾图像。Ren W Q等[21]考虑到不同尺度信息对于去雾问题的影响，设计多尺度卷积神经网络(multi-scale convolutional neural network, MSCNN)获取透射图进而实现去雾功能。Li B Y等[22]意识到对透射图和大气光值进行估计会影响去雾效果，故将透射图t(x)和大气光值A合并为新变量K，通过估计K去除图像中的雾。上述应用大气散射模型的去雾方法由于需要先计算透射图再实现去雾，因此这类方法去雾结果过于依赖所计算的透射图，且去雾后图像与有雾图像之间存在较大差异。为了克服上述问题，学者们提出了基于端到端思想的去雾方法。与应用大气散射模型方法相比，基于端到端思想的去雾方法所构造卷积神经网络的输出不再是有雾图像对应的透射图而是有雾图像对应的去雾结果。Ren W Q等[23]、Chen D D等[24]、Liu X H等[25]、Dong H等[26]、Qin X等[27]分别构造了名为门控融合网络(gated fusion network, GFN)、门控上下文聚合网络(gated context aggregation network, GCANet)、网格去雾网络(grid dehaze network, GridDehazeNet)、融合密集特征的多尺度增强去雾网络(multi-scale boosted dehazing network with dense feature fusion, MSBDN-DFF)、特征融合注意力网络(feature fusion attention network, FFA-Net)等卷积神经网络实现对有雾图像中雾的去除。例如，GFN分别对有雾图像进行白平衡、对比度增强以及Gamma校正后输入到卷积神经网络，然后将网络的输出图像进行融合从而获得去雾结果。MSBDN-DFF将U-Net密集特征与多尺度信息进行融合，并应用boosting和误差反馈取得了较好的去雾效果。FFA-Net将通道注意力与像素注意力机制相结合，构造了一种双注意力特征融合卷积神经网络，实现对有雾图像中雾的有效去除。上述基于端到端思想的方法可对合成图像中的雾进行有效去除，但是这类方法对于真实图像的去雾效果有待提升且去雾后图像视觉效果一般。

综上所述，针对已有去雾方法存在的过于依赖大气散射模型、方法存在局限性、对真实图像去雾效果一般等情况，本文研究的面向真实图像的去雾方法旨在提高已有去雾方法的普适性，建立可对真实图像和合成图像去雾的模型，并保证对真实图像中雾有效去除的同时，提高去雾后图像的视觉效果。

2 方法概述

本文提出一种基于学习思想的多注意力网格网络(multiple attention grid network, MAGNet)融合导向滤波面向真实图像的去雾方法。首先，设计并构造融合通道注意力、空间注意力、像素注意力及残差密集块的MAGNet，并利用已有的合成数据训练MAGNet；其次，基于图像增强理论，引入导向滤波去除真实图像中残留的雾，并使得去雾后图像更加平滑且保留更多细节信息，从而提高去雾图像的视觉效果。本文去雾方法总体流程如图1所示。

图1 真实图像去雾方法流程

3 MAGNet融合导向滤波的真实图像去雾方法

3.1 构造MAGNet网络

3.1.1 提出多注意力残差密集块

分析暗通道先验可知有雾图像中各通道特征具有完全不同的权重信息。通道注意力(channel attention, CA)可减少对不重要信息的计算，从而实现根据有雾图像的特点为不同通道的特征图分配相应权重。分析已有去雾后图像可知，景深较大处的雾比景深较小处的雾更难去除，因此若对不同景深的雾分配平均权重很难达到较好的去雾效果。空间注意力(spatial attention, SA)可使网络更加关注景深较大的雾并增强去雾效果。考虑到雾浓度对于去雾问题的影响，引入像素注意力(pixel attention, PA)对于不同浓度的雾分配相应的权重，进一步增强网络的去雾效果。

此外，残差密集块是将残差块的短路连接(shortcut connection)与密集块的多旁路连接(multiple bypass connection)相结合的形式。与传统的残差块相比，残差密集块可对特征进行重复使用，并将当前特征与前若干层特征在通道上进行连接实现对相关特征的高效利用。与传统的密集块相比，短路连接不会产生额外的参数，也不会增加计算复杂度。同时，将通道注意力、空间注意力以及像素注意力融入到残差密集块构造多注意力残差密集块，实现对特征重复及高效利用的同时，更加突出具有不同景深及不同浓度雾的相关特征图权重信息。所构造的多注意力残差密集块结构如图2所示。

图2 多注意力残差密集块

3.1.2 MAGNet结构

卷积神经网络可对有雾图像中的特征进行有效提取，但是深层的卷积神经网络也会有梯度消失的风险。而所构造的多注意力残差密集块可实现对特征的重复利用降低网络参数规模，从而降低梯度消失风险。此外，多尺度信息通过对不同尺度特征进行融合，实现对不同尺度下真实图像均能取得良好的去雾效果并提升网络的泛化能力。因此，基于所构造多注意力残差密集块及多尺度思想设计MAGNet，其结构如图3所示。分析图3可知，将长度W和宽度H以及3通道的有雾图像输入至MAGNet，有雾图像首先经过3×3卷积和1个多注意力残差密集块后获得16维W×H的特征图。其次，将16维W×H的特征图输入至网格部分，该网格共分为3层，每层均包含5个多注意力残差密集块且各层网格通过上采样或下采样获得不同维度及尺寸的特征图。其中，第1层网格的多注意力残差密集块输出均为16维W×H的特征图，第2层网格的多注意力残差密集块输出为32维(W/2)×(H/2)的特征图，第3层网格的多注意力残差密集块输出为64维(W/4)×(H/4)的特征图。最后，将网格部分输出的16维W×H的特征图经过1个多注意力残差密集块和1个3×3卷积操作得到MAGNet的输出即去雾图像。

图3 MAGNet的整体框架

3.1.3 训练MAGNet

为了获取有雾图像与对应去雾图像之间的映射关系，本文方法需要对MAGNet进行训练。分别设计平滑的1损失和感知损失从而构造损失函数Ltotal训练所搭建的MAGNet。所构造的损失函数定义：

Ltotal=Ls+λLp

(1)

式中：Ls是平滑1损失；Lp是感知损失；λ是感知损失权重系数。

(2)

式中：W和H分别是有雾图像的长度和宽度；x是有雾图像和去雾图像中对应的像素点；i是有雾图像R、G、B三通道的索引；Ji(x)是MAGNet输出的去雾图像中像素点x在i通道上的像素值；Di(x)是有雾图像对应ground truth中像素点x在i通道上的像素值；ζs(·)是1判定函数；e是MAGNet输出的去雾图像和对应ground truth之间的差异值。

(3)

式中：t是VGG16前3层卷积对应的索引；Ct、Ht及Wt分别是VGG16第t层卷积输出特征图的维度、宽度和长度；ψt(J)是VGG16第t层卷积对去雾图像输出的特征图；ψt(D)是VGG16第t层卷积对ground truth输出的特征图。

3.2 增强去雾图像视觉效果

已有的去雾方法可去除真实图像中大部分的雾，但去雾图像存在细节信息丢失且视觉效果降低等问题，因此引入导向滤波保留去雾图像细节信息以及增强图像视觉效果。利用MAGNet去雾后的图像作为待滤波图像P和引导图像I，利用导向滤波对去雾图像进行视觉效果增强方法定义：

(4)

式中：ωk是引导图像中以像素点k为中心的窗口(以下简称窗口)；i和j分别是窗口内像素点索引；|ωk|是窗口内像素点的个数；μk是窗口内各像素点像素值的均值；Ii和Ij是引导图像中像素点k相邻两像素点i和j的亮度值；σk是窗口内像素点对应像素值的方差；ε是调节系数。

按照公式(4)方法遍历引导图像和待滤波图像中各像素点，从而实现对于去雾图像视觉效果的增强。

4 实验与分析

4.1 实验环境及数据集

所提出面向真实图像去雾方法的实验硬件环境为Intel(R)Xeon(R)CPU E5-2620 v4@ 2.10 GHz、内存64 G、显卡型号NVINIA TITAN Xp。实验软件环境为Ubuntu14.0、CUDA9.0、Python3.6.7和Pytorch1.0.0。

本文方法中MAGNet利用逼真单幅图像去雾数据集(realistic single image dehazing, RESIDE)[29]进行训练。RESIDE中包含296 695幅户外图像，这些户外图像由8 477幅清晰图像根据大气散射模型中深度β∈[0.04,0.2]以及大气光值A∈[0.8,1.0]两个参数生成。由于目前不存在对真实图像去雾后进行定量分析的指标，因此对真实图像去雾效果的对比将从定性角度进行分析。与此同时，已有的去雾方法大多是针对合成图像进行测试，因此在对合成图像去雾进行测试后，也将从定性和定量的角度，将本文方法与现有具有代表性的去雾方法在Indoor、Outdoor以及Middlebury数据集中进行对比与分析。

4.2 自身实验效果对比与分析

4.2.1 真实图像的自身对比实验结果与分析

为了充分验证本文方法在真实图像去雾方面的可行性和有效性，采用由RESIDE数据集中户外图像训练的MAGNet作为测试模型，应用互联网上搜索的真实有雾图像作为测试数据进行两组对比实验。验证多注意力残差密集块对于真实图像去雾效果影响的第1组实验以及验证导向滤波方案对真实图像去雾效果影响的第2组实验。为了验证所提多注意力残差密集块对于真实图像去雾效果的影响，在网络中分别使用仅利用残差密集块以及利用多注意力残差密集块进行对比实验。为了验证导向滤波对真实图像的去雾效果，对比仅利用MAGNet进行去雾和在利用MAGNet去雾后叠加导向滤波的去雾效果，实验结果如图4所示。

对比图4(b)和图4(c)可以看出，图4(b)的去雾结果仍有雾残留，尤其在各图像的标框细节区域最为明显，其中图4(b)的第2幅图像右侧树枝部分明显有大量雾的残留，第4幅和第5幅图像的天空区域存在颜色失真的情况。对比图4(c)和图4(d)，图4(d)第1幅图像中的信号灯和第4幅图像中间的指示牌以及第5幅图像左下角的小阁楼明显有较好的视觉效果，图4(d)第5幅图像的标框区域去雾效果明显比图4(c)的去雾效果清晰，因此可验证本文方法基于真实图像去雾的有效性。

图4 真实图像自身对比实验结果

4.2.2 基于合成图像的自身对比实验结果与分析

此外，为了验证本文方法也可对合成图像进行有效去雾，基于合成图像并从定量和定性角度进行自身实验验证工作。采用由RESIDE数据集中户外图像训练的MAGNet作为测试模型，并将RESIDE数据集下的Indoor、Outdoor以及Middlebury数据集作为测试数据验证多注意力残差密集块对于合成图像去雾效果的影响，实验结果如图5所示。

图5的前两行是RESIDE数据集中Indoor数据集的图像，中间两行是RESIDE数据集中Outdoor数据集的图像，最后两行是Middlebury数据集的图像。对比图5(b)和图5(c)可知，图5(c)的去雾结果仍有少量的雾残留，这种现象在2幅室内图像和2幅室外图像的标框部分尤为明显。其中图5(c)第2幅图像在花瓶周围明显残留大量没有去除的雾，图5(c)第3幅图像标框部分显示的建筑物视觉效果模糊。图5(c)最后2幅Middlebury数据集的图像标框部分视觉效果不好且去雾图像在整体上残留大量的雾。对比图5(d)与图5(c)，图5(d)标框显示的细节部分去雾效果明显强于图5(c)的去雾效果，且整体上图5(d)的去雾效果更接近于ground truth，从而验证多注意力残差密集块对于合成图像去雾的适用性。

图5 合成图像自身对比实验结果

与验证本文方法对真实图像去雾效果仅能依赖定性分析不同，还可基于定量分析对合成图像去雾效果进行验证。合成图像的定量分析数据是根据Indoor、Outdoor及Middlebury数据集的测试图像去雾后结果取平均值得到的。表1展示了不同网络结构在PSNR和SSIM两个定量指标的评估结果，其中加粗字体为最优值。

根据表1结果可知，基于多注意力残差密集块所构造的MAGNet对于Indoor、Outdoor及Middlebury等数据进行去雾的结果明显优于仅利用残差密集块进行去雾的结果，也进一步验证了所构造多注意力残差密集块对于合成图像去雾问题的有效性。

表1 不同网络结构对应的PSNR和SSIM

4.3 与其它去雾方法对比与分析

4.3.1 基于真实图像与其它去雾方法对比与分析

为了验证本文方法在真实图像去雾方面的有效性，图6展示了本文方法与已有5种具有代表性方法的实验结果。从图6可以看出，DCP的去雾结果存在颜色失真的情况，尤其在第1幅图像的天空和第2幅图像的河流，在第3幅图像中人的轮廓出现了明显的伪影现象。AOD-Net方法的去雾结果整体呈现出颜色偏暗，对比度降低的视觉效果，在第1幅图像的天空区域最为明显，并且在第2幅图像标出的框里放大的细节可以看出丢失了球上的纹理信息。DeHazeNet的去雾结果存在细节丢失的问题，第1幅图像的天空区域过于明亮导致最右侧的高楼消失，第2幅图像的天空区域颜色失真，表现为暗绿色。GridDehazeNet方法的去雾结果也存在细节丢失的问题，第3幅图像中人头的上部有大量雾的残留。FFA-Net方法去雾不彻底，第1幅图像恢复的去雾图像中天空区域过于明亮，第2幅图像标出的框中球的周围。本文方法的去雾结果最为清晰且对比度高，视觉效果明显优于其它几种方法，从而进一步验证了本文方法基于真实图像去雾的可行性和有效性。

图6 本文方法与其它方法在真实图像上的比较

4.3.2 基于合成图像与其它去雾方法对比与分析

针对已有去雾方法大多基于合成图像进行实验验证的现状，将本文所构造的MAGNet与上述5种先进方法进行去雾效果的对比工作。图7展示了MAGNet与5种代表性方法的对比结果。从图7的实验结果可以看出，DCP方法的去雾结果存在颜色失真的问题，尤其在第2幅图像的墙面和第5幅图像的天空区域最为明显，第3幅图像的吊灯周围由于亮度偏高丢失大量细节信息。AOD-Net去雾不彻底，在第1幅图像桌子上方玻璃门部分和第2幅图像左上角的相框部分以及第3幅图像的吊灯周围和椅子靠背之间都存在大量雾的残留。DeHazeNet的去雾结果整体呈现颜色偏亮的情况，第1幅图像的玻璃门部分和第3幅图像左上角吊灯部分以及第5幅图像的天空区域都有颜色偏亮的问题，第4幅图像天空区域的右下角出现绿色阴影。GridDehazeNet也存在去雾不彻底的问题，第2幅图像左上角的相框轮廓和第3幅图像的椅子靠背之间存在雾的残留。FFA-Net方法的去雾结果整体比较清晰，但部分区域较模糊，第1幅图像桌子上的书本和第2幅图像柜子上摆放的物件都丢失了细节信息。MAGNet的去雾结果最为清晰且细节信息保留完整，从而验证了本文方法可以对真实图像去雾同时也可以有效去除合成图像中的雾。

图7 MAGNet与其它方法在合成图像上的比较

表2给出了不同方法在3种数据集上的量化评估结果，其中加粗字体为最优值，加下划线字体为次优值。由表2可以看出，在Outdoor和Middlebury数据集上本文所构造的MAGNet的PSNR和SSIM明显优于其它5种方法的处理结果，这也符合上文直观的评估结果。但在Indoor数据集上，FFA-Net的PSNR值略高于MAGNet，其原因在于，FFA-Net主要对合成图像进行研究且具有较深的网络结构，因此对于与训练样本较相似的合成数据效果较好。但是，本文方法主要研究对象是真实图像，过深的网络结构往往会造成过拟合现象即对合成图像去雾效果较好而对真实图像去雾效果一般，所以所构造的MAGNet并未单纯追求网络结构的深度，而是面向真实图像的特点合理设计网络结构。因此所设计去雾方法对真实图像处理效果优于FFA-Net，并且对于除Indoor数据集PSNR指标外，MAGNet在其它数据集上PSNR及SSIM两定量指标也优于FFA-Net。