基于对比约束的轻量图像去雾网络

石育越，宁 芊

（四川大学电子信息学院，成都 610000）

0 引言

当今的科技进步加快了计算机视觉领域的发展，例如目标检测、场景分割、行为识别和无人驾驶。这些系统处理的图像都是由成像设备所获取的。然而，在恶劣天气情况下，尤其是雾天或雾霾天气，空气中的悬浮粒子会严重影响光线的传播，进而影响成像质量。此类天气条件下获取的图像往往存在色彩失真、模糊、对比度降低等质量问题，从而影响后续计算机视觉系统的整体性能。因此，重建无雾清晰图像的图像去雾算法受到研究者们的广泛关注。

近年来，许多方法被提出用于克服雾霾问题。这些方法通过传统大气散射公式［1-2］对雾霾模型中的两个分量“全球大气光”和“中间传输图”分别进行估计。例如，Li等［3］提出了一种基于加权引导滤波的雾霾图像重建算法，将暗通道先验［4-6］作为基础，对初步的传输图进行滤波优化后重建去雾图像。然而，该方法依然受限于暗通道先验的缺陷，在天空、雪地等区域会出现色彩失真。Zhu等［7］提出了基于色彩衰减先验的图像去雾算法，设计了一个线性模型提取雾霾图像的亮度与饱和度信息来构建场景深度图，再用所生成的场景深度图计算中间传输图和全球大气光分量。然而，该方法估计深度图需要耗费大量时间，并且存在色彩失真和光圈效应。Li等［8］提出了一种基于全图像滤波的图像去雾方法，结合全局边缘和结构信息有效重建了去雾图像。上述基于先验知识和图像处理的方法只适用于部分特定场景，对不满足其先验条件和统计分布的场景甚至会导致图像质量恶化。

除了上述的传统方法，基于深度学习的方法近年来也在图像去雾上取得良好的效果。Cai等［9］提出了第一个基于卷积神经网络（convolutional neural network，CNN）的图像去雾方法，使用CNN预测中间传输图和大气自然光值，再根据大气散射模型重建去雾图像。但预测这两个分量会引入估计误差，导致最终重建图像也存在误差。为了解决这个问题，Li等［10］重构了经典大气散射模型，使用轻量级卷积神经网络直接预测去雾图像，避免预测中间分量而引入误差，得到了一定的性能提升。Chen等［11］首先采用扩张卷积［12］提升感受野，获取更多的上下文信息，后续使用门控单元融合各层次的有效特征，得到了良好的去雾效果。这些方法都获得了良好的去雾质量。然而，近年来基于深度学习的方法为了提升去雾性能，逐步增加网络深度和宽度，导致网络规模和参数量越来越大。这会导致去雾算法运算资源的消耗和训练难度的提升，并且冗余的参数量对于边缘设备和嵌入式设备也是巨大的存储压力。另一方面，现有基于深度学习的图像去雾算法通常以无雾图像（正样本）作为目标使用L1/L2损失引导网络训练，忽略了雾霾图像（负样本）的特征信息。但仅靠L1/L2图像重建损失无法有效恢复图像细节，甚至可能导致恢复图像色彩失真［13］。

为了解决上述问题，本文提出了一种基于对比约束的轻量化图像去雾网络（contrast constraint-based lightweight network，CCLNet）。对比约束不仅能在特征空间中将网络预测推向正样本空间，并且使预测远离负样本空间。测试阶段，对比约束可以在不引入额外计算量和参数量的情况下提高去雾性能。为了实现轻量化网络，本文采用类似于双蝶形结构的栅格模块（lattice block，LB）［14］作为所提出网络的基本模块，U-Net结构作为主体架构，这可以在减少计算量的同时保持去雾性能。

1 算法实现

1.1 网络结构

本节将介绍基于对比约束的轻量级图像去雾模型，详细展示网络结构中的细节部分。CCLNet模型架构如图1所示。

整个网络结构可以分为降维提取部分，中间处理部分，升维重建部分。降维提取部分包含一个特征提取层和两个下采样层；中间处理部分包含四个参数共享的栅格模块，残差连接和两个特征整合卷积层；升维重建部分包含两个上采样层和一个图像重建层。在相同维度的上下采样层之间存在两个自适应混合连接将特征进行融合，避免降采样和网络传播导致空间信息丢失。降维提取部分的三个卷积层输出通道数分别为32、64和128；中间部分四个LB的输出通道数均为128，两个特征整合层的输出通道数为256和128；升采样部分的输出通道为64、32和3。自适应混合连接的参数是一个可学习的参数，根据特征响应进行调整。除了最后输出去雾图像的卷积层，其余卷积层后均有一个ReLU激活层。

1.2 轻量化栅格模块

本小节介绍网络中采用的轻量化栅格模块，该模块首先在超分任务中提出。受到双蝶形栅格滤波器组的启发，Luo等［14］构建了包含残差连接和双蝶形结构的栅格模块，其结构如图2所示。

蝶形结构有利于残差连接的多种组合模式，可以发挥残差连接的潜力。具体来说，一组特征图x首先输入到包含三个3×3的卷积层和LReLU激活层的下层分支中。这些操作可以隐式表示为一个非线性函数H(·)，则x和H(·)的第一次组合可以表示为

其中Ai-1和Bi-1表示两个组合系数的向量，它们根据特征图信息自适应计算。组合系数向量的维度大小与特征图通道数相同。其次，Pi-1(x)经过与下层分支H(·)相同架构的上层分支，其非线性函数表示为G(·)。Pi(x)和Qi(x)的第二次组合可以表示为

其中Ai和Bi是Qi-1(x)与G(Pi-1(x))的组合系数。之后，Pi(x)和Qi(x)在通道维度上连接并通过一个1×1的卷积层重组。轻量化栅格模块在超分辨率任务中取得了优异的效果，灵活结合了残差机制和注意力机制，保持性能的同时大大减少了参数量。本文将其作为基本模块嵌入模型主干中，实验部分证明了其在去雾任务的有效性。

1.3 对比约束损失

端到端的图像去雾模型通常使用两个损失——图像重建损失和正则项，来限制恢复图像，其表示为

其中I是雾霾图像，J是相应的无雾图像，又称清晰图像，φ(·,ω)是所提出的去雾网络函数以及其参数ω。‖J-φ(I,ω)‖是图像重建损失，本文采用L1损失。ρ(·)是正则项，用于约束网络生成自然平滑的去雾图像，通常使用DCP先验和全局方差损失。β是一个超参数，用于平衡图像重建损失和正则项。不同于现有方法的正则项设定，本文采用对比约束提升去雾图像的感知质量。损失函数可以表示为

其中第二项为I，J和φ(I,ω)在相同隐特征空间下的对比约束，其在隐空间内将去雾图像φ(I,ω)推向无雾图像J，且使φ(I,ω)远离雾霾图像I。为了增强约束能力，本文以VGG-19作为特征提取网络，并选取多个隐含层的中间特征用于计算对比约束。因此，本文的损失函数可以进一步表示为

其中i表示VGG-19中的第i层特征，D(x,y)表示x与y之间的L1距离，wi表示第i层的权重因子，整个模型以端到端的模型进行训练。不同方法在测试集上的结果如图3所示。

2 实验

2.1 实验设置

本文使用大规模基准数据集RESIDE［15］对网络进行训练，RESIDE数据集包含室内训练集ITS，室外训练集OTS和综合目标测试集SOTS，这些数据集都是使用相同方法在自然图像上合成得到的。CCLNet分别在ITS和OTS数据集上进行训练，并在SOTS数据集上测试，测试阶段采用峰值信噪比PSNR和结构相似性SSIM两个客观指标验证所提出模型的去雾性能，并展示去雾结果进行主观质量分析。PSNR和SSIM是常用的图像去雾质量评价指标，PSNR越大代表去雾图像与地面真值图像之间的像素差别越小，SSIM越接近1表明去雾图像与地面真值图像之间的结构越相似。

所有训练集内的图片会首先进行水平垂直随机翻转，然后裁剪为256×256的图像块送入CCLNet中。训练过程中，使用Adam优化器将其参数设为0.9和0.999。对于ITS和OTS训练集，分别训练1×105和1.5×105次迭代，学习率分别初始化为2×10-4和1×10-4，并采用余弦退火策略使学习率逐渐衰减至0。损失函数中β设置为0.1，VGG-19预训练模型作为特征提取网络计算对比约束损失，采用第1，3，5，9，13层作为特征提取层；wi分别设置为1/32，1/16，1/8，1/4和1。实验中采用的深度学习框架为Pytorch1.9.0，计算库为CUDA11.1，实验平 台 为Ubuntu18.01，使 用 的GPU型 号 为NVIDIA GeForce RTX 3090。

2.2 实验结果

为了充分验证所提出模型的有效性，实验部分比较了几个先进的传统图像去雾算法和基于深度学习的图像去雾算法：DCP［5］，AODNet［10］，DehazeNet［9］，GCANet［11］，EPDN［16］和PFFNet［17］。在SOTS测试集上的测试结果如表1所示。表1是各个算法在SOTS测试集中室内图像和室外图像的客观指标结果，其中PSNR和SSIM的数值越大表示模型去雾效果越好。表1结果显示，相比于GCANet方法，本文提出的CCLNet在PSNR和SSIM上取得了平均0.20 dB和0.0032的性能增益，远优于其他传统方法和基于深度学习的方法。结合表1最后一列和图4参数量与PSNR指标图，充分证明本文所提出的方法在性能与参数量方面实现了优异的权衡。该方法所占用的空间储存和运算消耗都小于其他方法。图4展示了该方法和对比方法在SOTS数据集中四幅图像的处理结果。从第三列和第五列可以看出，DehazeNet和GCANet在处理室外图像时会产生色彩失真，在背景和近远景边缘区域引入不规则的黑斑，这是大气传输图的估计偏差导致的。观察第二列和第四列的结果，AOD-Net和PFFNet无法有效去除室内图像中的雾霾信息，并且导致去雾后的图像背景亮度变大，产生过曝现象。从图3各种方法的对比结果可以观察到，所提出的CCLNet在SOTS基准测试集上的客观指标和主观评价均取得了最优异的结果，整体上去雾效果明显，感知质量良好。

表1 客观指标对比结果

3 结语

本文提出了一种基于对比约束的轻量级图像去雾网络，该网络采用双碟形栅格模块作为网络的基本模块，其使用的小型卷积核和双分支可以在小参数量的条件下灵活结合残差学习和注意力机制，且能够保障模型的去雾性能。对比约束不仅利用正样本进行学习，并且在隐空间中将预测图像推离负样本，使得预测图像更加接近真实的自然图像。