融合估计与评估网络的去雾算法研究

蔡梦姚，王鹏，李晓艳，吴娇，吕志刚

摘  要： 针对由于雾霾天气影响造成拍摄的图像出现模糊不清、低对比度和色彩暗淡等问题，提出一种融合估计与评估网络的去雾算法。根据大气退化模型将雾霾图像输入到两个联合且独立的估计网络模型中，分别得到透射图与大气光图的估计值;将估计得到的透射图与大气光值输入到雾图成像公式中，得到去雾图像;通过生成式对抗GAN网络中的鉴别器来联合鉴别，生成更好的透射图与大气光值;最后，通过雾图成像公式反演恢复出清晰的无雾图像。实验结果表明，该算法去雾后的图像变得清晰，对比度得到提高，且图像质量评价指标峰值信噪比和结构相似性指数分别达到了22.14dB，75.3%。

关键词： 低对比度; 估计与评估网络; 大气退化模型; 透射率; 大气光值; 生成式对抗网络

中图分类号：TP751        文献标识码：A     文章编号：1006-8228（2022）01-22-06

Research on de-haze algorithm with estimation and evaluation network fuse

Cai Mengyao， Wang Peng， Li Xiaoyan， Wu Jiao， Lv Zhigang

（School of Electronics and Information Engineering， Xi'an Technological University， Xi'an， Shaanxi 710021， China）

Abstract： Aiming at the problems of blurred images， low contrast and dim color caused by haze weather， a de-haze algorithm with estimation and evaluation network fuse is proposed. According to the atmospheric degradation model， the hazing image is input into two joint and independent estimation network models to obtain the estimated values of transmission image and atmospheric light image respectively; the estimated transmission image and atmospheric light value are input into the hazing image formula to get the de-haze image; the discriminator in GAN network is used to generate better transmission image and atmospheric light image; Finally， a clear haze free image is recovered by inversion of haze imaging formula. The experiment results show that the image becomes clearer， its contrast is improved and the PSNR and structure similarity index of image quality evaluation index are up to 22.14db and 75.3% respectively.

Key words： low contrast; estimation and evaluation network; atmospheric degradation model; transmission map; atmospheric light value; GAN

0 引言

霧天拍摄的室外图像质量严重下降，很大程度上限制了图像的使用价值。为了降低雾霾环境对图像质量的影响，增加图像的可视性，必须对原始雾霾图像进行去雾处理[1]。

目前提出了一些基于图像复原的去雾方法[2]，例如，Tan等人的最大对比度方法假设获得的大气信息比场景深度更准确，可以比较容易地进行雾图的恢复，但在实际条件下，先验知识并不是在任何条件下都满足，这使得雾图的恢复由于缺乏已知信息而具有很大的不确定性;Li等人提出直接端到端去雾网络模型，通过未知变量K（x）将透射图t（x）与大气光值A（x）统一，基于K（x）能够完成对清晰图像的恢复，但该类方法并没有进行透射图t（x）和大气光值A（x）的单独估计，估计参数使得误差相互放大，从而影响最终的去雾效果;Cai[3]等人提出一种名为DehazeNet的间接端到端去雾网络系统，该端到端系统对原始图像与传输图之间的映射关系进行直接学习和估计，通过其深层架构的特殊性设计来实现去雾，该算法数据集由室内场景图片进行人工加雾处理形成，这与自然雾场景下所拍摄的原始雾图存在一定误差，所以该算法在自然场景中的应用效果不佳。

为了解决以上存在的问题，本文提出了一种称为融合估计与评估网络（Estimation and evaluation of demisting network，EAEDN）的图像去雾算法。主要贡献如下。

⑴ 提出了一种端到端联合优化去雾网络。不依赖于大气散射模型，避免了由于缺乏先验知识而导致去雾效果不好的问题。

⑵ 提出了联合且独立的估计网络框架。利用粗估计与细优化网络进行透射图t（x）的估计，同时利用卷积-反卷积网络精确估计大气光值A（x）。

⑶ 采用对称的GAN鉴别评估网络模型联合判别透射图t（x）、大气光值A（x）与去雾后的图像是否为最优估计，从而得到效果更好的去雾后的图像。

1 融合估计与评估网络的端到端去雾算法

1.1 融合估计与评估的端到端去雾算法模型

本文提出了一种有效的端到端的融合估计与评估网络的去雾算法，整体算法模型如图1所示。

第一阶段，将雾霾图像输入到两个联合且独立的网络估计模型中。利用粗估计-细优化网络进行透射图t（x）的估计;同时利用卷积-反卷积网络进行大气光值A（x）的估计。

第二阶段，将在网络训练阶段获得的透射图t（x）和大气光值A（x）代入雾图成像模型中，结合深度学习框架提供的数学运算模块进行反演，从而恢复去雾后的图像。

第三阶段，利用对称的GAN鉴别评估网络模型来联合鉴别生成更好的透射图t（x）与大气光值A（x），从而得到效果更好的去雾后的图像。

1.2 去雾参数估计网络模型

McCartney[4]等人在雾散射原理的基础上提出了大气散射模型，该模型认为到达图像采集设备的光线由两部分组成。一部分是由于大气中悬浮微粒的散射作用使得一部分反射光线受到衰减，剩余的部分光线进入成像设备;另一部分是由于场景中的其他光线在大气粒子的散射作用下被成像设备接收并附加在目标图像上。一般情况下，最终进入成像设备的光线由这两部分叠加而成。因此，雾天条件下成像模型的表达式如下所示：

[I（x）=J（x）t（x）+A（1-t（x））]  ⑴

其中x表示图像中任意像素的位置，I（x）表示成像设备采集的雾天图像;J（x）表示去雾后的图像;t（x）表示透射图;A（x）代表大气光值;J（x）t（x）对应入射光的衰减模型，A（1-t（x））对应混合大气光图模型。

从式⑴可以看出，去雾过程中有两个重要参数的估计：①透射图t（x）准确估计;②大气光值A（x）准确估计，一旦估计得到透射图和大气光值，代入式⑵从而生成去雾后的图像。

[J（x）=I（x）-A（x）（1-t（x）t（x）]  ⑵

⑴ 透射图估计网络

图2所示为用于估计透射图的端到端回归网络，该网络由粗估计和细优化网络两部分组成。粗估计网络和细优化网络结构相似，以粗估计网络为例说明，粗估计网络主要由：卷积层、池化层、上采样层、线性合并层组成，其中上采样层主要作用是让输出的透射图和输入的雾图尺寸一致。

上采样层的计算公式为：

[nl+1（2x-1：2x，2y-1：2y）=nl（x，y）]  ⑶

其中[l]表示层的序号，[（x，y）]表示图像的二维空间坐标。

为了满足尺度一致性，将粗估计网络的输出与细优化网络第二个卷积层的输入相结合。粗估计网络的底层和中间层通过最大池化层来连接图像的不同部分，使网络能够整合对全局场景的理解来预测网络深度，在获得全局深度图后，利用细优化网络进行局部改进。

⑵ 大气光值估计网络

在大气光值估计网络中，对于给定的图像，预测的大气光值A（x）是均匀的，即其中每个像素A（z）具有相同的值（例如，A（z）=c，c为常数）。大气光值A（x）具有与输入图像相同的特征尺寸，为了估算大气光值，采用如图3所示的卷积-反卷积网络结构。

1.3 GAN鉴别评估网络模型

从式⑵可以看出，透射图t（x）、大气光值A（x）与去雾后的图像[J]密切相关。因此，令[Gt]和[Gd]分别表示生成的透射图和去雾后的图像，为了优化输出并确保估计的透射图和去雾后的图像分别与它们对应的地面真相t和实际去雾后的图像[J]为最优估计，使用GAN网络中的鉴别器进行评估;对于给定的图像，预测的大气光线A是均匀的，同样进行判别优化。

将在估计阶段获取的透射图t（x）、大气光值A（x）输入到GAN网络的生成器中，一个新的数据分布G（x）被映射到生成器的多层感知器中。将处理后的图像以G（x）形式输入到判别器中，对输入的两个数据分别进行判断。如果判别的输出与先验假设方向一致，即真实数据的概率值接近1，生成数据值的概率接近0，此时对透射图和大气光图进行重新估计，再次代入到式⑵中进行反演，得到去雾后的图像。通过该评估方法优化估计网络的网络模型，获得效果较好的去雾后的图像。

2 实验与分析

2.1 实验数据集介绍

实验数据采用包含室内带雾图片集（ITS）和室外带雾图片集（OTS）的RESIDE数据集和根据经典大气光散射模型公式，设置不同的大气光强度后得到的人工合成带雾图像的NYU2数据集[5]。选取室内、外混合图片集（HSTS）中10张人工合成雾图像和10张真实生活图像作为测试集。在实验中，将两部分数据集对应的训练集和测试集分别集合在一起，总训练集数据近38390张，训练集占70%，测试集30%，部分数据集图片如图4所示。

2.2 实验设置

本文算法采用Ubuntu 16.04操作系统和深度学习框架Pytorch，实现了集估计阶段、模型计算以及鉴别评估于一体的雾图恢复算法。CPU （Central Processing Unit）为Intel（R） Core（TM） i5-8600，主频3.10GHz;内存：16G;GPU（Graphics Processing Unit）：NVIDIA GTX 1080Ti。

2.3 实验分析

2.3.1 定量分析

为了验证本文算法的有效性和優越性，我们的实验对比了直方图均衡化去雾算法（HE）[6]、单尺度同态滤波去雾算法（SHF）[7]、多尺度同态滤波去雾算法（MHF）[8]、卷积神经网络去雾算法（CNN）[9]、AOD-Net去雾算法（AOD）[10]以及本文算法（EAEDN）等多种算法在测试集上的去雾效果。其中包括平均PSNR值、平均SSIM值等图像质量评价指标，如表1所示;处理单张图片的耗时结果如表2所示。

PSNR的计算定义为给定一个m×n的干净图像I和噪声图像K，其均方误差（MSE）定义为：

[MSE=1mni=0m-1j=0n-1[I（i，j）-K（i，j）]2]  ⑷

则PSNR（dB）定义为：

PSNR=10•[log10（MAX2IMSE）]  ⑸

像素i的SSIM值由定义计算得出：

[SSIM（i）=2μxμy+C1μ2x+μ2y+C1∙2δxy+C2δ2x+δ2y+C2]  ⑹

SSIM值在（0，1）范围内，当两个图像完全相同时，SSIM=1。因此，使用[1-SSIM（i）]来计算像素的损失，SSIM损失函数定义如下：

[lssim=1Ni∈I1-SSIM（i）]  ⑺

表1的对比数据说明了本文所提EAEDN去雾模型的平均PSNR、SSIM指标相对其他算法都取得了更好的表现。这是因为，一方面EAEDN网络在透射图t（x）与大气光值A（x）估计阶段分别采用了不同的网络模型进行图像去雾特征的提取，这使得EAEDN模型能够学习到相对更好的图像去雾特征;另外一方面与GAN鉴别评估网络存在密切关系。表2中记录了是否利用GPU处理分辨率1024×768图片的耗时对比。结果表明，在利用GPU处理的情况下，EAEDN网络模型相比于其他算法可以更快速有效地处理带雾图片。

2.3.2 定性分析

圖5包括了室内和室外场景下的去雾效果对比图。从图像细节来看，前四幅图像是对真实生活中拍摄的带雾图片进行去雾处理并做出相应比对;后四幅图像是将清晰图像通过大气散射模型加雾后进行处理的效果对比。可以观察到，即使先前的方法能够消除输入图像中的雾，但它们倾向于使图像过度模糊或模糊不足，从而使结果变暗或模糊。

对比结果表明，EAEDN对于诸如包含天空白云、雾霾集中区域去雾效果较好。从视觉感官上来看，经过EAEDN模型去雾后，图像在清晰度、亮度、色彩饱和度及图像对比度上都有了更高的优越性。无论是从客观角度分析还是主观对比层次，从最终的结果可以看出，本文所采用的EAEDN模型保留了更清晰的轮廓，同时减少了颜色失真，并且在视觉上更接近于真实环境，本文所提去雾算法能够实现更好的去雾效果，并具有视觉吸引力。

3 结束语

本文针对雾霾天气下图像去雾问题，运用深度学习方法，提出融合估计与评估网络的去雾算法。通过神经网络进行特征提取，获得参数估值，结合雾图成像模型进行反演从而实现端到端网络的图像去雾，智能化实现雾霾图像增强技术，并运用对称的GAN网络鉴别器进行博弈鉴别去雾后的图像是否为最优估计。仿真结果表明，该算法在定量、定性的评价指标上均优于传统算法。后期可以通过优化网络模型，减少网络参数实现轻量化网络，以便于在嵌入式终端进行移植实现。

参考文献（References）：

[1] 宋佳怡，谢维信，王鑫.融合暗通道滤波和空间金字塔的图像去雾算法[J].信号处理，2019（5）：816-824

[2] 温立民，巨永锋，王会峰，等.基于双边滤波暗原色透射率细化的图像去雾算法[J].测控技术，2020，338（4）：67-70

[3] Cai B， Xu X， Jia K， et al. DehazeNet： An End-to-End System for Single Image Haze Removal[J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198

[4] Zhu H， Xi P， Chandrasekhar V， et al. DehazeGAN： When Image Dehazing Meets Differential Programming[C]// Twenty-Seventh International Joint Conference on Artificial Intelligence IJCAI-18，2018

[5] 贺薪宇，王橙橙，魏强，等.一种基于暗原色先验模型的混合滤波图像去雾算法[J].北华大学学报，2020（4）

[6] 李庆玄，王丽丰，靳济方.基于巴特沃斯低通滤波的直方图均衡化去雾算法[J].北京电子科技学院学报，2019，3：7

[7] 郭瑞，党建武，沈瑜，等.改进的单尺度Retinex图像去雾算法[J].兰州交通大学学报，2018，37（6）：75-81

[8] 肖胜笔，李燕.具有颜色保真性的快速多尺度Retinex去雾算法[J].计算机工程与应用，2015，51（6）：176-180

[9] 徐岩，孙美双.基于多特征融合的卷积神经网络图像去雾算法[J].激光与光电子学进展，2018，55（3）：254-263

[10] 陈琼红，冀杰，种一帆，等.基于AOD-Net和SSD的雾天车辆和行人检测[J].重庆理工大学学报：自然科学，2021，35（5）：10