基于半监督学习的图像去雾算法

纪连顺 魏伟波 潘振宽 杨霞 朱丽君 程田田

摘要：为使雾天拍摄照片清晰，改善合成数据集泛化能力不足的缺点，提出了一种基于半监督学习的图像去雾算法。算法包含了监督训练和无监督训练两个部分，分别使用人工合成数据集和真实有雾图像交替训练网络，在网络中引入了平滑扩张卷积来提高感受野并消除网格伪影。无监督训练部分将生成对抗网络作为基础，采用马尔可夫判别器以提高网络对细节的恢复能力。实验结果表明，所提算法在去雾程度、纹理清晰度等方面都有所提升，提高了算法对真实图像的泛化能力。

关键词：图像复原;图像去雾;深度学习;半监督学习;生成对抗网络

中图分类号：TP391.41        文獻标志码：A

雾是一种常见的自然天气现象，由于光线在雾天传播中发生散射、折射、吸收，导致成像设备在雾天的成像质量大幅度下降。目前多数设备都是依赖于清晰图像而设计的，在雾天中会出现性能快速下降，相关功能受到影响等问题[1-2]，因此将有雾图像恢复为无雾图像成为当下研究的热点。当前去雾算法可分为基于图像增强的去雾方法、基于物理模型的去雾方法和基于深度学习的去雾方法。如，基于对比度增强的去雾方法，通过局部对比度最大化来恢复图像的可见性，但恢复后的图像色彩失真严重[3];或基于清晰图像中单个像素至少有一个颜色通道的值是很小的一个数字的先验知识，提出了暗通道先验去雾方法[4];根据有雾图像的亮度和饱和度之差与雾浓度呈正相关关系，提出了基于颜色衰减先验的方法[5];而无雾图像中的每个颜色簇由于不同的透射系数而在相应的有雾图像中形成雾线，基于此引入了非局部先验方法[6]。随着深度学习的发展，卷积神经网络（CNN）被广泛应用于去雾领域[7]。如，DehazeNet深度学习网络[8]，利用大气散射模型[9-10]恢复无雾图像;AOD-Net将大气散射模型公式变形，使算法可以因输入图像不同而自适应调节[11]。Zhang等[12]设计了一种密集连接金字塔去雾网络（DCPDN）联合估计大气光、透射率图和无雾图像。Ren等[13]提出了一种多尺度门控融合网络（GFN），将置信度图与相应的输入融合得到去雾图像;将平滑扩张卷积引入网络，在扩大感受野的同时很好的解决了伪影的问题[14-15];或者利用半监督学习去雾算法，引入了变分损失和暗通道损失作为无监督损失[16]。综上所述，基于深度学习的去雾方法在近些年来成为主流，该类方法依赖大量成对的数据集[17-18]进行训练，但上述数据集的有雾图像均使用算法合成和烟雾机模拟雾天情况，存在雾浓度、数据多样性等方面与真实有雾图像差距较大的问题。因此现有基于深度学习的去雾算法通常在数据集上拥有较为良好的表现，却不能很好地推广到真实有雾图像中。为解决上述问题，本文提出了一种基于半监督训练的去雾算法，核心是交替使用人工合成数据集和真实有雾图像进行训练，并且引入了GAN模型进行无监督训练，提高网络对真实有雾图像的去雾效果，增强其泛化能力。

1 基于半监督学习的图像去雾算法

本文算法分为两个部分，第一部分是监督训练，让去雾网络快速学习有雾图像与无雾图像间的映射关系，以生成高质量的无雾图像。第二部分是无监督训练，目标是增强网络在真实有雾图像上的泛化能力，使网络在实际应用上有更好的表现。

1.1 深度学习模型设计

本文去雾网络采用了encoder-decoder结构，其中降采样层、升采样层分别使用两次，并且使用跳跃连接（Skip Connection）连接降采样和升采样层。因为在网络降采样和升采样后会使特征图损失一些信息，跳跃连接可以保持特征信息的完整性。在Conv1-Conv17层后均衔接批量归一化（Batch Normalization，BN）和ReLU激活函数，Conv18层仅后使用tanh激活函数，将输出结果归一化。网络输出仅为有雾图像和无雾图像的残差，因此还需要将输入图像与输出相加得到最终的无雾图像。整体网络结构和网络参数分别如图1和表1所示。

表1中Res1-Res6层为残差块层，在残差块中本文采用了平滑扩张卷积[14]来代替普通卷积，前三层和后三层的卷积核扩张系数（Dilation）分别为2和4。

使用平滑扩张卷积可以在不增加参数的情况下扩大网络感受野，同时有效消除网格伪影。残差块的结构如表2所示。

在无监督训练的部分，本文使用了PatchGAN[19]中的马尔科夫判别器。判别器的作用是区分图像的真假，以往的GAN模型判别器只输出一个[0，1]的值表示图像为真的概率，只能在图像全局上进行判别。而马尔科夫判别器将输入图像分成多个N×N大小的矩阵，再分别对每个矩阵进行判别，最后将多个判别值取平均值作为最终输出。使用马尔科夫判别器的好处是可以不限制输入图像的大小，并且可以增强生成图像的细节，对生成高分辨率图像有着更好的效果。研究发现，N=70时马尔科夫判别器的性能最好[19]。本文中使用的马尔科夫判别器参数如表3所示。

1.2 损失函数

本文就监督训练和无监督训练的两个部分分别使用了不同的损失函数。

1.2.1 监督训练损失 （1）监督训练总损失（Total Loss）。将均方误差损失、感知损失和结构相似度损失结合起来，此举有利于加快网络参数收敛、提升网络的鲁棒性。经多次实验调试总结后，构建了监督训练的总损失

LT=Lm+0.001*Lp+0.001*Ls（1）

其中，Lm、Lp、Ls分别为均方误差损失、感知损失和结构相似性损失。

（2）均方误差损失（MSE Loss）。均方误差损失是深度学习中一种常用损失，可以计算有雾图像和与之成对的无雾图像之间的像素级差距

Lm（J，J︿）=1N∑Ni=1Ji-J︿i2（2）

其中，J和J︿分别表示无雾图像和去雾图像，N表示图片总数。

（3）感知损失（Perceptual Loss）。为了使无雾图像J和去雾图像J︿在深层的语义信息上更加类似，使用经过ImageNet预先训练的VGG-19网络[20]来构建感知损失[21]

Lp（J，J︿）=1N∑Ni=1VGG（Ji）-VGG（J︿i）2=LmVGG（Ji，VGG（J︿i））（3）

其中，VGG（Ji和VGG（J︿i）是无雾图像J和去雾图像J︿在VGG-19网络的Conv3-3层输出的特征图。

（4）结构相似性损失（SSIM Loss）。结构相似性损失是一种用于比较两张照片结构相似程度的指标，分别从图像的亮度、对比度、结构三个方面进行比较[22]

SSIM（J，J︿）=2μJμJ︿+C1μ2J+μ2J︿+C1·2σJJ︿+C2σ2J+σ2J︿+C2（4）

其中，μx和σ2x分别表示x的平均值和方差，σxy是x和y的协方差，C1，C2是两个常数。SSIM的取值范围是0到1，因此将SSIM Loss定义为

Ls（J，J︿）=1-SSIM （J，J︿）（5）

1.2.2 无监督训练损失 为了使去雾网络在真实有雾图像上拥有更好的去雾效果，本文使用了生成对抗网络来进行无监督训练。真实有雾图像往往对应的无雾图像，因此无法应用于监督训练。因此使用判别器D去分辨图片是真实有雾图像经生成器G生成的去雾图像J︿，还是真实的无雾图像J，促使去雾网络生成更加逼真的去雾图像。其中去雾网络G和判别器D的损失函数分别为

GLoss=EJ︿log （1-DJ︿）（6）

DLoss=-EJlogDJ+EJ︿log1-DJ︿（7）

其中，E表示数学期望。

2 实验结果与分析

2.1 训练过程

在训练的过程中，去雾网络和马尔可夫判别器均使用Adam[23]优化器，其中参数β1=0.9、β2=0.999、eps=10-8，训练的batchsize大小为4。训练总计迭代10万次，去雾网络的初始学习率为0.000 1，学习率从迭代的第5万次开始每1万次衰减10%。而判别器的初始学习率为0.000 1，并且在训练中保持恒定。在硬件上本文使用了一块英伟达GTX1080ti显卡训练去雾网络，软件上选择了Pytorch深度学习框架。为了提升去雾网络的鲁棒性，对输入图像进行了如下预处理操作：随机裁切图像为256×256大小;随机水平和垂直翻转图像;像素值归一化到[0，1]区间。

2.2 数据集

实验选择了RESIDE数据集[17]，该数据集包含：室内图像训练集（ITS）、室外图像训练集（OTS）、合成目标测试集（SOTS）、真实世界图像测试集（RTTS）、混合主观测试集（HSTS）、未标注的真实世界有雾图像集（URHI）。在网絡训练过程中，监督训练和无监督训练两个部分使用了RESIDE数据集中不同的部分，分别从ITS和OTS数据集中各随机抽取2 500张成对的图像用于监督训练。对于无监督训练部分，在ITS和OTS数据集剩余图像中随机抽取2 500张无雾图像作为真实无雾图像，在URHI中随机抽取2 500张图像作为真实有雾图像。

2.3 实验结果

为了评估所提出的方法的性能，本文与一些性能优秀的去雾方法进行了比较，包括DCP[4]，DehazeNet[8]，AOD-Net[11]，GFN[13]和FD-GAN[24]，除去DCP方法为先验知识方法，剩余均为深度学习方法。在图像去雾领域，峰值信噪比（PSNR）和结构相似度（SSIM）被广泛用于评价图像质量，因此本文也采用上述两种指标。测试集方面，本文使用了RESIDE数据集中的SOTS测试集来评估上述各个方法，其中SOTS测试集包含了500张室内和500张室外的有雾图像。图2为合成有雾图像实验结果，图3为放大后细节比较结果，表4为不同方法在SOTS数据集上的结果。

由图2和表4可知，本文提出的半监督训练模型在SOTS数据集上拥有较好的表现，去雾效果明显、色彩不失真。由图3的放大细节可知，本文提出的方法在边缘细节的处理上更加平滑，天空与建筑物交界处的噪声较少。

在真实有雾图像的应用上，本文也与上述5种方法进行了比较，结果如图4所示。可知，使用本文算法处理后的图像清晰度高、纹理细节信息丰富、色彩饱和度自然，但在轻轨图中远处楼房的去雾效果弱于DCP方法，暴露了本文方法针对远景去雾不足的缺点。

2.4 运行时间分析

本文计算了所提算法的运行时间，并且与上述5种算法进行了比较。在SOTS数据集中随机抽取50张图片并调整为512×512像素，取算法处理单张图片的平均运行时间作为结果。所有算法均在一台搭载因特尔i5-8500T CPU的台式电脑上运行，结果见表5。本文算法的运行时间仅优于部分算法，整体耗时较长，其根本原因是算法的网络层数多，导致运行时间长。

2.5 GAN模块有效性分析

为进一步证明本文算法中GAN模块的有效性，对是否使用GAN模块进行了定量分析。在保证训练相关参数相同的情况下，将图1所示的GAN分支去除且不使用非成对的真实有雾图像数据集，仅保留监督训练部分又进行了一次训练。表6为有无GAN模块在SOTS数据集上的结果，图5为GAN模块的有效性对比结果。加入GAN模块参与训练后，PSNR和SSIM指标均在SOTS数据集上得到了小幅度的提升。并且网络在真实有雾图像上的泛化能力得到加强，去雾后的图像细节丰富、清晰，图像内各部分过度自然，失真较少。

3 结论

本文提出了一种基于半监督训练的去雾算法，该算法引入了以生成对抗网络为基础的无监督学习，并使用合成数据集和真实有雾图像来共同训练网络，使去雾网络能更好的应用在真实有雾图像。实验表明，本文算法在SOTS数据集的图像质量评价指标和真实有雾图像的主观评价上要优于过去的部分算法，处理后的照片细节纹理保留较多、色彩自然无失真，去雾效果明显，但针对远景去雾效果不佳且运行时间较长，下一步研究将继续优化。

參考文献

[1]蒋华伟， 杨震， 张鑫，等.图像去雾算法研究进展[J].吉林大学学报（工学版），2021，51（4）：1169-1181.

[2]李帅， 魏伟波， 潘振宽，等.基于逐层搜索法与快速导向滤波的图像去雾算法[J].青岛大学学报（自然科学版），2018，31（4）：83-88+94.

[3]TAN R T. Visibility in bad weather from a single image[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Anchorage， 2008： 2347-2354.

[4]HE K M， SUN J，TANG X O.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2011，33（12）：2341-2353.

[5]ZHU Q S， MAI J M， SHAO L.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Processing，2015，24（11）：3522-3533.

[6]BERMAN D， TREIBITZ T， AVIDAN S. Non-local image dehazing[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， 2016： 1674-1682.

[7]赵慧， 魏伟波， 王晓丽，等.基于暗原色先验与OSV分解的图像去雾算法[J].青岛大学学报（自然科学版），2020，33（4）：9-19.

[8]CAI B L， XU X M， JIA K，et al.DehazeNet： An end-to-end system for single image haze removal[J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198.

[9]NARASIMHAN S G， NAYAR S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2003，25（6）：713-724.

[10]NAYAR S K， NARASIMHAN S G. Vision in bad weather[C]// IEEE International Conference on Computer Vision. Kerkyra， 1999，2： 820-827.

[11]LI B Y， PENG X L， WANG Z Y，et al. AOD-net： All-in-one dehazing network[C]// 16th IEEE International Conference on Computer Vision （ICCV）. Venice， 2017： 4780-4788.

[12]ZHANG H， PATEL V M. Densely connected pyramid dehazing network[C]// 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake City， 2018： 3194-3203.

[13]REN W Q， MA L， ZHANG J W，et al. Gated fusion network for single image dehazing[C]// 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake City， 2018： 3253-3261.

[14]WANG Z Y， JI S W. Smoothed dilated convolutions for improved dense prediction[C]// 24th ACM SIGKDD Conference on Knowledge Discovery and Data Mining （KDD）. London， 2018： 2486-2495.

[15]CHEN D， HE M， FAN Q，et al. Gated context aggregation network for image dehazing and deraining[C]// 19th IEEE Winter Conference on Applications of Computer Vision （WACV）. Waikoloa Village， 2019： 1375-1383.

[16]LI L， DONG Y L， REN W Q，et al.Semi-supervised image dehazing[J].IEEE Transactions on Image Processing，2020，29：2766-2779.

[17]LI B Y， REN W Q， FU D P，et al.Benchmarking single image dehazing and beyond[J].IEEE Transactions on Image Processing，2018，28：492-505.

[18]ZHANG Y F， LI D， SHARMA G. HazeRD： An outdoor scene dataset and benchmark for single image dehazing[C]// 24th IEEE International Conference on Image Processing （ICIP）. Beijing， 2018： 3205-3209.

[19]ISOLA P， ZHU J Y， ZHOU T，et al. Image-to-image translation with conditional adversarial networks[C]// 30th IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， 2017： 5967-5976.

[20]RUSSAKOVSKY O， DENG J， SU H， et al. ImageNet large scale visual recognition challenge[J].International Journal of Computer Vision，2015，115（3）：211-252.

[21]JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution[C]// 14th European Conference on Computer Vision. Amsterdam， 2016： 694-711.

[22]WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment ： From error visibility to structural similarity[J]. IEEE Transactions on Image Processing，2004，13：600-612.

[23]KINGMA D P， BA L J. Adam： A Method for Stochastic Optimization[DB/OL]. [2021-06-04]. https：//arxiv.org/abs/1412.6980v4

[24]DONG Y， LIU Y H， ZHANG H，et al. FD-GAN： Generative adversarial networks with fusion-discriminator for single image dehazing[C]// 34th AAAI Conference on Artificial Intelligence， New York， 2020：10729-10736.

Image Dehazing Algorithm Based on Semi-supervised Learning

JI Lian-shuna， WEI Wei-boa， PAN Zhen-kuana， YANG Xiab，

ZHU Li-juna， CHENG Tian-tiana

（a.School of Computer Science and Technology， b.Shandong Provincial Key Laboratory of

Digital Medicine and Computer-assisted Surgery， The Affiliated Hospital of

Qingdao University， Qingdao 266071， China）

Abstract：

In order to make the photos taken in foggy days clear and improve the shortcomings of insufficient generalization ability of synthetic datasets， an image dehazing algorithm based on semi-supervised learning is proposed. The algorithm includes supervised training and unsupervised training， using artificial synthetic data sets and real haze images to alternately train the network. And the smooth dilated convolution is introduced in the network to improve the receptive field and eliminate grid artifacts. The unsupervised training part is based on the generation of adversarial networks， and Markov discriminator is used to improve the network's ability to recover details. The experimental results show that the proposed algorithm has improved the degree of haze removal and texture definition， which improves the generalization ability of the algorithm to real images.

Keywords：

image restoration; image dehazing; deep learning; semi-supervised learning; generative adversarial net

收稿日期：2021-09-05

基金項目：

国家自然科学基金 （批准号：61772294）资助;山东省艺术科学重点课题（批准号：ZD201906108）资助。

通信作者：

魏伟波，男，博士，副教授，主要研究方向为数字图像处理、生物特征识别、目标识别与跟踪。E-mail：njustwwb@163.com