基于CycleGAN的无监督超分率算法研究与实现

高浩然,刘静超

(西京学院 计算机学院,陕西 西安 710123)

0 引言

图像超分辨率重建是将低分辨率(Low Resolution,LR)图像重建为高分辨率(High Resolution, HR)图像的过程,在数字图像处理和计算机视觉等领域有着重要的应用价值。现有的深度学习超分辨率方法大多需要大量的高低分辨率图像对作为监督信号,但这样的图像对在实际应用中并不总是易于获取或准确对齐,这限制了这些方法的泛化能力。为了解决这个问题,无监督超分辨率方法日益受到重视。它们无需任何对齐数据,完全依赖于未标注的数据实现训练,这使其可以应用到更加广泛的场景。

然而,无监督超分辨率任务非常艰巨。由于缺乏监督信号,如何学习低高分辨率图像之间的复杂映射关系是一个重要的挑战。基于此,本文提出一种基于CycleGAN[1]的无监督超分辨率框架,此框架通过将未知退化的LR图像与进行过人为退化的HR图像之间的映射学习问题建模为一个CycleGAN框架,通过在两个图像域之间训练生成器和判别器网络来学习复杂的映射关系,实现低分辨率到高分辨率的像素级迁移,达到超分辨率重建的目的。

本文通过PyTorch框架实现了提出的方法,并在多个数据集上进行了实验验证。结果表明,本方法可以有效地学习高低分辨率图像域之间的映射。特别在数据稀缺的情况下,本方法具有比同类方法更强的生成效果。

1 基于对抗生成网络的超分辨率模型

随着SRGAN[2]的出现,以GAN[3]为基础的超分辨架构走进了蓬勃发展的新阶段。Deng等[4]提出新的增强型GAN loss,包含对抗损失和相似性损失两部分。相似性损失直接匹配超分辨率图像与真实高分辨率图像的特征图,可以产生更加相似的图像结构。Gauthier等[5]提出融合GAN,使用多个GAN模型共同产生超分辨率图像并聚拢结果。Wang等[6]将ESR网络与GAN架构结合,引入新的超分辨率图像评价指标,产生真实逼真的结果。Chen等[7]提出基于图像质量的HAT loss来训练超分辨率GAN,可以产生视觉效果更优的图像,但训练较难收敛。

以上方法都是有监督的超分辨率模型,需要使用配对的数据进行训练。但是,当处理现实世界采样的数据时,配对的数据往往难以采集或准确对齐,因此使用非配对样本进行训练的无监督超分辨模型成了解决这类问题的关键。Zhou等[8]提出的Cross-MPI是一种基于参考的超分辨率方法,利用多平面图像的表示来实现跨尺度的立体匹配,将参考图中的细节信息传输到低分辨率图像。

而本文通过特征迁移的方式实现了无监督超分辨重建,借鉴CycleGAN的思想,对未知退化的真实世界图像进行像素特征的域迁移。通过将未知退化的像素分布迁移到干净的低分辨率像素域,然后再用超分辨网络对其进行超分重构生成高清图像。

2 基于CycleGAN的无监督超分辨率模型设计

图1 无监督超分辨模型

2.1 退化学习

为了在网络训练的过程中保证像素迁移过程的可逆,并让输入图像的细节信息不完全丢失,本文在此引入了循环一致性损失(Cycle Loss),在本文中将其定义为:

(1)

为了使生成的结果更真实可信,并约束重建结果与输入图像的一致性,本文还引入了身份损失函数(Identity Loss)。在无监督学习或对齐数据缺失的条件下,它可以为模型提供自监督信号,指导参数的更新方向。具体的表达式如下:

(2)

2.2 生成器和判别器

在本文提出的方法中,以CycleGAN为基础模型来构建低分辨率图像映射网络,但为了使网络可以更有效以及更全面地学习目标域的特征,本文对生成器和判别器进行了改进。为了学习到不同尺度的特征信息,在生成器的构建上,本方法分别使用3×3和7×7大小的卷积块进行特征提取。输入图像分别进入两个通道提取不同尺度的特征,然后通过相加操作进行特征融合,融合后通过1×1卷积降维后输出图像。

本文借鉴了SRGAN的设计,在判别器中,输入图像经过一个卷积层和一个激活层,然后通过堆叠的小尺度卷积块来提取高频细节信息,最后通过线性层来输出图像判断概率。

在构建循环对抗网络时,为了促进生成器产生更加真实的图像,提高判别器的判断能力,本文采用了对抗损失进行约束,其表达式为:

(3)

(4)

2.3 图像超分辨率

(5)

(6)

3 实验设置

本文在构建超分辨网络时只使用了ESRGAN模型的生成器部分。但在最初对超分辨网络训练时,使用了整个网络。首先用DIV2K数据集中的配对数据训练ESRGAN,当模型收敛后,冻结整个超分辨网络,使其在后期的训练中不再进行梯度更新。

本实验在训练退化学习网络时,对两个对抗生成网络都采用同步更新的训练策略。每次迭代先更新判别器,提高其对真实图像和生成图像的判断精度;然后更新生成器,生成更真实的图像来欺骗判别器。本文在此设置参数λ=0.2,μ=0.2,δ=0.2,θ=0.4,同时使用Adam优化器来进行优化。

本实验在超分辨网络的训练中,设置batch_size=16,epoch=100。在整体架构训练时,设置batch_size=16,epoch=200。在PyTorch框架下,使用NVIDIA 4070ti显卡训练了45 h,并取得了不错的成效。

4 实验结果和分析

4.1 使用的数据集和评价指标

本文在DIV2K、Set5、Set14 3个数据集上对提出的模型进行了验证,这3个数据集都包含高低分辨率图像。需要说明的是,DIV2K数据集中有一部分测试数据没有高分辨率图像,这也可以用来检测超分辨率模型对未知退化图像的处理能力。

峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似度(Structure Similarity Index Measure,SSIM)是两种常用的图像质量评价指标,本文通过衡量不同数据集上的PSNR和SSIM来测试本模型的生成效果。

4.2 实验结果

本文在DIV2K Track2数据集上,使用提出的方法分别与3个当前优秀的方法进行了比较。SRGAN是首个使用对抗生成网络进行超分辨的模型。ESRGAN是一种增强型的超分辨网络,它采用残差连接和更深层结构的生成器,能够产生更真实的超分辨率图像。Cross-MPI是一种跨尺度立体方法,用于实现图像跨超分辨率重建,它通过多平面图像表示场景的结构和外观。

由于该测试集没有对应的高分辨率图像,本文只展示了部分测试结果。如图2所示,从视觉效果来看,本文提出的方法比SRGAN和ESRGAN生成的图像更清晰,与Cross-MPI生成的图像相似。无论是图像的流畅度还是高频细节的恢复,本方法都展示出了令人满意的效果。

图2 本模型在DIV2K数据集上与其他模型的比较

在有配对的测试数据集上,本文也用提出的方法与其他方法进行了对比试验,并用PSNR和SSIM指标评价其效果。

从表1中可以看出,本方法在不同的数据集上的PSNR和SSIM指标都优于SRGAN和ESRGAN。在DIV2K和Set5数据集中,本方法的PSNR指标低于Cross-MPI,这是因为本模型更关注高频细节的学习,而低频部分的重建效果不够理想,但在实际的视觉效果上与Cross-MPI相差不大。

表1 提出的方法在不同数据集上与其他方法的比较

5 结语

本文提出了一种新的无监督超分辨方法,该方法旨在利用非配对的高低分辨率数据进行图像超分辨。借鉴CycleGAN的思想,通过域转换的方式实现像素的域迁移,将真实世界采集的图像通过退化学习重新映射到已知且干净的低分辨率域。最终在PS损失函数的约束下,通过超分辨网络生成质量更高的高分辨率图像。实验表明,本方法可以更好且更方便地提升生成图像的质量,为图像提供更高的平滑度以及更好的细节纹理特征。