基于密集残差块生成对抗网络的空间目标图像超分辨率重建

景海钊，史江林，邱梦哲，齐勇，4，朱文骁

（1.陕西科技大学 陕西人工智能联合实验室，陕西 西安 710021；2.西安交通大学 系统工程研究所，陕西 西安 710049；3.西安卫星测控中心，陕西 西安 710043；4.陕西科技大学 电子信息与人工智能学院，陕西 西安 710021）

1 引言

在空间目标态势感知领域，基于自适应光学（Adaptive Optics，AO）图像对空间目标的结构、载荷和姿态研判识别工作具有重要意义。空间目标由于受距离远、运动速度快、光照条件不佳和大气湍流等外界因素的影响较大，地基望远镜采集的图像一般存在严重的降质，降质图像表现出低分辨率和低信噪比的特点，成像模糊且细节无法分辨，可以获得的目标信息非常有限［1］。为获得更清晰的图像，现代大型望远镜通常采用AO系统。由于采用了波前校正技术，AO系统采集的图像像质有一定程度的改善，但受变形镜校正能力、波前传感器探测精度，以及控制回路带宽等因素的限制，通常存在校正残余像差［2］，不能完全满足校正需求。而且波前校正本身也会引入新的噪声和误差，因此，AO图像中目标的高频信息仍然受到较大程度的抑制和衰减。通常采用传统的AO图像重建方法来提高图像质量，但图像事后重建只能恢复图像质量达到光学系统的衍射极限，因此AO图像的超分辨率重建成为空间目标图像细节重建的主要方法。

图像超分辨重建主要有基于插值、基于建模以及基于深度学习的方法［3-4］。基于插值和基于建模的超分辨率重建虽然容易实现，但在处理图像时会出现细节退化、处理速度慢和先验知识依赖度高等问题。而深度学习作为一种能够从数据中捕捉有效特征的强大方法［5-6］，现已广泛应用于图像超分辨率处理中［7-9］。为了提高空间目标AO图像的清晰度，改善图像质量，本文针对AO图像特点，提出一种基于密集残差块生成对抗网络（Generative Adversarial Network，GAN）的AO图像超分辨率重建方法，构建了一个空间目标AO图像深度学习训练集，通过在数据集上对生成对抗超分辨率网络的稳定训练，提升了AO图像分辨率，有效改善了AO图像的质量。

2 相关工作

2.1 AO图像重建

传统AO图像重建方法主要包括盲解卷积法、斑点重建法和相位差法等［2］。其中，盲解卷积法采用单帧或连续几帧退化图像就可以完成图像重建，对成像系统和处理对象没有特殊要求，实际运用最为灵活，但该方法需要大量的先验信息对算法的求解加以约束，否则难以获得理想的处理结果；斑点重建利用大气湍流的统计特性分别重建目标的相位和振幅，已大量应用于太阳高分辨率图像处理中，但该方法需要用到大气湍流的统计信息，通常需要上百帧短曝光退化图像才能完成一次图像重建，因此在成像过程中目标不能出现明显变化；相位差法是一种基于波前像差探测的图像复原技术，通过同时采集同一目标经不同光学通道的一组或多组短曝光图像，不仅可以重建出退化目标的清晰图像，还可以获得导致目标退化的畸变波前，重建结果的可靠性得到大幅提高，但该技术需要一套额外的成像装置，而且算法对系统参数比较敏感，在工程运用中还存在一些技术难点。综上所述，以上3种技术都有各自特点，适用于不同的应用场景和处理对象，但是要应用在AO系统中还需要有针对性地加以改进。Matson等［10］提出一种基于最大似然估计（MLE）的多帧盲解卷积（MFBD）算法用来重建人造卫星图像，但在处理中需要支持度和正则化约束作为约束条件，同时需要多帧序列图像以保证算法的鲁棒性。田雨等［11］提出一种基于帧选择与多帧降质图像盲解卷积的图像处理方法用于AO图像的高分辨率恢复，有效补偿了AO系统校正带来的影响，恢复出达到衍射极限的图像。但该方法需要筛选出合适的多帧图像进行迭代盲解卷积，同时需要正则化约束作为先验知识。

传统AO图像处理方法在空间目标图像重建中的广泛应用，证明了这些方法的可靠性［12-13］。但这类方法的缺点是需要先验知识对计算进行约束，迭代计算量大，并且针对特定任务需要使用专用的方法进行重建，通用性不强。

现阶段已有许多基于深度学习的智能模型被应用于图像重建任务［14-16］。深度学习方法的应用可以有效提高处理效率，同时在一定程度上提高图像的修复效果，最重要的是减少先验知识的约束，削弱了图像重构中噪声的影响。

Ramos等［17］提出一种基于深度神经网络的多帧太阳图像重建方法，通过在网络中输入新的图像帧，在输出端直接获取复原后的校正图像，输入的序列图像会逐步提高输出图像的质量，相比传统方法获得了更快的处理速度和更好的复原效果。史江林在2019年提出一种基于条件生成对抗网络（cGAN）的空间目标图像盲复原方法［18］，该方法通过构建生成模型和判别模型实现模糊观测图像到清晰图像的映射，准确恢复图像的边缘轮廓，有效改善了图像的高频细节。该方法不仅提高了复原精度，而且在相对较差的大气湍流条件下提高了单帧图像的复原效率。

基于深度学习的空间目标AO图像重建方法相较于传统方法，优点是处理速度快、计算时间短，便于实时重构；缺点则是需要构建针对任务特点的训练集与深度神经网络，且神经网络训练过程耗时较长。

2.2 图像超分辨率重建

图像超分辨率重建即用特定算法将同一场景中的低分辨率图像重建成高分辨率图像［19］。高分辨率图像因具有更高的像素密度，能够突破衍射极限获得图像更多的细节特征，而在实际场景中得到了广泛的应用。

图像超分辨率重建技术可根据输入图像的数量分为单帧图像超分辨率和多帧图像超分辨率。其中，单帧图像超分辨率重建技术凭借其灵活性、简便性及高实用性，已经普遍应用在图像压缩、医学成像［20］、遥感成像［21］和公共安防［22］等领域，是目前图像处理领域的研究热点。但是传统的单帧图像超分辨率算法仍有一定的局限性，随着放大倍数的增大，模型先验信息的不足使算法无法实现图像高频信息的重建。传统的单帧图像超分辨率方法主要分为三类：基于插值的超分辨率算法（最近邻内插、双三次插值等），这类算法虽简单但重建图像有伪影和振铃；基于建模的超分辨率算法（最大后验估计法［23］、迭代反向投影算法［24］等），这类算法相较于插值法重建效果较好，但模型运算效率低且受放大因子的影响较大；基于学习的超分辨率算法（局部嵌入、稀疏编码［25］等），该类算法的重建质量最好，是目前研究的主要方向。这些方法都通过学习高分辨率图像与低分辨率图像样本对的映射函数，或者利用图像的内部相似性来重建高分辨率图像。

近年来，基于深度学习的超分辨率技术得到了积极的探索与发展。在自然图像处理领域，基于深度学习的超分辨率算法在已公开的图像数据集上取得了很好的重建效果。主流的网络模型包括卷积神经网络和GAN，这两个网络模型都能有效地恢复出图像的高频细节。但是，在空间目标AO图像超分辨率重建领域，突破衍射极限的超分辨率重建算法研究却不多见。一方面受限于AO图像本身质量不高，另一方面也受限于没有公开的AO图像训练集。本文将基于深度学习的GAN引入AO图像超分辨率重建中，以期改善空间目标AO图像质量，提高图像清晰度。

图1 密集残差块GAN生成器网络结构Fig.1 Framework of residual in residual dense block GAN generator network

3 空间目标AO图像超分辨网络

本文将GAN引入AO图像超分辨率复原领域中，使用结合多级残差网络和密集连接形成的密集残差块来构建GAN，以提高网络深度，降低重建图像伪影，使训练更加容易，如图1所示。在判别网络中使用相对平均判别器，以生成更稳定、质量更高的数据样本，提升模型的训练稳定性和图像重建质量。

3.1 网络结构

GAN是一种生成模型，基本思想是从训练数据库里获取很多的训练样本，从而学习这些训练案例生成的概率分布。本文生成器网络的输入为256×256的低分辨率空间目标AO图像，输出为1 024×1 024超分辨率重建的空间目标AO图像。在AO图像仿真训练集上进行监督训练，使生成器网络学习低分辨率AO图像到高分辨率AO图像的映射关系，从而实现对AO图像的超分辨率重建。

为了更好地改善图像质量，结合空间目标AO图像背景单一、分辨率有限且存在运动模糊、湍流模糊以及过曝等特点，在SRGAN［8］网络结构上参考ESRGAN［9］方法，对生成器网络进行了两项改进。首先去掉网络结构中的批归一化层（BN层），其次用多级残差网络和密集连接形成的密集残差块替代普通残差块（如图1和图2所示）。判别器网络仍然采用基于SRGAN的VGG网络结构（如图3所示），但是参考Relativistic GAN［26］改进了判别器网络损失函数。

对于不同的基于PSNR度量的任务（包括超分辨率和去模糊），去掉BN层能够提高任务性能并减小计算复杂度。BN层在训练时，使用一个batch的数据的均值和方差对该batch特征进行归一化。测试时，使用在整个训练集上估计的均值和方差进行特征归一化。当训练集和测试集的统计量相差很大时，BN层就会倾向于生成不好的伪影，并且限制模型的泛化能力。当BN层在较深网络层数的GAN框架下进行训练时，图像更容易产生伪影，降低了训练稳定性。因此，本文去掉了BN层，这样能提高模型的泛化能力，减少计算复杂度和内存占用率。

图2 SRGAN生成器网络结构Fig.2 Framework of SRGAN generator network

图3 SRGAN判别器网络结构Fig.3 Framework of SRGAN discriminator network

3.2 损失函数

本文采用相对平均判别器，其核心思想为：在训练中GAN应该同时降低真实数据为真的概率。GAN的标准判别器直接将生成样本xf或真实图像xr作为输入，判定该样本是真实图像的概率；而相对判别器将真假样本对(xr，xf)作为输入，预测真实图像xr相对生成假图像xf更加真实的概率（见图4），从而使得判别器更稳健，生成对抗网络训练更稳定。

图4中，DRa表示相对平均判别器，σ表示sigmoid激活函数，C(x)表示未激活的判别器的输出，E[⋅]表示一个小批次的图像数据的平均操作。

在SRGAN中，标准判别器表示为：

本文采用相对平均判别器表示：

图4 标准判别器和相对判别器的区别Fig.4 Difference between standard and relative discriminators

相对平均判别器的损失函数定义为：

与此对应的生成器网络的对抗损失函数为：

式中：xf=G(xi)，xi表示输入的低分辨率图像，xf表示生成的预测超分辨率图像，xr表示原始真实高分辨率图像。从式（4）可以看到，生成器网络的对抗损失包含真实高分辨率图像xr和预测超分辨率图像xf两部分，而SRGAN中仅包含预测超分辨率图像xf。这有助于学习到更加清晰的边缘和细节纹理。

生成器网络最终损失函数LG由对抗损失，感知损失Lpercep和内容损失L1组成，即：

其中：

其中：φi，j是预先训练好的VGG-19卷积网络模型结构中第i个池化层前、第j个卷积层输出的特征图，Wi，j和Hi，j是对 应特征图 的维数。

4 实验与讨论

4.1 构建AO图像训练数据集

本文中，空间目标AO图像是地基AO望远镜CCD成像系统获取的空间目标和背景信息的二维图像。受距离远、运动速度快、光照条件不佳和大气湍流等外界因素的影响，AO图像具有背景单一、分辨率有限，且存在运动模糊、湍流模糊以及过曝等特点。针对AO图像特点，在构建训练数据集时除了考虑运动、湍流模糊之外，还需要考虑系统噪声的影响。系统噪声主要包括光子噪声和电子噪声。假设光子噪声服从泊松分布，电子噪声服从高斯分布，将这些噪声分别添加到仿真退化图像中。

在具体构造训练数据集时，对积累的80个重点空间目标的3D仿真模型分别进行5种不同对地姿态渲染，得到400帧清晰的空间目标图像（1 024×1 024），并进行数据增强（包括镜像和翻转）得到1 200帧1 024×1 024的高分辨率空间目标灰度图像。然后，对1 200帧高分辨率图像IHR降采样得到256×256的低分辨率图像。在大气湍流强度为的条件下，对1 200帧低分辨率图像分别进行Zernike多项式降质仿真和功率谱反演法降质仿真，以模拟大气湍流相位屏对空间目标图像造成的降质影响，此时得到2 400帧低分辨率降质图像。同时，对这2 400帧低分辨率降质图像添加泊松噪声和方差为0.01的高斯噪声，最终得到2 400对低分辨率降质图像ILR和对应高分辨率图像IHR的空间目标自适应光学图像仿真数据集（ILR↔IHR），如图5所示。

图5 空间目标AO图像仿真数据集（部分）Fig.5 Simulation data set（partial）of space target AO images

4.2 训练参数设置

实验中，超分辨率因子为4，即输入低分辨率图像为256×256，输出超分辨率图像为1 024×1 024。训练生成对抗网络在2块NVIDIA Ge-Force RTX 3090 GPU图像处理工作站上进行，训练集为上节介绍的空间目标AO仿真图像。通过4倍降采样获取网络输入的低分辨率图像，输入数据的batchsize设为16。GAN的训练更新迭代次数为105，学习率设为10-4，交替更新生成器网络和判别器网络。本文中的生成器网络有16个RRDB密集残差块。

4.3 评价指标选取

这里以仿真图像为例测试了基于GAN的AO图像超分辨率性能，在仿真测试之前，定义了两种图像性能评价指标，分别为：峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似度（Structural Similarity Index Measure，SSIM）。

PSNR是一种客观图像质量评价指标，它表示信号的最大功率与可能影响其表示精度的噪声功率的比率，即最大信噪比，具体公式如下：

其中：

式 中：MSE表 示 参 考 图 像I(i，j)和 噪 声 图 像K(i，j)之间的均方误差，MAXI表示图像点颜色的最大数值，如果每个采样点用8位表示，那么就是255。MSE越小，PSNR越大，图像质量越好。

SSIM是两个图像相似性的另一个度量，它将图像结构相似性定义为3个不同因素的组合：亮度，对比度和结构。均值用作亮度的估计值，标准差用作对比度的估计值，协方差用作结构相似度的度量。具体公式如下：

其中：x和y表示两幅图像，L(x，y)表示亮度估计值，C(x，y)表示对比度估计值，S(x，y)表示结构估计值，μx表示图像x的均值，μy表示图像y的均值，是图像x的方差，表示图像y的方差，σxy表示 图 像x和 图像y的 协 方 差，c1，c2和c3是 用 来保持稳定的常数。当c3=c2/2时，

SSIM值越大，两张图像越相似。在极端情况下，当两张图像完全相同时，SSIM值为1。

4.4 实验结果讨论

从图6中可以看出，哈勃望远镜1的自适应光学图像经过4种方法的超分辨率处理，图像分辨率得到提升，图像质量有所改善。尤其是基于深度学习的BSRNet方法和本文的基于密集残差块的GAN方法，在图像高频细节方面表现更佳。太阳帆板和中间结构件的高频信息得到了有效的恢复及重建。表1通过客观评价指标进一步验证了主观视觉评价，相较于传统插值方法，PSNR提高11.6%以上，SSIM提高10.3%以上；相较于深度学习盲图像超分辨率网络方法，PSNR提高1.5%，SSIM提高5%。

图7为sat1卫星AO图像4种不同方法的超分辨率结果。从图中可以发现，BSRNet方法和本文GAN方法的重建效果较为明显，BSRNet虽然在图像恢复中能够有效恢复图像边缘轮廓信息，但是在细节纹理上表现一般，有些纹理过于平滑，导致视觉评价效果不如GAN方法。这也可以从表2的客评价指标中得到证实，相较于传统插值方法，PSNR提高了17.5%以上，SSIM提高了13.4%以上；相较于深度学习盲图像超分辨率网络方法，PSNR提高了8.1%，SSIM提高了6.1%。

图8进一步验证了基于深度学习方法在自适应光学图像超分辨领域的可行性。通过主观对比可知，BSRNet方法和GAN方法在AO图像超分辨率重建上明显优于传统的Bicubic插值和Nearest插值。当然，这也依赖于AO图像训练集的先验信息和强大的算力平台支撑。本文方法在哈勃望远镜2的AO图像超分重建中，在边缘轮廓、纹理细节等高频信息方面都取得了最好的效果。表3的PSNR和SSIM客观评价指标进一步证实了主观判断的可靠性，相较于传统插值方法，PSNR提 高18.3%以 上，SSIM提 高11.8%以上；相较于深度学习盲图像超分辨率网络方法，PSNR提高10%，SSIM提高3.8%。

图6 哈勃望远镜1自适应光学图像4种不同方法的超分辨率结果对比（（a）是原始输入为256×256的低分辨率仿真自适应光学图像，（b）～（e）是输出为1 024×1 024的超分辨率图像）Fig.6 Comparison of super-resolution results of AO images from Hubble Telescope 1（（a）is a low-resolution simulation adaptive optical image whose original input is 256×256，and（b）-（e）are 1 024×1 024 super resolution image network）

图7 Sat1卫星自适应光学图像4种不同方法的超分辨率结果对比（（a）是原始输入为256×256的低分辨率仿真自适应光学图像，（b）～（e）是输出为1 024×1 024的超分辨率图像）Fig.7 Comparison of super-resolution results of AO images from sat1 Satellite（（a）is a low-resolution simulation adaptive optical image whose original input is 256×256，and（b）-（e）are 1 024×1 024 super resolution image network）

图8 哈勃望远镜2自适应光学图像4种不同方法超分辨率结果对比（（a）是原始输入为256×256的低分辨率仿真自适应光学图像，（b）～（e）是输出为1 024×1 024的超分辨率图像）Fig.8 Comparison of super-resolution results of AO images from Hubble Telescope 2（（a）is a low-resolution simulation adaptive optical image whose original input is 256×256，and（b）-（e）are 1 024×1 024 super resolution image network）

表1 哈勃望远镜1自适应光学图像4种不同方法超分辨率结果的客观评价指标Tab.1 Evaluation index of four super resolution methods of Hubble Telescope 1 AO image

表2 Sat1卫星自适应光学图像4种不同方法超分辨率结果的客观评价指标Tab.2 Evaluation index of four super resolution methods of Sat1 Satellite AO image

5 结论

本文将GAN引入AO图像超分辨率复原中，通过使用结合多级残差网络和密集连接形成的密集残差块来构建生成网络，以提高网络深度，降低重建图像伪影，使训练更加容易。构建空间目标AO图像专用训练数据集，实现了基于密集残差块生成对抗超分辨率网络的训练。将相对平均损失函数引入判别器网络，使判别器更稳健，GAN训练更稳定。实验结果表明，基于GAN的超分辨率方法相较传统插值超分辨率方法，PSNR提 高11.6%以 上，SSIM提高10.3%以上；相较基于深度学习的盲图像超分辨率方法，PSNR平均提高了6.5%，SSIM平均提高了4.9%。该方法提高了图像分辨率水平，增强了图像边缘轮廓，锐化了图像细节纹理，实现了对降质观测AO图像的恢复重建。如何均衡密集差块网络深度与网络训练效率之间的关系，是下一步需要研究解决的问题。

表3 哈勃望远镜2自适应光学图像4种不同方法超分辨率结果的客观评价指标Tab.3 Evaluation index of four super resolution methods of Hubble Telescope 2 AO image