基于级联残差对抗生成网络的超分辨重建

祁成晓， 刘 芳， 孙 策， 曲振方， 朱福珍

(1.黑龙江大学 电子工程学院, 哈尔滨150080；2.黑龙江东方学院 信息工程学院, 哈尔滨150086)

0 引 言

图像超分辨率重建技术在许多场景中有着广泛应用，该技术可以实现从退化图像中恢复高频信息。传统算法主要是基于插值和基于重建的方法[1-4]。随着深度学习的发展，基于深度学习的方法在该领域中占据着主导地位。2014年,Dong等首次提出超分辨率技术(Super-resolution convolutional neural network, SRCNN)算法，该模型用一个3层的网络结构，实现了低分辨率图像特征提取、映射关系学习以及图像重建的过程，取得了很好的效果。Kim基于此进行改进，提出了VSDR[5]和DRCN[6]模型，通过加深网络模型深度，实现了重建质量更好的高分辨率图像目标。随着残差块[7]的提出，研究围绕着如何提升网络深度，Zhang等提出了一种密集连接的网络，通过加入注意力机制的方式提升残差块的性能[8-9]。2017年，Ledig等首次提出基于生成对抗网络的SRGAN算法，使用判别对抗的训练方式，使得重建图像在视觉上更接近人眼感知效果[10-15]。本文在SRGAN的基础上进行改进，提出一种以对抗生成网络为主体的更加轻量的网络结构。

本文构建的级联残差对抗生成网络(Cascading residual generative adversarial network，CRGAN)描述如下：在生成网络中，提取的特征信息进入残差块(Residual block，RB)前首先进行分组卷积，实现降低参数量的目的，每3个残差块组成一个级联块(Cascading block，CB)，信息流进入每一个级联块前，对上一级的输出利用1×1的卷积核进行融合压缩。残差块进行局部(级联块内和残差块间)和全局的融合(级联块间)，实现特征信息在这种连接中传递到更加深层的网络。接着生成网络的重建图像输入到判别网络进行判别，并且研究了对抗损失和感知损失对超分辨重建图像的影响。

1 对抗生成网络的构成及其工作原理

1.1 对抗生成网络结构

对抗生成网络结构示意图如图1所示。这种网络生成的图像更加接近人眼感知效果，具有更加丰富的纹理细节。该网络模型包括生成器子网络G和判别器子网络D，生成器G用于重建图像的过程,而判别器D是二分类的过程，对生成器G生成的图像和真实高分辨率图像进行判别。

图1 对抗生成网络结构

1.2 网络工作原理

将该网络用于图像超分辨领域，低分辨率图像ILR输入到生成器网络，输出为生成的超分辨率图像ISR，超分辨率图像ISR和原始高分辨率图像IHR作为判别网络的输入，输出判别概率，函数式为：

(1)

2 CRGAN算法

网络架构图如图2所示。在生成网络中，将残差块进行密集连接，每3个残差块组成一个级联块，特征信息进入每一个级联块前，对前级的联块输出信息利用1×1的卷积核进行融合压缩，残差块包含跳跃连接的部分，可以将特征信息传递到更深层网络。

图2 CRGAN整体网络结构图

2.1 生成器网络

引用SRGAN网络的思想，通过对原有的生成器网络结构进行改进，在生成网络中，对内部残差块结构改进，同时改变残差块之间的连接方式。残差块每3个分为一组，每3个残差块通过级联的方式构成一个级联块，信息流在进入每一个级联块前，都要对之前的级联块的输出利用1×1的卷积核进行融合压缩，级联块内的3个残差块也采用相同的连接方式，实现图像的超分辨重建。下面具体介绍级联块和改进后的残差块。

2.1.1 级联块

每个级联块包含3个残差块，3个残差块通过本文设计的连接方式构成一个级联块，级联块结构如图3所示，灰色的模块表示本文提出的一种新的残差块，同时级联块中残差块的数量确定，文中实验部分在保证其他条件完全相同的条件下，用1～5个残差块分别构造级联块，用于分析残差块数量对模型最终重建能力的影响，最终选定每个级联块中包含3个残差块。

图3 级联块结构

2.1.2 新的残差块

使用一种新的残差块结构(Residual-E)[16-18]，如图4所示，首先分组卷积用来降低参数量，考虑到BN层产生的伪影问题，所以Residual-E结构去掉BN层，同时修改激活函数，加入分组卷积。传统的激活函数Relu会导致负区间梯度消失的现象，其表达式为：

图4 残差块结构对比

(1)

因此，使用LeakyReLU作为非线性激活函数，可表示为：

(3)

式中a是一个(0,1)区间内的实数，这种激活函数可以保证不会丢失负样本信息。

设K为核大小;Cin和Cout分别为输入和输出通道数；F表示输入特征大小和输出特征大小。单个残差块的计算量为(忽略激活和累加)2×(K·K·Cin·Cout·F·F)。设G为分组大小，那么改进后的残差块计算量为：

(4)

则新的残差块的计算量和原残差块的比例为：

(5)

因此，可以通过调节分组数目和输入、输出的通道数目来减少计算量，提升效率。本文使用的通道数恒为64，所以k值不作考虑，文中设置的分组数目为4，计算量降低了约3.998倍。

生成网络的具体实现过程如下:

(1)卷积层提取低频图像特征；

(2)特征进入残差块前进行分组卷积，降低参数量；

(3)随着网络深度加深，学习高频图像特征；

(4)通过对每个外部级联块的输出进行一次1×1的卷积，聚合不同级联块图像的特征；

(5)将聚合不同级联块的特征通过亚像素卷积层，实现对低分辨图像2倍的上采样；

(6)最后通过3×3卷积，实现图像超分辨重建的过程。

生成模块包括3个外部级联块、9个内部残差块和亚像素卷积层。多层级联连接作为多层快捷连接，实现了将信息从较低层快速传播到较高层的目标。

2.2 判别网络结构

传统超分辨率卷积神经网络模型基于像素损失函数生成重建图像，这类方法对图像的细节生成效果不佳，对于图像的局部区域锐化程度不够。本文采用对抗训练的方式，判别网络模型结构如图5所示，该网络以生成的超分辨图像和原始高分辨图像作为输入，用VGG-16模型作为判别网络，首先8个卷积层用来提取图像的512维特征，最后输入到两个全连接层和Sigmoid激活函数，判定图像来源。

图5 判别器子网络结构

2.3 损失函数

损失函数对于重建任务十分重要，如果仅仅选择均方误差损失作为优化的目标，可以获得较高的客观评价指标，但是恢复的图像信息过于平滑，丢失了边界信息[19-21]。为此本文模型优化感知损失函数lp、并行优化像素损失函数lMSE和对抗损失函数la。三者以加权的形式集成，损失函数可表示为：

l=lp+λ1lMSE+λ2la

(6)

式中λ1和λ2分别为调节各个损失项权重的正则因子。

2.3.1 像素损失

在图像的超分辨重建领域，常用最小均方误差(Mean square error,MSE)作为损失函数，MSE越小，超分辨出的图像和原图像相似度就越高，其对应的损失函数定义为:

(7)

2.3.2 感知损失

基于MSE损失函数重建结果的峰值信噪比(Peak signal to noise ratio, PSNR)较高，但结果会因缺乏高频细节使得图像过于平滑，为了解决这一问题，在模型损失项中加入感知损失，感知损失的定义为：

(8)

式中：Di是判别器子网络的第i层；Ci是第i层对应的通道数；Hi和Wi分别是第i层特征图的长和宽。

引入独一无二的文化主题特色，结合不同区域文化特色打造实体经济，是目前传统实体经济防御电商冲击的不可缺少的因素。像我们现在身边出现的主题餐厅、主题图书馆，都是吸引顾客到实体店消费的因素。

2.3.3 对抗损失

根据生成对抗网络的思想，对抗损失的公式为：

la=-Exr[log(1-DRa(xr,xf))]-Exf[log(DRa(xf,xr))]

(9)

3 实验与结果

实验在Intel Core Xeon E3 3.30 GHz，NVIDIA GTX 2080Ti GPU硬件环境下进行，选择PyTorch深度学习框架训练网络。图像预处理过程主要包含两个方面：(1)对图像进行以下位置变换，如平移、转置、镜像、旋转和缩放等处理方式，可以增加数据集的数量，提高模型的泛化性；(2)突出样本中的有用信息，强调某些区域的特征，扩大不同物体的特征差别，加强图像训练效果，满足某些特殊分析的需要[9-12]。基于深度学习的方法需要大量数据支撑，样本量越大，模型的泛化性越好。目前，可供选择的公开遥感数据集较少，本文选择了200幅自建大尺寸高清遥感图像，为了实现样本增强，对选取图像进行裁剪，变成128×128的尺寸，再分别进行旋转和平移，实现扩大训练样本的目的。对高清图像进行双三次插值，通过这种下采样的方式得到低分辨率图像数据集。

3.1 质量评定标准

重建图像客观评价主要参考两项指标：图像的PSNR和结构相似性(Structural similarity，SSIM)。

(10)

(11)

3.2 实验结果分析

3.2.1 残差块数量对模型性能的影响

表1 不同数量残差单元测试

3.2.2 CRGAN与SRGAN实验效果对比

为了验证所提出的CRGAN在测试集上的重建效果，与原SRGAN算法进行对比。

(a)真实值

放大重建图像，由重建的效果图可以看出，本算法重建的图像高频信息更加丰富，更接近原图效果。本次实验过程中，选取8张遥感图像进行测试，计算两种算法的网络模型重建出的2倍的高分辨率图像与真实高清图像相比的PSNR和SSIM，结果如表2所示。由结果可知，所提出算法的两个定量评估指标都明显优于SRGAN，峰值信噪比较SRGAN算法提升0.48 dB，结构相似度提升0.023。

表2 测试遥感图像SR的PSNR对比/dB

表3 遥感图像SR的SSIM对比

4 结 论

构建了以生成对抗网络为主体框架的CRGAN算法，在生成网络中，将残差块进行密集连接，每3个残差块组成一个级联块，特征信息进入级联块前，对前级联块的输出利用1×1的卷积核进行融合压缩。残差块进行了局部(级联块内和残差块间)和全局的融合(级联块间)，使得特征信息在这种连接中传递到深处。引入对抗训练的方式，融合感知损失函数，无论是主观视觉效果还是客观评价指标都有较大的提升，提升遥感地物细节信息的同时，改善了遥感图像视觉效果，在军用和民用领域有很大的参考价值。后续将继续优化网络结构，提高对模型细节特征重构的能力，加快重建速度，并且增加多帧图像超分辨的研究。