基于特征融合的图像超分辨率

端木春江 石亮

摘  要： 近年深度卷积神经网络在图像超分辨率领域取得了巨大成功。然而多数基于深度卷积神经的超分辨率模型不能很好地利用来自低分辨率图像的各级特征，从而导致相对较差的性能。本文采用全局特征融合的方法，对全局多层次特征进行联合学习，充分利用各卷积通道特征，通过全局跳跃连接，使网络更注重高频信息的学习，并采用亚像素卷积实现上采样重建，取得了更好的效果。

关键词： 图像超分辨率； 特征融合； 卷积神经网络； 亚像素卷积

中图分类号：TP391.41          文献标识码：A     文章编号：1006-8228（2023）04-120-04

Abstract： In recent years， deep convolutional neural networks have achieved great success in the field of image super resolution. However， most of the super resolution models based on deep convolutional network cannot make good use of features at all levels from low resolution images， which leads to relatively poor performance. In this paper， we use global feature fusion to jointly learn global multi-level features， make full use of each convolutional channel features， make the network more focused on learning high-frequency information by global skip connection， and use sub-pixel convolution to achieve up-sampling reconstruction. It achieves better results.

Key words： image super resolution; feature fusion; convolutional neural network; sub-pixel convolution

0 引言

如今數字图像成为承载信息的一个重要形式，同时人们对图像视觉清晰度的要求也越来越高。图像分辨率是指图像中单位长度所显示的像素数目，在使用场景中，高分辨率（High-Resolution，HR）图像以其丰富的纹理细节、清晰的边缘结构极大地满足了人们的视觉体验，因此人们对高分辨率图像的需求也日益提高。为应对高分辨率图像的使用需求，图像超分辨率（Super-Resolution，SR）重建技术显得尤为重要，即用软件或硬件的方法提高图像的分辨率，通过当前的低分辨率图像来获得对应高分辨率图像的过程。研究者可以从硬件及软件两个方面进行研究，但由于硬件设备容易老化，且成本相对较高而受到限制，于是研究者一般通过软件算法的方法，来实现图像超分辨率重建的过程。

1 相关工作

按算法原理，超分辨率SR方法基本分为三大类[1]：基于重构的方法、基于样例的方法和基于深度学习的方法。2014年，Dong[2]等人率先将深度学习应用在超分辨率领域，提出了SRCNN网络，证实基于卷积神经网络的方法比传统方法重建效果更好，且速度更快，之后许多学者提出了一系列超分网络。Kim等提出的VDSR[3]，通过引入残差连接，加深网络，达到了更好的重建效果；同年DRCN[4]采用参数共享，减少了网络训练参数，但这些方法均使用了预处理，即在网络输入端使用双三次插值法将图像放大，而这会导致丢失一些细节信息，并且在高分辨率空间训练会增加网络复杂度。因此，Dong提出FSRCNN[5]，直接输入低分辨率图像，而在网络末端采取了反卷积对图像进行上采样，这极大地减少了参数量；而Shi等提出了ESPCN[6]，同样在网络末端对图像放大，具体是采用亚像素卷积（Sub-Pixel Convolution），将特征图像每个通道重新排列，最终合成高分辨率图像。实验证明亚像素卷积效果比反卷积好，因此，如今大多数图像超分辨率算法均在网络末端使用亚像素卷积作为图像上采样。目前基于深度学习的SR算法是该领域的研究热点。

2 特征融合与信息蒸馏网络

2.1 所提出的网络模型结构（FFDN）

本文所提出的网络包含四个部分：浅层特征提取、深层特征提取、特征融合以及重建模块。我们使用两个卷积层提取浅层特征，深层特征提取部分则是采用多个信息蒸馏模块（IDBlock）级联，其中每个IDBlock内包含一个增强单元和一个压缩单元，这可以有效地提取局部长路径特征和局部短路径特征。针对网络不能很好地利用各卷积层特征，采用全局特征融合的方法，将每个IDBlock的输出都与经浅层特征提取的LR进行融合，并通过全局跳跃连接使网络更注重高频信息的学习，网络末端采用亚像素卷积来实现上采样重建。

整个网络模型如图1所示，我们用ILR和IHR分别表示为网络的输入与输出，两个3*3的卷积层从原始低分辨率图像LR中提取图像浅层特征F0，此过程可以表示为：

其中，[HSF]表示浅层特征提取操作，它是由两次3*3卷积以及激活函数（ReLU）组成，得到[F0]之后用作信息蒸馏模块（IDBlock）的输入，通过n个IDBlock模块来提取深层特征FD：

其中，[HIDB，n]表示第n个信息蒸馏块IDBlock的操作，它是由诸如卷积层以及激活函数等运算组合而成的复合函数，其具体结构将会在下一小节中给出。

在用一组IDBlocks提取分层深层特征后，进一步将每个IDBlock提取的特征图进行深层特征融合，再使用全局残差连接，充分利用每一层的特征，此过程分别表示为：

其中，[HDFF]表示深层特征融合操作，具体是将之前每一层的特征进行concate操作，再经过一次1*1卷积进行通道降维，然后再经过3*3卷积后得到深层融合特征[FDF]，之后与原始浅层特征F0相加得到[FGF]。

在低分辨率空间提取浅层和深层特征后，受文献ESPCN[6]启发，我们在重建模块中使用亚像素卷积操作进行上采样，此过程表示为：

整个网络模型可表示为：

其中，[HFFDN]表示所提出的特征融合的信息蒸馏网络模型。

2.2 信息蒸馏块（IDBlock）

对于单个IDBlock，本文采用与文献[7]中蒸馏模块相同的结构，其内部可分为两个单元：增强单元和压缩单元，具体结构如图2所示。

如图2所示，增强单元大致分为两个部分，均为由三个3*3的卷积层所构成，每个卷积层后都有一个激活函数（LReLU），图中省略。第三个卷积层的输出被分为两部分，即通道切片操作，将其中的[1s]个通道与增强单元的输入拼接在一起，并直接输出到增强单元末端。上半部分剩余的[1-1s]个通道则输入到第四个卷积层，并经过三次卷积后，与前面拼接部分的通道相加，其作为压缩单元的输入。这样做的目的是将先前的信息与当前的信息相结合，充分利用局部长路径以及短路径上特征，再由1*1卷积压缩通道，减小计算量。假设单个信息蒸馏块的输入、输出分别是Fi、Fi+1，该过程可以表示为：

其中，[HIDB，i]表示第i个信息蒸馏块（IDBlock）操作。

2.3 实验细节

通过多次实验，最终设定信息蒸馏块（IDBlock）的数量n为6，通道设定为64，切片比例s设定为4，除特征融合模块以及信息蒸馏块中的压缩单元使用1*1卷积外，其他所有的卷积核大小均设置为3。本文使用超分辨率领域常用的数据集，以及91图像集和BSD200图像集作为训练数据。为了充分利用训练数据，实验采取了三种数据增强方法：①分别以90°、180°旋转图像；②水平翻转图像；③使用系数为0.9，0.8，0.7和0.6等比例缩放训练图像。实验训练选用Adam优化器，初始学习率为0.0001，损失函数使均方误差（MSE），它被广泛用于图像恢复的任务，其表达式如下：

其中，[Ii]表示真实图像，[Ii]表示预测图像，上式衡量了真实图像与预测图像之间的差异。

3 实验结果与分析

本文选用了广泛使用的基准数据集Set5和Set14作为测试集，分别与经典算法Bicubic、SRCNN、VDSR以及IDN进行对比，表1为在Set5数据集三倍放大下不同算法的峰值信噪比（PSNR）结果。

如表1所示，在Set5数据集三倍放大的情况下，本文所提出的算法FFDN在五张测试图的PSNR值均要高于对比算法结果，图3是各个算法的可视化重建结果对比。

表2是在Set14数据集三倍放大下，各算法的峰值信噪比（PSNR）结果。

可以看到，无论是Set5还是Set14数据集，本文提出的算法在峰值信噪比指标上均要高于先前的算法。在测试集Set5中，本文算法的平均PSNR比IDN高0.26dB，而在Set14数据集下，这一指标高了0.28dB。且从主观视觉上看，其他算法并不能很好地恢复出图像的细节，有模糊的现象。与之相比，本文算法能够较好地恢复出更多的细节纹理，达到更好的视觉效果。无论是从客观指标还是主观视觉上比较，我们提出的算法均要优于先前的网络，从而也证实了本算法的有效性。

4 总结与展望

本文提出了基于特征融合与信息蒸馏的图像超分辨率网络模型（FFDN），模型采用全局特征融合的方法对全局多层次特征进行联合学习，并结合信息蒸馏模块，通过全局跳跃连接，允许大量低频信息直接越过主干网络，使网络更注重高频信息的学习。实验表明，本文算法相比之前的模型算法，无论是主观视觉还是客观指标上都达到了更好的效果，具有更好的表征能力。受计算资源的限制，本文训练集较小，在今后的工作中，可考虑选用更大的数据集，同时考虑结合注意力机制加深网络结构，追求更高的性能。

参考文献（References）：

[1] 苏衡，周杰，张志浩.超分辨率图像重建方法综述[J].自动化学报，2013，39（8）：1202-1213

[2] Dong C， Loy C C， He K， et al. Learning a deep convolutional network for image super-resolution[A]. European Conference on Computer Vision[C]. Springer， Cham，2014：184-199

[3] J. Kim， J. K. Lee and K. M. Lee， "Accurate Image Super-Resolution Using Very Deep Convolutional Networks，" 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：1646-1654

[4] J. Kim， J. K. Lee and K. M. Lee， "Deeply-Recursive Convolutional Network for Image Super-Resolution，" 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：1637-1645

[5] C. Dong， C. C. Loy， and X. Tang， "Accelerating the super-resolution convolutional neural network，"Eur. Conf. Comput. Vis. Cham， Switzerland： Springer，2016：391-407

[6] W. Shi et al.， "Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network，"2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：1874-1883

[7] Z. Hui， X. Wang and X. Gao， "Fast and Accurate Single Image Super-Resolution via Information Distillation Network，" 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，2018：723-731

*基金項目：浙江省自然科学基金项目（LY15F010007、Y1110510）

作者简介：端木春江（1974-），男，江苏南京人，博士，副教授，主要研究方向：图像处理，视频通信。

通讯作者：石亮（1998-），男，四川广安人，硕士研究生，主要研究方向：图像超分辨率。