基于深度学习的图像超分辨率重建研究

摘要：深度学习是机器学习的重要分支，近年来，受到了国内外研究者的广泛关注和青睐。超分辨率是计算机视觉领域中的经典应用，目标是通过观测到的低分辨率图像重建出对应的高分辨率图像。该文简单阐述了超分辨率的原理，简单介绍了传统的图像超分辨率和基于深度学习的图像超分辨率重建方法。而且简述了超分辨率常用的评价指标，最后进行了总结。将深度学习思想结合到图像超分辨率重建工作中，取得了较好的图像重建精度。

关键词：深度学习;超分辨率;重建

中图分类号：TP3 文献标识码：A

文章编号：1009-3044（2020）29-0191-02

超分辨率重建技术在军事、公共安全、卫星图像遥感、视频复原和医学影像等领域都有着非常重要的研究价值。超分辨率图像主要分为两种情况：一种是使用单幅图像来重建出高分辨率的图像;另一种是通过多幅图像来重建出高分辨率图像。单幅图像的超分辨率重建是一个逆问题，即对于一个低分辨率图像，可能存在许多不同的高分辨率图像，因此通常在求解高分辨率图像时会增加一些先验信息进行规范化约束。在传统的方法中，先验信息可以通过若十成对出现的低一高分辨率图像中学习到。而基于深度学习的图像超分辨率图像重建通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。深度学习已经广泛应用到图像超分辨率重建中，它可以从大量数据中学习到有用的特征表示，从而有效提升图像的重建效果。

1 传统的图像超分辨率重建技术介绍

1）基于插值的图像超分辨率重建

对于一幅图像，通过某个点周围若十已知点的值，以及周围的点和该点之间的位置关系，根据公式，可以算出该点的值，这就是所谓的插值法。在图像处理中最常用的插值算法有：最近邻法、双线性插值法和三次插值法等。

2）基于机器学习的图像超分辨率重建

基于机器学习的图像超分辨重建方法主要有：邻域嵌入、支持向量回归、稀疏表示方法等。

3）基于多幅图像的图像超分辨率重建

多幅图像重建的核心思想是：通过时间带宽来换取空间分辨率，也就是说，当无法得到一张超高分辨率的图像时，可以通过多次提取相邻的几帧图像，然后将这几帧图像组合成一张高分辨率的图像。

2 基于深度学习的图像超分辨率重建技术介绍

对于深度学习方法来说，它可以通过多层的非线性结构进行变换，学习到数据的高层语义特征，从而对数据进行合理有效的预测和分析。

常见的基于深度学习方法的超分辨率重建技术概述.

1）SRCNN

SRCNN（Super-Resolution Convolutional Neural Network）[1]是深度学习应用到图像超分辨率重建上的开山之作。首先，输入一张低分辨率图像，然后使用插值的方法把图像放大到目标尺寸，最后实现端到端的一种映射关系。该映射表示为一个深卷积神经网络（CNN），它以低分辨率图像为输入，输出高分辨率图像。进一步证明了传统的稀疏编码超分辨率方法也可以看作是一个深度卷积网络。但不同于传统的方法去单独处理每个组件，该方法可以联合优化所有层。网络结构如下图1所示：

FSRCNN[2]是在SRCNN的基础上进行改进。针对SRCNN参数过多，网络臃肿等问题，提出了FSRCNN，首先，并不是将三次插值后的图像当作输入，而是直接将低分辨率图像输入到网络中，最后选用反卷积的方式进行放大。在映射层也做了改进，先收缩再将其复原，共享其中的映射层，如果需要训练不同的模型尺寸，最后仅需要微调最后的反卷积层。网络结构图如图2所示。

3）VDSR

VDSRc3]提出了一种高精度的单幅图像超分辨方法，受VGG-net的体积网络来进行图像分类启发，使用了一个非常深的卷积网络。增加网络深度表明在准确性方面有显著提高。最终的模型使用了20个权重层。通过在深度网络结构中多次串联小滤波器，有效地利用了大图像区域的上下文信息。然而，对于非常深的网络，收敛速度成为训练中的一个关键问题。提出一个简单而有效的训练程序。学习残差，并使用非常高的学习率，可以通过自适应梯度剪裁。提出的方法比现有的在精度上有更好的表现，并且结果在视觉上的改进是显而易见的。网络结构图如下图3所示。

4）LapSRN

本文[4]是通过将低分辨率图像直接作为输入到网络中，通过逐级放大，在减少计算量的同时，也有效地提高了精度。并且提出了一种鲁棒的损失函数，即：Charbonnier loss function。通过循环的方式进行参数共享。网络结构图如下图4所示。

3 图像超分辨率重建的评价指标

对于超分辨率图像重建中，比较常用的评价指标：峰值信噪比PSNR（ Peak SingaHo-Noise Ratio）和结构相似性SSIM（ Strunture Similarity Index）。这两个指标的值越高，说明重建效果越好，和标准越接近。具体公式如下所示。

4 总结和展望

深度学习在图像超分辨率重建工作中起到了很关键的作用，涌现出了大量的优秀工作，无论是网络的加深，还是在最后几層扩大感受野，都对重建工作注入了新鲜的方法。通过将深度学习的方法应用图像超分辨率重建任务中，取得了较好的重建精度。

参考文献：

[1] Dong C，Loy C C，He K，et al.Image Super-Resolution UsingDeep Convolutional Networks[J]. Pattern Analysis&MachineIntelligence lEEE Transactions on， 2016， 38（2）：295-307.

[2] Dong C，Loy C C，Tang X.Accelerating the Super-Resolu-tion Convolutional Neural Network[J]. Computer Vision - EC-CV 2016.

[3] Kim J，Lee J K，Lee K M.Accurate image super-resolution us-ing very deep convolutional networks[J]. 2016 IEEE Confer-ence on Computer Vision and Pattern Recognition （CVPR），2016：1646-1654.

[4] Lai W S，Huang J B，Ahuja N，et al.Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks[J].lEEE Transactions on Pattern Analysis and Machine Intelli-gence， 2017.

[通联编辑：代影]

作者简介：李赛赛（1992-），男，河北邯郸人，北方民族大学计算机科学与工程学院计算机技术专业，硕士研究生，研究方向：图形图像与智能信息处理。