基于拉普拉斯结构的图像超分辨率重建

张倩宇

摘要：该方法是将低分辨率图像直接作为输入，逐级预测金字塔层的残差图像，选择特定的初始化方法对网络权值进行初始化，加快模型收敛，并引入多通道映射提取更加丰富的特征，采用卷积级联，共享权重的方式进行图像超分辨率重构，改进的模型可以更好地重建出图像的纹理和细节。

关键词：图像超分辨率重建; 拉普拉斯金字塔;残差;多通道;卷积级联;

中图分类号：TP391.4    文献标识码：A       文章编号：1007-9416（2018）10-0000-00

近年来，深度学习在图像处理领域取得了显著的研究成果。在大量的任务中，深度学习得到的特征被证实比传统方法构造的特征具有更强的表征能力。常用的超分辨率重建模型有卷积神经网络模型、残差神经网络模型、深度卷积生成对抗网络模型。但无论哪种学习模型，对低分辨率图像和高分辨率图像样本对的数目，训练的速度都有很高的要求。

本文提出了一种新的结构模型：基于拉普拉斯金字塔的多通道图像超分辨率卷积神经网络模型。实验证明，该模型收敛速度更快，图像超分辨率效果更加优秀。

1 研究背景

LapSRN，即拉普拉斯金字塔，每一级的金字塔都以低分辨率的特征图作为输入，来预测高频残差，在预处理时没有使用传统的双三次插值法，减少了计算的复杂性，而是使用转置卷积用于上采样以得到更精细的特征图，另外，网络的训练使用了 Charbonnier损失函数，这个损失函数可以获得更好的超分辨效果。

该网络模型使用逐级放大来实现多级超分辨，即同一个模型可以生成不同规模的超分辨率图像。例如一个*8的模型同时也可以实现*2和*4的超分辨任务，这主要也是得益于金字塔结构。

LapSRN提出的新的损失函数为：

  （1）

其中，x表示LR图像，y表示HR图像，r表示残差，s表示对应的level，L是金字塔结构的level数量，N是训练样本数量。新的loss函数的每个level都有一个对应的loss，训练过程中的目的是将各个level的loss的和降低。

LapSRN具有三个特点：1.准确率高，使用Charbonnier损失函数能够更好的处理异常值，提高准确率2.速度快，在大多数数据集上的速度都十分快，与FSRCNN速度相似3.逐级地进行图像重建，通过拉普拉斯金字塔结构的前向传播可以生成各种中间的SR图片。

此网络不足之处在于：1.LapSRN无法很好的复现图像很细致的结构 2.模型太大，参数过多。

2 本文方法

本文将描述基于拉普拉斯金字塔（LapSRN）的多通道卷积网络的图像超分辨率（LapMSRN）的主要设计方法。

2.1 PReLU与MSRA初始化

He等[1]人提出了一种新的激活函数：含参修正线性单元（PReLU），表达式为

         （2）

PReLU引入一个新的参数：，的值通常被设定为非常小，如0.01等。这样既可以保留ReLU以修正数据分布，并加速收敛的优点，同时又可以不完全丢失特征。因此，采用PReLU函数作为LapMSRN模型的激活函数。

另一方面，模型训练过程中对网络权值进行合理的初始化是非常重要的。初始化方法的不同选择可以直接决定一个模型是否可以收敛、收敛速度快慢以及最终的收敛状态如何。

Glorot等人[2]发现当输入权值与输出权值在前向传播与反向传播过程中保持相同的分布时，模型的性能最优秀：模型可以快速收敛并且收敛的结果更加优秀。为了达到这个目的，提出一种简便的初始化方法：Xavier初始化。它规定第i层的权值服从均值为0，方差为的分布，并且建议采用均匀分布形式，使得输出保持和输入相同的均值为0，方差为的分布，其中表示当前层的参数数目，表示下一层的参数数目。

2.2网络架构

我们在拉普拉斯金字塔框架的基础上构建我们的模型，我們的模型是将低分辨率图像作为输入，并逐级预测金字塔层的残差图像，选择MSRA对网络的权值进行初始化加快模型收敛;使用多层的小卷积核（3*3等）代替单层的大卷积核（9*9等）加深网络模型，并且将非线性映射部分改为局部多通道映射，增强模型SR性能，同时也将对获得的特征图进行维度压缩，从而减少参数，使得超分辨率重构效果更好。

3 实验结果分析

表1 展示了以91幅图像作为训练集，各方法在不同图像放大比例下，各测试集上所有图像重建后PSNR的平均值，从表1中可以看出，与现有方法相比，本文所提方法具有更高的PSNR，可以生成更高质量的图像。

4 结语

本文主要通过对LapSRN模型进行加深以及加宽处理达到提高SR性能的目的。其中加深操作通过将大尺寸的卷积核替换为多层3*3卷积核，并采用多通道卷积级联的方式达到;加宽操作通过增加对特征图的维度压缩操作部分，从而减少训练参数，使得超分辨率重建效果更好。另外，我们还采用MSRA初始化方法，进而加快模型收敛速度。实验结果表明，LapMSRN模型在主客观评价方式上均优于经典方法。这表明：若要提升模型的SR性能，必然要求模型可以提取更加丰富的LR图像特征并且更有效地利用特征生成HR图像，将来可以沿这条路线做更多的工作。

参考文献

[1]He K， Zhang X， Ren S， et al. Delving Deep into Rectifiers： Surpassing Human-Level Performance on ImageNet Classification[C].//Proceedings of the IEEE International Conference on Computer Vision，2015，pp.1026–1034.

[2]Glorot X ， Bengio Y . Understanding the difficulty of training deep feedforward neural networks [J].Journal of Machine Learning Research，2010，9：249-256.

[3]Szegedy C，Liu W，Jia Y，et al.Going deeper with convolutions[C]//Proceedings of the IEEE conference on conference on computer vision and pattern recognition.2015：1-9[DOI：10.1109/CVPR.2015.7298594].

Hyperresolution Reconstruction of Multi-channel Image Based on Laplacian Pyramid

ZHANG Qian-yu

（School of mathematics and computer science，Shanxi normal university，Linfen Shanxi 041000）

Abstract： In order to solve these problems， an image super-resolution algorithm （LapMSRN） based on Laplacian pyramid structure for multichannel convolution network is proposed. This approach is the low resolution images directly as input， step by step to predict residual image pyramid layer， select a specific initialization method initialized weights of the network， to speed up the model convergence， the characteristics of the introduction of multi-channel mapping to extract more rich， using convolution cascade， share the weight of image super-resolution reconstruction in the form of the proposed improved model can better reconstruction of the image texture and details.

Key words： Image super-resolution reconstruction;  The Laplace pyramid;  residual;  The multichannel; Convolution cascade