基于卷积神经网络的图像纹理的超分辨率重建

蒋 雪，韩 芳

(东华大学 信息科学与技术学院，上海 201600)

基于卷积神经网络的图像纹理的超分辨率重建

蒋 雪，韩 芳

(东华大学 信息科学与技术学院，上海 201600)

目前，深度学习已经在图像超分辨率重建上表现出不错的性能，但是对某些纹理细节还原度不高。针对此问题，提出了基于卷积神经网络的纹理的超分辨率重建算法。首先用梯度算子提取图像的纹理特征，再将图像按照纹理进行分类，最后用卷积神经网络对同一类别的样本集进行超分辨率重建。实验证明，该算法能够恢复一定的纹理信息，而且对同类纹理的重建结果优于已有算法。

图像处理；卷积神经网络；超分辨率重建；纹理特征

0 引言

超分辨率图像重建(Super-Resolution Image Reconstruction，SRIR或SR)就是图像复原的一种，它通过信号处理或者图像处理的方法，将低分辨率(Low-Resolution，LR)图像或序列转化为高分辨率(High-Resolution，HR)图像。图像分辨率是指单位英寸中所包含的像素点数，是评判图像质量的一个重要指标。所以较高分辨率的图像包含更多的信息，能够提供更丰富的细节。

图像成像的基本理念是通过图像重建模型生成的HR图像与原本的LR输入图像尽可能地一致。最初，Harris和Goodman通过对单幅图像进行线性插值和样条函数插值实现了单幅图像超分辨率(Single Image Super-Resolution, SISR)重建。但是图像插值的方法主要是增强了边缘信息，而包含的信息量没有相应地提高。

基于学习的单帧超分辨率问题是近年来研究的一个热点，又称为基于样例(Example-based)的超分辨率。典型的有稀疏表达[1](Sparse Representation)和机器学习的方法。稀疏表达是分别训练高分辨率和低分辨率图像块字典(过完备基)，使得任意的图像块都能用此字典线性稀疏地表达，并且同一个图像块对应的低分辨率和高分辨率字典的线性表达式一致。机器学习的方法是通过训练大量的样本对，建立高低分辨率图像之间的映射关系。例如，FREEMAN W T[2]的马尔科夫随机场(Markov Random Field, MRF)以及Dong Chao[3]等人的超分辨率卷积神经网络(Super-Resolution Convolutional Neural Network，SRCNN)。

1 本文算法

目前，基于样例的超分辨率算法都是以各种类型的图像作为样例，例如稀疏表达的方法是希望建立一个完备的字典，任意的低分辨率图像都能通过此字典进行线性的表达而得到高分辨率图像。基于卷积神经网络的算法也是将各种类型的图像作为样本集，希望任何图像都能通过此网络得到超分辨率重建。然而，实际情况是此类算法只能对图像进行一定程度的还原，或者说只能恢复某些图像块。

通过对超分辨率重建算法的研究发现，大部分模型对边缘的识别度高，能够恢复一定的边缘信息，但是对纹理丰富的图像块的还原度较差。例如，有连续边缘的图像、边缘不平滑的图像等。再对这些图像块做进一步研究，发现具有同样纹理特征的HR，其对应的LR的恢复偏差也类似。如图1所示，图1(a)是原图，图1(b)是用卷积神经网络重建的HR，图1(c)是两图的恢复偏差。灰色的像素点表示两图的像素值基本相等，白色表示重建的像素值偏亮，黑色相反。从图1可以发现恢复偏差图像具有明暗线条相间的特征，而且有一部分图像的恢复偏差都具有此特征。假设具有相同恢复偏差的图像块也具有相同的从低分辨率到高分辨率的映射关系。因此，本文的算法是针对具有相同纹理特征的图像进行超分辨率重建，训练出的模型只还原此类纹理特征。

图1 用卷积神经网络重建后与原始图像的偏差

本文的算法主要分为两个步骤：先对图像样本进行纹理分类，再用卷积神经网络对同种类型的样本进行训练。

1.1 纹理分类

纹理是指图像中局部或者整体在分布上具有某种规律的特征现象。纹理特征提取就是用定量化的数字来表示这种规律的特征分布。纹理特征可分为4种类型：统计型、模型型、信号处理型和结构型。统计的方法[4]是基于像元及其邻域的灰度属性, 研究像元及其邻域内灰度的一阶、二阶或高阶统计特性。本文就是采用此类算法，用梯度算子得到图像的灰度的一阶特性，再对此特性进行统计得到特征表示量。

梯度算子是图像处理中经常使用的一阶导数方法。用灰度导数的大小来表示灰度变化，其计算公式为：

(1)

dx(i,j)=[I(i+1,j)-I(i-1,j)]/2

(2)

dy(i,j)=[I(i,j+1)-I(i,j-1)]/2

(3)

(4)

(5)

1.2 基于卷积神经网络的图像超分辨率算法

目前，卷积神经网络已经在图像超分辨率重建上表现出不错的性能，如SRCNN、FSRCNN[5]和VDSR[6]。FSRCNN的网络层采用较小的卷积核，输入采用没有用插值算法放大的原始低分辨率图像，通过减小特征图的大小和需要训练的参数来提高网络训练的速度。而VDSR是一个20层的卷积神经网络，通过增加网络的层数来提高超分辨率模型的性能。

一般的超分辨率模型都是根据图像特征的线性组合得到重构图像HR，但是在经过多层的特征提取后，很难保证能完全保留输入的所有细节。于是VDSR里提到用残差学习(Residual-Learning)来解决这个问题。由于输入图像和输出图像很大程度上相似，因此将输出图像与输入图像之差作为残差图像。网络只需重构出残差图像，而不用完全恢复图像的所有细节。实验证明，用残差学习训练网络，会达到更好的重构效果，所以本文也采用了此法。

图2 基于卷积神经网络的图像超分辨率模型

网络模型设定为7层的卷积神经网络，每层的卷积核大小为3，前6层的卷积核数量为64，最后一层为1，激活函数采用修正线性单元(Rectified Linear Unit，ReLU)，卷积层的表达式如下：

(6)

(7)

2 实验结果及分析

2.1 实验设置

神经网络的训练是在caffe上进行，GPU为GTX-960，设定的初始学习率为0.000 1，学习方法采用随机梯度下降法。在训练过程中，若训练测试集的准确率在一段时间内没有下降，将学习率下调50%。最后训练的迭代次数为850 000，选择测试集准确度最高的模型作为最终模型。

2.2 实验结果与分析

在实验结果中，选取图像库Set5里纹理较为丰富的图像块作为测试集，并与双三次插值法、SCSR[1]、SRCNN以及VDSR作比较。图3和图4表示了当放大倍数为3时各图像块的还原效果以及客观评价指标峰信噪比(Peak Signal to Noise Ratio, PSNR)。可以观察到，本文算法能够恢复一定的纹理细节，并且对纹理信息丰富的图像块具有更优越的复原效果。

图3 选自Set5里baby的图像块的超分辨率重建结果

图4 选自Set5里butterfly的图像块的超分辨率重建结果

PSNR是比较两个图像相似度的评价指标，对两个图像相同位置的像素值之差进行定量计算，PSNR值越高说明恢复的图像越接近原图像。此外，还有一种评价图像相似度的指标:结构相似性(Structural Similarity, SSIM)。相比PSNR只考虑单个像素值的误差，SSIM是从图像全局出发来对图像的结构进行相似性评价。SSIM越高说明两个图像的结构越相似。本文采取这两种评价指标，选取Set5和Set14里纹理较为丰富的图像块，进一步对上述5个算法作比较。由表1和表2可以看出，对于同类的图像块，本文算法在图像像素值和图像结构相似度上都高于其他算法，说明本文算法的确对相同类型的图像块具有更好的还原效果。

表1 不同算法实验结果的PSNR对比

表2 不同算法实验结果的SSIM对比

实验证明，基于纹理的超分辨率重建算法对相同特征纹理的重建结果优于普通的超分辨率算法。针对某种纹理特征的超分辨率模型能够提高此类纹理图像的复原效果。并且本文使用的分类方法提取的数据集占总数据集的20%，同时平均提高了0.1的PSNR值。由此推断，如果采用同一类别相似度更高的分类方法对数据集进行更细致的划分，应该会进一步地提高超分辨率模型的性能。这也是未来需要探讨的问题。

3 结论

本文提出了一种基于卷积神经网络的纹理的超分辨率重建方法，先对图像进行纹理特征的分类，再针对一种类型的图像构建超分辨率模型。对于同类的纹理图像，本文的算法优于目前已有的算法。但是，此方法有一些需要改进之处。对纹理特征分类，目的是使相同类型的图像块具有相同的从低分辨率到高分辨率的映射关系，但是本文的分类方法并不能完全达到这个效果。所以还需进一步地改进纹理的分类方法。

[1] Yang Jianchao, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2010, 19(11):2861-2873.

[2] FREEMAN W T,PASZTOR E C. Learning low-level vision[J]. International Journal of Computer Vision, 2000, 40(1):25-47.

[3] Dong Chao, CHEN C L, He Kaiming, et al. Learning a deep convolutional network for image super-resolution[C]. European Conference on Computer Vision (ECCV),2014, 8692:184-199.

[4] 刘丽, 匡纲要. 图像纹理特征提取方法综述[J]. 中国图象图形学报, 2009, 14(4):622-635.

[5] Dong Chao, Chen C L, Tang Xiaoou. Accelerating the super-resolution convolutional neural network[C]. European Conference on Computer Vision (ECCV), 2016,9906: 391-407.

[6] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[J]. CVPR 2016, 2016:1646-1654.

Image texture super-resolution reconstruction based on convolutional neural network

Jiang Xue, Han Fang

(School of Information Science and Technology, Donghua University, Shanghai 201600, China)

At present, deep learning performs well in super resolution reconstruction. However, some texture information is not reconstructed well enough. To solve this problem, we proposed a texture super-resolution reconstruction algorithm based on convolution neural network (CNN). We firstly extract texture features using gradient operator and classify the images according to their texture features. And then, for the same category of image samples, a super-resolution reconstruction model is built based on CNN. The experiments show that this algorithm can restore some texture information very well, and the results are better than other algorithms.

image processing; convolutional neural network(CNN); super-resolution reconstruction; texture feature

TP183

A

10.19358/j.issn.1674- 7720.2017.20.017

蒋雪，韩芳.基于卷积神经网络的图像纹理的超分辨率重建[J].微型机与应用，2017,36(20)：57-60.

2017-03-25)

蒋雪(1993-)，女，硕士，主要研究方向：深度学习、图像超分辨率。

韩芳(1981-)，通信作者，女，博士，副教授，主要研究方向：神经动力学、智能算法、深度学习等。E-mail:yadiahan@163.com。