基于稀疏表示的单幅图像超分辨率重建研究

于海平+林晓丽+周凤丽+张华丽

摘要：針对传统超分辨率重建方法计算复杂度高、重建效果差等问题，提出一种基于稀疏表示的图像超分辨率重建模型。该模型利用稀疏表示方法，结合自回归原理将原始图像表示为若干个图像块的线性组合，并根据图像边缘特征将图像块进行划分，以提高算法效率，最后结合分治思想、变量分离技术以及增广拉格朗日方法对模型进行求解。实验结果表明，与传统插值算法相比，该算法对图像重建效果更好。

关键词关键词：稀疏表示； 超分辨率；变量分离技术；增广拉格朗日

DOIDOI：10.11907/rjdk.171376

中图分类号：TP317.4

文献标识码：A文章编号文章编号：16727800（2017）011022505

0引言

在数字图像采集过程中，由于受到成像设备和拍摄条件的制约，人们常常无法获得高分辨率的图像。由于通过改善硬件设备提高图像分辨率代价很高，因而从软件方面提高图像分辨率意义重大。因此，超分辨率重建（Super Resolution Image Reconstruction，SR）成为当今研究的热点问题[13]。该技术是一门综合了传感器、图像处理（Image Processing）、计算机视觉（Computer Vision）和人工智能（Artificial Intelligence，AI）等多门学科的交叉问题，它在医学成像（Medical Imaging）、图像压缩（Image Compression）、图像特征提取（Image Feature Extraction）以及遥感成像（Remote Sensing Image）等领域具有重要的应用价值[49]。

图像超分辨率重建旨在利用同一场景下的一幅或多幅图像重建出一幅高分辨率图像，这是Tsai[10]于1984年首次提出的对图像超分辨率重建的定义。此后，许多学者进行了大量研究。目前，超分辨率重建方法主要分为基于插值的方法、基于建模的方法和基于学习的方法3大类。基于插值的方法旨在通过插值函数在周围像素的基础上插入丢失的像素值。比较基础的方法主要包括双线性插值法、三次样条插值法和非均匀插值法[11]，此类方法算法复杂度较低，但是重构出的图像效果比较模糊，并且具有较明显的锯齿效果。后期又出现了一系列基于建模的方法，其中比较典型的方法包括：凸集投影方法[12]、迭代反向投影法[13]、基于概率论的方法[14]等，这类方法往往受到先验信息的约束，并且还存在收敛速度较慢以及解的不唯一性等问题。因此，近几年又出现了基于学习的方法，这类方法主要是通过构造低分辨率和高分辨率图像样本库，通过学习样本库得到低分辨率图像和高分辨率图像之间的内在关系，从而完成图像超分辨率重建的过程。其中具有代表性的是Yang等[15]于2010年发表的基于稀疏表示的图像超分辨率重建，主要思想是建立在同一幅图像中高分辨率块和对应的低分辨率块之间具有相同稀疏表示的前提下，通过共同训练低分辨率块和高分辨率块形成的两个字典，并在假设的前提下进行高低分辨率块的匹配，最终得到高分辨率图像。

Yang等提出的上述方法重建效果好，但也存在一些问题，比如从对词典库的训练角度看，该模型具有计算复杂度较高，对于边缘较明显的图像，使用单一字典库无法反映图像边缘特质等弊端。因此，本文在Yang算法的基础上进行了以下两点改进工作：①在图像稀疏性表示模型的基础上，根据图像自相似性和局部缩放不变性等特点重建图像信息模型；②根据图像自身特点，将字典库中的字典块分为规则和不规则两类，以降低学习复杂度。

Dong等[16]提出了一种非局部自回归模型进行分辨率重建，该模型能较好地解决Yang等提出的模型问题。本文在Dong等的基础上进行优化，简化自回归模型求解，利用PCA对图像进行分块表示，生成高分辨率图像块，并使用梯度下降法进行求解，得到最终的高分辨率图像。

4实验结果

根据上述模型描述，对多幅测试图像进行仿真实验，如图3～图7所示分别表示Lena、Boy、Starfish、Butterfly、Plane 5幅图像，这5幅图像均出自伯克利图像测试数据集。针对这5幅具有代表性的测试图像，分别利用双三次插值方法和本文提出的方法进行对比实验。为了进行定量分析，分别使用峰值信噪比（PSNR）[1720]和结构相似性指标（SSIM）[2123]两个图像评价指标进行对比。其中PSNR用来表示原图像与处理后的图像之间的均方误差相对于（2^n-1）^2的对数值，它的单位是dB。PSNR的值越大，表明图像失真越小；相反，PSNR值越小，表明图像失真越大。SSIM表示一种衡量两幅图像相似度的新指标，其值越大越好，最大为1。结构相似性理论认为，自然图像信号是高度结构化的，即像素间有很强的相关性。因此，SSIM取值越大越好。这两种评价指标的对比结果如表1所示。

5结语

稀疏表示方法作为机器学习的方法在近几年备受关注，许多学者已经对稀疏表示模型进行了深入研究。本文利用稀疏表示理论提出了一种改进的自回归模型方法，用来解决超分辨率重建中计算复杂度高、重建效果差等问题。本文方法根据图像边缘特征将图像进行分块处理，实验结果表明，新模型方法表现较优。

参考文献参考文献：

[1]DONG C， LOY C C， HE K， et al. Image superresolution using deep convolutional networks[J]. IEEE transactions on pattern analysis and machine intelligence， 2016，38（2）：295307.

[2]PELEG T， ELAD M. A statistical prediction model based on sparse representations for single image superresolution[J]. IEEE Transactions on Image Processing， 2014，23（6）：25692582.endprint

[3]DONG C， LOY C C， HE K， et al. Learning a deep convolutional network for image superresolution[C].European Conference on Computer Vision. Springer International Publishing， 2014：184199.

[4]TRINH D H， LUONG M， DIBOS F， et al. Novel examplebased method for superresolution and denoising of medical images[J]. IEEE Transactions on Image processing， 2014，23（4）：18821895.

[5]ERRICO C， PIERRE J， PEZET S， et al. Ultrafast ultrasound localization microscopy for deep superresolution vascular imaging [J]. Nature， 2015，527（7579）：499502.

[6]LI L， CHEN Y， XU T， et al. Superresolution mapping of wetland inundation from remote sensing imagery based on integration of backpropagation neural network and genetic algorithm[J]. Remote Sensing of Environment， 2015，164：142154.

[7]FAN C， WU C， LI G， et al. Projections onto convex sets superresolution reconstruction based on point spread function estimation of lowresolution remote sensing images[J]. Sensors， 2017，17（2）：362.

[8]王抒，齐苏敏.基于加权低分辨率图像的自适应正则化图像重建[J].软件导刊，2012，11（4）：161163.

[9]刘丁峰.超分辨率图像复原技术综述[J].软件导刊，2009（12）：183185.

[10]TSAI R Y， HUANG T S. Multiframe image restoration and registration[J]. Advances in Computer Vision and Image Processing， 1984（2）：317339.

[11]GILMAN A， BAILEY D G. Near optimal nonuniform interpolation for image superresolution from multiple images[J]. Image and Vision Computing， 2006：3135.

[12]STARK H， OSKOUI P.Highresolution image recovery from imageplane arrays， using convex projections[J].Journal of the Optical Society of America A， 1989，6（11）：17151726.

[13]IRANI M， PELEG S. Improving resolution by image registration [J].Graphical Models and Image Processing， 1991， 53（3）：231239.

[14]DONALDSON K， MYERS G K.Bayesian superresolution of text in videowith a textspecific bimodal prior[J].International Journal of Document Analysis and Recognition（IJDAR），2005，7（23）：159：167.

[15]YANG J， WRIGHT J， HUANG T S， et al. Image superresolution via sparse representation[J]. Image Processing， IEEE Transactions on， 2010，19（11）：28612873.

[16]DONG W， ZHANG L， LUKAC R， et al. Sparse representation based image interpolation with nonlocal autoregressive modeling[J]. IEEE Transactions on Image Processing， 2013，22（4）：13821394.

[17]HUYNHTHU Q， GHANBARI M. Scope of validity of PSNR in image/video quality assessment[J]. Electronics letters， 2008，44（13）：800801.

[18]TURAGA D S， CHEN Y， CAVIEDES J. No reference PSNR estimation for compressed pictures[J]. Signal Processing： Image Communication， 2004，19（2）：173184.

[19]王永兴，蒲亦非，巩晓倩，等.分数阶三维块匹配去噪算法[J].计算机应用研究，2015，32（1）：287290.

[20]陈亚雄，黄樟灿，冯磊.基于奇异值分解和Contourlet变换的图像压缩算法[J].计算机应用研究，2017，34（1）：317320.

[21]HORE A， ZIOU D. Image quality metrics： PSNR vs. SSIM[C].Pattern Recognition （ICPR）， 2010 20th International Conference on. IEEE， 2010：23662369.

[22]WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity[J]. IEEE transactions on image processing， 2004，13（4）：600612.

[23]黃隆华，陈志辉，彭小宁，等.基于梯度及HVS特性的离焦模糊图像质量评价[J].计算机应用研究，2010，27（2）：781783.

责任编辑（责任编辑：黄健）endprint