基于稀疏表示的超分辨率图像重建

基于稀疏表示的超分辨率图像重建

沈丽,韩彦芳

(上海理工大学 光电信息与计算机工程学院,上海200093)

摘要针对单幅低分辨率图像的超分辨率重建,提出一种基于稀疏表示的改进算法。通过联合输入低分辨率图像块和对应生成的高分辨率图像块,求解其在高低分辨率字典对上的稀疏表示系数,再将系数与高分辨率字典结合,修正输出的高分辨率图像块。仿真实验表明,文中提出的算法有效提升了重建图像的质量。

关键词稀疏表示;超分辨率;图像重建;联合高低分辨图像块

收稿日期:2015-03-10

作者简介:沈丽(1989—),女,硕士研究生。研究方向:超分辨率图像重建。E-mali:shenli_v@sina.com。韩彦芳(1974—),女,博士。研究方向:图像处理,模式识别。

doi:10.16180/j.cnki.issn1007-7820.2015.09.037

中图分类号TP391.41

Image Super-resolution Reconstruction Based on Sparse Representation

SHEN Li,HAN Yanfang

(School of Optical-Electrical and Computer Engineering,University of Shanghai for

Science and Technology,Shanghai 200093,China)

AbstractA super-resolution reconstruction approach to single low-resolution image based on sparse representation is presented.We solve the sparse linear combination of the dictionary through jointing input low-resolution image and generated high-resolution image patches,and then use the coefficients to adjust the output high-resolution image patches.The results of simulation experiments show that the proposed algorithm is effective to improve the quality of the reconstruction of high-resolution image.

Keywordssparse representation;super-resolution;image reconstruction;jointing high and low resolution image patches

超分辨率图像重建(Super-Resolution Reconstruction,SRR)是指通过融合多幅低分辨率(Low Resolution,LR)图像信息,重建出高分辨率(High Resolution,HR)图像的技术[1]。其克服了现有成像系统分辨率有限的问题,通过软件处理的方法,提高图像分辨率。目前,超分辨率图像重建技术在卫星遥感图像、医学成像等领域得到了广泛应用。

上世纪60年代,Harris等首次提出超分辨率重建技术的概念,由于当时诸多因素限制,该算法未得到良好的发展。80年代,Tsai和Huang[2]采用超分辨率技术恢复出了单幅HR图像。经过几十年的发展,超分辨率重建技术目前大致可分为3类:基于插值的方法,如双线性插值(Bilinear)、双三次插值(Bicubic)等;基于重构的方法,如迭代反投影法,最大后验概率法;基于学习的方法。近年,Yang[3]将压缩感知的思想引入到超分辨率图像重建中,利用HR和LR图像在其对应的过完备字典下具有相同稀疏线性表示的特点,来重建高分辨率图像。Yang的算法有效提高了重建HR图像的质量,但在重建过程中,Yang并未联合约束HR和LR图像块,来求解稀疏系数,针对这一问题,本文提出了算法改进,通过联合求解输入的LR图像块和重建的HR图像在字典上的稀疏系数,将稀疏系数和HR字典结合,得到HR图像块作为最终输出的HR图像块。本文考虑单幅图像的超分辨率重建,和Yang在文献[4]中的方法相比,本文方法有效提升了重建HR图像的主客观质量。

1稀疏表示模型

假设LR图像Xl是由HR图像Yh经过模糊和降采样得到的[5],二者关系可表示为

Xl=SHYh+n

(1)

式(1)中,S表示降采样处理,H表示模糊处理,n是均值为零,标准差为σ的高斯白噪声。

(2)

假设HR图像Yh的图像块y,可由HR过完备字典Dh∈Rn×k(n≪k)的列向量线性稀疏表示,即

(3)

(4)

式(4)可表示为

(5)

(6)

在实际操作中,完全稀疏难以得到,所以对式(5)需要近似处理,将其转化为拉格朗日形式[6-7]

(7)

式(7)中,F是特征提取操作,在训练低分辨率字典时,训练样本是LR图像的特征提取。

由以上描述可知,HR和LR图像块的稀疏系数是根据过完备字典来求解的,所以联合字典训练是基于稀疏表示的超分辨率图像重建的重要内容。

2联合字典训练

本文采用Yang在文献[4]中提出的HR和LR字典联合生成的思路,对HR和LR样本同时训练,同时生成HR和LR字典。

(8)

其中,A表示稀疏矩阵,αi∈A。

LR字典训练过程的具体形式为

(9)

根据文献[4]的联合训练思想,HR和LR图像块具有共同的稀疏表示,所以将式(8)和式(9)结合为

(10)

式(10)等价为

(11)

式(11)中

(12)

其中,N和M分别为样本中图像块向量形式的维度。

通过上述方法,联合输入的HR和LR图像样本集,采用稀疏编码的方法[8]训练字典,最终输出高低分辨率字典Dh和Dl。

3重建算法改进

Yang在文献[4]中认为,HR和LR图像块在其对应的过完备字典下具有相同稀疏线性表示,求解出LR图像块在字典Dl上的稀疏系数,结合字典Dh,便可重建出HR图像块。其基本思路如下:

(13)

式(13)的拉格朗日形式为

(14)

yh=Dhα

(15)

(16)

式(16)改写为

(17)

本文算法流程:

步骤3根据式(3)将稀疏系数α和HR字典Dh结合,得到HR图像块yh。

4实验结果分析

通过对不同图像实施本文算法进行仿真验证,并分别与双三次插值(Bicubic)和Yang在文献[4]中算法的重建结果进行比较。采用峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)和结构相似度(StructuralSimilarity,SSIM)[10]评价重建的高分辨图像质量

式中,r为原HR图像,s为重建的HR图像

式中,ur为图像r的均值,us为图像s的均值;σr为图像的方差,σs为图像s的方差,σrs为图像r和s的协方差;c1和c2为常数。SSIM值越大(最大为1),则重建图像与原图像越接近。实验仿真计算在Matlab2012b环境下进行。

实验使用了Girl、Flower等图像,考察对图像进行2倍放大的效果,式(7)中的λ=0.2,本文所使用的字典训练库和文献[4]相同,字典尺寸为1 024。重建结果如图1～图4所示,同时计算重建图像的PSNR和SSIM,结果如表1所示。

图1　各种算法重建结果比较(Girl图)

图2　各种算法重建结果比较(Flower图)

图3　各种算法重建结果比较(Lena图)

图4　各种算法重建结果比较(Baboon图)

图像Bicubic插值PSNRSSIM文献[4]的方法PSNRSSIM本文方法PSNRSSIMFlower38.95320.928039.26840.928639.52440.9296Girl34.02520.794334.12970.804034.57370.8107Lena32.79470.887233.23280.894534.50370.9035Baboon24.94550.688825.00970.701225.34500.7126

如图1～图4所示,采用Bicubic插值法重建得到的HR图像较为平滑,整体效果差,文献[4]的方法在视觉效果上有所提升,但在图像边缘细节方面恢复效果差,本文方法比文献[4]得到了更为清晰的纹理。如表1所示,使用本文方法重建出的图像,在PSNR和SSIM上均比Bicubic插值法和文献[4]的方法更理想。

5结束语

本文主要是对文献[4]的方法进行重建图像的后续改进。根据字典联合训练的思想,通过联合高低分辨率图像块,求解其在联合字典上的稀疏系数,来优化生成的HR图像块,实验结果表明,本文重建效果更佳。然而,基于稀疏表示的超分辨率图像重建技术,在图像重建速度上还有许多可优化之处。因此,在保证重建图像质量的前提下,降低重建时间的消耗,将是下一步研究的重点。

参考文献

[1]张良培,沈焕锋,张洪艳,等.图像超分辨率重建[M].北京:科学出版社,2012.

[2]TsaiRY,HuangTS.Multi-frameimagerestorationandregistration[J].AdvancesinComputerVisionandImageProcessing,1984,1(2):317-339.

[3]YangJ,WrightJ,HuangT,etal.Imagesuper-resolutionassparserepresentationofrawimagepatches[C].Toronto:IEEEConferenceonComputerVisionandPatternRecognition,2008:1-8.

[4]YangJC,WrightJ,MaY.Imagesuper-resolutionviasparserepresentation[J].IEEETransactionsonImageProcessing,2010,19(11):2861-2873.

[5]葛广重,杨敏.基于稀疏表示的单幅图像超分辨率重建[J].计算机技术与发展,2013,23(9):103-106.

[6]DonohoDL.Formostlargeunderdeterminedsystemsoflinearequations,theminimall1-normsolutionisalsothesparsestsolution[J].CommunicationsonPureandAppliedMathematics,2006,59(6):797-829.

[7]DonohoDL.Formostlargeunderdeterminedsystemsoflinearequations,theminimall1-normnear-solutionapproximatesthesparsestnear-solution[J].CommunicationsonPureandAppliedMathematics,2006,59(7):907-934.

[8]LeeH,BattleA,RainaR,etal.Efficientsparsecodingalgorithms[C].Paris:AdvancesinNeuralInformationProcessingSystems,2006:801-808.

[9]PatiYC,RezaiifarR,KrishnaprasadPS.Orthogonalmatchingpursuit:recursivefunctionapproximationwithapplicationstowaveletdecomposition[C].Holand:The27thAsilomarConferenceonSignals,SystemsandComputers,1993:40-44.

[10]WangZ,BovikAC,SheikhHR,etal.Imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcessing,2004,13(4):600-612.