基于低秩矩阵和字典学习的图像超分辨率重建

杨帅锋　　　赵瑞珍

(北京交通大学信息科学研究所　北京　100044) (现代信息科学与网络技术北京市重点实验室(北京交通大学)　北京　100044) (yangsfsx@163.com)

基于低秩矩阵和字典学习的图像超分辨率重建

杨帅锋赵瑞珍

(北京交通大学信息科学研究所北京100044) (现代信息科学与网络技术北京市重点实验室(北京交通大学)北京100044) (yangsfsx@163.com)

摘要基于稀疏表示和字典学习的超分辨率重建算法没有对图像进行分解，直接将整幅图像的信息都进行了学习重建.由低秩矩阵理论知，可将图像分解成低秩部分和稀疏部分.根据图像各部分信息的特征分别用不同的方法进行超分辨率重建，将能更加有效地利用图像的特征.据此提出了一种基于低秩矩阵和字典学习的超分辨率重建方法.该方法首先通过对图像进行低秩分解得到图像的低秩部分和稀疏部分，图像的低秩部分保留了图像的大部分信息.算法只对图像的低秩部分通过字典学习的方法进行超分辨率重建，图像的稀疏部分则不参与学习重建，而是采用双三线性插值的方法进行重建.实验分析表明，图像的重建质量有所提升，同时减少了一定的重建时间，提升了算法的运行速度.与现有算法比较，在视觉效果、峰值信噪比、算法运行速度等方面均获得了更好的结果.

关键词低秩矩阵；图像分解；稀疏表示；字典学习；超分辨率

图像的分辨率是指1幅图像中所包含的细节信息，图像的分辨率越高，则图像拥有的细节就越多.提高图像分辨率的2个途径分别是改善硬件设备和超分辨率重建.但是通过改善硬件的方式来提升图像的分辨率存在分辨率提高有限、成本高、技术难度大、易受环境影响等问题，因此可以通过图像的超分辨率(super-resolution,SR)重建技术在成本相对较低的条件下获得更高分辨率的图像.图像的超分辨率重建技术[1-3]是指由1帧或多帧低分辨率图像经过图像处理算法来重建1帧高分辨率图像的技术，它不改变成像系统的硬件.该技术可以改进图像的视觉效果，推动图像复原技术的进一步发展，而且在军事侦察、遥感监测、交通监控、医学诊断等领域有着广泛的应用.

目前的超分辨率重建算法主要有基于重构和基于学习两大类.在传统的超分辨重建算法中，频域法和空域法是最主要的算法.其中，频域法最早是由Tsai和Huang[4]提出的.频域法主要是基于变换的移位特性，通过在频域内消除频谱混叠而达到提升重建图像的分辨率.Chang等人[5]首先提出基于邻域嵌入(neighborembedding,NE)的图像超分辨率重建方法.该方法的主要思想是：假设对应的高、低分辨率图像块在特征空间具有相似的局部流形结构，为高、低分辨率图像块构建了一种对应关系.Ni等人[6]首先提出基于支持向量机(supportvectormachine，SVM)的超分辨重建方法.该方法的原理是：通过加入一些约束条件，将半正定规划问题转化为二次规划，从而来求解半正定规划的Kernel学习问题.

基于字典学习的重建算法受到了广大研究者的关注，其重建效果也较理想.Freeman等人[7]提出的基于例子的重构算法，该算法最先在重构算法中利用图像块间的约束，通过Markov网络建立高、低分辨率图像块间的对应关系，但是算法耗时较大.Yang等人[8]在超分辨率重建算法中引入了稀疏表示的思想，利用高、低分辨率图像块之间在特定的稀疏基下有相同的稀疏表示，该算法有效提高了算法的运行速度和图像的重构质量.后来他们又提出了一种单幅图像的超分辨率重建算法[9].Glasner等人[10]、Kwon等人[11]对单幅图像的超分辨率重建也做了一些研究.

近年来，低秩矩阵恢复(low-rankmatrixrecovery，LRMR)[12]将向量样例的稀疏表示推广到矩阵的低秩模型，这是继压缩感知(compressivesensing，CS)之后的又一种重要的数据获取和表示方式.LRMR首先将数据矩阵表示为低秩矩阵与稀疏矩阵之和，再通过求解核范数优化问题来恢复低秩矩阵.

图像可以看成2维矩阵，因此可以用低秩矩阵恢复算法对图像进行低秩分解.借鉴Yang提出的字典学习方法，通过对图像先进行低秩分解再进行基于字典学习的超分辨率重建.实验结果表明本文提出的方法不仅可以有效地提升图像的重建质量，还能减少重建算法的运行时间.

1基于低秩矩阵恢复理论的图像分解

1.1低秩矩阵恢复理论

所谓低秩矩阵的低秩性是指矩阵的秩相对于矩阵的行数或列数而言很小.经典的低秩矩阵恢复模型是将矩阵D分解为1个低秩矩阵A和1个稀疏矩阵E，其优化问题如下[12]：

(1)

(2)

1.2图像的低秩分解

设待处理的图像为X，根据低秩矩阵恢复原理可将图像X分解成低秩部分Xlr和稀疏部分Xsp，其数学表达式如下：

(3)

式(3)是一个凸优化问题，可通过增广拉格朗日乘子法[12]进行求解，构造拉格朗日函数如下:

Y,X-Xlr-Xsp

(4)

由于图像的低秩部分保留了原图的大部分信息，可只对图像的低秩部分进行基于字典学习的超分辨率重建，以减少一定的重建时间，提升整体的算法速度.

2基于字典学习的超分辨率重建

设x是高分辨率图像X的一个图像块，其对应的低分辨率图像块y可由如下的降质模型得到[5]：

(5)

其中，S表示下采样处理，H表示模糊处理.

存在由一组高分辨率图像样本训练得到的过完备字典Dh，在Dh下，x有唯一的最稀疏表示α[14]，其式子如下：

(6)

(7)

其中,L=SH，表示从高分辨率图像块到低分辨率图像块的1个映射矩阵，则低分辨率的字典为Dl=LDh.这说明高、低分辨率图像块在对应的过完备字典下有着相同的稀疏表示.因此，可以先求出低分辨率图像块y在低分辨率字典Dl下的最稀疏表示α，然后利用x=Dhα重建出高分辨率图像块x.

但是式(6)是1个NP-hard问题，最稀疏表示α难以求得.Donoho已经证明，只要α足够稀疏，就可以转化成L1范数最小化问题，因此式(6)可写成：

(8)

根据优化理论，对低分辨率图像块进行稀疏表示的优化过程可描述为

(9)

(10)

同样，可以将式(10)写成L1范数的形式如下：

(11)

若采用拉格朗日乘子法，式(11)可写为

(12)

3基于低秩矩阵和字典学习的重建方法

3.1图像的低秩分解和重建

若将原高分辨率图像块x进行低秩分解，得到低秩部分xlr和稀疏部分xsp，由式(3)可得x=xlr+xsp，根据图像的降质模型可得低分辨率图像块y的表达式为

(13)

记y的低秩部分为A，稀疏部分为E，则式(13)变为

(14)

其中,A=Lxlr，E=Lxsp.

根据稀疏表示的原理，将A进行稀疏表示为A=Dlα，由基于字典学习进行超分辨率重建的方法，可将原图的低秩部分xlr重建为xlr=Dhα，这样就将图像的低秩部分进行了超分辨率重建.

3.2高低分辨率字典Dh和Dl的联合训练

针对稀疏表示的过完备字典的优化算法中，由Aharon等人[15]提出的K-SVD算法是比较经典的一种算法，该算法有效地减少了冗余字典中原子的数目.字典训练的实质是如下的一个优化问题：

(15)

其中，Y表示训练样本矩阵，D表示过完备字典，A=[α1,α2,…,αk]表示稀疏矩阵，k表示稀疏度.若设Xh=[x1,x2,…,xN]是采样后的高分辨率图形块，Yl=[y1,y2,…,yM]是对应的低分辨率图像块，则采样后的训练图像块对记为I=[Xh,Yl].高分辨率和低分辨率图像块空间各自的稀疏编码问题如下[16-20]：

(16)

(17)

式(16)和式(17)可合写成如下优化问题[16-20]：

(18)

其中，

(19)

其中,N和M分别是高分辨率和低分辨率图像块的维数.通过此优化问题可以保证高、低分辨率图像的稀疏表示具有相同的编码系数.这种联合字典学习的方法可以通过训练单一字典同时达到训练2个字典的目的.相比较于固定基的字典，通过样本训练学习得到的字典具有更强的自适应能力，信号在学习字典下的表示也更为精确.

综上，最终算法如下:

1) 低秩分解.将低分辨率图像y用EALM方法分解成低秩部分A和稀疏部分E.

3) 字典训练.用K-SVD方法联合训练得到高分辨率字典Dh和低分辨率字典Dl.

下面我们用框图对文献[8]算法和最终算法进行对比，文献[8]算法框图和本文算法框图分别如图1、图2所示：

Fig. 1　The diagram of the algorithm of Ref [8].图1　文献[8]算法框图

Fig. 2　The diagram of our algorithm.图2　本文算法框图

对比上述2个框图可知，本文算法对输入低分辨率图片的低秩部分进行了基于字典学习的超分率重建，而其稀疏部分经过Bicubic插值重建后没有继续进行学习重建，从而减少了原图中噪声等因素对学习重建过程的影响，提升了最终重建图的质量.算法的核心是先将图像进行低秩分解，得到低秩和稀疏2个部分，然后采用不同的方法对不同的图像信息进行超分辨率重建，最后再合成完整的重建图像.

4实验结果与分析

实验在CPU为双核3.00GHz、内存为2.00GB的计算机下运行，使用MATLABR2012b平台编程实现算法.设定训练字典的长度为1024，K-SVD迭代次数为40，放大倍率为3.低分辨率样本的特征提取方法则使用文献[8]的算法中的第一、第二阶梯度.实验将Bicubic作为基准插值法，采用Flowers，Lena，Zebra，Monarch，Baboon，Pepper图像进行实验，本文展示了Flowers，Lena，Zebra图像的重构结果，如图3～5所示；选取了Lena图的细节部分进行放大对比，如图6所示；计算了各重构算法的PSNR和SSIM值，结果如表1所示；计算并对比了算法的运行时间，结果如表2所示；为了进一步验证算法的有效性和鲁棒性，本文设置了加噪实验，对Flowers图加入均值为零的高斯白噪声，方差σ在0.1～1.0范围内变化，实验所得曲线如图7所示.

Fig. 3　Comparison of Flowers super-resolution images.图3　Flowers图各算法重构结果比较

Fig. 4　Comparison of Lena super-resolution images.图4　Lena图各算法重构结果比较

Fig. 5　Comparison of Zebra super-resolution images.图5　Zebra图各算法重构结果比较

Fig. 6　Comparison of the details of Lena images.图6　Lena图各算法重构细节结果比较

通过图3～5的对比分析，本文算法重构得到的图像的视觉效果更加优良.从图6的结果对比分析，本文算法重建的图像细节更为清晰，也更加接近原始高分辨率图像.

表1将本文算法与各重构算法在PSNR与SSIM的数值上进行了横向对比，从数值上看本文的算法确实优于其他算法.而本文主要是在文献[8]字典学习算法的基础上进行改进的，因此将本文算法与文献[8]算法在算法的运行时间上进行纵向对比，实验结果如表2所示.

通过表2的结果分析可知，由于只有图像的低秩部分参与字典学习重建，因此算法在运行时间上比文献[8]的算法有所减少，在对批量图像进行超分辨率重建时将更显优势.

Table 1　The PSNR&SSIM of Super-Resolution Images

Table 2　Running Time of Algorithm

图7横轴表示高斯噪声方差，纵轴表示各算法重建图像(Flowers图)的PSNR值.

Fig. 7　The PSNR of reconstructed Flowers images with different σ.图7　不同噪声环境下的各算法重建图像(Flowers图)的PSNR对比

如图7所示，在不同噪声环境下本文算法明显优于其他算法，而且随着高斯噪声方差的增大，本文算法的优越性依然保持明显；而文献[8]的算法和Bicubic算法的结果则十分接近，将体现不出其明显的优势.由此可知,文献[8]的算法在噪声环境下的重建效果不太理想，噪声等因素将影响其重构图像的质量，从而进一步证明了本文算法的有效性与可行性.

5结论

将低秩矩阵和字典学习结合在一起，形成一种新的超分辨率重建算法.算法只针对图像的低秩部分进行重建，稀疏部分则不参与字典学习重建.实验结果表明该算法有效地降低了重建时间，在重建图像的质量上也有所提升.通过大量实验论证，在噪声环境下该算法仍具有优越性，同时也表明该算法具有良好的有效性和鲁棒性.下一步将对图像的稀疏部分进行深入探究，图像的稀疏部分对超分辨率重建效果的影响将是下一步的研究重点.

参考文献

[1]TianY,YapK.Jointimageregistrationandsuper-resolutionfromlow-resolutionimageswithzoomingmotion[J].IEEETransonCircuitsandSystemsforVideoTechnology, 2013, 23(7): 1224-1234

[2]YangMin-Chun,WangYu-ChiangFrank.Aself-learningapproachtosingleimagesuper-resolution[J].IEEETransonMultimedia, 2013, 15(3): 498-508

[3]EladM,AharonM.Imagedenoisingviasparseandredundantrepresentationsoverlearneddictionaries[J].IEEETransonImageProcessing, 2006, 15(12): 3736-3745

[4]TsaiRY,HuangTS.Multiframeimagerestorationandregistration[J].AdvancesinComputerVisionandImageProcessing, 1984, 1: 317-339

[5]ChangHong,YeungDit-Yan,XiongYimin.Super-resolutionthroughneighborembedding[C] //Procofthe17thIEEEConfonComputerVisionandPatternRecognition.Piscataway,NJ:IEEE, 2004: 275-282

[6]NiKS,KumarS,VasconcelosN,etal.Singleimagesuper-resolutionbasedonsupportvectorregression[C] //Procofthe31stIEEEIntConfonAcoustics,SpeechandSignalProcessing.Piscataway,NJ:IEEE, 2006: 601-604

[7]FreemanWT,PasztorEC,CarmichaelOT.Example-basedsuper-resolution[J].IEEEComputerGraphicsandApplication,2002, 22(2): 56-65

[8]YangJ,WangZ.Coupleddictionarytrainingforimagesuper-resolution[J].IEEETransonImageProcessing, 2012, 21(8): 3467-3475

[9]YangJ,LinZ,CohenS.Fastimagesuper-resolutionbasedonin-placeexampleregression[C] //Procofthe26thIEEEConfonComputerVisionandPatternRecognition.Piscataway,NJ:IEEE, 2013: 1059-1064

[10]GlasnerD,BagonS,IraniM.Super-resolutionfromasingleimage[C] //Procofthe12thIEEEIntConfonComputerVision.Piscataway,NJ:IEEE, 2009: 349-356

[11]KimK,KwonY.Single-imagesuper-resolutionusingsparseregressionandnaturalimageprior[J].IEEETransonPatternAnalysisandMachineIntelligence, 2010, 32(6): 1127-1133

[12]LinZhouchen,ChenMinming,MaYi,etal.TheaugmentedLagrangemultipliermethodforexactrecoveryofcorruptedlow-rankmatrices[EB/OL]. [2014-07-01].http://arxiv.org/pdf/1009.5055

[13]WrightJ,GaneshA,RaoS,etal.Robustprincipalcomponentanalysis:Exactrecoveryofcorruptedlow-rankmatricesviaconvexoptimization[C] //Procofthe24thAnnualConfonNeuralInformationProcesingSystems.Vancouver,BritishColumbia,Canada:NIPS, 2009: 2080-2088

[14]ZhaoRuizhen,LiuXiaoyu,ChingChung,etal.Waveletdenoisingviasparserepresentation[J].ScienceChina:SeriesF, 2009, 52(8): 1371-1377

[15]AharonM,EladM,BrucksteinA.K-SVD:Analgorithmfordesigningovercompletedictionariesforsparserepresentation[J].IEEETransonSignalProcessing, 2006, 54(11): 4311-4322

[16]GaoXinbo,ZhangKaibing,TaoDacheng,etal.Jointlearningforsingle-imagesuper-resolutionviaacoupledconstraint[J].IEEETransonImageProcessing, 2012, 21(2): 469-480

[17]LiuYL,WangJ,ChenX,etal.Arobustandfastnon-localmeansalgorithmforimagedenoising.[J].JournalofComputerScienceandTechnology, 2008, 23(2): 270-279

[18]YeShuangqing,YangXiaomei.Superresolutionimagereconstructionbasedonwavelettransformandnon-localmeans[J].JournalofComputerApplications, 2014, 34(4): 1182-1186 (inChinese)(叶双清, 杨晓梅. 基于小波变换和非局部平均的超分辨率图像重建[J]. 计算机应用, 2014, 34(4): 1182-1186)

[19]DouNuo,ZhaoRuizhen,HuShaohai,etal.Noisyimagesuper-resolutionreconstructionbasedonsparserepresentation[J].JournalofComputerResearchandDevelopment, 2015, 52(4): 943-951 (inChinese)(窦诺, 赵瑞珍, 胡绍海, 等. 基于稀疏表示的含噪图像超分辨重建方法[J]. 计算机研究与发展, 2015, 52(4): 943-951)

[20]ShiJun,WangXiaohua.Imagesuper-resolutionreconstructionbasedonimprovedK-SVDdictionary-learning[J].ActaElectronicaSinica, 2013, 41(5): 998-999 (inChinese)(史郡, 王晓华. 基于改进K-SVD字典学习的超分辨率重构图像[J].电子学报, 2013, 41(5): 998-999)

YangShuaifeng,bornin1989.MasterfromBeijingJiaotongUniversity.Hismainresearchinterestsincludeimagesuper-resolution,compressivesensingandpatternrecognition.

ZhaoRuizhen,bornin1975.PhD,professorandPhDsupervisorinBeijingJiaotongUniversity.Hismainresearchinterestsincludeimagedenoising,restorationandreconstructionalgorithms,imageclassificationandrecognition,compressivesensingandsparserepresentation,patternrecognition.

ImageSuper-ResolutionReconstructionBasedonLow-RankMatrixandDictionaryLearning

YangShuaifengandZhaoRuizhen

(Institute of Information Science, Beijing Jiaotong University, Beijing 100044) (Key Laboratory of Advanced Information Science and Network Technology of Beijing (Beijing Jiaotong University), Beijing 100044)

AbstractSuper-resolution (SR) reconstruction based on sparse representation and dictionary learning algorithm does not decompose the image at first. It reconstructs the image with its whole information based on sparse representation and dictionary learning algorithm directly. It is said that images can be decomposed into low-rank part and sparse part by low-rank matrix theory. Using different methods according to the characteristics of the different parts can be more effective to use the characteristics of the image. This paper proposes a super-resolution reconstruction method based on low-rank matrix and dictionary learning. The method obtains the low-rank part and sparse part of the original image via low-rank decomposition at first. The low-rank part retains most of the information of the image. The algorithm reconstructs the image based on dictionary learning method only for the low-rank part. The sparse part of the image reconstruction is not involved in the learning method, instead its reconstruction is based on linear interpolation method directly. Experimental results show that it can not only enhance the quality of the image reconstruction but also reduce the time of the reconstruction. Compared with existing algorithms, our method obtains better results in the visual effects, the peak signal to noise ratio and the running speed of the algorithm.

Key wordslow-rank matrix; image decomposition; sparse representation; dictionary learning; super-resolution

收稿日期：2014-08-04；修回日期：2015-09-21

基金项目：国家“八六三”高技术研究发展计划基金项目(2014AA015202)；国家自然科学基金项目(61073079，61272028)；中央高校基本科研业务费专项基金项目(2013JBZ003)；高等学校博士学科点专项科研基金项目(20120009110008)；教育部新世纪优秀人才支持计划基金项目(NCET-12-0768)；教育部创新团队发展计划基金项目(IRT201206)

通信作者：赵瑞珍(rzhzhao@bjtu.edu.cn)

中图法分类号TP391.41

ThisworkwassupportedbytheNationalHighTechnologyResearchandDevelopmentProgramofChina(863Program) (2014AA015202),theNationalNaturalScienceFoundationofChina(61073079，61272028),theFundamentalResearchFundsfortheCentralUniversities(2013JBZ003),theSpecializedResearchFundfortheDoctoralProgramofHigherEducationofChina(20120009110008),theProgramforNewCenturyExcellentTalentsinUniversityofMinistryofEducationofChina(NCET-12-0768),andtheProgramforInnovativeResearchTeaminUniversityofMinistryofEducationofChina(IRT201206).