稀疏表示图像超分辨率重建的自适应方法

夏荷艳,曹飞龙

(中国计量大学 理学院,浙江 杭州 310018)

现实生活中的大多数图像是由各种带有传感器的照相设备获取的,但是由于传感器本身的性能限制、环境影响以及拍摄手法等原因,图像获取过程中通常会产生信息损失,导致实际所获的图像的分辨率低于原始场景.也就是说,我们用硬件设备往往是从高分辨率(High-Resolution,HR)场景中获取低分辨率(Low-Resolution,LR)图像.并且由于HR图像相对于LR图像能够提供更丰富的细节,故许多领域对图像的分辨率都有一定要求.于是,如何从LR图像尽可能还原出HR图像就是一个值得研究的课题.20世纪六十年代,首次出现了图像超分辨率重建的概念[1],经过几十年的发展,图像超分辨率重建技术已取得了丰硕的成果,并在医学成像、卫星成像、机器视觉等领域有着广泛的应用.目前,图像超分辨率重建从算法上一般可以分为基于插值[2-4]、基于重建[5-9]和基于学习[10-19]等三个类别,其中21世纪初出现的基于学习的方法使图像超分辨率重建技术有了里程碑式的突破.该类方法的核心思想是从外部图像样本库中学习LR图像和HR图像之间的对应关系,再利用所学的对应关系估计当前LR图像的HR版本.马尔可夫网络(Markov Network)[10]和近邻嵌入(Neighbor Embedding)[11]是其中有效的学习方式.前者利用马尔可夫网络学习对应关系,缺点是计算成本大；后者利用LR图像与图像样本库中的k个近邻的关系,用这些近邻的HR版本构造所求的HR图像，该方法虽然降低了计算成本,却在近邻个数的选取上存在争议.

信号稀疏表示理论已引起巨大关注.文献[16]将稀疏表示的思想引入到图像超分辨率重建中,取得了较好的效果,从而进一步推动了超分辨率重建的发展.然而,该方法模型中的参数是人为设定的,并不能根据图像本身性质自适应地设置参数.虽然作者提出了在噪声环境下可以根据稀疏系数的分布先验和噪声水平计算参数,但在实际应用中噪声水平是未知的,所以这并不是一种完全自适应且实际可行的方法.图像超分辨率重建通常采用局部重建的方式,将输入的LR图像分成数万个补丁分别重建,再将重建后的补丁整合成最终的HR图像,这些补丁在重建模型中的最佳参数都不尽相同.因此,虽然模型中体现的只是一个参数的选择,实际上相当于上万个参数的选择,而人为设定这些参数导致上万个参数都使用相同的值.所以,如果可以根据每个补丁的情况自适应地确定参数,必然会提升图像重建效果.本文针对基于稀疏表示的超分辨率模型提出一种参数自适应方法,实验表明我们的方法是有效的,并且在噪声环境下仍具有鲁棒性.

本文内容组织如下.在第一节中,我们会介绍基于稀疏表示的图像超分辨率重建算法模型.第二节中给出我们的参数自适应的方法.在第三节中,我们用实验来验证所提方法的有效性.最后,在第四节中,我们会对本文做简要的总结.

1 预备知识

在这一节中,我们介绍基于稀疏表示的图像超分辨率重建的算法思想和经典模型以及我们需要解决的问题.

1.1 图像超分辨率重建问题

通常,我们认为LR图像是HR图像经下采样和模糊作用后产生的,即

Y=SHX+n.

(1)

式(1)中X是HR图像,S和H分别是下采样算子和模糊算子,Y是低分辨率图像,n是环境噪声.超分辨率重建的任务就是解决已知Y求X的问题.现在最常用的方式是找到HR图像和LR图像之间普遍存在的对应关系来达到重建目的.由于方程(1)是一个病态问题,并没有精确解,所以,我们通常用重构所得图像与原始HR图像之间的相似性来评判重建效果的优劣.

1.2 基于稀疏表示的超分辨率重建

信号稀疏理论和实验表明,高分辨率信号之间的线性关系可以从它们的低维投影中精确地恢复.受此启发,在文献[16]中,Yang等突破性地构建了基于稀疏表示的超分辨率重建模型.

Yang等的思想是:构造一个超完备字典D∈Rl×k,其中k远大于l,则图像f可以由该字典中的有限个原子线性组合表示,即所谓的稀疏表示：

f=Dα0.

(2)

式(2)中表示系数向量α0是稀疏的.进一步,如果通过学习,使LR图像和HR图像在其各自字典下的稀疏系数向量是相同的,那么LR图像和HR图像之间的对应关系也就由此建立.换句话说,只要求出LR图像在其字典下的的系数,HR图像自然就可以通过这个系数求得.

LR图像补丁在其字典下的系数求解模型是

i=1,2,…,m.

(3)

式(3)中Dl是低分辨率字典,yi是LR图像Y中第i个补丁的向量形式,补丁总数是m,λ是正则化参数.

由于求解(3)式是NP-hard问题,所以,文献[20]指出,只要系数αi足够稀疏,(3)式中的l0范数可以用l1范数代替.因此,(3)式等价于:

i=1,2，…,m.

(4)

(5)

其中Dh是高分辨率字典。

高分辨率字典Dh和低分辨率字典Dl的是利用一个具有数万张自然图像补丁的样本库训练而成的，文献[16]和[21]已对字典的联合训练做了详细的说明.

将所有m个HR图像补丁重建完毕后,将这些补丁按位置顺序叠加再对重叠部分的像素值做平均处理后,就可以得到目标HR图像X0.文献[16]又用全局约束进一步提高重建效果：

2 参数自适应方法

在这一节中,我们先给出正则化参数λ自适应的算法,然后对超分辨率重建的算法步骤做进一步说明.

2.1 参数自适应算法

由上一节可知,稀疏系数向量α的值是图像重建过程中的关键,它可由(4)式求得.然而,式中稀疏正则项参数λ是根据经验人为取定的,对于每一个补丁yi的重建,λ都是相同的值.虽然人为确定的只是一个参数的值,但是实际影响的是每个补丁的重建,所以我们根据每个补丁的自身性质，自适应地计算每个补丁的λ值.

文献[22]根据图像复原中原始图像x本身及其退化过程中的性质,给出了一种正则化参数的计算方法,我们将这种方法与稀疏表示模型相联系,给出稀疏正则项的参数自适应方法.

根据文献[22],正则化参数λ可以由上一步迭代结果中的目标图像xt确定,受此启发,我们将(4)式改写为:

i=1,2,…,m.

(7)

i=1,2,…,m.

(8)

或

i=1,2,…,m.

(9)

(4)式及(7)～(9)式通常被称为Lasso问题,有很多方法可以求解,我们采用的是文献[23]所提的特征符号搜索算法.

为了叙述方便,我们将(9)式重记为

i=1,2,…,m.

(10)

与文献[22]相似,我们设λ(αi)是关于J(λ(αi),αi)的线性函数：

λ(αi)=γJ(λ(αi),αi).

(11)

根据文献[22]的建议,我们选择γ的值为

由(10)式和(11)式可得：

(12)

2.2 字典选取

字典的选取是图像超分辨率重建中的重要步骤,对重建效果有很重要的影响.由于我们的创新点并不在于字典训练,所以实验过程中采用的是与文献[16]相同的训练方式,即从包含近百张自然图像的数据库中获得十万张高分辨图像补丁及相同数量相同内容的低分辨率图像补丁,再用文献[21]提出的字典联合训练方法得到具有1 024个原子的高分辨率字典Dh和低分辨率字典Dl.

2.3 图像超分辨率重建算法

我们将参数自适应的算法纳入基于稀疏表示的图像超分辨率重建的经典算法框架中,实现参数自适应的图像超分辨率重建,下面给出算法流程:

步骤1: 输入训练好的高分辨率字典Dh与低分辨率字典Dl,输入LR图像Y并将它分成m个补丁并将补丁向量化;

步骤2: 对于每个补丁,求解(4)式得到初始化系数α0;

步骤3: 通过(12)式计算自适应参数λ;

步骤4: 求解(9)式得到稀疏系数向量α*;

步骤5: 通过(5)式得到HR图像补丁;

步骤6: 将向量形式的补丁恢复成矩阵，并按原位置组合成HR图像X0;

步骤7: 用(6)式作全局优化,得到X*;

步骤8: 输出HR图像X*.

3 实验结果与分析

为了检验所提出的参数自适应方法的有效性,我们选取一些图像超分辨率重建研究领域常用的图片,在不同尺寸扩大因子和噪声环境下进行了测试，并将结果与双三次线性插值(Bicubic)[2]、近邻嵌入(NE)[11]以及参数λ分别为0.1,0.15和0.2时的稀疏表示(ScSr)[16]进行对比.

3.1 实验实施细节

实验中所用的低分辨率图像是尺寸均为128×128的彩色图像,所取的补丁尺寸为5×5,相互之间重叠4个像素.我们将图像从RGB空间转到YCbCr空间进行重建实验.由于人眼对光照比较敏感,所以,我们的算法只用于Y通道,Cb和Cr通道均直接用双三次线性插值进行重建.为了突显图像特征,我们将LR图像补丁向量化后减去均值,再用与文献[16]相同的方式提取梯度特征,重建后再加上均值.所有实验均在Intel(R) Core(TM) i3-4150 CPU@3.50GHz环境下使用MATLAB2010b进行.

我们用三个图像超分辨率重建领域内常用的指标来评价实验效果，这三个指标分别是均方根误差、峰值信噪比和结构相似度,对于两张图像x和y,它们的三项评价指标计算方式如下：

均方根误差

(13)

峰值信噪比

PSNR(x,y)=20lg(P/RMSE).

(14)

结构相似度

(15)

其中h和w分别是图像横向和纵向像素个数,P是像素的最大取值,我们所用的是8位彩色图像,P=255.ux和uy是图像窗口的亮度估计,σx和σy是对比度估计.k1和k2小于1的常数.

对于均方根误差,其值越小表示重建效果越好,而峰值信噪比和结构相似度都是值越大表示重建图像与原始图像越接近.

3.2 实验结果

为了形象化参数的自适应选择,我们在图1中显示了图像Butterfly中随机50个补丁的正则化参数在人工选择和自适应情况下数值的对比.由图1可见,不同于人工选择使所有补丁使用单一且非最佳参数值的情况,参数自适应算法使每个补丁都根据自身性质有了最适合自己的值.

图1 参数值的可视化Figure 1 The visualization of parameters

我们用8张测试图像在不同算法下进行了扩大因子为2时的重建实验,图2显示的是图像Butterfly和Lenna在不同方法下的重建效果对比.

由图2可见,我们的方法在部分细节显示上更为清晰.表1为8张图像在不同方法下的数值结果对比,ScSr1,ScSr2,ScSr3分别表示正则化参数λ分别为0.1，0.15和0.2时的稀疏表示方法.三项评价指标均表明,我们的方法在所有测试图像上的重建效果均优于其它方法.

同时,我们也进行了将图像尺寸扩大三倍的实验,表2显示的是尺寸扩大因子为3时Flower和Raccoon两张图像在各种方法下的重建数值结果对比.三项指标表明,在扩大三倍的情况下,我们的方法仍然优于其它方法.我们还在不同噪声环境下进行了对比实验,表3展示的是在均方差分别为0,2,4时的高斯噪声环境下的实验对比结果,表4展示的是密度分别为0,0.001和0.002时椒盐噪声下的实验对比结果.实验所用图片均是Yellow flower.由表中实验数据可知,我们的方法在不同种类不同水平噪声环境下仍然适用.

图2 扩大因子为2时的重建效果对比Figure 2 The comparison of reconstruction when the magnification factor is 2

方法评价指标LennaBikeParrotHatPlantButterflyLeavePepperBicubicRMSE5.845317.58859.74118.50867.297216.013317.56929.8488PNSR32.794023.226228.358629.533730.867724.041223.235728.2632SSIM0.89150.72790.88390.82770.86550.82690.82010.8768NERMSE12.108321.070012.12839.81648.624618.991921.598111.6908PNSR26.469121.657526.454828.291829.416022.559421.442526.7739SSIM0.71800.591850.80970.75590.75360.73780.71540.7564ScSr1RMSE4.517515.75748.89117.65526.735614.231715.89629.2102PNSR35.032924.181129.151730.451631.563325.075924.105028.8454SSIM0.91570.78580.89700.85460.87110.86880.86030.8865ScSr2RMSE4.514815.75228.88587.64996.735514.215015.90279.2136PNSR35.038024.184029.156930.457731.563425.075924.101428.8423SSIM0.91580.78590.89710.85470.87110.86890.86030.8863ScSr3RMSE4.515415.74688.88327.64876.736514.206715.90509.2155PNSR35.036824.186929.159430.459131.562125.080924.100128.8404SSIM0.91590.78580.89710.85470.87110.86890.86030.8862本文RMSE4.508415.73228.87557.64556.733214.196815.89339.2068PNSR35.050424.195029.167030.462731.566325.087024.106528.8486SSIM0.91600.78590.89730.85470.87140.86900.86040.8869

表2 扩大因子为3时重建数值对比

表3 不同水平高斯噪声环境下重建效果对比

表4 不同水平椒盐噪声环境下的重建效果对比

此外,我们还对人工设定参数的方法和本文提出的参数自适应方法在运行时间上进行了比较,由表5可见,我们的方法在时间上也具优越性.

表5 运行时间对比

4 总结与展望

图像超分辨率重加在许多领域均有重要的应用.本文对基于稀疏表示的图像超分辨率算法进行了改进,提出了正则化参数自适应的算法,使其模型中的参数可以自适应地确定.实验结果表明，我们的方法在不同扩大因子以及不同噪声环境下均显示出了相对于人为选择参数的优越性,重构出的图像在细节上更加清晰.在未来的研究中,期望能进一步完善参数的自适应计算.

[1] HARRIS J L. Diffraction and resolving power[J].JournaloftheOpticalSocietyofAmerica, 1964, 54:931-933.

[2] HOU H, ANDREWS H. Cubic splines for image interpolation and digital filtering[J].IEEETransactionsonAcousticsSpeech&SignalProcessing, 1979, 26(6):508-517.

[3] ALLEBACH J, WONG P W. Edge-directed interpolation[C]//ProceedingsofIEEEInternationalConferenceonImageProcessing.Lausanne: IEEE, 1996:707-710.

[4] UNSER M, ALDROUBI A, EDEN M. Fast spline transforms for continuous image represen tation and interpolation[J].IEEETransactionsonPatternAnalysis&MachineIn-telligence, 1991, 13(3):277-285.

[5] TAI Y W, LIU S C, BROWN M S, et al. Super resolution using edge prior and single image detail synthesis[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. San Francisco: IEEE, 2010:2400-2407.

[6] SUN J, SUN J, XU Z B, et al. Image super-resolution using gradient profile prior[C] //ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. Anchorage: IEEE, 2008:1-8.

[7] MARQUINA A, OSHER S J. Image super-resolution by TV-regularization and bregman iteration[J].JournalofScientificComputing, 2008, 37(3):367-382.

[8] LANE R O. Non-parametric bayesian super-resolution[J].IETRadarSonarNavigation，2010，4(4):639-648.

[9] FARSIU S, ROBINSON M D, ELAD M, et al. Fast and robust multiframe super resolution[J].IEEETransactionsonImageProcessing, 2004, 13(10):1327-1344.

[10] FREEMAN W T, JONES T R, PASZTOR E C. Example-based super-resolution[J].IEEEComputerGraphics&Applications, 2002, 22(2):56-65.

[11] CHANG H, YEUNG D Y, XIONG Y M. Super-resolution through neighbor embedding[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. Washington, D.C.: IEEE, 2004: 275-282.

[12] BAKER S, KANADE T. Limits on super-resolution and how to break them[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2002, 24(9):1167-1183.

[13] TIMOFTE R, SMET V D, GOOL L V. A+: adjusted anchored neighborhood regression for fast super-resolution[C]//ProceedingsofAsianConferenceonComputerVision. Singapore: Springer, 2014:111-126.

[14] HUANG J B, SINGH A, AHUJA N. Single image super-resolution from transformed self-exemplars[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. Boston: IEEE, 2015:5197-5206.

[15] ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse representations[C]//Proceedingsofthe7thInternationalConferenceonCurvesandSurfaces. Avignon: ACM, 2010:711-730.

[16] YANG J C, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J].IEEETransactionsonImageProcessing, 2010, 19(11):2861-2873.

[17] DONG W S, ZHANG L, SHI G M, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J].IEEETransactiononImageProcessing, 2011, 20(7):1838-1857.

[18] ZHANG K B, TAO D C, GAO X B, et al. Learning multiple linear mappings for efficient single image super-resolution[J].IEEETransactionsonImageProcessing, 2015, 24(3):846-861.

[19] DONG C, CHEN C L, HE K M, et al. Image super-resolution using deep convolutional networks[J].IEEETransactionsonPatternAnalysis&MachineIntelligence, 2016, 38(2):295-307.

[20] DONOHO D L. For most large underdetermined systems of linear equations the minimal L(1)norm solution is also the sparsest solution[J].CommunicationsonPure&A-ppliedMathematics, 2006, 59(6):797-829.

[21] YANG J C, WANG Z W, LIN Z, et al. Coupled dictionary training for image super-resolution[J].IEEETransactionsonImageProcessing, 2012, 21(8):3467-3478.

[22] KANG M G, KATSAGGELO A K. General choice of the regularization functional in regularized image restoration[J].IEEETransactionsonImageProcessing, 1995, 4(5): 594-602.

[23] HONGLAK L, ALEXIS B, RAJAT R, et al. Efficient sparse coding algorithms[C]//Proceedingsofthe19thInternationalConferenceonNeuralInformationProcessingSystems. Canada: NIPS, 2006:801-808.