基于针对性字典的压缩图像稀疏超分辨率重建

何静波，何小海，陈洪刚，张晓琳，黄建秋

(四川大学　电子信息学院，四川　成都 610065)



基于针对性字典的压缩图像稀疏超分辨率重建

何静波，何小海，陈洪刚，张晓琳，黄建秋

(四川大学电子信息学院，四川成都 610065)

摘要：为了有效地重建压缩低分辨率图像，提出一种基于针对性字典的压缩图像稀疏超分辨率重建算法。首先，根据压缩低分辨率图像的形成特点，对训练库图像进行针对性的下采样压缩编码处理，进行超完备字典的训练；然后，通过训练所得的针对性字典对压缩低分辨率图像进行稀疏表示的超分辨率重建。为进一步恢复图像的高频信息，进行了针对性残差字典训练，并对图像进行高频信息补偿，得到稀疏重建后的图像主观效果更加突出，客观评价参数也得到较大提升。实验结果表明，该算法对压缩图像的超分辨率重建更具针对性，具有良好鲁棒性和高效性。

关键词：压缩图像；超分辨率重建；字典训练；稀疏表示

近年来，将超分辨率重建技术引入图像压缩编码以得到更优压缩效果的研究成为热点。尤其在视频方向发展迅速，这是由于视频序列中相邻帧存在较强相关性以及较丰富的冗余信息。文献[1-4]均采用了基于视频压缩编码的下采样超分辨率重建框架，其核心在于部分关键帧信息按原始尺寸直接编码传输，其他非关键帧进行下采样之后再编码传输，其中文献[1]采用了基于运动搜索运动补偿的超分辨率重建算法，文献[2-3]采用了基于样例的超分辨率重建算法，文献[4]则采用了基于块的超分辨率重建算法。相较之下，在单幅图像方面，融合超分辨率重建技术的图像压缩由于单幅图像无法提供足够的先验信息，使得重建图像的主观视觉效果无法令人满意。

与此同时，在单幅图像的超分辨率重建方面，基于稀疏表示的超分辨率重建算法研究趋于成熟，其重建效果相较传统图像的超分辨率算法优势明显，重建图像主观视觉效果良好。稀疏表示理论来源于压缩感知，该理论指出：一幅图像能够在非常苛刻的条件下由它的一组稀疏表示系数在超完备字典上得到精确重建。文献[5-6]首次把图像稀疏表示理论引入到图像的超分辨率重建之中，提出了一种基于超完备字典的图像稀疏表示超分辨率重建算法。文献[7]提出一种新颖的SCDL半耦合字典学习算法，该算法松弛了高低分辨率图像相对应超完备字典具有相同稀疏表示系数这一假设条件，提出两者之间存在一种稳定的映射关系。文献[8]采用了一种自学习的超分辨率重建框架，将支持向量机与稀疏表示相结合使用。文献[9]提出了一种使用beta过程实现联合字典的估计，对其中的稀疏系数只限定其支持集的相等关系，不限定其数值上的相等关系。文献[10]则提出一种快速的基于图像自训练的稀疏超分辨率重建算法，对输入的低分辨率图像进行自训练得到字典完成稀疏重建。由于单幅图像稀疏超分辨率重建的高效性，促进了图像压缩编码与超分辨率重建技术的融合。

目前基于稀疏表示的超分辨率重建算法中，由于超完备字典训练的局限，只适用于未经压缩编码的低分辨率图像。针对该问题，本文提出一种基于针对性字典的压缩图像稀疏超分辨率重建算法。根据压缩低分辨率图像的形成特点，对训练库图像进行针对性的下采样压缩编码处理，进行超完备字典的训练。同时，为进一步恢复图像的高频信息，进行了针对性残差字典的训练，对图像进行高频信息补偿。

1基于稀疏表示单幅图像的超分辨率重建

基于稀疏表示单幅图像的超分辨率重建核心在于得到稀疏先验，稀疏先验假设高分辨率块可以在超完备字典近似稀疏表示。基于图像稀疏表示理论，定义Dl为通过输入的低分辨率训练图像训练得到的超完备字典，低分辨率训练库图像块Yl可以由低分辨率字典Dl稀疏线性表示

Yl=Dlα

(1)

式中：α为稀疏表示系数，这个系数包含很少的非零分量，由于低分辨率字典是冗余的，所以稀疏表示系数并不唯一确定，于是求解稀疏系数变成下面的公式

(2)

式中：‖α‖0表示稀疏系数中非零分量的数目；ε表示非线性逼近的容差空间。用正交匹配追踪(OMP)算法来求解稀疏表示系数，根据文献[5-6]中的基本思想，高分辨率训练库图像块Yh可以用同样的稀疏表示系数，在高分辨字典上Dh得到稀疏表示

Yh=Dhα

(3)

通过高分辨率训练库图像块和稀疏表示系数可以求得高分辨率字典Dh，上述公式本质就是通过训练高分辨率图像块以得到高分辨率字典，高低分辨率字典的联合就组成了稀疏重建的先验知识(Dl，Dh)。

利用训练库图像得到先验知识(Dl，Dh)，对输入待重建的低分辨率图像块，这个稀疏先验知识将会重建出高分辨率图像块，输入待重建图像的低分辨率块Xl在低分辨率字典上Dl得到稀疏表示

Xl=Dlβ

(4)

该稀疏表示系数β可以通过下面的公式求取

(5)

此时需要重建得到的高分辨率图像块可以通过同样的稀疏表示系数在高分辨率字典上得到

Xh=Dhβ

(6)

对输入的每个待重建的低分辨率图像块，都通过上述的方式通过高分辨率字典重建得到高分辨率图像块，将这些高分辨率图像块融合得到完整的稀疏重建高分辨率图像。

然而，上述稀疏先验是对于普通低分辨率图像重建有效，对于压缩编码的低分辨率图像重建局限性较大。由于稀疏先验未针对压缩低分辨率图像的形成特点，超完备字典对压缩图像的稀疏重建无法得到高质量的重建图，限制了单幅图像的超分辨率技术与图像压缩编码的融合。为解决这一问题，本文提出一种基于针对性字典的压缩图像稀疏超分辨率重建，在超完备字典的训练过程中注重针对压缩低分辨率图像的形成特点，使得字典训练针对性大幅增强。与此同时，为进一步恢复稀疏重建图像的高频信息，进行针对性残差字典训练，对图像进行高频信息补偿。

2基于针对性字典的压缩图像稀疏超分辨率重建

2.1压缩图像的针对性字典训练算法

结合压缩低分辨率图像的形成特点，提出了针对性字典训练算法。算法核心在于改变原有超完备字典的训练方式，根据压缩低分辨率图像形成原因，对训练库图像进行针对性的下采样压缩编码处理，进行超完备字典的训练。本文为了叙述的简洁，下采样因子采用2，压缩编码采用JPEG编解码标准，可扩展到其他下采样因子、图像压缩编码标准。压缩低分辨率图像的针对性字典训练算法流程如图1所示，具体的训练过程如下。

1)对所有训练库图像统一进行下采样操作，得到下采样训练库图像；

2)对所有下采样训练库图像统一进行JPEG标准编码，然后对压缩的训练库图像使用JPEG标准进行解码，得到JPEG 解码后的下采样图像；

3)对JPEG 解码后的下采样图像进行统一的BM3D[11-14]去噪处理，去除编解码过程中产生的量化噪声，得到去除噪声后的压缩下采样训练库图像；

4)为得到更好的初始训练图像，对所有去除噪声后的压缩下采样图进行SAI插值[13]，得到超完备字典训练所需低频信息；

5)训练库原始图像与插值图像相减将会得到字典训练所需的高频信息，高、低频信息的联合训练[12]，得到重建所需的稀疏先验，即融合SAI插值的针对性高低频字典对。

2.2针对性残差字典训练算法

压缩低分辨率图像经过稀疏重建后，得到的重建图像与原始图像相比较，依然存在较多的残差信息没有得到充分的利用，为了更好利用到这些损失的高频残差信息，在使用了融合SAI插值的针对性字典稀疏重建后，本文将继续针对性的训练高、低频残差字典对，使用针对性残差字典对稀疏重建后的图像进行高频信息补偿，以恢复图像更多的高频细节信息，使得最终的稀疏重建图像主客观质量俱佳。针对性残差字典训练流程如图2，具体过程如下。

1)训练图像集进行下采样操作，得到下采样训练图像集；

2)下采样训练图像集进行JPEG标准编解码工作，得到压缩的下采样训练图像集；

3)压缩的下采样训练图像集使用BM3D算法去除编解码过程中产生的量化噪声；

4)去噪后的压缩下采样训练图像集进行SAI插值，得到稀疏重建的低频信息图像；

5)插值得到的低频信息图像通过针对性高低频字典对重建出高频信息图像；

6)高、低频重建图像相结合将得到第一次稀疏重建训练图像集；

7)原始训练图像集与第一次重建得到的图像集相减得到新的残差字典高频信息；

8)第一次重建图像将作为残差字典训练的低频信息；

9)高低频信息联合训练，得到最终的针对性残差高低频字典对。

2.3压缩图像稀疏超分辨率重建

本文重建算法主要采用文献[12]中的方法，具体的压缩图像稀疏超分辨率重建流程如图3所示。首先，对JPEG压缩低分辨率图像进行BM3D去噪，用于消除编解码过程中产生的量化噪声。其次，为了得到更好的初始重建图像，对去除噪声后的压缩图像进行SAI插值，得到稀疏重建过程中所需的低频信息图像；然后，通过针对性超完备字典对低频信息图像进行稀疏重建得到高频信息图像，再与插值得到的低频信息图像相结合即可得到第一次稀疏重建的图像。最后，为了进一步提升图像主客观质量，使用针对性残差字典对稀疏重建后的图像进行高频信息补偿，得到最终重建图像。

3实验结果

在JPEG标准编解码过程中，参数QP控制编解码图像的质量，质量因子QP的赋值从0～100，QP值越大意味着编解码得到的图像质量越高。为了验证针对性训练字典的有效性和稳定性，本文对多组质量因子QP(40，50，60，70)进行实验。

图4～图6为测试图像分别采用bicubic算法、ScSR算法[5]、Yang的算法[8]、BP-JDL算法[9]和本文算法在不同质量因子QP下的主观视觉对比效果，从这些对比图像可以明显看出bicubic算法重建效果较差，重建得到的图像比较模糊；ScSR算法重建图像视觉效果依然较为模糊，振铃现象比较严重；Yang[8]的算法重建图像相较于前两种算法，重建图像质量有了一定程度的提升，然而边缘的锯齿现象较为明显；BP-JDL算法在这4种比较算法中，重建图像的质量有着较为明显的提升，但是边缘细节重建效果不佳；而本文算法与其他算法相比较，在重建的视觉效果上均优于其他4种算法，尤其在重建图像局部细节表现上，本文算法优势较明显，这也更加突显出融合SAI插值的针对性字典训练以及针对性残差字典训练的有效性，得到压缩低分辨率图像稀疏重建的效果令人满意，促进超分辨率重建技术与图像压缩编码的融合。具体参本文对比见表1～4。

表2QP=50不同超分辨率算法与本文算法的PSNR以及SSIM比较结果

表3QP=60不同超分辨率算法与本文算法的PSNR以及SSIM比较结果

为了进一步验证本文针对性字典稀疏重建的有效性，表1～4列举了在不同质量因子下5种算法重建图像峰值信噪比以及结构相似度比较结果。从表1～4可以看出，在JPEG编解码过程中取不同质量因子QP，本文的算法与其他算法比较，PSNR以及SSIM均有较大幅度提升，实现了稀疏重建图像主客观质量评价均优于其他算法。

4结论

本文提出一种基于针对性字典的压缩图像稀疏超分辨率重建算法，算法根据压缩低分辨率图像的形成特点，对训练库图像进行针对性的下采样压缩编码处理，进行超完备字典训练，使得字典训练针对性大幅增强。同时，为进一步恢复图像的高频信息，进行了针对性残差字典的训练，对图像进行高频信息补偿，得到最终重建图像主观视觉效果更加突出，客观质量评价参数峰值信噪比(PSNR)及结构相似度(SSIM)也得到较大幅度提升。通过不同编解码质量因子QP的实验，进一步证明了本文算法的鲁棒性和高效性。

表4QP=70不同超分辨率算法与本文算法的PSNR以及SSIM比较结果

参考文献：

[1]SHEN M，XUE P，WANG C. Down-sampling based video coding using super-resolution technique[J].IEEE transactions on circuits systbem. video technoly，2011，21(6)：755-765.

[2]HUNG E M，QUEIROZ R L，BRANDI F，et al. Video super-resolution using codebooks derived from key-frames[J]. IEEE transactions on circuits system. video technoly，2012，22(9)：1321-1331.

[3]BRANDI F，QUEIROZ R，MUKHERJEE D. Super resolution of video using key frames [C]//Proc. IEEE ISCAS 2008.[S.l.]：IEEE Press，2008：321-324.

[4]GLAISTER J，CHAN C，FRANKOVICH M，et al. Hybrid video compression using selective keyframe identification and patch-based super-resolution[C]//Proc.2011 IEEE International Symposium on Multimedia 2011. [S.l.]：IEEE Press，2011：105-110.

[5]YANG J，WRIGHT J，HUANG T S，et al. Image super-resolution as sparse representation of raw image patches[C]//Proc. IEEE CVPR 2008. [S.l.]：IEEE Press，2008：1-8.

[6]YANG J，WRIGHT J，HUANG T S，et al. Image super-resolution via sparse representation [J]. IEEE transactions on image processing， 2010， 19(11)： 2861-2873.

[7]WANG S，ZHANG L，LIANG Y，et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[C]//Proc. IEEE CVPR 2012. [S.l.]：IEEE Press，2012：2216-2223.

[8]YANG M C，WANG C F. A self-learning approach to single image super-resolution[J]. IEEE transactions on multimedia， 2013， 15(3)：498-508.

[9]LI H，QI H，ZARETZKI R. Beta process joint dictionary learning for coupled feature spaces with application to single image super-resolution[C]//Proc. IEEE CVPR 2013. [S.l.]：IEEE Press， 2013：345-352.

[10]ZHU Z，GUO F，YU H，et al. Fast single image super-resolution via self-example learning and sparse representation[J].IEEE transactions on multimedia， 2014，16(8)：2178-2190.

[11]DABOV K，FOI A，KATKOVNIK V，et al. Image denoising by Sparse 3-D transform-domain collaborative filtering [J]. IEEE transactions on image processing， 2007， 16(8)：2080-2095.

[12]ZEYDE R，ELAD M，PROTTER M. On single image scale-up using sparse-representations [C]//Proc. Curves Surfaces 2010. [S.l.]：IEEE Press，2010：711-730.

[13]ZHANG X， WU X. Image interpolation by adaptive 2-D autoregressive modeling and soft-decision estimation [J].IEEE transactions on image processing， 2008， 17(6)：887-896.

[14]胡耀华，何小海，吴晓红，等. 采用超分辨率重建提升压缩图像的方法[J]. 电视技术， 2015，39(9)： 14-18.

何静波(1991— )，硕士生，主要研究方向图像的超分辨率重建；

何小海(1964— )，教授，博士生导师，主要研究方向图像处理与网络通信、机器视觉与智能系统；

陈洪刚(1991— )，硕士生，主要研究方向图像的超分辨率重建；

张晓琳(1990— )，硕士生，主要研究方向图像的超分辨率重建；

黄建秋(1988— )，硕士生，主要研究方向图像编解码、视频通信。

责任编辑：时雯

Sparserepresentation-basedsuper-resolutionreconstructionbasedontargeteddictionaryforcompressedimage

HEJingbo，HEXiaohai，CHENHonggang，ZHANGXiaolin，HUANGJianqiu

(College of Eletrionics and Information Engineering，Sichuan University，Chengdu 610065， China)

Keywords：compressedimage；super-resolutionreconstruction；dictionarytraining；sparserepresentation

Abstract：Inordertoimprovethesuper-resolutionreconstructionperformanceofcompressedlow-resolutionimage，asparserepresentation-basedreconstructionalgorithmbyusingtargeteddictionaryisproposedinthispaper.Firstly，thedictionarytrainingisaimedatthecharacteristicsandformingofthecompressedimage，whichtraininglibraryisacquiredthetargetedprocesstomakeamoreeffectiveover-completedictionaryforthesuper-resolution.Then，thecompressedlow-resolutionimageisreconstructedbythetargeteddictionarysparesrepresentation-basedsuper-resolution.Meanwhile，forgettingmoredetailinformation，thetargetedresidualdictionaryisdesignedtocompensatethelossofhigh-frequencyinformation.Supportedbythetargeteddictionary，themethodproducesexcellentSRresultsonavarietyofimages，anditachievesasignificantimprovementinPSNR，SSIMandcompetitiveperformanceinvisualquality.Extensiveexperimentsmanifesttherobustnessandefficiencyoftheproposedsparserepresentation-basedsuper-resolutionreconstructionbasedontargeteddictionaryforcompressedimage.

中图分类号：TN919.8

文献标志码：A

DOI：10.16280/j.videoe.2016.01.004

基金项目：国家自然科学基金项目(61471248)；四川省教育厅2014年研究生教育改革创新项目(2014-教-034)

作者简介：

收稿日期：2015-07-01

文献引用格式：何静波，何小海，陈洪刚，等.基于针对性字典的压缩图像稀疏超分辨率重建[J].电视技术，2016，40(1)：19-24.

HEJB，HEXH，CHENHG，etal.Sparserepresentation-basedsuper-resolutionreconstructionbasedontargeteddictionaryforcompressedimage[J].Videoengineering，2016，40(1)：19-24.