基于IBP改进和稀疏表示的图像超分辨率重建

首照宇，廖敏璐，张 彤

（1.桂林电子科技大学 认知无线电与信息处理省部共建教育部重点实验室，广西 桂林541004；2.桂林电子科技大学 信息与通信学院，广西 桂林541004；3.桂林电子科技大学机电工程学院，广西 桂林541004）

0 引 言

图像超分辨率（super－resolution，SR）重建技术是利用一幅或者一组低分辨率图像基于一定的假设或者先验信息重建成一幅高分辨率图像的反问题［1］。图像的降质过程［2］通常可以表示为

式中：Y——观测得到的降质后的图像，X——需要估计的未知图像，S、H——模糊、下采样操作符，v——加性噪声。

SR 重建的概念和方法早在20 世纪60 年代就已经提出，随着计算机技术、数字信号处理技术以及一些优化理论的发展，产生了许多种方法，其中插值法［3，4］和迭代反投影（iterative back projection，IBP）的方法［5］是比较常用的SR方法。而基于稀疏表示的SR 方法［6］在一经提出后，成为近年来较为热门的研究领域。本文拟利用IBP 改进基于稀疏表示的SR 方法，并重点对比改进后的方法、稀疏表示的方法、插值法和IBP的方法。

插值法是利用局部像素点的加权来估计内插点的像素值，该方法计算复杂度低速度快，常用来作为其它方法的基础，但是重建图像往往过平滑且伴有振铃和锯齿效应。传统的插值法主要有最邻近插值（nearest neighbor interpolation）、样条插值（spline interpolation）、双线性插值（bilinear interpolation）、双立方插值（bicubic interpolation）等，其中Bicubic插值法由于效果最好较为常用。

IBP法归属于基于重建的SR 方法，即通过对降质过程建模来对估计的高分辨率图像进行约束的一类方法［7］。此方法主要通过反复迭代和不断更新来重建高分辨率图像，首先利用简单的插值算法得到低分辨率图像Y 的初始估计X0，假定t次迭代后得到的高分辨率图像为Xt，那么下一次迭代后的Xt＋1可以通过梯度下降法求解下式得到

式中：↑d——d 倍上采样，p——用来控制收敛速度的反投影核。IBP法直观简单，但由于难以引入先验的约束导致重建结果不唯一，而且重建图像的边缘往往会产生较明显的锯齿效应。

1 基于稀疏表示的图像超分辨率重建

Yang et al在2008年提出了基于稀疏表示的SR 重建算法，又于2010 年在原算法的基础上加入字典训练的过程［8］，相对于其它的主流方法，取得了引入瞩目的成功。该算法的原理在于，对高分辨率图像块x 和其对应的低分辨率图像块y 分别进行稀疏表示得到其稀疏系数，如下所示

式中的λ用来平衡解的逼真度和稀疏度。

基于αx＝αy的假设，建立对应的高低分辨率字典Dh＝Φ和Dl＝SHΦ后，如果通过y和Dl得到稀疏系数α，x 就可以通过Dh 结合α获得，最终得到估计的高分辨率图像。

在Yang et al的算法中，字典Dh 和Dl是利用若干图片的图像库通过FSS（feature－sign search）算法交替迭代获得［9］，为了减小计算量每块高分辨率块xi都要先减去其均值mi，然后利用高通滤波器提取高频部分。

Zeyde et al也于2012年利用插值法改进了基于稀疏表示的SR 算法［10］，其算法主要分成训练阶段和重建阶段。

训练阶段主要是建立合适的图像块库然后训练过完备字典对的过程，其步骤如下：

步骤1 收集得到若干高分辨率图像｛Xj｝j，利用S和H 降质得到低分辨率图像｛Yj｝j，再利用Bicubic插值法得到，然后分别从＝Xj－和抽选得到对应的训练图像块

步骤3运用K－SVD（K－singular value decomposition）［11］对进行稀疏表示的求解，得到低分辨率的字典Dl和稀疏系数ck；

步骤4 利用稀疏系数ck结合可以得到相对应的高分辨率的字典Dh。

重建阶段主要是利用字典对Dl和Dh 放大一张低分辨率图像Y 的过程，其步骤如下：

步骤1 利用Bicubic插值法将Y 放大至期望倍数的Xb，有重叠地从左上到右下顺序选取图像块，利用高通滤波器提取特征后降维得到；

步骤2 采用OMP（orthogonal matching pursuit）［12］的算法求解低分辨率字典Dl对的表示系数αk；

步骤3 利用稀疏系数αk结合高分辨率字典Dh 得到，将得到的拼接并在重叠部分取平均，然后加上插值法的结果Xb，得到最终估计的高分辨率图像。

从训练阶段和重建阶段的步骤可以看出，Zeyde et al利用Bicubic插值法改进SR 算法，减少了计算量，事实上也提高了图像重建的效果。

2 本文提出的SR 算法

在字典训练和稀疏重建过程中，高分辨率图像块的计算量是较大的，在Yang et al的算法，为了减少计算量，高分辨率图像块都减去均值进行处理，而Zeyde et al的算法则更进了一步，该算法利用了插值法改进SR 算法，即对高分辨率图像块减去了插值法后得到的误差进行稀疏求解，在两者的算法计算量相当的情况下，取得了更好的重建效果。

实验表明IBP的方法相对插值法又降低了重建图像的误差，且计算量也不大，这为利用IBP 进一步改进基于稀疏表示的SR 方法提供了可能。而一系列研究表明图像存在非局部相似性的特点［13］，通过建立模型来提取图像的非局部冗余，将对提高重建效果有一定的帮助。

2.1 字典对的学习

字典训练过程Yang et al采用的是FSS的算法，相对于该算法，Zeyde et al采用的K－SVD 虽然效果略有不及，但字典训练的速度却能够明显提升，特别是FSS需要花费动辄数小时的字典训练时间，所以本文的SR 算法仍然沿用K－SVD。

对图像库中降质得到的低分辨率图像｛Yj｝j采取IBP的重建方法得到，然后分别从和抽选得到对应的训练图像块集，利用高通滤波器提取的特征并利用PCA 降维得到。高通滤波器F＝（f1，f2，f3，f4）可取为

此处的上标T 代表转置。

运用K－SVD的算法，通过交替迭代求解下式

求得低分辨率字典Dl的同时也得到稀疏系数ck。KSVD的算法一般由两个基本的步骤来组成迭代过程［14］：步骤一是在给定字典Dl的情况下求得的表示系数ck，一般利用OMP 算法来实现；步骤二是在给定稀疏系数ck的情况下更新字典Dl，每一步都是在其它原子固定时对单独的一个原子求最优解。

如果Qh和C分别将和｛ck｝k依次作为一列来构造，那么高分辨率字典Dh可以通过下式求得

2.2 基于非局部（NL，Nonlocal）相似性的模型

文献［15］提出了一种基于NL 的自适应的模型，本文将借用这个模型构建图像重建的全局后处理阶段。通过实验可以证明这种后处理的方式对常用方法均有效，比如插值法和IBP等。

对于每一块图像块xi，在整幅图像X 中搜索它的相似块，筛选的准则如下式所示

式中：t——预先设置的阈值，线性表示系数bli通过下式获得

2.3 利用IBP改进的基于稀疏表示的SR 算法

本文提出的SR 算法流程如下：

（1）Input：训练得到的高低分辨率字典Dh 和Dl，一张低分辨率图片Y；

（2）利用Bicubic插值法将Y 放大3 倍得到Xb，同样利用IBP法得到XI，对Xb从左上到右下并保证在每个方向有2个像素点重叠顺序地选取图像块得到3×3的图像块，利用高通滤波器F提取的特征并降维得到｛qkl｝k；

（3）采用OMP的方法求解Ql＝，，…）对低分辨率字典Dl的稀疏表示系数α＊，即

OMP 属于贪婪算法，其原理在于每一步都选择与残差最相关的原子，然后将信号正交地投影到已选择原子的集里，该算法的详细流程可参阅文献 ［14］。

（4）得到Qh＝Dhα＊后，将Qh中包含的图像块拼接并在重叠部分取平均得到Xh，稀疏重建得到的高分辨率图像为X＊＝Xh＋XI；

（5）后处理阶段提取X＊的NL冗余，令X0＝X＊作为初始项，求得迭代系数

式中的λ是控制NL项比重的常数。

第t次迭代过程中，首先进行Xt－1＝Xt－1（：）和Xt＝Xt－1－N＊Xt－1两步，然后将Xt恢复成原尺寸。

（6）Output：经过后处理阶段的SR 图像X＊＊。

3 实验结果

在本文的实验中，低分辨率图像被重建放大成3倍大小的高分辨率图像，稀疏约束度L 和T 都设置为3，式（11）中的λ设为0.1，后处理阶段迭代10次，本文所使用的字典训练库与文献［8］和文献［10］相同，所选择的测试图片是任选的一些常用的测试图片。图1和图2展示了Bicubic插值法、IBP、文献［8］和文献［10］中的方法以及本文提出的方法1和方法2对图片face和flowers的重建结果，都是截取了关键部分放大对比，其中本文方法1代表未经过步骤5后处理阶段的重建结果，本文方法2代表经过了后处理阶段的重建结果；而表1和表2则对比了这5种方法对10幅图片的重建结果的PSNR 和SSIM，计算公式如下

图1 图片face这6种方法重建的结果

图2 图片flowers这6种方法重建的结果以及原图

表1 6种方法对10幅图像重建结果的PSNR

表2 6种方法对10幅图像重建结果的SSIM

从图1和图2可以看出，Bicubic插值法重建结果过于平滑，视觉体验最差；IBP 提高了重建图像的清晰度，但在边缘产生了锯齿效应，比如图片face的鼻子轮廓和flo－wers的花瓣边缘部分；文献［8］中方法处理的结果在边缘上相对光滑，但一些细微的图像结构没有得到恢复，比如图片face眼部就出现了格子效应；文献［10］和本文方法1重建结果类似，视觉体验最好，但相对来说，本文方法1 比文献［10］得到更为清晰的纹理，从图片face中脸部的雀斑和flowers的花瓣的纹理可以体现。在经过后处理阶段后，图像的清晰度得到进一步提高，在放大倍数增大后效果将更加明显。

从表1和表2可以看出，对任选的10幅图片，使用本文方法1进行超分辨率重建，相比于前人提出的方法，无论PSNR 还是SSIM 都是最好的，而在经过后处理阶段后两项指标又得到明显提升。

4 结束语

本文提出了一种利用IBP改进的基于稀疏表示的SR 算法，其关键在于字典训练过程中将高分辨率图像减去IBP的重建结果后的差值用于学习高分辨率字典，然后相应地将稀疏求解得到的结果加上XI并经过基于NL 的全局后处理过程得到最终估计的高分辨率图像。实验结果表明，从主客观角度看，本文提出的算法都要优于Bicubic插值法、IBP以及文献［8］和文献［10］提出的两种基于稀疏表示的SR 算法。

［1］Ha T，Tinnefeld P.Photophysics of fluorescent probes for single－molecule biophysics and super－resolution imaging ［J］.Annual Review of Physical Chemistry，2012，63：595－617.

［2］Cho TS，Zitnick CL，Joshi N，et al.Image restoration by matching gradient distributions ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （4）：683－694.

［3］Lee Chinfeng，Huang Yulin.An efficient image interpolation increasing payload in reversible data hiding ［J］.Expert Systems with Applications，2012，39 （8）：6712－6719.

［4］Cordero－Grande L，Vegas－Sanchez－Ferrero G，Casaseca－de－la－Higuera P，et al.A Markov random field approach for topology－preserving registration：Application to object－based tomographic image interpolation ［J］.IEEE Transactions on Image Processing，2012，21 （4）：2047－2061.

［5］Glasner D，Bagon S，Irani M.Super－resolution from a single image［C］／／IEEE 12th International Conference on Computer Vision，2009：349－356.

［6］Yang J，Wright J，Huang T，et al.Image super－resolution as sparse representation of raw image patches［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2008：1－8.

［7］Modgil D，Treeby BE，La Rivière PJ.Photoacoustic image reconstruction in an attenuating medium using singular－value decomposition ［J］.Journal of Biomedical Optics，2012，17（6）：0612041－0612048.

［8］Yang Jianchao，Wright J，Huang TS，et al.Image super－resolution via sparse representation ［J］.IEEE Transactions on Image Processing，2010，19 （11）：2861－2873.

［9］Lee H，Battle A，Raina R，et al.Efficient sparse coding algorithms［J］.Advances in Neural Information Processing Systems，2007，19：801－808.

［10］Zeyde R，Elad M，Protter M.On single image scale－up using sparse－representations ［G］.LNCS 6920：Curves and Surfaces.Berlin：Springer Berlin Heidelberg，2012：711－730.

［11］Smith LN，Olson CC，Judd KP，et al.Denoising infrared maritime imagery using tailored dictionaries via modified KSVD algorithm ［J］.Applied Optics，2012，51 （17）：3941－3949.

［12］Donoho DL，Tsaig Y，Drori I，et al.Sparse solution of underdetermined systems of linear equations by stage wise orthogonal matching pursuit［J］.IEEE Transactions on Information Theory，2012，58 （2）：1094－1121.

［13］Lee C，Lee C，Kim CS.An MMSE approach to nonlocal image denoising：Theory and practical implementation ［J］.Journal of Visual Communication and Image Representation，2012，23 （3）：476－490.

［14］Rubinstein R，Zibulevsky M，Elad M.Efficient implementation of the K－SVD algorithm using batch orthogonal matching pursuit［OL］.http：／／pdf.aminer.org／000／322／616／efficient＿computation＿for＿sequential＿forward＿observation＿selection＿in＿image＿reconstruction.pdf，2008.

［15］Dong Weisheng，Zhang Lei，Shi Guangming，et al.Image deblurring and super－resolution by adaptive sparse domain selection and adaptive regularization ［J］.IEEE Transactions on Image Processing，2011，20 （7）：1838－1857.