基于小波域学习的单幅图像超分辨率复原*

徐震寰,林茂松,张红英

(西南科技大学 信息工程学院 特殊环境机器人技术四川省重点实验室,四川 绵阳621010)

图像超分辨率SR(Super Resolution)是指由一幅低分辨率图像LR(Low Resolution)或图像序列来恢复高分辨率图像HR(High Resolution)。超分辨率复原不涉及硬件，成本相对较低，因此在军事、医学、交通等方面都有广泛的应用前景。然而在现实生活中，多帧图像序列的获取是很困难的，因此单幅图像的超分辨率复原技术显得非常重要。

传统图像放大通常以近邻插值法、双线性插值法和三次样条插值法[1]为主的插值法来实现。该类方法无法充分利用图像的梯度信息，导致边缘模糊或者锯齿现象。为了能够充分利用图像的先验信息，学者提出了基于学习的超分辨率复原方法。BAKERS和KANDAE T[2]首先提出了基于识别的重建算法，从同一幅图像的不同分辨率构成的多尺度金字塔结构中提取特征矢量作为学习样本来实现重建过程；FREEMAN W T等人[3]提出用Markov网络描述输入LR图像中的图像块与实例样本块的匹配条件;WANG Q等人[4]对Markov网络模型进行了拓展，提出了对像素传感器的PSF参数进行估计的超分辨率盲复原算法。

另一方面，小波变换在超分辨率复原中的应用也越来越多，陶洪久等人[5]基于小波特性提出了小波变换与双线性插值相结合的方法实现超分辨率；后期，李根[6]根据小波分解各部分高频的相似性进行了小波变换的修正；Li Xin等人[7]利用Haar小波变换细节子块之间相近的自相似性，运用LS方法来估计自相似关系，提出了基于Haar小波变换和LS的超分辨率算法。

虽然基于学习的复原方法被广泛认为是一种很有前途的方法，但是其缺点在于创建一个训练样本库需要足够数量的样本来进行高频信息和低频信息匹配。针对这一问题，GLASNER D等人[8]提出利用图像的局部自相似性来实现超分辨率复原，从而消除训练样本库部分的构造。

本文基于图像的局部自相似性和小波变换细节子块之间的自相似性，提出了一种基于小波域学习的图像超分辨率复原方法。实验证明，该算法能够获取更好的视觉效果，有效地保持图像边缘。

1 基于小波域学习的图像超分辨率复原方法

1.1 小波变换

小波变换的优点在于频域和时域都有良好的局部化性质。在小波变换域中进行超分辨率重建有利于保持高分辨率估计图像的边缘信息。

Haar小波变换属于正交小波变换的一种，通过小波变换后图像被分成4个子块，其中L为其低频信息块，H、V、D分别为其水平高频信息块、垂直高频信息块和对角高频信息块，如图1所示。

平稳小波变换是在正交小波变换基础上所提出的，采样过程中不采用下采样处理，分解所得到的低频近似图像以及不同方向的高频细节图像与原始图像大小相同。如图2所示。

图2 平稳小波变换

分解过程中，不同尺度下相同方向的高频信息块具有相似的特性，如图3所示，H1和H2、V1和V2、D1和D2都具有相似性，这种小波高频信息块之间的相似特征正是实现本文超分辨率算法的重要条件。

超分辨率复原技术的关键是恢复成像系统截止频率之外的信息，获取高于成像系统分辨率的图像，经过小波变换后，问题关键转换成如何得到细节信息更丰富的高频信息块。

图3 小波二级分解图

1.2 图像的局部自相似性

GLASNER D等人[8]在试验中发现图像是具有局部自相似性的，图像块的局部自相似性是指在单幅图像或者在降尺度的图像中，同一个图像块倾向出现很多次，如图4所示。

图4 图像的局部自相似性

图4中，两个灰色图像块和两个黑色图像块具有相似的视觉效果，却又存在一定的细节差距，将这样的图像块作为构造超分辨率图像的相似块，而图4(b)中的图像块依然可以在图4(c)中找到相似块，并构成低分辨率/高分辨率图像块配对。基于这一理论，对低分辨率/高分辨率图像块进行配对，将这种高低分辨率图像块配对作为样本库中的先验知识,这样就可以消除样本库的建立过程，直接从单幅图像中获取先验知识,实现超分辨率的复原过程。

本文中相似块的搜索采用最近邻搜索方法，将输入图像L0分成若干个5×5的图像块P0(p)，通过比较图像块的Gaussian-Weighted SSD，在降尺寸图像中L-1找到最相近的图像块P-1()。图像块P-1()就是I0中图像块P0(p)的相似块。

1.3 GLASNER D[8]方法实现超分辨率

基于学习方法实现超分辨率是一种非常有前景的实现方法。该算法主要分为建立样本库和匹配重建两步。而GLASNER D等人[8]根据图像局部自相似性提出一种联合方法实现超分辨率复原，舍去了建立样本库的过程，从图像自身寻找先验知识，从而构造成对样本实现超分辨率复原。具体框架如图5所示。

图5 本文基于示例部分学习框架

如图5所示，L0为原始输入图像，而L-1为通过降采样以后所得到的图像，选取L0中的一个5×5的图像块P0(p)，在L-1中找到与之相似的5×5图像块P-1()，这样就可以在L0中提取与P-1()同位置的图像块Q0(s,)作为P-1()的parent图像块。之后构造一对高分辨率/低分辨率图像块配对矢量[P Q]，将该矢量作为超分辨率图像的先验知识，通过对[P Q]矢量的拷贝，得到P0(p)在L1中的放大图像块Q(s,p)。该步骤流程如下式所述：

对L0图像中的每一个图像块进行如上重建恢复，实现超分辨率图像的复原过程。

2 算法描述

本文提出一种新的方法，将小波变换与基于示例学习的超分辨率复原方法相结合，得到超分辨率图像。该实验基于MATLAB 2009b，具体实现流程如下。

已知输入图像L，图像大小为N×N。

(1)将图像L进行小波分解，第一次平稳小波分解后得到高频H1、水平高频V1和对角高频D1,图像大小为N×N。

(2)将图像进行降采样的小波分解，得到高频H2、水平高频V2和对角高频D2，图像大小为N/2×N/2。

(3)将H1和H2、V1和V2、D1和D2作为样本来构造 高分辨率/低分辨率图像块配对矢量，首先选取H1和H2作为样本，通过基于示例学习的方法得到高分辨率图像块的竖直细节子块H。图像大小为2N×2N。

(4)依次选取V1和V2、D1和D2作为样本得到各部分的细节子块、V和D，图像大小为2N×2N。

(5)由原始图像L作为低频信息块，进行插值得到L′，与3个高频信息块H、V和D进行逆变换，得到高分辨率图像L1，其大小为2N×2N。

(6)若要得到更高倍数的图像，只需将步骤(5)所得结果作为输入，重复步骤(1)～(4)。

(7)如果处理的是彩色图像，就要先把该图像从RGB转换到YIQ，然后将其中Y通道部分按本文算法进行处理，而I和Q通道可直接进行插值放大，之后将这3个通道进行联合得到最终结果。

3 实验结果分析

为了证明本文算法的有效性，本文选出参考文献[8]与小波双线性插值法进行对比，选取Lena、old作为测试图像。用如下所定义的峰值信噪比(PSNR)并联合主观视觉评价图像质量：

试验参数选择两组，第一组放大倍数factor=2,阈值threshold=0.000 8,相似块的选择采用最近邻搜索法，匹配重建的过程采用最小二乘法。第一组实验对小波进行一次平稳小波变换和一次一级小波变换，将一级小波变换所分解的高频信息作为样本，结果如表1所示,Lena图像实验结果比较如图6所示。

表1 本文算法与其他算法重构图像的PSNR值对比 (单位：dB)

第二组实验参数factor=1.25,阈值threshold=0.000 8，与第一组不同的是，这次对小波进行3次分解，一次平稳小波分解，一次对小波的二级分解，将二级分解后的两部分小波高频信息作为样本，所得结果如表2所示,old图像实验结果比较如图7所示。

表2 本文算法与其他算法重构图像的PSNR值对比 (单位：dB)

图6 Lena图像实验结果比较

图7 old图像实验结果比较

由第一组数据可看出,小波域双线性插值所得到的结果具有明显的模糊效应，尤其在边缘位置的模糊和振铃效应也很明显。双三次样条插值得到的图像虽然清楚了一些，但是边缘上的振铃效应更加明显了，联合方法所得到的图像基本消除了振铃效应，整体图像效果较好。而本文提出的算法所得到的效果更加完善，帽檐位置等边缘部分更加光滑，整体图像质量更加清晰。相比于第一组，第二组通过联合方法和本文算法所得到的效果比第一组的效果更好，PSNR值也相对提高，但是运行所需的时间比第一组运行时间长。

本文算法将图像放在小波域通过基于学习的方法来复原，得到有效的高分辨率图像，其在视觉效果和峰值信噪比上都得到了明显的改善。一方面，根据小波变换的特性，结果所得到的图像能够有效地保持其边缘信息；另一方面，利用图像局部自相似的特性，能够在没有样本库的条件下，应用基于学习的方法来实现超分辨率的复原。把整幅图像小波分解到3个高频域依次进行处理，得到的细节子块失真更小，重构的图像在视觉效果上也有了更好的改善。但于此同时，由于算法要对3个高频分别处理，而且寻找相似块的过程复杂度较高，造成本文算法的计算量很大，实现效果时间较长。因此，如何降低计算量，也正是之后要处理的重要部分。

[1]WANG Q,WARD R K.A new orientation-adaptive interpolation method[J].IEEE Transations on Image Processing,2007,16(4)∶889-900.

[2]BAKER S,KANADE T.Limits on super-resolution and how to break them[C].IEEE Conference.on Computer Vision and Pattern Recognition，2000(2)∶372-379.

[3]FREEMAN W T,PASZTOR E C.Learning low-level vision[J].International Journal of Computer Vision,2000,40(1)∶25-47.

[4]WANG Q,TANG X,SHUM H.Patch based blind image super resolution[C].Tenth IEEE International Conference on Computer Vision,Beijing,China,2005(1)∶709-716.

[5]陶洪久,柳健,田金文.基于小波变换和插值的超分辨率图像处理算法[J].武汉理工大学学报,2002,24(8)∶63-66.

[6]李根.基于小波变换修正的双线性插值图像放大方法[J].信息技术,2010(9)∶134-135.

[7]Li Xin，ORCHARD M T.Edge-directed prediction for loss less compression of natural images[J].IEEE Transactions on Image Processing,2001,10(6)∶813-817.

[8]GLASNER D,BAGON S,IRANI M.Super-resolution form a single image[C].2009 IEEE 12th International Conference on Computer Vision,2009∶349-356