非局部稀疏表示的图像超分辨率重建方法

周 苑，周 岩，李慧敏

（1.河南工程学院 计算机学院，河南 郑州451191；2.云南民族大学 数学与计算机科学学院，云南 昆明650031）

0 引 言

现有的超分辨技术大致可分为3 类：基于插值的方法［1，2］、基 于 正 则 项 的 方 法［3，4］和 基 于 学 习 的 方 法。基 于 插值的方法重建的图像容易产生过渡平滑现象，并且伴随有振铃和锯齿瑕疵；基于正则项的方法则不能够对真实图像的复杂性进行建模且在选择合适的正则化参数上存在局限性；基于学习的方法与前两类方法相比，能够引入大量的先验知识，很好地重建图像的高频细节，正是由于这个原因，基于学习的方法已成为近几年研究的焦点。

基于学习的方法一般通过学习得到低分辨率图像块及其对应高分辨率图像块之间的关系，然后利用这种关系对低分辨率图像中丢失的高频信息进行预测。Yang等［5］利用基于学习的方法，提出了一种稀疏表示的方法用于重建高分辨率图像，这种方法假设高低分辨率图像块在对应的过完备字典下有相同的稀疏表示；Jing等［6］提出了一种多空间的稀疏表示方法，该方法首先将图像分解为结构成分和纹理细节，然后通过分别对结构成分和纹理细节进行编码来得到高分辨率的图像；Yang等［7］提出了一种基于多几何字典的分簇的稀疏编码策略，该方法首先训练几何簇的几何字典，然后高分辨率图像块在不同的几何字典下进行稀疏的编码；文献［8］对Yang的算法进行进一步研究，提出了局部正则化参数自适应的方法。近来的研究表明，重建图像的质量很大程度上取决于图像的几何结构，在稀疏表示中利用潜在的几何结构信息去加强其稳定性是很重要的［9］。通过将图像结构的非局部自相似性 （non－local self－similarity）引入到稀疏系数空间［10，11］，很好地保护了图像的几何结构。然而这种方法丢失图像块之间的差异性，使重建的图像过渡平滑。为了解决这个问题，我们提出了一种非局部Laplacian稀疏表示方法，与之前的稀疏表示方法相比，提出的方法同时保护了图像的几何结构和不同图像块之间的差异性，从视觉效果和客观评价指标上都取得了更好的效果。

1 图像稀疏表示重建原理

1.1 稀疏表示重建

在文献 ［5］中，Yang等通过强迫对应的高低分辨率图像块具有相同的稀疏表示，对大量对应的高低分辨率图像块的学习建立高分辨率字典Dh和低分辨率字典Dl，计算待重建低分辨率图像块在Dl下的稀疏表示a，根据高低分辨率图像块具有相同的稀疏表示a，由稀疏表示a 选择Dh中的原子块进行线性组合从而重建出高分辨率图像块。

计算低分辨率图像块y 在低分辨率字典Dl下的稀疏表示a 是重要的一步，其可以由式 （1）定义

其中，F 为特征提取算子，主要作用是保证稀疏系数α尽可能接近y。但是式 （1）的求解是NP－HARD问题，是非凸化问题。已经有学者证明在在足够稀疏的条件下，l1范问题是最接近零范数的凸优化问题，所以大量的研究集中于如何利用l1范优化来近似求解上述零范数问题，即转化为解下式的问题

式 （2）可进一步改写为式 （3）

其中，参数λ是稀疏正则项参数。但是对于单独的每个局部图像块解式 （3）并不能保证相邻图像块之间的兼容性。为了保证邻近图像块之间的兼容性，修改式 （3）使低分辨率图像块的重建图像块Dhα 与之前计算的相邻图像块更接近，如式 （4）所示

其中，矩阵P 表示提取当前目标图像块与之前重建图像块之间的重叠区域，ω 为之前重建图像重叠部分的值，式 （5）可以写为

1.2 双字典训练

在上节中我们假设字典Dh、Dl是已经训练得到的，那么这两个字典是如何训练得到。在Yang提出双字典训练之前，已有作者提出单个字典训练的模型，如下

其中，X ＝［x1，…，xn］∈Rm×n，xi为图像块，D ＝［d1，…，dn］∈Rm×k，S＝［s1，…，sn］∈Rk×n，si为xi在字典D 下的稀疏表示。

在超分辨率重建中，对于高低分辨率样本图像库，我们从中提取大量高分辨率图像块集Xh＝｛x1，x2，…，xn｝和与其对应的低分辨率图像块集Yh＝｛y1，y2，…，yn｝，仿照式 （6）训练高分辨率字典Dh和低分辨率字典Dl

我们强迫高低分辨率图像块的稀疏表示相同，对式（7）、式 （8）进行组合

其中，Xc＝。

这样就可以按照单字典学习策略来同时训练双字典。

2 非局部Laplacian稀疏表示SR方法

从上节中我们可以将传统的稀疏表示模型总结为式（11）

其中，X ＝［x1，…，xn］∈Rm×n，xi为图像块，S ＝［s1，…，sn］∈Rk×n，si为xi在字典D 下的稀疏系数。

有关的研究结果表明，关于图像几何结构的一个重要先验条件就是在自然图像中往往包含相似的结构块，但是由于稀疏表示方法具有潜在的不稳定性，具有相似几何结构的图像块经常有不同的稀疏系数，从而导致了重建出不准确的几何结构［12］。因此很有必要利用图像的非局部自相似性去稳定稀疏表示。这种先验约束正则项已被引入到图像重建中去［10，11］，可以用式 （12）表示

将式 （12）引入传统的稀疏表示模型式 （11）中得到式 （13）

这种稀疏表示模型利用稀疏系数的自相似性减少了稀疏表示的误差，保护图像的几何结构。值得注意的是，从式（12）可以看到这种非局部先验知识其实是一个融合的过程，它将非局部区域内K个相似的图像块进行加权融合，这样虽然保护了图像几何结构，但是丢失了图像块中的一些细节信息。因此重建后的非局部块之间是非常相似的，导致重建后的结果变得过度平滑。换句话说，在融合之后，图像块之间的差异性丢失了。为了保护这种差异性，引入了文献 ［13］提出的Laplacian稀疏系数约束正则项，如式（14）所示

其中，L＝F＊－W＊为Laplacian矩阵，W＊为保护图像块之间差异性的权重矩阵，其元素为图像块xi和xj的相似权重。如果xi为xj的K′个最近邻块中一个或者xj为xi的K′个最近邻块中一个时，，其它情况下，＝0。F＊为对角矩阵，其第i个元素为与xi相关的所有权重之和，即。

把式 （14）同时引入式 （13），提出了式 （15）所示的非局部Laplacian稀疏表示模型

式 （15）的l1范数最小化问题可以通过文献 ［14］中的feature－sign search搜索算法和文献 ［15］中的迭代最优化算法求解。

如上节中提到的，仿照式 （7）和式 （8），利用提出的稀疏表示模型式 （15）训练高低分辨字典Dh、Dl

将式 （16）、式 （17）合并为式 （18）

通过式 （19）计算出si后，我们就可以通过＝恢复高分辨率图像块，将多个高分辨率图像块进行组合后得到高分辨率图像X＊。

3 实验结果与分析

在实验中，我们对测试图像进行3 倍放大重建，并与Bicubic插值、文献 ［5］、文献 ［11］等方法从主观视觉和客观评价指标上进行对比。客观评价指标为尖峰信噪比（peak signal to noise ratio，PSNR）和 结构相似度 （structural similarity，SSIM），其计算方法分别如下

式中：M、N——重建图像的尺度，f——原始的高分辨率图像，——重建后的超分辨率图像。

式中，l（f，g）——亮度变化，c（f，g）——差异变化，s（f，g）——结构变化。其定义如式 （22）～式 （24）所示

其中，f 和g 表示两幅图像，μf 和μg 表示图像的均值，σf和σg表示它们的方差，σfg表示它们的协方差。C1，C2，C3为比较小的常数，用来确保分母不等于零。

实验测试库图像来源于文献 ［5］和文献 ［11］，训练库图像 来 源 于Berkeley Segmentation Data Set and Benchmarks 500 （BSD500），并从中选取80幅自然图像，包括植物、动物、建筑、人类等，并随机采取50 000对5×5图像块来训练大小为512原子的字典。最近邻个数K ＝5，K’＝5，正则项参数λ，λ1，λ2分别为0.1，0.2，0.02。

表1和表2分别列出了4幅不同图像采用不同重建方法的PSNR 和SSIM。从表1、表2中可以看出本文提出的算法在几种对比方法中PSNR 和SSIM 取得了最高值。

表1 不同方法重建图像的PSNR

表2 不同方法重建图像的SSIM

为了展示不同算法重建图像的视觉效果，我们选取其中Boats重建结果进行对比，如图1和图2的局部放大图中可以看出，本文算法相对于其它算法取得更好的视觉效果。如图1中 “650”以及图2中鹦鹉眼睛周围，Bicubic插值的边缘模糊且存在锯齿瑕疵，文献 ［5］算法重建结构不准确，文献 ［11］算法结构较为准确但存在过渡模糊的现象，而本文算法结构准确，边缘清晰锐化，更加接近原始图像。

图1 Boats重建结果及其局部放大图

4 结束语

图2 Parrot重建结果及其局部放大图

本文针对传统的稀疏表示模型进行了改进，提出了一种同时结合图像的非局部自相似性和图像块之间一对一关系的稀疏表示重建方法。从主观视觉和客观评价两个方面验证了本文算法的有效性。与其它的算法相比，本文算法能够取得更高的PSNR 和SSIM，并且与传统的稀疏表示相比，改善了图像的视觉效果，是重建图像的几何结构更加准确，纹理更加清晰锐化。

［1］Li M，Nguyen TQ.Markov random field model－based edge－directed image interpolation ［J］.IEEE Transactions on Image Processing，2008，17 （7）：1121－1128.

［2］Zhang X J，Wu X L.Image interpolation by adaptive 2Dautoregressive modeling and soft－decision estimation ［J］.IEEE Transactions on Image Processing，2008，17 （6）：887－896.

［3］Zhang K B，Gao X B，Tao D C，et al.Single image super－resolution with non－local means and steering kernel regression［J］.IEEE Transactions on Image Processing，2012，21 （11）：4544－4556.

［4］Villena S，Vega M，Babacan S D，et al.Bayesian combination of sparse and non－sparse priors in image super resolution ［J］.Journal of Digital Signal Processing，2013，23 （2）：530－541.

［5］Yang J C，Wright J，Huang T S，et al.Image super－resolution via sparse representation ［J］.IEEE Transactions on Image Processing，2010，19 （11）：2861－2873.

［6］Jing G D，Shi Y H，Kong D H，et al.Image super－resolution based on multi－space sparse representation ［C］／／The Second International Conference on Internet Multimedia Computing and Service，2010：11－14.

［7］Yang S Y，Wang M，Chen Y G，et al.Single－image superresolution reconstruction via learned geometric dictionaries and clustered sparse coding ［J］.IEEE Transactions on Image Processing，2012，21 （9）：4016－4028.

［8］ZHANG Yao，XU Bin，ZHOU Shangbo，et al.Image superresolution with adaptive regularization sparse representation［J］.Application Research of Computers，2013，30 （3）：938－941 （in Chinese）.［张垚，徐斌，周尚波，等.基于稀疏表示的自适应图像超分辨率重建算法 ［J］.计算机应用研究，2013，30 （3）：938－941.］

［9］Lu XQ，Yuan HL，Yan PK，et al.Geometry constrained sparse codingfor single image super resolution ［C］／／Proc of IEEE Conference on Computer Vision and Pattern Recognition，2012：1648－1655.

［10］Dong WS，Zhang L，Shi GM.Centralized sparse representation for image restoration ［C］／／Proc of IEEE International Conference on Computer Vision，2011：1259－1266.

［11］Dong W S，Zhang L，Lukac R，et al.Sparse representation based image interpolation with nonlocal autoregressive modeling［J］.IEEE Trans Image Process，2013，22 （4）：1382－1394.

［12］Zheng M，Bu J，Chen C，et al.Graph regularized sparse coding for image representation ［J］.IEEE Transactions on Image Processing，2011，20 （5）：1327－1336.

［13］Gao SH，Tsang WH，Chia LT.Laplacian sparse coding，hypergraph Laplacian sparse coding，and applications［J］.IEEE Trans Pattern Anal Mach Intell，2013，35 （1）：92－104.

［14］Zheng M，Bu JJ，Chen C，et al.Graph regularized sparse coding for image representation ［J］.IEEE Trans Image Process，2011，20 （5）：1327－1336.

［15］Setzer S，Steidl G，Teuber T.Deblurring poissonian images by split bregman techniques［J］.Journal of Visual Communication and Image Representation，2010，21 （3）：193－199.