边缘增强的多字典学习图像超分辨率重建算法

詹 曙方 琪



边缘增强的多字典学习图像超分辨率重建算法

詹 曙1，2，方 琪1

( 1. 合肥工业大学计算机与信息学院，合肥 230009；2. 安全关键工业测控技术教育部工程研究中心，合肥230009 )

针对目前基于字典学习的图像超分辨率算法中边缘保持能力有限、易产生视觉伪影等不足，本文提出了一种边缘增强的多字典学习图像超分辨率重建算法，可以有效的恢复图像边缘细节信息。算法首先对训练图像块进行聚类处理，然后使用Boost K-SVD算法快速学习多组字典对，超分辨重建时自适应选择最优字典对进行稀疏分解和重建。为了改善重建后图像的边缘视觉效果，根据输入的低分辨率图像引入边缘方向保持正则项，同时学习自然图像库的边缘锐度统计先验对重建后图像的边缘进行约束。实验结果验证了本文算法的有效性。

超分辨率重建；字典学习；统计先验；边缘增强

0 引 言

图像的超分辨率重建，一直是数字图像处理领域的研究热点之一。在不需要增加硬件成本的前提下，它可以利用一幅或多幅低分辨率(LR)退化图像，通过相应的算法重建出一幅清晰的高分辨率(HR)图像。由于超分辨率重建不需要过高的硬件要求，只需通过相应的算法来实现图像的高分辨率，因此该技术已广泛的应用在视频监控、卫星遥感、军事侦查、高清视频等领域。

目前已有的超分辨率重建算法可分为基于重建和基于学习两大类[1]。但基于重建的方法没有充分利用先验知识，不能有效的恢复图像细节信息，重建效果欠佳。为了能够充分恢复丢失的细节信息，基于学习的超分辨率重建方法应运而生，它可以借助外部训练图像库来提供丢失的图像细节信息。

基于学习的图像超分辨率方法通常利用高低分辨率图像之间共有的先验或空间相似性，建立高低分辨率图像之间对应的映射关系模型，通过该模型预测高分辨率图像。基于学习的重建算法中，比较经典的是Freeman等[2]提出的基于例子的重建算法，该算法最先在重建算法中利用图像块间的约束，通过马尔可夫网络建立高低分辨率图像块对应关系。Yang.C等[3]提出一种结构化人脸幻象方法，分别对人脸不同部分进行重建，其中对面部轮廓和边缘部分使用边缘统计先验恢复其边缘细节信息，取得了较好的效果。近年来，稀疏表示理论成为信号处理领域的研究热点，已经在图像识别[4]、图像去噪[5]等领域获得了广泛的应用。2010年Yang.J等[6]开创性的将稀疏表示理论用于图像的超分辨率重建，利用高、低分辨率图像块在特定的稀疏基下有相同的稀疏表示系数作为约束条件。提高了重建效果，但存在边缘保持能力有限、易产生视觉伪影等不足。Zeyde等[7]在Yang.J基础上进行改进，利用PCA对训练样本的特征进行降维，并使用K-SVD的方法进行字典训练，提高了字典训练效率。Wang.S等[8]提出训练高低分辨率图像块及其高低分辨率之间映射关系构造半耦合字典，有效地改善了重建后图像的效果。He.L等[9]利用beta先验分布训练耦合特征空间的字典对，也取得较好的效果，但字典训练需要消耗大量时间。Tomer等[10]提出了一种统计预测模型用于图像超分辨率重建，使用受限的玻尔兹曼机学习高低分辨率图像块之间的统计关系。

由于上述基于字典学习超分辨率主要依赖于训练图像库提供额外的信息，但是没有充分考虑输入低分辨率图像中存在的边缘信息和以及自然图像库中所提供的边缘统计先验知识，受到文献[3]的启发，本文提出了一种边缘增强的多字典学习图像超分辨率算法。该算法首先使用K-means对训练图像块进行聚类处理，然后使用Boost K-SVD字典学习算法快速学习多组高、低分辨率字典对，超分辨率重建时在聚类中心的特征子空间中自适应的选择最优高、低分辨率字典对进行稀疏分解和重建。为了进一步提高重建质量，根据输入的低分辨率图像引入边缘方向保持正则项，同时学习自然图像库的边缘锐度统计先验对重建后图像的边缘进行约束，使最终重建后的图像具有较清晰的边缘、纹理等细节信息。

1 相关工作

1.1 基于字典学习的图像超分辨重建

超分辨率重建就是根据已知的LR图像求解HR图像的过程，这是一个典型的病态问题。本文主要研究的是单幅图像的超分辨率重建。对于单幅图像超分辨率问题，在不考虑噪声的前提下，其退化模型可表示为

按照图像稀疏表示理论[5]，图像在过完备字典下，总存在稀疏表示，即大部分稀疏表示系数为零，只有少数的非零系数。假设是维数为、原子数为的过完备字典，为图像子块的向量表示，则的稀疏表示为

式中：为的最稀疏表示。式(2)是NP难问题，通常只考虑其近似解法，可通过匹配追踪以及其改进的正交匹配追踪算法[11](OMP)等贪婪算法来近似求解。Donoho等人[12]指出在信号的稀疏分解中，对于足够稀疏的信号表示系数，可以用范数取代式(2)的范数进行稀疏分解，使上述问题转换为凸优化问题，从而式(2)可以转换为式(3)进行稀疏表示

对于Yang.J等[6]提出的基于字典学习的图像超分辨率重建，通常需要两个过完备字典，其中一个是在LR特征空间下训练得到的低分辨率字典，用于对LR测试图像进行稀疏分解，另一个是在HR特征空间下训练得到的高分辨率字典，用于进行HR图像重建。对于低分辨率测试图像块利用式(2)或式(3)对其进行稀疏分解，得到的稀疏表示系数，然后将稀疏系数作用在高分辨率字典，得到对应高分辨率图像块，即。

1.2 本文的超分辨重建模型

本文提出了一种边缘增强的多字典学习图像超分辨率重建算法，可以有效的恢复图像边缘等细节信息。考虑到单个全局字典对图像中不同的形态结构表示能力不强[13-14]，本文采用多字典对用于超分辨重建。该算法主要思想：在字典学习阶段，首先对训练图像块进行聚类处理，使得每一类训练图像块具有相同的形态结构，然后使用Boost K-SVD字典学习算法快速学习多组字典对，超分辨率重建时在聚类中心的特征子空间中自适应的选择最优高、低分辨率字典对进行稀疏分解和重建。为了改善重建后图像的边缘视觉效果，根据输入的低分辨率图像引入边缘方向保持正则项，同时利用边缘统计先验对重建后图像的边缘进行约束。图1为本文算法的流程框图。

图1 本文算法流程框图

2 基于多字典学习的超分辨重建

翻模施工是传统的高墩施工技术，其施工进度较慢，施工成本投入较高。承台顶面三层一套的模板上安装校正，浇筑混凝土到最上层模板高度的一半位置，完成首次墩身浇筑。第三层钢筋混凝土结构达到一定强度后，逐层拆除最下面的两层模板，将拆下模板表面进行清理，用吊车将其翻转至最上面第三层模板按照校正，直到墩台顶部为止。

2.1 多字典学习

为了得到用于超分辨重建的高、低分辨率字典，必须对高、低分辨率训练样本进行训练。假设为已知的高分辨率训练图像库，对进行倍下采样，得到低分辨率图像库，然后对低分辨率图像库进行倍插值，得到低分辨率训练图像库。由于Yang.J指出[6]，人类视觉系统对图像中的高频部分较为敏感，而高频部分表达了图像大部分的语义信息，同时在字典训练中采用高低分辨率图像的高频特征，可有效恢复高分辨率图像中丢失的高频信息。故本文使用一阶、二阶梯度滤波器提取高、低分辨率图像的梯度特征，对梯度特征进行分块成特征子块，并向量化，得到各自的向量化的特征集合，分别记为和，其中是图像块个数。由于输入的低分辨率图像是已知的，且其梯度特征稳定，而高分辨率图像是未知的，故对低分辨率训练样本进行聚类处理。使用K-means算法对低分辨率特征集合进行分类，由于K均值算法对初始值敏感，可能会导致部分类别的样本数小于字典尺寸，从而不能有效的训练字典，因此本文将样本较少的类别合并到与其类中心最相近的其它类别中，并重新计算类中心位置。通过对分类可分别得到类低分辨率特征训练样本子块、以及相应的聚类中心,。

为了得到一组性能更好的字典对，本文将文献[6]的联合字典学习思想引入高、低分辨率字典学习中。假设高低分辨率图像块有相同稀疏系数，联合字典学习过程可以表示为

其中：和分别为高、低分辨率训练样本向量形式的维度。本文采用文献[15]提出的Boost K-SVD字典学习算法求解式(4)，该算法是K-SVD算法[5]的有效改进算法，可以大幅提高字典学习效率，节约字典学习时间。经过式(4)的字典学习可以得到组高、低分辨率字典对，记为。

2.2 稀疏域字典自适应选择超分辨重建

对输入的LR测试图像的每个子块在进行超分辨率重建时，需要自适应的选择最优的字典对进行稀疏分解和重建。首先对输入LR测试图像使用双三次插值，并将其结果作为初始估计，记为。对提取一阶、二阶梯度特征，分成特征子块，并向量化，令为其中一个特征子块。根据测试图像块与聚类中心点的欧氏距离确定所属类别，然而直接计算与之间的欧氏距离不够稳定，因为初始估计可能含有噪声，会直接影响子字典的选择。因此，本文在的特征子空间中确定最优字典的选择。令，对的协方差矩阵使用奇异值分解(SVD)，可得到的PCA变换矩阵，由前几个最重要的特征向量组成投影矩阵，并在其特征子空间里计算与聚类中心之间的欧氏距离，即：

由此，得到对应于图像块的最优字典对为,。对测试图像特征子块进行超分辨重建，首先使用式(3)求出在低分辨率字典下的稀疏系数，然后将求出的稀疏系数结合高分辨率字典重建出高分辨率图像块，即：。最后使用式(7)即可重建出HR图像，即：

式中是图像块提取操作。

3 边缘增强的超分辨模型

基于多字典学习的图像超分辨重建可以恢复图像中大部分高频信息，但是仍然存在边缘模糊、人工伪影等不自然现象。针对上述问题本文根据输入LR图像引入边缘方向保持正则项，然后再学习自然图像库的边缘锐度统计先验对重建后的结果进行约束，最终得到边缘增强的HR图像。

对于LR测试图像中的每一个像素，首先计算其方向相似度，第个方向相似度的定义如下式：

其中：是中每个像素的方向相似度组成的矩阵，使用梯度下降法求解(9)式可得到具有方向保持的HR图像。重建后的边缘清楚且平滑，但由于式(9)中并不包含边缘锐化的正则项，使得的边缘不够尖锐。本文从HR训练图像库中学习无参映射函数用于恢复的边缘锐度信息。对于HR训练图像，使用式(1)对其进行下采样，再进行双三次插值得到初始图像，然后使用式(9)获得边缘方向保持图像。为了方便标记的边缘中心点，对进行梯度运算得到其梯度图。此时的边缘结构是以最大梯度幅值为对称中心，通过计算下式得到的边缘中心点：

式中：表示梯度的幅值，,分别是像素所在的边缘法线上两个相反方向上的相邻像素点，即在此方向上梯度的幅值变化最大。令表示高分辨率训练图像的梯度幅值，对于中的每个像素，提取特征集合作为一个统计样本，这里表示距离像素最近的边缘中心点，且其之间的距离为。由于像素的坐标是整数，所以两个像素之间的相对距离只能为一组离散的值，即。本文从训练图像库中随机提取50万个特征集合，根据距离的值将划分到不同类中，并计算每个类的的平均值，记为。于是生成从到的查找映射表，记为。对于重建后HR图像中每个像素，提取其特征集合，使用查找映射表恢复预测的梯度幅值。令表示的梯度图，可过计算下式得到锐化后的梯度图:

式中：，表示通过查找映射表生成的预测幅值。式(11)生成的梯度图同时保存了LR测试图像的边缘方向信息和查找映射表中锐度信息。最后计算下式即可得到输出的HR图像:

其中：为梯度算子，,为正则化参数。对式(12)求解有很多种方法，本文使用梯度下降法求解式(12),即：

其中：表示迭代次数，为步长。

4 实验结果与分析

为了验证本文算法的有效性，本文选择Lena、Monarch与Zebra等国际标准测试图像用于实验测试，如图2所示，并且与Bicubic插值，SC算法[6]，SCDL算法[8]和SPM算法[10]进行对比。本文的算法程序采用Matlab语言编写，实验运行环境为：64位Windows7 SP1操作系统、Inter I3-4130 3.4 GHz处理器、4GB运行内存、Matlab R2012b版本。通过对标准测试图像进行三倍的双三次插值下采样得到LR测试图像，对输入的LR测试图像进行三倍超分辨率重建。本文试验中字典学习和学习边缘统计先验所用的图像库均来自SC算法所提供的训练图像库。本文算法参数设置如下：字典训练过程中随机选择10万个图像块作为训练样本；K-均值聚类初始值设为32，子字典原子数为256；图像块大小为5´5；Boost K-SVD字典训练迭代次数设为40次，稀疏平衡因子。SC算法参数设置为：训练图像块10万个；字典原子数1 024；稀疏平衡因子0.1；图像块大小5´5。SCDL算法参数设置：图像块50万个，分为32类；子字典尺寸为256。由于人类视觉系统对图像的亮度信息更为敏感，因此在实验时将彩色RGB测试图像转换为YCbCr信号，只对亮度通道Y进行超分辨重建，Cb、Cr通道直接插值放大。为了客观评价算法的性能，本文使用峰值信噪比(PSNR)和结构相似度(SSIM)作为客观评价标准。

图2 测试图像

图3是使用本文算法对Lena图像重建的各阶段局部图像对比。首先从图3(a)中可以看出多字典的超分辨重建阶段可以恢复大部分细节信息，但是在帽子的边缘、纹理等部分仍然存在一定的模糊；其次，初步的重建结果再利用边缘增强超分辨模型可以进一步提高图像的边缘、纹理等部分的视觉效果。

图3 各阶段重建图像局部比较

图4~6为Girl、Parrot等图像的各算法重建结果局部图像对比。通过观察不难发现，SC算法可以恢复图像的大部分细节信息，但是重建后图像的边缘不够清晰而且还存在一定的人工伪影。SCDL算法重建后图像边缘细节没有得到充分恢复，且边缘出现了锯齿效应，尤其是在Zebra图像中更为明显。SPM算法与SC算法类似，边缘不够清楚，也存在一定的伪影现象。而本文的算法相比前三者可以恢复更多的细节信息，而且重建后图像边缘部分较为清晰，基本消除锯齿效应，与原图像更加接近。图4本文算法重建图像鼻尖边缘部分与原图像更加接近，图5本文算法重建图像的Parrot头部纹理比前三者更加清晰，图6本文算法重建图像斑马的白色条纹部分视觉效果提升明显，与原图像基本相似。

图4 不同算法超分辨重建比较(Girl)

图5 不同算法超分辨重建比较(Parrot)

图6 不同算法超分辨重建比较(Zebra)

表1给出了五种算法重建图像的PSNR和SSIM比较。从表1可以看出本文算法重建图像的PSNR、SSIM相比其它算法均有所提高，其中本文算法的PSNR相比Bicubic插值、SC算法、SCDL算法和SPM算法分别提高了约1.5 dB、0.4 dB、0.9 dB和0.6 dB，而SSIM相比Bicubic插值、SC算法、SCDL算法和SPM算法分别提高了4.3、1.6、2.4和1.8个百分点。

表1 各算法的PSNR(dB)与SSIM

Table 1 PSNR(dB) and SSIM for different methods

在字典学习效率方面本文算法相比SC算法和SCDL算法有较大的提升，本文字典训练时间约10.5 min，SC算法字典训练耗时约325 min，SCDL算法字典训练耗时约846 min。本文算法约为SC算法的，SCDL算法的。SC算法字典更新方式是在样本和稀疏系数已知的条件下，求解优化问题，但是由于训练样本和稀疏系数的维度都很大，直接影响了字典训练的效率。SCDL算法在训练半耦合字典之前需要对每一类的字典进行初始化，而且直接使用图像块的像素值进行训练，大大的降低了字典训练效率。而本文算法首先对样本分类，使每一类样本数相对较少，使用的Boost K-SVD算法在字典更新阶段中同时更新字典矩阵和稀疏系数矩阵中的非零元素项，而且使用奇异值分解替换的方法，避免了高维数据的计算，可以较快速的获得字典。

5 结 论

本文提出了一种边缘增强的多字典学习图像超分辨重建算法，可以有效的恢复图像边缘等细节信息，改善视觉效果。算法首先对训练图像块进行聚类处理，使每一类训练图像块具有相同的形态结构，然后使用Boost K-SVD字典学习算法快速学习多组字典对，超分辨重建时自适应的选择最优字典对进行稀疏分解和恢复。为了改善重建后图像的边缘视觉效果，根据输入的低分辨率图像引入边缘方向保持正则项，然后再学习自然图像库的边缘锐度统计先验对重建后图像的边缘进行约束。实验结果表明，本文超分辨重建算法在保持图像边缘和恢复纹理细节方面均有较好的改善，此外字典训练效率也优于SC算法和SCDL算法。后续工作将考虑使用GPU加速来提高超分辨率重建速度，以达到实时效果。

[1] 苏衡，周杰，张志浩. 超分辨率图像重建方法综述 [J]. 自动化学报，2013，39(8)：1202-1213.

SU Heng，ZHOU Jie，ZHANG Zhihao. Survey of Super-resolution Image Reconstruction Methods [J]. Acta Automatica Sinica，2013，39(8)：1202-1213.

[2] Freeman T，Jones T R，Pasztor E C. Example based superresolution [J]. IEEE Computer Graphics and Applications (S0272-1716)，2002，22(2)：56-65.

[3] YANG Chih-Yuan，LIU Sifei，YANG Ming-Hsuan. Structured Face Hallucination [C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，Portland，Oregon，USA，June 25-27，2013：1099-1106.

[4] 詹曙，王俊，杨福猛，等. 基于Gabor特征和字典学习的高斯混合稀疏表示图像识别 [J]. 电子学报，2015，43(3)：523-528.

ZHAN Shu，WANG Jun，YANG Fumeng，. Gaussian Mixture Sparse Representation for Image Recognition Based on Gabor Features and Dictionary Learning [J]. Acta Electronica Sinica，2015，43(3)：523-528.

[5] Elad M，Aharon M. Image denoising via sparse and redundant representations over learned dictionaries [J]. IEEE Transactions on Image Processing(S1063-6919)，2006，15(12)：3736-3745.

[6] YANG Jianchao，Wright J，Thomas H，. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing(S1057-7149)，2010，19(11)：2861-2873.

[7] Zeyde R，Elad M，Protter M. On Single Image Scale-up using Sparse Representations [C]// Proceedings of the 7th International Conference on Curves and Surfaces，Avignon，France，June 24-30，2012，6920：711-730.

[8] WANG Shenlong，ZHANG Lei，LIANG Yan，. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis [C]// IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Providence，RI，USA，June 16-21，2012：2216-2223.

[9] HE Li，QI Hairong，Zaretzki R. Beta Process Joint Dictionary Learning for Coupled Feature Spaces with Application to Single Image Super-Resolution [C]// IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Portland，Oregon，USA，June 25-27，2013：345-352.

[10] Peleg T，Elad M. A statistical prediction model based on sparse representations for single image super-resolution [J]. IEEE Transactions on Image Processing(S1057-7149)，2014，23(6)：2569-2582.

[11] PatiY C，Rezaiifar R，Krishnaprasad P S. Orthogonal matching pursuit：recursive function approximation with applications to wavelet decomposition [C]// Proceedings of the 27th Asilomar Conference on Signals，Systems and Computers. Pacific Grove，USA：Institute of Electrical and Electronics Engineers，1993：40-44.

[12] CHEN Shaobing，Donoho D，Saunders M. Atomic decomposition by basis pursuit [J]. SIAM Review(S0036-1445)，2001，43(1)：129-159.

[13] DONG Weisheng，ZHANG Lei，SHI Guangming，. Image Deblurring and Super-Resolution by Adaptive Sparse Domain Selection and Adaptive Regularization [J]. IEEE Transactions on Image Processing(S1057-7149)，2011，20(7)：1838-1857.

[14] 潘宗序，禹晶，肖创柏，等. 基于自适应多字典学习的单幅图像超分辨率算法 [J]. 电子学报，2015，43(2)：209-216.

PAN Zongxu，YU Jing，XIAO Chuangbai，. Single Image Super Resolution Based on Adaptive Multi-Dictionary Learning [J]. Acta Electronica Sinica，2015，43(2)：209-216.

[15] Smith L N，Elad M. Improving Dictionary Learning：Multiple Dictionary Updates and Coefficient Reuse [J]. Signal Processing Letters(S1070-9908)，2013，20(1)：79-82.

[16] 陈书贞，魏艳新. 基于图像自相似性及字典学习的超分辨率重建算法 [J]. 光电工程，2013，40(6)：106-113.

CHEN Shuzhen，WEI Yanxin. Image Super-resolution Reconstruction Algorithms Based on Self-similarities and Dictionary Learning [J]. Opto-Electronic Engineering，2013，40(6)：106-113.

[17] 石大维，符冉迪，金炜. 基于耦合过完备字典的红外云图超分辨率方法 [J]. 光电工程，2014，41(4)：69-74.

SHI Dawei，FU Randi，JIN Wei. A Method of Infrared Nephogram Super-resolutionBased on Coupled Over-completed sDictionary [J]. Opto-Electronic Engineering，2014，41(4)：69-74.

Image Super-Resolution Based on Edge-enhancement and Multi-dictionary Learning

ZHAN Shu1,2，FANG Qi1

( 1. School of Computer and Information Technology,Hefei University of Technology,Hefei230009, China;2. Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hefei230009, China )

In order to overcome the weak of the limit ability of preservation of edges and easy to produce visual artifacts in some super-resolution methods based on dictionary learning, we propose multi-dictionary learning image super-resolution method with edge-enhanced, which can effectively restore the image edge details. Firstly, the training image patches will be classified by using K-means, and then quickly learn multi-dictionary pairs by employing the Boost K-SVD algorithm. During the super-resolution reconstruction, the method adaptively selects the optimal dictionary pairs for sparse decomposition and recovery. To improve the visual quality of edge after image reconstruction, we employed direction-preserving regularization according to the input test low-resolution (LR) image, meanwhile learning the natural image database edge sharpness statistics prior to constraint the image reconstruction of edges. The experimental results demonstrate the effectiveness of the proposed algorithm.

super-resolution; dictionary learning; statistical priors; edge-enhancement

TP391.41

A

10.3969/j.issn.1003-501X.2016.04.007

2015-05-14；

2015-07-27

国家自然科学基金资助(61371156)；安徽省科技攻关计划(1401B042019)

詹曙(1968-)，男(汉族)，安徽合肥人。副教授，硕士生导师，主要研究三维人脸识别和医学图像处理。E-mail: shu_zhan@hfut.edu.cn。