基于小波域压缩感知的遥感图像超分辨算法

杨学峰，程耀瑜，王 高

(中北大学 信息与通信工程学院，太原 030051)

基于小波域压缩感知的遥感图像超分辨算法

杨学峰*，程耀瑜，王 高

(中北大学 信息与通信工程学院，太原 030051)

(*通信作者电子邮箱yxf768@nuc.edu.cn)

针对单字典表达复杂多样的图像纹理存在一定的局限性的问题，利用压缩感知和小波理论建立了一种多字典遥感图像超分辨算法。首先,对训练图像在小波域的不同频带利用K-奇异值分解(K-SVD)算法建立不同的字典；然后,利用全局限制求取高分辨率图像的初始解；最后,利用正交匹配追踪算法(OMP)对初始解在小波域进行多字典稀疏求解。实验结果表明，相比基于单字典的超分辨重建算法，结果图像的主观视觉效果有很大提高，客观评价指标的峰值信噪比(PSNR)和结构相似度(SSIM)分别提高2.8 dB以上和0.01以上。字典可一次建立重复使用，降低了运算时间。

遥感图像；超分辨；压缩感知；字典学习；小波

0 引言

分辨率是遥感图像的最重要特征之一。由于许多实际条件的限制，获取的遥感图像分辨率不能达到实际需求。图像超分辨重建技术可以对获取的一帧或多帧低分辨率图像进行处理以得到更高分辨率的图像。

图像超分辨重建大致可分为三类：基于重建的方法、基于插值的方法和基于学习的方法。基于重建的方法[1-3]一般用于多帧超分辨，多帧低分辨率图像间的运动估计是该方法的难点，运动估计的误差会对超分辨效果产生比较大的影响。基于插值的方法[4-5]可以快速地对单帧图像进行超分辨，但合适的先验信息不易加入，放大倍数较大时性能下降。基于学习的方法近年来获得了巨大的进展，大致又可分为基于神经网络[6-8]和基于稀疏表示与压缩感知的超分辨[9-17]两大类: 前者利用神经网络学习高和低分辨率图像之间的映射关系，该类方法在学习阶段计算量较大; 后者利用稀疏性作为先验信息，为求解欠定问题提供了新的视角和工具。

文献[9-13]将压缩感知和稀疏表示理论应用于图像的超分辨重建，获得了良好的超分辨效果。文献[9-12]利用K-奇异值分解(K-Singular Value Decomposition,K-SVD)方法进行字典学习，基于压缩感知理论进行超分辨重建。由于训练图像与超分辨图像纹理有可能存在较大差别，从而影响超分辨重建的效果。在此基础上，文献[13]将训练图像限定在超分辨图像本身，一定程度上解决了上述问题，但需要对每帧超分辨图像都进行字典学习，即字典是一次性的。

上述都是基于单字典学习。一般认为，利用单一字典表达复杂多样的纹理有一定的局限性。基于多字典学习获得了发展[14-16]。文献[14]按照图像块梯度和的大小将图像块纹理分成7类，建立7个不同字典，重建阶段将图像块归类并在相应的类别中进行稀疏求解，但该分类方法没有考虑图像纹理的方向性。文献[15]对每组图像块提取K个纹理，形成K个子字典；重建阶段对每个低分辨率图像块进行K次稀疏求解，K值较大时计算量很大。考虑到小波变换可以将图像分解为低频频带和3个方向的高频频带，并且具有多分辨特性。利用小波变换对图像纹理进行分类是一种有效的方法。文献[16]在小波域低频部分进行稀疏求解，另3个频率采用双立方插值，显然高频成分的恢复不足。

在上述基础上，本文利用小波变换将复杂多样的纹理分解为4个不同的频带，对应建立4个字典来描述。基于压缩感知理论在4个不同频段分别进行稀疏求解，最后增加全局性限制以消除块状效应。

1 理论基础

1.1 压缩感知

压缩感知理论[17-19]认为，在满足一定条件下，可以通过较少的测量信号y完美重建原始信号x。完美重建所需的测量数目与Φ和Ψ的相干性、x的稀疏性密切相关。

1.2 字典学习

字典学习指冗余字典的构建过程。假定Ib=Dαb，其中Ib为图像块矢量，D∈RN×K为冗余字典，αb∈RK为稀疏表示系数，且有‖αb‖0=r≪K。K-SVD字典学习方法[20]借鉴K均值聚类的思想，通过求解最优化问题

(1)

同时获得冗余字典D和对应的稀疏表示αb，其中T0为稀疏限制的阈值。

1.3 稀疏编码

稀疏编码指稀疏表示系数的求解过程，即求解式(2):

(2)

近年来涌现出多种稀疏编码算法，如基追踪(Basis Pursuit, BP)算法、匹配追踪(Matching Pursuits, MP)算法、正交匹配追踪(Orthogonal Matching Pursuit, OMP)算法等[21]，但BP算法的计算量较大，而OMP算法是对MP算法的改进，在分解的每一步对所选择的全部原子进行正交化处理，收敛速度更快[22]。

2 小波域多字典超分辨重建

为克服单字典表达复杂纹理图像能力的不足，利用多个字典进行表示将会获得更好的效果。小波变换可以将图像分解成4个不同的频带，分别对应低频、垂直、水平和倾斜频带，并且可以进行多级的分解。本文将利用多级小波变换，在小波域利用压缩感知理论求解面向遥感图像的超分辨重建问题。

假设Xb、Yb分别表示对应的第b个高分辨率和低分辨率图像块，H表示退化算子(图像退化过程包含模糊和下采样)，依据压缩感知理论，Xb又可以利用字典D进行稀疏表示，则两者关系可表示为式(3)：

Yb=HXb=HDαb

(3)

式(3)可通过式(4)所示的最优化问题求解：

(4)

进一步在小波域通过多字典求解，设WS和WA分别表示小波综合与分析算子，对应小波域4个频带分别训练获得4个字典Dk(k=H(表示水平方向),V(表示垂直方向),D(表示对角线方向),A(表示低频部分分解系数))，αb,k表示第b图像块第k频带的稀疏表示，则最优化问题变为：

(5)

其中：Dw=[DA,DH,DV,DD]，αwb=[αb,A，αb,H，αb,V，αb,D]T。

上述最优化问题可通过式(6)求解：

(6)

由于H和WS两个算子不具有可交换性，为简化求解，将其分成如下两步(式(7)和(8))：

(7)

(8)

式(7)的求解需要加入适当的正则化项，这里采用Laplace正则化项。式(8)等价于：

(9)

根据以上分析，本文建立基于小波域多字典学习和压缩感知的超分辨重建算法，步骤如下：

步骤4 求解X^b=WsDwαwb，式中Dw和αwb的含义同公式(5)，生成高分辨率图像块X^b。

步骤5 将各图像块X^b拼接后进行逆小波变换形成一帧高分辨率图像。

3 实验结果

3.1 对比实验

为证明算法的有效性，本文进行了下面实验，实验所用图像来自USC-SIP遥感图像库。在字典训练中， 对如图1所示的不同纹理的6帧尺寸为1 024×1 024的遥感图像进行二级小波分解，对分解后的低频部分和3个高频部分进行分块，分块大小为2×2，然后对这4组图像块利用K-SVD算法进行字典学习，得到4个小波域字典。每个字典的原子数目本文参照文献[12]的结果，设为16，则每个字典是大小为4×16的矩阵。

利用训练好的字典，对其他遥感图像进行超分辨重建。文献[13]提出了基于压缩感知的单字典算法，与本文算法原理接近。文献[14]给出了一种基于稀疏表示和多字典对的算法。本文算法主要与这两种算法进行对比分析。对图2所示的4帧图像进行实验，得到4组实验结果。首先对一帧尺寸为256×256的高分辨率图像(High Resolution Image, HRI)执行支持域为3×3、标准差为2的高斯模糊，接着1/2×1/2倍的下采样，得到一帧退化的低分辨率图像(Low Resolution Image, LRI)，对LRI分别执行双线性插值、文献[13]算法、文献[14]算法和本文算法进行比较分析。

图1 6帧训练图像Fig. 1 Six frame training images

图2 4组实验图像Fig. 2 Four experimental images

图3给出了第一组实验结果,图4给出了该实验结果图像中截取的两块小区域的放大图像。

图3 对图2(a)实验结果比较Fig. 3 Comparison of experimental results to Fig. 2(a)

从图4中可以看出，相比LRI的双线性插值，文献 [13]和[14]算法的超分辨图像的分辨率有了很大提高，图像更加清晰，原来不能分辨的许多纹理已经能够分辨出来。文献[14]算法利用多字典对在一定程度上比单字典对表达图像纹理更有效，性能上比文献[13]算法有一定提高, 而本文算法利用小波多级分解进行纹理分类，能更有效地表达复杂的纹理，结果图像的分辨率有了较大提高，一些在图4(c)和图4(d)中模糊或者不能分辨的纹理在图4(e)中能够明显分辨出来。

图4 图3的局部放大Fig. 4 Partial enlarged detail of Fig.3

为定量比较算法的性能，表1和表2给出了上述4组实验结果的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构相似度(Structural SIMilarity, SSIM)指标。相比双线性插值，文献[13]算法结果的PSNR指标和SSIM指标分别提高3 dB 和0.04以上； 文献[14]算法结果又相对于文献[13]算法结果分别提高0.4 dB和0.003以上； 本文算法比双线性插值提高6 dB和0.057以上。

表1 实验结果的PSNR比较 dBTab. 1 PSNR comparison of experimental results dB

表2 实验结果的SSIM比较Tab. 2 SSIM comparison of experimental results

3.2 计算量分析

从算法原理上，文献[13]算法与本文算法最为接近，本文主要与该算法进行计算量的比较。根据算法原理，与文献[13] 算法相比，本文算法的计算主要增加了全局求解、小波正反变换和多字典的建立三部分，如果将字典建立包含在内，计算量有适当的增加; 但本文算法所建字典可重复使用，减少了每次都重建字典的计算, 当字典一旦建立重复使用时，计算量又会大大减小。

为便于计算量的比较，对本文算法包含字典建立和不包含字典建立两种计算时间进行实验比较，而文献[13] 算法的计算时间则必须包含字典建立部分。分别对128×128、256×256和512×512三种尺寸的10组遥感图像执行上述三种算法的计算时间取平均值进行比较，结果如图5所示。可以看出，如果考虑字典建立时间，本文算法不到文献[13]算法的4倍，主要为建立字典的时间。如果不考虑字典建立时间，本文算法大约为文献[13]算法的计算时间的一半。

图5 计算时间比较Fig. 5 Comparison of computation time

4 结语

针对遥感图像的分辨率增强以及单字典表达复杂图像纹理的局限性问题，本文提出了一种基于压缩感知理论的小波域多字典超分辨重建算法。基本思想是基于压缩感知理论，将单字典改为小波域多字典进行超分辨重建。利用小波变换的频带分解和多分辨特性，在小波域进行多字典的训练和稀疏求解。结果表明，本文算法重建图像的分辨率相比单字典算法和同类多字典算法有很大提高。主观评价上超分辨重建图像纹理更加丰富清晰,客观评价指标PSNR和SSIM指标都有较大提高。考虑字典建立的时间，与单字典算法相比，本文算法计算量稍大。由于字典可重复使用，字典建立以后进行大批量遥感图像超分辨处理时，计算时间又大幅减少，为单字典算法的一半左右。对于小波域字典与感知矩阵的相干性分析、利用更有效的图像表达方式如Contourlet等进行多字典多尺度的超分辨重建、同时考虑相邻图像块间的相关性等是下一步的研究方向。

References)

[1] ZHANG L P, ZHANG H Y, SHEN H F, et al. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Processing, 2010,90(3):848-859.

[2] LI F, JIA X P, DONALD F, et al. Super resolution for remote sensing images based on a universal hidden Markov tree model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(3):1270-1278.

[3] YUAN Q Q, ZHANG L P, SHEN H F. Regional spatially adaptive total variation super-resolution with spatial information filtering and clustering[J]. IEEE Transactions on Image Processing, 2013,22(6):2327-2342.

[4] LI X, ORCHARD M T. New edge-directed interpolation[J]. IEEE Transactions on Image Processing, 2001, 10 (10):1521-1527.

[5] GUO K, YANG X, ZHA H, et al. Multiscale semilocal interpolation with antialiasing[J]. IEEE Transactions on Image Processing, 2012,21(2):615-625.

[6] 杨学峰, 王高, 程耀瑜. 基于径向基函数的多帧图像超分辨重建算法[J]. 计算机应用, 2014,34(1):142-144.(YANG X F, WANG G, CHENG Y Y. Multi-frame image super-resolution reconstruction algorithm with radial basis function neural network[J]. Journal of Computer Applications, 2014, 34(1):142-144.)

[7] 袁其平, 林海杰, 陈志宏,等. 用支持向量回归法实现单帧图像超分辨率重建[J]. 光学精密工程, 2016, 24(9):2302-2309. (YUAN Q P, LIN H J, CHEN Z H, et al. Single image super-resolution reconstruction using support vector regression[J]. Optics and Precision Engineering, 2016, 24(9): 2302-2309.)

[8] CHAO D, CHEN C L, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2):295-307.

[9] SUN Y C, GU G H, SUI X B, et al. Single image super-resolution using compressive sensing with a redundant dictionary[J]. IEEE Photonics Journal，2015, 7(2): 6900411.

[10] YANG S Y, SUN F H, WANG M, et al. Novel super resolution restoration of remote sensing images based on compressive sensing and example patches-aided dictionary learning[C]// Proceedings of the 2011 International Workshop on Multi-Platform/Multi-Sensor Remote Sensing and Mapping. Piscataway, NJ: IEEE,2011: 1-6.

[11] 陈伟业, 孙权森. 结合压缩感知与非局部信息的图像超分辨率重建[J]. 计算机应用, 2016, 36(9):2570-2575. (CHEN W Y, SUN Q S. Image super-resolution reconstruction combined with compressed sensing and nonlocal information[J]. Journal of Computer Applications, 2016, 36 (9): 2570-2575.)

[12] NAVEEN K, PRADEEP N, RAHUL G, et al. Understanding compressive sensing and sparse representation-based super-resolution[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2012, 22(5):778-789.

[13] PAN Z X, YU J, HUANG H J, et al. Super-resolution based on compressive sensing and structural self-similarity for remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(9):4864-4876.

[14] YEGANLI F, NAZZAL M, UNAL M, et al. Image super-resolution via sparse representation over multiple learned dictionaries based on edge sharpness[J]. Signal, Image and Video Processing, 2015, 10(3):535-542.

[15] WU W, YANG X M, LIU K, et al. A new framework for remote sensing image super-resolution: sparse representation-based method by processing dictionaries with multi-type features[J]. Journal of Systems Architecture, 2016, 64:63-75.

[16] SURYANARAYANA G, DHULI R. Image resolution enhancement using wavelet domain transformation and sparse signal representation[C]// Proceedings of the 2nd International Conference on Intelligent Computing, Communication & Convergence. Amsterdam: Elsevier, 2016:311-316.

[17] DONOHO D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4):1289-1306.

[18] HOLGER R, KARIN S, PIERRE V. Compressed sensing and redundant dictionaries[J]. IEEE Transactions on Information Theory, 2008, 54(5):2210-2219.

[19] EMMANUEL J, MICHAEL B. An introduction to compressive sampling[J]. IEEE Signal Processing Magazine, 2008, 25(2):21-30.

[20] MICHAL A, MICHAEL E, ALFRED B.K-SVD: an algorithm for designing of overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Process, 2006, 54(11):4311-4322.

[21] YANG J Y, PENG Y G, XU W L, et al. Ways to sparse representation: an overview[J]. Science in China Series F: Information Sciences,2009, 52(4):695-703.

[22] PATI Y C, REZAIFAR R, KRISHNAPRAS P S. Orthogonal matching pursuit:recursive function approximation with applications to wavelet decomposition[C]// Proceedings of the 27th Asilomar Conference on Signals, Systems and Computers. Piscataway, NJ: IEEE,1993:40-44.

This work is supported by the National Defense Key Laboratory Fund Program of China (9140C120402120C1208).

YANG Xuefeng, born in 1976, Ph. D., lecturer. His research interests include image restoration and super-resolution reconstruction, pattern recognition, computer vision.

CHENG Yaoyu, born in 1966, Ph. D., professor. His research interests include information acquisition and processing, image processing, measurement and control system.

WANG Gao, born in 1973, Ph. D., professor. His research interests include optoelectronic information processing.

Super-resolution algorithm for remote sensing imagesbased on compressive sensing in wavelet domain

YANG Xuefeng*, CHENG Yaoyu, WANG Gao

(SchoolofInformationandCommunicationEngineering,NorthUniversityofChina,TaiyuanShanxi030051,China)

Focused on the issue that complex image texture can not be fully expressed by single dictionary in image Super-Resolution (SR) reconstruction, a remote sensing image super-resolution algorithm based on compressive sensing and wavelet theory using multiple dictionaries was proposed. Firstly, theK-Singular Value Decomposition (K-SVD) algorithm was used to establish the different dictionaries in the different frequency bands in wavelet domain. Secondly, the initial solution of SR image was obtained by using global limited condition. Finally, the sparse solution of multiple dictionaries in wavelet domain was implemented using Orthogonal Matching Pursuit (OMP) algorithm. The experimental results show that the proposed algorithm presents the better subjective visual effect compared with the single dictionary based algorithm. The Peak Signal-to-Noise Ratio (PSNR) and the Structural SIMilarity (SSIM) index increase more than 2.8 dB and 0.01 separately. The computation time is reduced as the dictionaries can be used once again.

remote sensing image; super-resolution; compressive sensing; dictionary learning; wavelet

2016-09-27;

2016-12-12。 基金项目:国防测试重点实验室基金资助项目(9140C120402120C1208)。

杨学峰(1976—)，男，河南商丘人，讲师，博士，主要研究方向:图像复原与超分辨重建、模式识别、计算机视觉; 程耀瑜(1966—)，男，山西平遥人，教授，博士，主要研究方向:信息获取与处理、图像处理、测控系统; 王高(1973—)，男，山西襄汾人，教授，博士，主要研究方向:光电信息处理。

1001-9081(2017)05-1430-04

10.11772/j.issn.1001-9081.2017.05.1430

TP751.1

A