基于字典学习的遥感影像超分辨率融合方法

李成轶, 田淑芳

(中国地质大学(北京)地球科学与资源学院,北京 100083)

基于字典学习的遥感影像超分辨率融合方法

李成轶, 田淑芳

(中国地质大学(北京)地球科学与资源学院,北京 100083)

鉴于多源遥感影像融合受现有分辨率的限制，结合稀疏表示理论，提出了一种基于字典学习的遥感影像超分辨率融合方法，可将多光谱影像的空间分辨率提升到全色影像空间分辨率的1倍或2倍。在遥感影像融合框架下，首先建立学习字典，利用冗余字典对影像稀疏表示，重构超分辨率； 然后采用Gram-Schmidt(GS)光谱锐化法，融合得到超分辨率多光谱影像。利用QuickBird数据对提出的方法进行3个实验，结果都表明本文方法相对传统融合方法、传统超分辨率方法和其他字典学习方案具有一定优势，适用于遥感影像超分辨率融合，可为多源遥感影像融合的超分辨率问题提供1种可行的解决方案，而且对其他融合方法也有借鉴意义。

QuickBird； 字典学习； 稀疏表示； 超分辨率； 影像融合

0 引言

遥感数据融合技术能对不同来源的数据进行优化组合，从而提高影像的分辨率和影像分析结果的准确性与置信度，并最终提高对待定目标自动监测和识别的有效性[1]。目前广泛应用的像素级遥感影像融合，能更多地保留影像的原有信息，提供更多的细节信息[2]。然而传统的像素级融合方法受现有分辨率的限制，常将多光谱影像通过插值方法“放大”到全色影像大小，再按一定的融合规则进行融合，因而在同一区域只能融合得到当前现有影像的分辨率； 而插值往往不能真实反映地物客观情况，融合得到的影像信息可靠性不强。一些学者将稀疏表示法用于实现影像超分辨率，在重构影像的同时实现了影像“放大”，并很好地保证了影像质量[3]。

本文以突破遥感影像融合受现有分辨率限制为出发点，引入影像处理领域中的超分辨率影像重构概念。超分辨率影像重构的目的在于复原采样之外的信息，使影像获得更多的细节信息[4]。超分辨率影像重构有太多的未知数和病态条件组成的欠定方程组，其往往难以求解[5]。针对该问题，Stark等[6]采用了凸集投影，而Irani等[7]采用了反向迭代投影。针对上述方法的不足，本文利用字典学习具有的更好的稀疏性和自适应能力，提出了基于字典学习的遥感影像超分辨率融合方法。通过对样本进行学习得到学习字典，利用字典稀疏表示分别实现影像各波段的超分辨率重构； 再把重构后的多光谱与全色影像按一定的融合规则进行融合，得到最终的超分辨率融合影像。

1 稀疏表示的基本原理

稀疏表示的主要思想是先求解源影像在冗余字典下最稀疏的表示，即稀疏表示系数； 再将稀疏表示系数与冗余字典相乘，从而精确地重构影像。

如果1个信号中大部分值为0，则称这个信号是稀疏的； 若其中有K个不为0的值，则称信号是K稀疏的(K-sparse)。信号的稀疏表示就是将信号投影到某个稀疏基，使绝大部分稀疏系数为0或很小，于是得到信号在这个稀疏基下的稀疏表示。常用的稀疏基有离散余弦变换基、快速傅里叶变换基、离散小波变换基、Curvelet基、Gabor基以及冗余字典等[8]。信号实值x∈RN×1可用稀疏基Ψ∈RN×K线性表示为[9]

x=Ψs,

(1)

式中s为信号x在稀疏基Ψ下的稀疏表示。

由少量测量值y重构x在本质上是1个病态问题，难以求解。但是，在压缩感知先验条件和理论框架下，信号x可由测量值y通过求解最优l0范数问题精确重构[10]，即

(2)

式中L为测量矩阵，优化问题可以等价用l1范数最小化算法或用贪婪算法等求解。常用的l1范数最小化算法有基追踪(basis pursuit,BP)和线性规划等； 贪婪算法有正交匹配追踪(orthogonal matching pursuit,OMP)等。线性规划方法重构质量好，但计算复杂度很高[11-12]； 贪婪算法速度快，但迭代相同次数的重构质量较BP算法差[13]。

2 基于字典学习的超分辨率融合

2.1 超分辨率融合流程

本文超分辨率融合的技术流程主要包括影像的超分辨率重构和对重构影像的优化组合(图1)。

图1 技术流程图

2.2 字典学习

在基于字典的稀疏表示中，采用冗余字典作为稀疏基； 常用2类方法获得冗余字典： ①采用固定字典； ②采用学习的方法获得字典。针对选取固定字典的自适应性不足，本文采取用于K稀疏表示的奇异值分解(K-singular value decomposition,K-SVD)方法[14]对细节更丰富的遥感影像进行学习，获得冗余字典，并与离散余弦转换(discrete cosine transformation, DCT)固定字典进行比较。

K-SVD依据误差最小的原则，对误差项进行SVD分解，选择使误差最小的分解项作为更新的字典原子和对应的原子系数，经过不断的迭代得到优化解，求解方法为

(3)

式中：Y为初始输入的DCT字典；D为待求解的高分辨率字典；X为随机选取的影像块；i为X中的列号；T为稀疏度控制系数。

2.3 分波段超分辨率重构

分波段重构即分别对多光谱影像各波段和全色影像进行超分辨率重构。现有的超分辨率融合方法的处理思路是： 将3个波段进行RGB彩色合成； 对合成影像进行RGB向HIS彩色空间转换后，再对其中的I分量重构，对H和S分量进行插值放大； 最后进行HIS逆变换，得到融合后的影像。这类融合方法在遥感应用中存在严重不足： ①没有充分发挥遥感影像高光谱分辨率的优势，遥感影像一般多于3个波段； ②仅对HIS中的1个分量进行重构，而对另2个分量值只进行简单插值，这种处理方式得到的融合结果并不客观、可靠性不高。

为此，分别把多光谱影像各波段和全色影像分块列向量化。给定1个p×p(p∈Z+)低分辨率影像块，将其按“列优先”原则转化为向量y∈Rm，m=p2,重构获得q×q(q∈Z+)超分辨率影像块x∈Rn,n=q2。单个多光谱影像波段与全色影像的关系可以用一个线性测量矩阵L表示为

y=Lx,L∈Rm×n。

(4)

将y认为是x的1个下采样版本，即把低分辨率影像认为是将超分辨率影像经过降质采样后得到的影像，令p=2，q=4，则L∈R4×16有如下形式，即

(5)

重构放大系数为M=q/p。

根据式(5)，低分辨率影像和超分辨率影像的关系可表示为

y=Lx=LDα,

(6)

式中：y为低分辨率影像块向量；L为感知矩阵；x为超分辨率影像块向量；α为x的稀疏表示；D为学习得到的冗余字典。

在冗余字典稀疏基下，超分辨率影像块向量x被稀疏表示为α，感知矩阵L与x相乘对应到所观测的低分辨率影像块向量y。其中k为稀疏度，即向量α中只有k个值不为0(图2)。

图2 超分辨率重构示意图

α∈RN，‖α‖0=K<

(7)

对此，采用重构性能较好的基追踪(BP)算法[15]求解。BP算法是基于l1范数的凸重建算法，即

(8)

式中ε为重构误差。

2.4 融合规则

由于本文基于字典学习的超分辨率融合方法的核心技术体现在基于K-SVD学习字典分波段超分辨率环节，为了与遥感影像处理很好地结合，考虑到Gram-Schmidt(GS)正交化变换具有良好的数值稳定性，可充分利用每个波段的特性，消除矩阵的冗余信息，因此本文的融合规则仅选用遥感影像融合中常用的GS光谱锐化法为融合规则[16]。

GS光谱锐化方法融合步骤： ①从低分辨率的多光谱影像中复制出1个全色波段； ②对该全色波段和多光谱波段进行GS变换，其中全色波段被作为第1个波段； ③用GS变换后的第1个波段替换高空间分辨率的全色波段； ④应用GS反变换构成最终的超分辨率融合影像。

GS正交化算法如下：

设{u1,u2,…,un}是1组相互独立的向量，通过GS变换构造正交向量{v1,v2,…,vn}，则

3 结果与分析

实验采用高分数据QuickBird作为数据源，对多光谱影像和全色影像进行超分辨率融合。仿真平台硬件环境为： Intel(R)Core (TM)i7-3770CPU，4GB内存的PC机； 软件开发工具为Windows7操作系统，MATLAB(R2013a)。

进行3个实验，用本文方法对多光谱和全色影像进行超分辨率融合。实验1(第3.1节)把多光谱影像分辨率提升到全色影像的分辨率，与传统融合方法进行对比； 实验2(第3.2节)把多光谱影像分辨率提升到全色影像分辨率的2倍，与传统超分辨方法进行对比； 实验3(第3.3节)提升多光谱影像分辨率到全色影像分辨率的2倍，与DCT固定字典超分辨率方法和文献[17]中的K-SVD方法学习字典的超分辨率方法进行对比。为了分别评价本文方法融合的实际效果和突破分辨率的保真情况，实验1主要引入平均梯度、信息熵、联合熵、标准差和偏差指数作为评价指标，综合评价本文方法与传统方法的融合效果。在实验2和实验3中，由于将超分辨率放大到全色影像的2倍，缺少真值作为参考，因此舍弃了偏差指数和联合熵，主要用平均梯度、信息熵和标准差作为评价指标，评价影像本身的质量。其中，平均梯度表征影像清晰度，信息熵表征信息丰富度，联合熵表征与原影像信息的互信息关系，标准差表征影像对比度，偏差指数表征光谱失真度。

3.1 与传统融合方法对比

针对QuickBird影像多光谱波段和全色波段进行融合，即把多光谱波段的空间分辨率从2.8 m提升到0.7 m，并与常用的HSV,Brovey和PCA影像融合方法进行对比分析。

对实验结果(图3)从目视角度可以看出，PCA融合影像失真严重，HSV和Brovey融合影像出现了彩色噪点，总体来说本文方法融合影像在视觉上具有优势。

(a) HSV (b) PCA(c) Brovey(d) 本文方法

图3 本文方法与传统融合方法效果对比

Fig.3 Comparison of fusion effects between method proposed in this paper and traditional methods

表1为4种方法融合质量的客观评价指标。

表1 4种方法融合质量评价

①()内的数字表示评价指标从优到差排序的位置，(1)为最优，(4)为最差。

从表1可以看出，本文融合方法在平均梯度指标上仅次于HSV，而优于其他3种方法，清晰度较好； 而联合熵指标最高，信息熵仅次于PCA，信息蕴含量大； 标准差指标仅次于HSV，对于人眼目视效果较好； 偏差指数指标最优，对光谱保持最好，较少产生畸变。本文方法在5项指标中占了2项最优、3项次优，综合评价为4种融合方法中的质量最优融合方法。

3.2 与传统超分辨率重构方法对比

为了验证本文方法的超分辨率重构效果，分别用本文方法和常用的超分辨率插值方法将多光谱影像分辨率提高到全色影像的2倍，从平均梯度、信息熵、标准差和目视效果4个方面来评价重构结果。

图4为同一个区域的QuickBird影像，其多光谱影像(图4(a)，Band3(R)Band2(G)Band 1(B)假彩色合成)空间分辨率为2.8 m(影像大小为512像元×512像元)，全色影像分辨率为0.7 m(影像大小为2 048像元×2 048像元)。如果使用传统融合方法，只能融合得到空间分辨率为0.7 m(影像大小为2 048像元×2 048像元)的多光谱影像。然而，在基于字典学习的超分辨率理论下，本文对影像进行超分辨率重构，突破了最大分辨率的限制，得到全色波段影像分辨率的2倍(空间分辨率为0.35 m，影像大小为4 096像元×4 096像元)的多光谱波段影像。

(a) 原始影像(b) 最邻近(c) 双线性(d) 三次卷积 (e) 本文方法

图4 本文方法与超分辨率方法对比

(QuickBird B3(R),B2(G),B1(B)假彩色合成影像)

Fig.4 Comparison between proposed method and traditional super-resolution method

图4(a)是大小为512像元×512像元的QuickBird原始多光谱影像； 图4(b)(c)(d)分别是原始影像经最邻近、双线性、三次卷积方法传统超分辨率插值后放大到4 096像元×4 096像元后的影像； 图4(e)是用本文方法融合提升到4 096像元×4 096像元后的高保真影像。由于进行了超分辨率放大，没有真值作为参考，因此舍弃了联合熵与偏差指数指标，本实验主要选取了表征融合影像本身信息量的平均梯度、信息熵和标准差作为评价指标。质量评价结果表明(表2),基于插值的方法信息损失严重，影像会出现锯齿现象，尤其是原始影像中的细节信息很容易出现过模糊现象； 而本文超分辨率融合的方法能很好地保留地物的真实信息，3项评价指标明显优于传统插值方法。

表2 超分辨率融合质量评价

①()内的数字表示评价指标从优到差排序的位置，(1)为最优，(4)为最差。

3.3 K-SVD学习字典与DCT固定字典对比

考虑到一个合适的字典对重构影像非常重要，为了验证本文K-SVD字典学习方法的有效性，针对本文融合过程中的重构环节，在文献[17]基础上做出了改进。文献[17]基于字典学习策略实现了单景影像的超分辨率重构，其选取的训练样本为自然影像。为了使训练字典的样本空间细节更加丰富，考虑到WorldView2影像分辨率更高(全色影像空间分辨率0.5 m，多光谱影像空间分辨率1.8 m)，细节更丰富，且与QuickBird影像的统计特征相似，本文有针对性地采用空间分辨率为0.5 m的WorldView2全色波段影像(影像大小为3 075像元×3 502像元)随机提取100 000个小块(每个小块为4像元×4像元)作为样本训练字典， 并且采用K-SVD方法进行字典学习(图5)； 在此基础上结合融合规则，能更好地补充QuickBird影像的细节信息，使其各波段经超分辨率融合后信息量保持更大，得到空间分辨率是全色波段影像分别率2倍的超分辨率多光谱影像。

(a) 用于训练字典的WorldView2影像 (b) DCT字典 (c) 文献[17]字典 (d) 本文字典

图5 WorldView2影像及其训练得到的字典

Fig.5 WorldView2 image and its dictionaries obtained by training

图6(a)是大小为512像元×512像元的原始影像， 图6(b)(c)(d)分别是用DCT字典、经文献[17]的稀疏重构和本文方法超分辨率融合提升到4 096像元×4 096像元后的高保真影像。

(a) 原始影像(b) DCT字典(c) 文献[17]方法(d) 本文方法

图6 不同字典获取方法对比

Fig.6 Comparison among different dictionary access methods

由于进行了超分辨率放大，没有真值作为参考，因此舍弃了联合熵与偏差指数指标，本实验主要选取了表征融合影像本身信息量的平均梯度、信息熵和标准差作为评价指标(表3)。可以看出，本文、DCT和文献[17]的基于重构的方法均能很好地保留地物真实信息，3项指标均明显优于实验2中传统插值方法，学习字典的方法较之DCT字典方法重构的质量更好，本文方法比DCT字典和文献[17]的超分辨率重构方法得到的融合影像在评价指标和目视效果上都更为合理，拥有3项最优的地位。

表3 不同字典获取方法融合质量评价

①()内的数字表示评价指标从优到差排序的位置，(1)为最优，(4)为最差。

4 结论

1)本文提出了一种基于字典学习的遥感影像超分辨率融合方法，实现了稀疏表示超分辨率与影像融合的结合。该方法通过超分辨重构使多光谱和全色影像分别达到预期空间分辨率大小，解决了遥感影像融合中突破现有分辨率限制的问题； 既可达到传统意义上的融合目的，也能突破现有分辨率，得到更高分辨率的遥感影像。

2)相对于其他基于稀疏表示和字典学习的影像超分辨率方案，本文提出的方法针对更高分辨率遥感影像选取K-SVD方法训练字典，能达到更好的遥感影像超分辨率融合效果。

3)有资料显示，噪声与信号的稀疏情况不同。本文的重构算法(BP)也常用于稀疏信号去噪，在理论上本文方法具有一定的抗噪性，因篇幅有限，本文暂未进行详细论述。

本文方法依然在以下方面有待改进和发展： ①如何找到一个合适的稀疏基，使影像最为稀疏，确保重构精度更高； ②改进重构方法，提高重构效率； ③进一步与压缩感知理论相结合，改进传感器采样方式，实现在压缩域进行融合重构，这在海量高精度遥感数据处理和应用中具有良好的发展前景。

[1] 柴艳妹.多源遥感图像融合技术研究[D].西安:西北工业大学,2004. Chai Y M.The Study on Multi-sensor Image Fusion in Remote Sensing[D].Xi’an:Northwestern Polytechnical University,2004.

[2] 谢茜.像素级遥感图像融合方法研究[D].长沙:中南大学,2009. Xie X.Remote Sensing Image Fusion Method Based on Pixel-level[D].Changsha:Central South University,2009.

[3] Yang J C,Wright J,Huang T S,et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing,2010,19(11):2861-2873.

[4] 苏秉华,金伟其,牛丽红,等.超分辨率图像复原及其进展[J].光学技术,2001,27(1):6-9. Sun B H,Jin W Q,Niu L H,et al.Super-resolution image restoration and progress[J].Optical Technique,2001,27(1):6-9.

[5] 史祥燕.基于稀疏表示的视频图像超分辨率重建算法研究[D].大连:大连海事大学,2013. Shi X Y.Research on Sparse Representation Based Video Super-resolution Reconstruction Algorithm[D].Dalian:Dalian Maritime University,2013.

[6] Stark H,Oskoui P.High-resolution image recovery from image-plane arrays,using convex projections[J].Journal of the Optical Society of America A,1989,6(11):1715-1726.

[7] Irani M,Peleg S.Improving resolution by image registration[J].CVGIP:Graphical Models and Image Processing,1991,53(3):231-239.

[8] 李树涛,魏丹.压缩传感综述[J].自动化学报,2009,35(11):1369-1377. Li S T,Wei D.A survey on compressive sensing[J].Acta Automatica Sinica,2009,35(11):1369-1377.

[9] Wan T,Canagarajah N,Achim A.Compressive image fusion[C]//Proceedings of the 15th IEEE International Conference on Image Processing.San Diego,CA:IEEE,2008:1308-1311.

[10]Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[11]Candès E J,Romberg J,Tao T.Robust uncertainty principles:Exact signal reconstruction from highly incomplete frequency information[J].IEEE Transactions on Information Theory,2006,52(2):489-509.

[12]Candès E J.Compressive sampling[C]//Proceedings of the International Congress of Mathematicians.Madrid:[s.n.],2006:1433-1452.

[13]Tropp J A,Gilbert A C.Signal recovery from random measurements via orthogonal matching pursuit[J].IEEE Transactions on Information Theory,2007,53(12):4655-4666.

[14]Aharon M,Elad M,Bruckstein A.rmK-SVD:An algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing,2006,54(11):4311-4322.

[15]Chen S S,Donoho D L,Saunders M A.Atomic decomposition by basis pursuit[J].SIAM Journal on Scientific Computing,1998,20(1):33-61.

[16]黄健,顾海.基于Gram-Schmidt变换的QuickBird影像融合[C]//地理信息与物联网论坛暨江苏省测绘学会2010年学术年会论文集.无锡:江苏省测绘学会,2010. Huang J,Gu H.QuickBird image fusion based on Gramm-Schmidt transform[C]//Geographic Information and Internet BBS and Surveying and Mapping Institute of Jiangsu Province in 2010 Academic Essays.Wuxi:Jiangsu Surveying and Mapping Institute,2010.

[17]Yang S Y,Sun F H, Wang M,et al.Novel super resolution restoration of remote sensing images based on compressive sensing and example patches-aided dictionary learning[C]//Proceedings of the 2011 International Workshop on Multi-Platform/Multi-Sensor Remote Sensing and Mapping.Xiamen:IEEE,2011:1-6.

(责任编辑： 邢宇)

Super-resolution fusion method for remote sensing image based on dictionary learning

LI Chengyi， TIAN Shufang

(SchoolofEarthSciencesandResources，ChinaUniversityofGeosciences(Beijing)，Beijing100083，China)

In consideration of the fact that multi-source remote sensing image fusion is restricted by the existing resolution, the authors propose a super-resolution remote sensing image fusion method based on dictionary learning with sparse representation theory in this paper. The spatial resolution of multispectral images can be promoted to 1 or 2 times higher than the spatial resolution of panchromatic image. Under the framework of the method in remote sensing image fusion, a learning dictionary was established, the redundant dictionary on image sparse representation was used to conduct super-resolution reconstruction implementation. Then the Gram-Schmidt(GS)spectrum sharpening method was used as a fusion rule to obtain super resolution multispectral image fusion. Three experiments were carried out using QuickBird data. The results show that the proposed method is suitable for remote sensing image super-resolution fusion with some advantages in comparison with traditional fusion method, traditional super-resolution method and the other dictionary learning strategy. This paper provides a feasible solution for multi-source remote sensing image fusion, and has referential significance for other fusion methods.

QuickBird； dictionary learning； sparse representation； super-resolution； image fusion

10.6046/gtzyyg.2017.01.08

李成轶,田淑芳.基于字典学习的遥感影像超分辨率融合方法[J].国土资源遥感,2017,29(1)：50-56.(Li C Y,Tian S F.Super-resolution fusion method for remote sensing image based on dictionary learning[J].Remote Sensing for Land and Resources,2017,29(1)：50-56.)

2015-07-24；

2015-11-20

中国地质调查局地质调查项目“京津地区矿产资源开发环境遥感监测”(编号： 12120115060901)资助。

李成轶(1992- ),男,硕士研究生,主要研究方向为遥感与GIS数据处理。Email： lcy@cugb.edu.cn。

田淑芳(1963-),女,副教授,主要从事遥感与GIS的教学和科研工作。Email： sftian@cugb.edu.cn。

TP 751.1

A

1001-070X(2017)01-0050-07