一种基于稀疏表达的遥感影像时空融合方法

张亚坤，张洪艳，沈焕锋，张良培

(1.青海省地理空间信息技术与应用重点实验室，青海 西宁 810001；2.武汉大学 测绘遥感信息工程国家重点实验室，湖北 武汉 430079；3.武汉大学 资源与环境科学学院，湖北 武汉 430079)

一种基于稀疏表达的遥感影像时空融合方法

张亚坤1，2，张洪艳1，2，沈焕锋3，张良培2

(1.青海省地理空间信息技术与应用重点实验室，青海 西宁 810001；2.武汉大学 测绘遥感信息工程国家重点实验室，湖北 武汉 430079；3.武汉大学 资源与环境科学学院，湖北 武汉 430079)

由于受传感器硬件的限制，遥感影像存在空间分辨率和时间分辨率不可兼得的现象，因此，时空融合技术很重要。针对时空融合中不同传感器之间分辨率存在的较大差异问题，文中采用基于稀疏表达的超分辨率重建方法，构建中间分辨率影像，建立耦合字典模型，采用差分稀疏表达的方法进行时空融合。实验结果表明，该方法比传统稀疏表达方法在ERGAS指标上提高将近10%。

时空融合；超分辨率重建；耦合字典模型；稀疏表达

陆地卫星Landsat影像提供了地球上人类活动的大量信息，其30 m的空间分辨率使得Landsat影像被广泛应用于科学研究、资源管理以及政府决策等领域[1-2]。然而16天的重返周期和易受天气影响等特点限制了其在动态监测方面的应用。相比之下，中分辨率成像光谱仪(MODIS)可提供重返周期为1天的影像，但其250 ～500 m的空间分辨率却无法满足动态监测的要求[3]。因此，为得到满足动态监测要求的兼具高空间分辨率和高时间分辨率的遥感影像，对Landsat和MODIS影像进行时空融合变得重要。

近年来，遥感影像时空融合领域得到国内外许多学者的关注。高峰等人[4]在2006年提出一种遥感影像时空自适应反射率融合模型(Spatial and Temporal Adaptive Reflectance Fusion Model，STARFM)。朱晓琳等人[5]在STARFM模型的基础上提出一种增强型的空间和时间自适应反射率融合模型(Enhanced Spatial and Temporal Adaptive Reflectance Fusion Model，ESTARFM)。黄波等人[6]提出一种基于稀疏表达的遥感影像时空融合方法(SPSTFM)。后来，宋慧慧等人[7]通过单幅影像超分辨率重建技术实现了只有单对Landsat-MODIS影像条件下的遥感影像时空融合，提高了算法的实用性。

虽然这些基于稀疏表达的方法都取得了理想的结果，但也都存在着一些问题。例如，SPSTFM方法中直接使用原始Landsat和MODIS的差分影像来构造耦合字典，但由于Landsat和MODIS影像之间巨大分辨率的差异(8或16倍)，使得其最终构造的耦合字典的表达能力有限[8]，从而限制其最终的融合精度。考虑到该缺点，本文拟提出一种基于中间分辨率影像的遥感影像稀疏时空融合方法。该方法通过单幅影像超分辨率重建技术来构造一系列介于Landsat和MODIS影像之间的中间分辨率影像，借助中间分辨率的影像构造耦合字典，进行遥感影像的稀疏时空融合。

1 时空融合中的稀疏表达

1.1 稀疏表达理论

稀疏表达理论的核心思想是一个信号可以用过完备字典中的有限个原子稀疏表达

min‖α‖0s.t.x=Dα

(1)

式中，‖*‖0代表零范数，表示α中非零原子的个数。相关的稀疏理论研究[9-11]表明，求解式(1)的问题是一个NP-Hard问题，且是非凸优化问题。为有效求解式(1)中的问题，学者们将式(1)转换成了1范数的凸优化问题[12-13]，并且证明使用1范数得到的解和零范数的解是等价的[14]，其等价形式为

min‖α‖1s.t.x=Dα

(2)

目前，对于式(2)问题的求解有许多经典方法，比如基追踪[15](BP)、最小角回归[16](LARS)以及LASSO算法[17]。本文采用LASSO算法求解。

1.2 耦合字典模型

耦合字典模型解决不同空间之间的转换问题[18]，在遥感图像领域具体表现为影像不同分辨率间的重建问题。假设一个低分辨率影像Y和一个对应的高分辨率影像X，并且满足降质关系

Y=SHX+v

(3)

其中，S代表降采样过程；H代表模糊过程；v表示噪声。在本文进行字典构造过程中，如果同时对两个不同分辨率的影像进行对应位置的影像块(Yk-Xk)采样，最终得到的字典原子以及由这些字典原子按照同样的排列顺序构成的耦合字典之间必然会满足同样的降质关系[18]

Dl=SHDh+v

(4)

根据稀疏表达理论式(1)，在高分辨率空间的信号原子可以被对应的高分辨率字典进行稀疏表示

X=Dhα+v1

(5)

综合考虑式(3)～式(5)

Y=Dlα+v3

(6)

通过对比式(5)和式(6)发现，不同分辨率空间的影像X和Y在耦合字典的表达下共用相同的稀疏系数α，这就是耦合字典模型的作用，即通过相同的稀疏系数α连接两个不同分辨率空间的影像。因此，本文通过低分辨率影像和低分辨率字典得到低分辨率影像对应的稀疏系数α，然后通过Xh=Dhα最终完成高分辨率影像重建。

2 本文方法

本文提出的时空融合方法主要分为两个阶段：(1)MODIS影像的超分辨率重建；(2)中间分辨率影像的差分稀疏表达。在本文中，已知t1和t3时刻的Landsat影像和对应时刻的MODIS影像，对t2时刻MODIS影像进行时空融得到t2时刻的Landsat影像。本文中，Mk,Lk,Ik分别代表第k时刻的MODIS影像、Landsat影像和中间分辨率影像，M(k-l),L(k-l),I(k-l)分别代表第k和第l时刻的MODIS、Landsat和中间分辨率影像的差分影像，即M(k-l)=Ml-Mk。

2.1 MODIS影像超分辨率重建

本文首先将t1和t3时刻的Landsat影像分别进行降采样，得到t1和t3时刻的中间分辨率影像，然后通过这些中间分辨率影像和对应时刻的MODIS影像组成两对训练影像并训练得到两对耦合字典Dh1-Dl1和Dh3-Dl3。本文通过耦合字典Dh1-Dl1对M1进行超分辨率重建得到中间分辨率影像I1，通过耦合字典Dh3-Dl3对M3进行分辨率重建得到中间分辨率影像I3。对于M2影像，本文用耦合字典Dh1-Dl1和Dh3-Dl3分别进行超分辨率重建，最后将得到的结果取平均值，得到中间分辨率影像I2。

2.2 中间分辨率影像差分稀疏表达

得到中间分辨率影像之后，需要对这些影像进行差分处理得到I13，将同样的操作应用到原始Landsat影像后，便得到了对应的Landsat差分影像L13。然后，通过对这些差分影像进行字典训练得到差分影像的耦合字典对Dh13-Dl13。

接下来，通过中间分辨率影像I2分别与I1和I3做差分，得到两个差分影像I12和I23。对这两个差分影像分别基于耦合字典模型进行稀疏表达重建，便得到两个对应的Landsat影像空间的差分影像L12和L23。为使结果更加精确，对两个差分影像进行加权求和，其权值的确定如下

(7)

本文借助归一化植被指数(NDVI)和归一化建筑物指数(NDBI)[20]代替影像的反射率用于计算最终的权值，这里使用U来表示MODIS影像的NDVI 和NDBI 的和，其中vk表示第k个M1影像块的U值和第k个M2影像的U值的绝对变化信息。考虑到地物类型可能发生变化，需要设定一个阈值(本文中定为0.45)。

(8)

最后，本文进行加权求和得到最终结果

L2=ω1×(L1+L12)+ω3×(L3-L23)

(9)

本文方法的主要流程如图1所示。

图1 本文算法的主要流程

3 实验结果与分析

3.1 实验数据

本文采用的数据分别为森林季节变化区影像(SCFR)和深圳地区影像。SCFR是取自北方生态系统大气研究研究区的南部，影像的获取时间分别为2001年5月24日、2001年7月11日和2001年8月12日。另外一组数据是深圳地区数据，影像的获取时间为2000年10月1日、2002年10月7日和2004年10月8日。为了验证算法的有效性，本文通过t2时刻的原始Landsat影像和融合的结果进行对比来说明，实验中所用的两组数据的大小均为500×500。

3.2 实验结果与讨论

从图2和图3的目视效果来看，ESTARFM模型的效果要差于其它方法。相比之下，基于稀疏表达的方法虽然本质上也表达线性关系，但由于使用自身影像构建字典，因此在表达的过程中增加了影像之间的相关性。加之稀疏表达本身是一种比较稳定有效的信号表达方式，因此在一定程度上提高了重建精度，但由于传统的SPSTFM方法耦合字典原子之间的分辨率差异较大，因此在一定程度上降低了耦合字典的表达能力。本文方法通过构建中间分辨率影像缓解影像间分辨率的差异，提高耦合字典的表达能力，因此提高了重建精度。

图2 SCFR数据的局部放大结果

图3 深圳地区实验数据结果

IndexBandsESTARFMSPSTFM本文方法Green0.00390.00290.0028AADRed0.00370.00370.0037NIR0.01390.01410.0138Green0.00560.00380.0036RMSERed0.00510.00510.0051NIR0.01920.01750.0170Green0.82960.86960.8783SSIMRed0.84530.83770.8408NIR0.81940.88390.8930ERGAS0.46860.41780.4095

表2 深圳地区数据量化评价结果

表1和表2分别给出了定量评价结果，其中粗字体表示每行的最优结果。从表1中可以看出，本文方法较其它几种方法在精度指标和目视效果上都取得了最优的结果。通过对比SPSTFM方法可以看出，本文超分辨率重建阶段确实有效缓解了MODIS影像与Landsat影像之间分辨率差异，使得其在差分稀疏表达阶段中所用的耦合字典更加精确表达影像信息，有效抑制了由于分辨率差异而引起的信息表达的偏移，从而在精度上得到了提升。

4 结束语

考虑到时空融合中影像之间存在较大的空间分辨率差异，本文提出通过单幅影像超分辨率重建技术先构造一个中间分辨率影像，然后采用这些中间分辨率影像来构造耦合字典，从而缓解不同影像之间的分辨率差异，因此提升耦合字典的表达能力，最终提高重建的精度。本文采用两组融合难度不同的实验数据验证方法的有效性，从两组数据的实验结果可以明显看出，稀疏表达的方法相比于传统线性混合模型方法取得了较优的结果，而本文方法最终在目视效果和定量评价上都取得了最优的结果。

[1] Townshend J R G,Justice C O.Selecting the spatial-resolution of satellite sensors required for global monitoring of land transformations[J]. International Journal of Remote Sensing,1988,9(2): 187-236.

[2] Goward S N,Masek J G.Editorial: Landsat—30 years and counting[J].Remote Sensing of Environment,2001,78(1):1-2.

[3] Price J C.How unique are spectral signatures?[J].Remote Sens. Environ.,1994,49(3): 181-186.

[4] Gao F,Masek J,Schwaller M,et al.On the blending of the Landsat and MODIS surface reflectance:Predicting daily Landsat surface reflectance[J].IEEE Transactions on Geosci Remote Sens,2006,44(8):2207-2218.

[5] Zhu X,Chen J,Gao F,et al.An enhanced spatial and temporal adaptive reflectance fusion model for complex heterogeneous regions[J].Remote Sens Environ,2010,114(11):2610-2623.

[6] Huang Bo,Song Huihui.Spatiotemporal reflectance fusion via sparse representation[J]. IEEE Transactions on Geoscience and Remote Sensing,2015,50(10): 3707-3716.

[7] Song Huihui,Huang Bo.Spatiotemporal satellite image fusion through one-pair image learning[J].IEEE Transactions on Geoscience and Remote Sensing,2016,51(4): 1883-1896.

[8] Jia Kui,Wang Xiaogang,Tang Xiaoou.Image transformation based on learning dictionaries across image spaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(2):367-380.

[9] Elad M,Figueiredo M A,Ma T Yi.On the role of sparse and redundant representations in image processing[J].Proceedings of the IEEE,2010,98(6):972-982.

[10] Elad Michael.Sparse and redundant representations: from theory to applications in signal and image processing [M].Berlin:Springer,2013.

[11] Donoho B,David L.For most large underdetermined systems of linear equations the minimal[J].Communications on Pure and Applied Mathematics,2014,59(6):797-829.

[12] Candès E J,Romberg J,Tao T.Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on Information Theory,2016,52(2):489-509.

[13] Tropp J A.Just relax: Convex programming methods for subset selection and sparse approximation[J].IEEE Transactions on Information Theory,2016,52(6):1030-1051.

[14] 沈丽,韩彦芳.基于稀疏表示的超分辨率图像重建[J].电子科技,2015,28(9):144-147.

[15] Chen S S,Donoho D L,Saunders M A.Atomic decomposition by basis pursuit[J].SIAM Journal on Scientific Computing,2015,20(1):33-61.

[16] Efron B,Hastie T,Johnstone I,et al.Least angle regression[J].Ann Statist,2014,32(2):407-499.

[17] Tibshirani R.Regression shrinkage and selection via the lasso[J].Journal of Royal Statist Soc B,2013,58(1):267-288.

[18] Wang Shenlong,Zhang Lei,Liang Yan,et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[C].Shanghai:IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2012.

[19] 刘甜甜.基于稀疏和低秩表示的显著性目标检测[J].电子科技,2015,28(2):112-115.

[20] He C H,Sh P J,Xie D Y,et al.Improving the normalized difference built-up index to map urban built-up areas using a semiautomatic segmentation approach[J].Remote Sens Letter,2010,1(4):213-221.

A Spatiotemporal Fusion Algorithm based on Sparse Representation for Remote Sensing Imagery

ZHANG Yakun1,2,ZHANG Hongyan1,2,SHEN Huanfeng3,ZHANG Liangpei2

(1.Geomatics Technology and Application Key Laboratory of Qinghai Province,Xining 810001,China;2.State Key Laboratory of Information Engineering in Surveying,Mapping and Remote Sensing,Wuhan University,Wuhan 430079,China;3.School of Resource and Environment Sciences,Wuhan University,Wuhan 430079,China)

There exists a tradeoff between the spatial resolution and temporal resolution of the remote sensing images because of the limitation of the hardware，Therefore，the spatiotemporal fusion is important in image anlysis. To overcome the large difference of spatial resolution between different images,this paper proposed a novel spatiotemporal fusion algorithm based on superresolution reconstruction,used the single image superresolution reconstruction technique to construct the intermediate resolution images,and then these intermediate resolution images are applied to construct the coupled dictionary model.The high spatial resolution and high temporal resolution images are predicted based on these coupled dictionary model and sparse representation theory. Experimental results demonstrate that the proposed approach can raise the ERGAS index by 10%.

spatiotemporal fusion; superresolution reconstruction; coupled ditionary model; sparse representation

TP751

A

1007-7820(2017)11-056-04

2017- 01- 06

国家自然科学基金(41571362)；青海省地理空间信息技术与应用重点实验室基金(QDXS-2017-01)

张亚坤(1989-)，男，硕士研究生。研究方向：遥感影像重建与融合。张洪艳(1983-)，男，博士，教授。研究方向：遥感信息处理与应用。

10.16180/j.cnki.issn1007-7820.2017.11.016