多／高光谱遥感图像的投影和小波融合算法

丰明博，刘 学，赵 冬

1.中国科学院 遥感科学国家重点实验室，北京100101；2.中国科学院大学，北京100101

1 引 言

利用高光谱数据的高光谱分辨率特性，能够进行目标探测、精细分类以及异常检测等一系列应用，但高光谱数据的空间分辨率较低，混合像元现象严重，这就在很大程度上限制了高光谱数据的应用。多光谱图像具有较高的空间分辨率，空间细节信息丰富，但往往只有几个波段，包含的光谱信息较低。为了更好地发挥高光谱数据的优点，需要结合高空间分辨率图像进行融合，利用两类数据间的互补性和冗余性，使融合后的图像既拥有高光谱分辨率，也拥有高空间分辨率，从而获得目标场景的最大信息描述，更有利于地物精细分类和目标识别等遥感应用研究。

目前已有多种遥感影像融合方法，文献［1］进行了细致的分析。利用高光谱图像和多光谱图像作为数据源进行融合的方法主要可以分为两类：一是分别对高光谱图像和多光谱图像进行维度变换，用多光谱图像的信息替换高光谱图像的信息，从而使融合图像具有高空间高光谱特性，主要的方法包括PCA变化［2－3］、IHS变换［4－5］、G－S 变换［6］等，利用此类方法得到的融合图像空间信息得到提升，但是光谱会发生畸变，产生光谱失真。另一类是对多光谱图像与高光谱图像进行变换，然后基于分析算法与数学／统计学的方法对信息进行融合，得到融合的高光谱高空间分辨率图像，主要的方法有小波变换［7－9］、CRISP算法［10－11］、MAP算法［12］、HPM 算法［13－14］等，通过以上方法得到的融合图像虽然有丰富的空间信息和光谱信息，但对由于空间分辨率提高导致融合后图像的像元光谱“失真”。文献［15—16］针对全色与多光谱图像融合产生的光谱失真现象，提出了一系列改进算法。本文利用投影的方法对多光谱遥感图像（SPOT－5）进行模拟，得到模拟的高光谱高分辨率图像，利用小波变换方法以及相对区域活跃度将具有高空间分辨率的模拟高光谱图像与原高光谱图像（hyperion）进行融合，得到的融合图像不仅同时具备高光谱与高空间分辨率，而且对像元光谱“失真”现象进行了一定的修正。

2 图像融合方法

本文首先对多光谱图像M和高光谱图像H进行配准，得到配准后的多光谱图像MR和高光谱图像HR；然后基于由图像HR模拟的多光谱图像MS与MR之间的光谱相似度，确定投影所需地物“纯像元”点，通过计算地物纯像元点在图像HR上的光谱均值获得投影所需纯地物光谱；接着利用图像MR的像元光谱与纯地物光谱在特征波段处的反射率值关系得到各个像元点的投影地物组分；再利用投影地物光谱以及像元点的投影地物组分进行模拟，得到基于图像MR模拟的高空间分辨率高光谱图像HS；最后基于光谱信息和区域活跃度的小波变换融合方法对图像HS与图像HR进行融合。融合过程见图1。

2.1 图像配准

分别对多光谱图像M和高光谱图像H进行预处理，包括定标、去除受水汽影响波段、绝对辐射转换、坏线修复、条纹和Smile效应去除以及大气校正等。

图1 融合过程示意图Fig.1 Figure of the fusion process

对预处理后的图像进行配准，图像配准是进行图像融合的第一步，配准的精度将直接影响融合结果，配准后误差要保持在0.5个像元以内。采用基于图像特征的方法进行配准，选择交叉点、角点、物体边缘等两幅图像共有的图像特征点进行特征匹配，通过多项式变换模型求取变换参数并利用最邻近法差值获得配准图像。

2.2 基于投影的高光谱图像模拟

文献［17］建立了一种模式分解分析方法（pattern decomposition method），认为95%的地物光谱均可以通过植被、水体、土壤这3种基本地物的线性组合获得。但对于特定条件，需要添加特定的地物光谱作为组合，如雪、矿渣等。本文针对融合方法的论述是基于植被、水体、土壤3个投影纯地物进行的。通过比较感兴趣区域内基于由图像HR模拟的图像MS与图像MR间的光谱相似度确定地物纯像元点，计算地物纯像元点在HR上的光谱均值作为植被、水体、土壤这3种投影纯地物的光谱。通过选取投影地物的特征波段，利用图像MR像元光谱与纯地物光谱在特征波段处的反射率值得到各个像元点的投影地物组分。利用投影纯地物光谱以及每个像元的相应组分，可以根据图像MR内每个像元点的地物混合情况获得修正所需的图像HS。

2.2.1 投影纯地物的像元选择及光谱提取

基于PDM可以得到，大多数地面地物的光谱能够用这3个标准的地物重建。因此在hyperion图像和SPOT 5图像上正确选取植被、水体、土壤3种纯地物光谱是光谱重采样的关键之一。利用图像HR和归一化的多光谱图像光谱响应函数［5］，模拟得到图像MS

式中，λ1、λ2分别代表起始波长和结束波长；RH（λ）代表图像HR反射率值；S（λ）代表多光谱图像对应波段归一化的光谱响应函数；R′M（λ）为图像MS对应波段反射率值。

从图像MR与图像MS上选取植被、土壤、水体3个感兴趣区域，由于图像HR混合像元的现象比图像MR严重，感兴趣区内的像元并不全部都是纯像元，计算图像MR和图像MS相应像元点的光谱相似度，光谱相似度概念如下

式中，sim（RM，R′M）表示图像MR和MS相应像元光谱相似度，两者差值越小，说明此像元越接近为纯像元。设定阈值ε，将小于ε的值作为纯像元，ε的选择可以通过感兴趣区域的统计值来确定

植被、水体、土壤3种基本地物的光谱值可以通过感兴趣区域内的纯像元点所对应的图像HR像元点的光谱平均获得

式中，n表示像元个数；Rk（i）表示第i波段的高光谱反射率均值；Rkn（i）表示第n像元第i波段的反射率值。k共有3种地物类型，分别表示植被、水体和土壤。

2.2.2 高光谱图像模拟

基于光谱相似度获得植被、水体和土壤光谱，只需求得混合像元中这3种组分所占的比例，就能够模拟出混合像元的光谱

式中，P表示植被、水体和土壤在混合光谱中所占的比例。RV、RW、RS分别表示植被、水体和土壤的光谱。不同物体具有能表征其特征的特征波段，选取图像MR中区分植被、水体和土壤的3个特征波段，分别表示为波段a（绿波段），波段b（红波段）和波段c（近红外波段），通过比较图像MR中混合像元与纯地物特征波段的关系，可以得到植被、水体和土壤这3种组分所占的比例。3个波段值与3种纯地物关系如下

式中，RVM、RWM、RSM分别表示植被、水体和土壤在图像MR的光谱；R为混合像元光谱。

因此，对图像MR光谱重采样后得到的图像HS反射率值为

2.3 图像融合

图像HS具有高空间分辨率、高光谱信息的特点，但其光谱与空间信息均会有一定的误差，需要与图像HR进行融合修正。

本文选用小波变换进行光谱融合，图2揭示了小波变换的原理，经过J级分解，将图像分解为水平、垂直、对角分量。小波变换应用于图像融合具有显著的优势：它通过高、低通滤波将图像的空间特征和光谱特征分离。并能去除两个相邻尺度上图像信息之差的相关性，而且变换前后数据量保持不变，各层的融合计算还可并行，提高了计算速度并减少了对存储空间的需求。

图2 小波变换示意图Fig.2 Figure of wavelet transformation

分别对配准后的高光谱图像HR与模拟得到的高光谱图像HS进行J级二维离散小波变换（DWT），得到低频分量和高频分量。低频分量为近似图像，主要包含原图像的光谱特征，依靠所含光谱信息的丰富程度对两幅图像进行加权融合，能够很好地保持图像的光谱特性

式中，PHL、P′HL分别为图像HR和HS的低频分量；ρ（x，y）为图像HR对应的权值；θ1、θ2为阈值。

高频分量为细节图像，主要包含源图像的空间信息，对于高频分量的融合，本文基于区域能量大小提出相对区域活跃度的概念

利用相对区域活跃度可以对高频分量进行融合

式中，PHH、P′HH分别为HR和HS的高频分量；RAV（x，y）为对应点的相对区域活跃度。

3 试验与结果分析

为了检验融合算法的有效性，利用hyperion图像（176波段，30m 分辨率）和SPOT－5图像（4波段，10m分辨率）进行试验。图像区域为中国江西德兴的一部分，经纬度范围为29°5′45.87″N 117°43′50.64″E—29°3′36.88″N 117°45′46.22″E，尾矿区域位于图像的西南部分，图像间配准误差为0.323 238像元，分别采用本文算法、PCA算法、CRISP算法进行融合，结果如图3所示。

3.1 指标评价

选取指标评价与应用评价两方面对融合图像效果进行分析。

本文利用表1中列出的指标进行评价，并与PCA方法和CRISP方法得到的融合图像进行比较。

图3 Fig.3

表1 评价指标及意义Tab.1 The evaluation indexes and significances

图4为融合图像与原始高光谱图像间的光谱相关性，由图4可以看出，融合图像与原始高光谱图像的光谱相关性较好，相关系数在0.84以上，融合图像能够保持较高的光谱特性。

图4 融合图像与原高光谱图像波段间相关系数Fig.4 The correlation coefficient of the fused image and the original hyperspectral image

表2列出了原高光谱图像以及不同融合方法得到融合图像的客观评价指标，可以看出本文融合算法的信噪比、熵值、清晰度与PCA融合、CRISP融合相比，均有一定的提升。利用本文的基于投影的方法对多光谱图像进行高光谱模拟，对模拟图像和原高光谱图像进行小波变换，并根据光谱信息和相对区域活跃度进行融合，融合图像具有多光谱图像的高空间分辨率特性和高光谱图像的高光谱特性。

表2 融合图像评价结果Tab.2 the evaluation results of the fused image

3.2 环境异常探测精度评价

与单纯的多光谱图像或高光谱图像进行异常探测识别相比，利用融合图像的光谱特征及空间纹理特征对环境异常进行探测，能够减小虚警率，提高探测精度与准确度。利用融合图像及原高光谱图像对德兴尾矿库的污染情况进行探测，对比图像如图5所示，结果通过Google Earth比对以及实地考察进行验证。

图5 尾矿砂探测Fig.5 Tailing detection

由图5可以看出，融合图像的探测结果较原高光谱图像更加精细，从目视分析的角度来看，融合图像的尾矿环境异常区域更加明显，图像不仅有高光谱信息，而且空间信息丰富，有利于像元的分析。从识别结果来看，利用融合图像的光谱和空间纹理信息进行尾矿异常识别，得到尾矿矿砂区域，目标识别区域范围较利用原始高光谱图像更加精确，误分率更低；探测精度较使用原高光谱图像有明显提高。从应用的角度来看，由于原高光谱图像混合像元严重，异常区域面积、范围等结果与实际均会有一定的误差，不利于精确地分析，而融合图像为环境异常目标探测的精确分析提供了可能（见表3）。

表3 基于融合图像和原高光谱图像目标识别评价Tab.3 The evaluation of tailing detection based on the fused image and the original hyperspectral image（%）

4 结 论

在遥感图像融合中，很难得到空间分辨率高、光谱畸变小的融合图像。本文基于植被、水体、土壤3种投影对多光谱图像进行高光谱模拟，得到高光谱模拟图像，并利用光谱信息和相对区域活跃度进行小波融合，融合的图像既保持了空间细节信息，并对融合图像的像元光谱“失真”进行了修正。

本文利用Hyperion图像和SPOT－5图像，基于投影与小波变换的方法进行融合试验，并与PCA融合、CRISP融合进行了对比，在信噪比、熵值、清晰度均有提高。本文所采用的方法不仅对于光谱信息和空间信息具有较好的保持性，而且通过修正后的光谱信息，对于尾矿异常探测等应用具有很好的改进效果。

［1］ DOU Wen，CHEN Yunhao，HE Huiming.Theoretical Framework of Optical Remotely Sensed Image Fusion［J］.Acta Geodaetica et Cartographica Sinica，2009，38（2）：131－137.（窦闻，陈云浩，何辉明.光学遥感影像像素级融合的理论框架［J］.测绘学报，2009，38（2）：131－137.）

［2］ PANDE H，POONAM S T，SHASHI D.Analyzing Hyper－Spectral and Multi－Spectral Data Fusion in Spectral Domain［J］.Journal of the Indian Society of Remote Sensing，2009，37（3）：395－408.

［3］ METWALLI M R，NASR A H，ALLAH O S F，et al.Image Fusion Based on Principal Component Analysis and High－Pass Filter［C］∥International Conference on Computer Engineering and Systems.Cairo：［s.n.］，2009：63－70.

［4］ XIAO G，JING Z L，WANG S.Optimal Colour Image Fusion Approach Based on Fuzzy Integrals［J］.Imaging Science Journal，2007，55（4）：189－196.

［5］ El－MEZOUAR M，TALEB N，KPALMA K，et al.An IHSBased Fusion for Color Distortion Reduction and Vegetation Enhancement in IKONOS Imagery［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49（5）：1590－1602.

［6］ DOU Wen， SUN Hongquan， CHEN Yunhao.Comparison among Remotely Sensed Image Fusion Methods Based on Spectral Response Function［J］.Spectroscopy and Spectral Analysis，2011，31（3）：746－752.（窦闻，孙洪泉，陈云浩.基于光谱响应函数的遥感图像融合对比研究［J］.光谱学与光谱分析，2011，31（3）：746－752.）

［7］ GOMEZ R B，JAZAERI A，KAFATOS M，Wavelet－based Hyperspectral and Multispectral Image Fusion ［C］∥Proceedings of Geo－Spatial Image and Data Exploitation II.Virginia：［s.n.］，2001，4383：36－42.

［8］ DE I，CHANDA B.A Simple and Efficient Algorithm for Multifocus Image Fusion Using Morphological Wavelets［J］.Signal Processing，2006，86（5）：924－936.

［9］ SOLEIMANI S，R F，PHILIPS，W，et al.Image Fusion Using Blur Estimation［C］∥IEEE International Conference on Image Processing.Hongkong：［s.n.］，2010，4397－4400.

［10］ WINTER M E，WINTER E M，BEAVON S G，et al.Hyperspectral Image Sharpening Using Multispectral Data［C］∥IEEE Aerospace Conference.Massachusetts：［s.n.］，2007：1－9.

［11］ WINTER M E，WINTER E M，BEAVON S G，et al.Highperformance Fusion of Multispectral and Hyperspectral Data［C］∥Proceedings of Algorithms and Technologies for Multispectral， Hyperspectral， and Ultraspectral Imagery XII.Orlando：［s.n.］，2006：640－648.

［12］ HARDIE R C，EISMANN M T，WILSON G L.MAP Estimation for Hyperspectral Image Resolution Enhancement Using an Auxiliary Sensor［J］.IEEE Transactions on Image Processing，2004，13（9）：1174－1184.

［13］ DOU Wen，CHEN Yunhao.Image Fusion Method of High－Pass Modulation Including Interband Correlations［J］.Journal of Infrared and Millimeter Waves，2010，29（2）：140－144.

［14］ ZHANG Xiaoping，JIA Yonghong，CHEN Xiaoyan，et al.Application of Modulation Transfer Function in High Resolution Image Fusion［C］∥Proceedings of Image and Signal Processing for Remote Sensing XVII.Prague：［s.n.］，2011：8180.

［15］ LIU Jun，SHAO Zhenfeng.Remote Sensing Image Fusion Using Multi－scale Spectrum Gain Modulation［J］.Acta Geodaetica et Cartographica Sinica，2011，40（4）：470－476.（刘军，邵振峰.基于多尺度光谱增益调制的遥感影像融合方法［J］.测绘学报，2011，40（4）：470－476.）

［16］ WU Lianxi，LIANG Bo，Liu Xiaomei，et al.A Spectral Preservation Fusion Technique for Remote Sensing Images［J］.Acta Geodaetica et Cartographica Sinica，2005，34（2）：118－122.（吴连喜，梁波，刘晓梅，等.保持光谱信息的遥感图像融合方法研究［J］.测绘学报，2005，34（2）：118－122.）

［17］ FUJIWARA N，MURAMATSU K，AWA S，et al.Pattern Expansion Method for Satellite Data Analysis［J］.Journal of the Remote Sensing Society of Japan，1996，17：17－37.

［18］ YOKOYA N，YAIRI T，IWASAKI A.Coupled Nonnegative Matrix Factorization Unmixing for Hyperspectral and Multispectral Data Fusion［J］.IEEE Transactions on Geoscience and Remote Sensing，2012，50（2）：528－537.

［19］ JING Zhongliang，XIAO Gang，LI Zhenhua.Image Fusion：Theory and Application［M］.Beijing：Higher Education Press，2007.（敬忠良，肖刚，李振华.图像融合——理论与应用.［M］.北京：高等教育出版社，2007.）

［20］ LIU Bo，ZHANG Lifu，ZHANG Xia，et al.Simulation of EO－1Hyperion Data from ALI Multispectral Data Based on the Spectral Reconstruction Approach［J］.Sensors，2009，9（4）：3090－3108.

［21］ EISMANN M T，HARDIE R C.Hyperspectral Resolution Enhancement Using High－resolution Multispectral Imagery with Arbitrary Response Functions［J］.IEEE Transactions on Geoscience and Remote Sensing，2005，43（3）：455－465.

［22］ TONG Qingxi，ZHANG Bing，ZHENG Lanfen.Hyperspectral Remote Sensing［M］.Beijing：Higher Education Press，2006.（童庆禧，张兵，郑兰芬.高光谱遥感［M］.北京：高等教育出版社，2006.）