改进的基于稀疏表示的全色锐化算法

吴宗骏 吴炜 杨晓敏

摘 要：为了更有效地结合高分辨率全色（PAN）图像细节信息和低分辨率多光谱（MS）图像光谱信息，提出了一种改进的全色锐化算法。首先，对低分辨率MS图像的强度通道进行下采样再上采样获取其低频成分;其次，用强度通道减去低频成分获取其高频成分，在获取到的高低频成分中进行随机采样来构建字典;然后，用构建好的过完备字典对高分辨率PAN图像进行分块分解以获取高频信息;最后，将分解出的高频信息注入到低分辨率MS图像中以重建高分辨率MS图像。经多组实验后发现，所提出的算法在主观上保留了光谱信息，并注入了大量的空间细节信息。对比结果表明，相比其他诸如基于成分替换算法、基于多分辨率分析算法、基于稀疏表示算法，所提算法重建出来的高分辨率MS图像更加清晰，且在相关系数等多种客观评价指标上优于对比算法。

关键词：高分辨率全色图像;低分辨率多光谱图像;遥感图像融合; 稀疏表示; 字典构建

中图分类号： TP751.1

文献标志码：A

Abstract： In order to more effectively combine the detail information of high resolution PANchromatic （PAN） image and the spectral information of low resolution MultiSpectral （MS） image， an improved panchromatic sharpening algorithm based on sparse representation was proposed. Firstly， the intensity channel of an MS image was down-sampled and then up-sampled to get its low-frequency components. Secondly， the MS image intensity channel minus low-frequency components to obtain its high-frequency components. Random sampling was performed in the acquired high and low frequency components to construct a dictionary. Thirdly， the PAN image was decomposed to get the high-frequency components by using the constructed overcomplete dictionary. Finally， the high-frequency components of the PAN image were injected into the MS image to obtain the desired high-resolution MS image. After a number of experiments， it was found that the proposed algorithm subjectively retains the spectral information and injects a large amount of spatial details. Compared with component substitution method， multiresolution analysis method and sparse representation method， the reconstructed high resolution MS image by the proposed algorithm is more clear， and the correlation coefficient and other objective evaluation indicators of the proposed algorithm are also better.

Key words： high resolution PANchromatic （PAN） image; low resolution MultiSpectral （MS） image; remote sensing image fusion; sparse representation; dictionary construction

0 引言

目前，大量衛星获取了地球的地表图像信息，通常包含多光谱（MultiSpectral， MS）图像和全色（PANchromatic， PAN）图像，这两种图像优缺点互补。由于技术的限制，想要获取高空间分辨率多光谱（High spatial resolution MultiSpectral， HMS）图像是一件十分困难且成本高昂的事，所以人们通常将MS图像和PAN图像两者融合起来以便获取想要的HMS图像。HMS图像不仅具有大量的细节信息，而且还包含了丰富的光谱信息，对于人类理解地球，进行地表测绘、军事侦查、城市规划等具有重要帮助，所以对遥感图像进行融合是一项十分重要且有意义的课题。

对于MS图像和PAN图像的融合，国内外的研究者已经提出了很多行之有效的算法，这些融合算法大体上可以分为三类：一类是比较传统的基于成分替换的算法;一类是基于多分辨率分析的算法;还有一类是近年来新兴的基于稀疏表示的算法。

基于成分替换的算法比较经典，比较有代表性的是基于IHS（Intensity， Hue， Saturation）颜色空间变换的全色锐化算法[1-6]，此类算法主要的做法是先将MS图像从RBG（Red， Blue， Green）颜色空间变换到IHS颜色空间，然后用PAN图像替换通道，最后通过相应的反变换来得到HMS图像。此类算法简单且高效，但在取得良好的锐化效果的同时也会带来严重的光谱混叠从而引起颜色失真，具有一定的局限性。

此类算法的代表算法有：改进的自适应强度色调饱和度遥感影像融合算法（Improved Adaptive Intensity-Hue-Saturation method for the fusion of remote sensing images， IAIHS） [5]、用抠图模型进行锐化（Pansharpening with Matting Model， PMM） [7]的算法。

基于多分辨率分析的算法则是利用小波变换[8-12]、拉普拉斯金字塔[14-15]、双边滤波器[16]等来提取PAN图像的高频部分，并将其融入到MS图像中去构建出HMS圖像。不同于成分替换的算法，基于多分辨率的算法可以较好地减少融合图像的光谱失真，但该算法仅仅能提取出一种结构的空间细节信息，故该算法的锐化结果有时会出现空间畸变。此类算法的代表算法有：基于àtrous小波变换的锐化算法（àtrous WaveLet transform-based Pan-sharpening， AWLP）[9]和基于多尺度映射LS-SVM的遥感图像融合（remote sensing image fusion using multiscale mapped LS-SVM， SVT）[13]。

近年来，稀疏表示理论的完善使基于稀疏表示的方法得到良好的发展。Li等[17]首次应用了稀疏表示技术来解决全色锐化问题，但由于需要用到HMS图像进行字典的构建，而HMS图像在现实生活中是不存在的，所以算法并不具有可行性。

此类算法的代表算法有： 基于压缩感知的遥感图像融合算法（new PAN-sharpening method using Compressed Sensing， CS） [17]和基于稀疏表示的细节注入锐化（Sparse Representation Based Pansharpening with details injection model， SRBP）算法[18]。

综上所述，本文的研究有以下三个核心点：1）在取得良好锐化效果的同时避免引起颜色失真;

2）在取得良好锐化效果的同时避免出现空间畸变;

3）充分利用已有的信息去构建相关字典。

在前人基于稀疏表示的图像融合算法基础上，本文提出了一种改进的基于稀疏表示的图像全色锐化算法。该算法采用MS图像来构建一对高低频字典，并用该字典对PAN图像进行分解得到高频成分，将分解出来的高频成分融入到MS图像中进而重建得到HMS图像。相比前面介绍的三类图像融合算法，本文算法在主观上保留了光谱信息，同时还注入了大量的空间细节信息，重建出的高分辨率多光谱图像更加清晰，而且在客观评价指标上也优于对比算法。

1 本文方法

1.1 技术框架

为了使本文算法理解起来更加直观，首先给出本文算法的技术框架如图1所示。

算法的主要步骤为：1）获取MS图像训练集的图像强度（Intensity， I）通道;2）对图像I通道进行下采样后上采样获取图像I通道的低频成分;3）利用原始的图像I通道减去图像I通道的低频成分获得图像I通道的高频成分;4）对图像I通道的高低频成分进行随机采样构建高低频字典;5）利用高低频字典对PAN图像进行分解以获得PAN图像的高频成分;6）将PAN图像的高频成分与MS图像相融合重建出HMS图像。

3 结语

本文在图像融合这一领域，针对以往的全色锐化算法所引起的颜色失真、空间畸变以及不能充分利用已有信息去构建相关字典的问题，提出了一种改进的基于稀疏表示的全色锐化算法。本文算法首先利用已有的MS图像构建高低频字典，并对PAN图像进行分解，在分解完毕后考虑到分解出来的低频成分中仍会有高频成分的残留，又再度对第一次分解出来的低频成分进行二次分解得到了新的高频成分，最后将这两种分解出来的高频成分融入到MS图像中去，进而构建出所需要的HMS图像。本文验证了用MS图像来构建高低频字典的实用性，以及使用MS图像所构建的字典来分解PAN图像可以获得更加符合MS图像光谱特性的空间细节信息，进一步减少锐化结果的光谱失真。

通过实验结果发现，本文算法所构建出来的融合图像主观上比其他算法所构建出来的图像在光谱（也就是颜色）上不会有较大的失真，并且可以很好地还原HMS图像的细节信息;而在客观上各项评价指标相比其他算法均是最优或次优。这说明本文算法所构建出来的融合图像在颜色和细节信息上更加清晰且与参考的HMS图像契合度更高。

不过仍有很多需要改进的地方，比如本文算法虽然在融合结果上取得了很好的效果，但速度显得过慢，实时性难以达到要求，因此如何在保证效果的前提下提高融合的速度将是未来研究的方向。除此之外，本文算法需要大量的训练图像进行支撑，如何在小数据集上也取得很好的训练效果也是一个十分值得研究的问题。

参考文献：

[1] CHOI M. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter [J]. IEEE Transactions on Geoscience and Remote Sensing， 2006， 44（6）： 1672-1682.

[2] RAHMANI S， STRAIT M， MERKURJEV D， et al. An adaptive IHS pan-sharpening method [J]. IEEE Geoscience and Remote Sensing Letters， 2010， 7（4）： 746-750.

[3] CHOI J， YU K， KIM Y. A new adaptive component-substitution-based satellite image fusion by using partial replacement [J]. IEEE Transactions on Geoscience and Remote Sensing， 2011， 49（1）： 295-309.

[4] EL-MEZOUAR M C， TALEB N， KPALMA K， et al. An IHS-based fusion for color distortion reduction and vegetation enhancement in IKONOS imagery [J]. IEEE Transactions on Geoscience and Remote Sensing， 2011， 49（5）： 1590-1602.

[5] LEUNG Y， LIU J， ZHANG J. An improved adaptive intensity-hue-saturation method for the fusion of remote sensing images [J]. IEEE Geoscience and Remote Sensing Letters， 2014， 11（5）： 985-989.

[6] 王曉艳，刘勇，蒋志勇.一种基于结构相似度的IHS变换融合算法[J].遥感技术与应用，2011，26（5）：670-676.（WANG X Y， LIU Y， JIANG Z Y. An HIS fusion method based on structural similarity [J]. Remote Sensing Technology and Application， 2011， 26（5）： 670-676.）

[7] KANG X， LI S， BENEDIKTSSON J A. Pansharpening with matting model [J]. IEEE Transactions on Geoscience and Remote Sensing， 2014， 52（8）： 5088-5099.

[8] NUNEZ J， OTAZU X， FORS O， et al. Multiresolution-based image fusion with additive wavelet decomposition [J]. IEEE Transactions on Geoscience and Remote Sensing， 1999， 37（3）： 1204-1211.

[9] OTAZU X， GONZALEZ-AUDICANA M， FORS O， et al. Introduction of sensor spectral response into image fusion methods. Application to wavelet-based methods [J]. IEEE Transactions on Geoscience and Remote Sensing， 2005， 43（10）： 2376-2385.

[10] LI S， KWOK J. T， WANG Y. Using the discrete wavelet frame transform to merge Landsat TM and SPOT panchromatic images [J]. Information Fusion， 2002， 3（1）： 17-23.

[11] JIN B， KIM G， CHO N I. Wavelet-domain satellite image fusion based on a generalized fusion equation [J]. Journal of Applied Remote Sensing， 2014， 8（1）： 080599.

[12] 曾宇燕，何建农.基于区域小波统计特征的遥感图像融合方法[J].计算机工程，2011，37（19）：198-200. （ZENG Y Y， HE J N. Remote sensing image fusion method based on regional wavelet statistical features [J]. Computer Engineering， 2011， 37（19）： 198-200.）

[13] ZHENG S， SHI W-Z， LIU J， et al. Remote sensing image fusion using multiscale mapped LS-SVM [J]. IEEE Transactions on Geoscience and Remote Sensing， 2008， 46（5）： 1313-1322.

[14] LEE J， LEE C. Fast and efficient panchromatic sharpening [J]. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（1）： 155-163.

[15] AIAZZI B， ALPARONE L， BARONTI S， et al. MTF-tailored multiscale fusion of high-resolution MS and Pan imagery [J]. Photogrammetric Engineering and Remote Sensing， 2006， 72（5）： 591-596.

[16] KAPLAN N H， ERER I. Bilateral filtering-based enhanced pansharpening of multispectral satellite images [J]. IEEE Geoscience and Remote Sensing Letters， 2014， 11（11）： 1941-1945.

[17] LI S， YANG B. A new PAN-sharpening method using a compressed sensing technique [J]. IEEE Transactions on Geoscience and Remote Sensing， 2011， 49（2）： 738-746.

[18] YIN H. Sparse representation based pansharpening with details injection model [J]. Signal Processing， 2015， 113： 218-227.

[19] ZHU X X， BAMLER R. A sparse image fusion algorithm with application to pan-sharpening [J]. IEEE Transactions on Geoscience and Remote Sensing， 2013， 51（5）： 2827-2836.

[20] GUO M， ZHANG H， LI J， et al. An online coupled dictionary learning approach for remote sensing image fusion [J]. IEEE Transactions on Geoscience and Remote Sensing， 2014， 7（4）： 1284-1294.

[21] WALD L， WALD L， CHANUSSOT J， et al. Comparison of pansharpening algorithms： Outcome of the 2006 GRS-S data-fusion contest [J]. IEEE Transactions on Geoscience and Remote Sensing， 2007， 45（10）： 3012-3021.

[22] WALD L. Quality of high resolution synthesized images： is there a simple criterion？ [C]// Proceedings of the 2000 International Conference Fusion Earth Data. Piscataway， NJ： IEEE， 2000： 99-105.

[23] WANG Z， BOVIK A C. A universal image quality index [J]. IEEE Signal Process Letters， 2002， 9（3）： 81-84.

[24] YUHAS R H， GOETZ A F H， BOARDMAN J W. Discrimination among semi-arid landscape endmembers using the Spectral Angle Mapper （SAM） algorithm [C]// Proceedings of the 1992 Summaries of the Third Annual JPL Airborne Geoscience Workshop. Pasadena： JPL， 1992： 147-149.