基于多特征的高光谱与全色图像融合方法

张筱晗，杨 桄，杨永波，黄俊华



基于多特征的高光谱与全色图像融合方法

张筱晗，杨 桄，杨永波，黄俊华

（空军航空大学，吉林 长春 130022）

高光谱分辨率的高光谱图像与高空间分辨率的全色图像融合可以综合两类图像的优势。将全色图像与高光谱部分波段分别融合，再合成假彩色图像是融合的有效思路。引进多分辨率分析框架，首先对源图像进行小波变换，得到低频系数与高频系数；然后从中提取平均梯度特征和边缘特征分别作为两类系数融合的依据；最后将融合后的系数经过小波逆变换还原为各波段融合图像，进行假彩色合成得到最终的彩色融合图。实验结果表明，与PCA、HIS等经典方法相比，本文方法不仅能够在保证融合效率前提下有效保持光谱信息，提高融合图像的空间分辨率，融合图像的标准差、平均梯度、信息熵等各项指标也均优于其他融合方法。

高光谱；全色图像；图像融合；多分辨率分析；平均梯度；边缘特征

0 引言

高光谱技术代表了遥感领域的发展前沿。高光谱传感器能够获取地物丰富的光谱信息，但同时也牺牲了一定的空间分辨率，降低了图像的可观性[1]。将高光谱图像与空间分辨率较高的全色图像进行融合，不仅能够将全色图像优良的空间特性赋予高光谱图像，还将高光谱丰富的光谱信息赋予全色图像，是提高两类图像可观性的有效途径[2]，有利于目视解译等后续处理的进行，具有较强的实用价值。

目前各类融合算法致力于提高融合图像的质量、降低融合时间的研究。在选择融合算法时，要充分考虑高光谱图像数据量大、波段间相关性强的特性以及特定的融合需求。针对高光谱图像融合的经典方法有葛志荣等[3]改进的基于特征变换的主成分分析（PCA）融合法，Xavier Otazu、Myungjin Choi等[4-5]改进的基于颜色空间变换的HIS变换法以及基于多分辨率分解的空频域变换方法等。其中，Piella等[6]提出的多分辨率图像融合框架，将图像的多分辨率分解与融合规则相结合，在红外与可见光图像融合等多源图像融合实践中取得良好的效果。本文将该框架引用到高光谱与全色图像融合中，并进行改进，提出了基于多特征的适合高光谱与全色图像融合的多分辨率融合方法。首先对源图像进行配准等处理，选择参与融合的高光谱波段；然后进行多分辨率分解，分别将全色图像与选出的各波段两两进行融合以保留高光谱图像的光谱信息；在确定融合规则时，为保留两类图像的纹理信息及全色图像较高的空间分辨率，分别提取两类图像的平均梯度特征以及全色低频图像的边缘特征，用来指导两类图像低频系数和高频系数的融合。最后对融合后的低频系数和高频系数进行多尺度逆变换，得到各波段的融合图像，利用它们合成彩色图像，得到最终的融合结果。

1 方法框架与步骤

1.1 方法框架

利用本文方法进行高光谱与全色图像融合的方法框架如图1所示。

图1 本文算法框架图

1.2 融合波段选择与源图像配准

高光谱图像波段众多，波段间存在较强的相关性，在融合时为避免不必要的工作量，实现要进行波段选择实现数据降维。波段选择的数量取决于实际需要，本文以利用高光谱图像与全色图像合成高质量假彩色图像的应用为例来进行说明。彩色图像由R、G、B三个通道分量构成，因此需要选择高光谱3个波段分别与全色图像进行融合。选择波段组合时应遵循波段包含的信息量大、波段间相关性低的原则。利用文献[7]所提出的波段选择方法，首先根据波段间相关系数将所有波段分为3组，同组内波段相关性强、组间波段相关性弱；然后以标准差指标衡量波段信息量，选择各组标准差最大的波段参与融合。具体方法参考文献[7]。假设选出的3个波段图像分别为1、2、3，全色图像设为4。

为实现高光谱图像和全色图像的像素级融合，还要对源图像进行图像配准，实现图像上各地物点的一一对应。

1.3 多分辨率分析

在此选用的多尺度多分辨率分析工具为小波变换[8]。小波变换可以对图像进行多层分解，每层分解都可形成一幅低频近似图像与3个方向的高频细节图像，由于总体数据量不会降低，因此减少了光谱信息的损失；各层的融合计算可并行，在提高计算速度的同时减少了对存储空间的需求；此外小波变换运算相对简单，能够降低融合所需的时间。

1.4 平均梯度特征提取

图像的细小反差与纹理可以用平均梯度来表述。平均梯度指图像的边界或影线两侧附近灰度值的变化率，反映了图像在多维方向上密度变化的速率，表征图像的相对清晰程度[9]。平均梯度越大，表示图像越清晰，目视效果越好。平均梯度特征表达式如下：

1.5 边缘特征提取

由于高光谱图像光谱能量有限，图像中地物边缘不够清晰，因此提取全色图像小波分解后的各低频系数图像的边缘特征来指导融合。由于Prewitt算子构造简单，能够抑制噪声，检测效果较为精细[10]，本文选用Prewitt算子，梯度幅值表达式：

式(2)可简化为：

式中：p、p表示3×3像素窗口的中心像素(,)在方向和方向上的梯度。(,)与3×3的梯度模板中心点对应，该模板为：

由此得到边缘信息二值图X，对X进行形态学膨胀，得到扩大边缘信息的二值图Y。

1.6 融合规则

1.6.1 低频系数融合规则

小波变换得到的低频图像包含了源图像绝大部分的能量，同时也蕴含源图像的大量互补信息。融合互补信息、保留图像细微差别是低频系数融合的关键。加权平均法或只利用某几幅图像低频信息的偏袒法不能很好地达到融合目的，在此以平均梯度为自适应加权指标，指导高光谱与全色图像低频系数的融合。高光谱第幅图像与全色图像对应的低频系数融合时，赋予高光谱图像与全色图像的权重为：

由此得到的低频图像融合公式为：

以平均梯度作为自适应加权的指标，对低频图像每一像元依次处理，平均梯度大的图像在融合中占的比重大，可以充分保留纹理丰富、边缘清晰的图像波段细节信息，提高了融合图像的信息量，从而增强了图像的目视效果。

1.6.2 高频系数融合规则

小波变化后得到的高频图像，代表了图像在水平、垂直、对角3个方向上的突变信息，包括地物边缘、异常目标信息等。因此高频图像的融合将直接影响到融合图像目标的视觉效果。在实施高频系数融合时，通常采用的是保留绝对值较大系数的方法，但是该方法对图上所有的点“一视同仁”，没有区分目标边缘与非边缘的区别。因此，本文提出提取全色各层低频系数图像的边缘信息以指导高频系数融合的方法，充分考虑多幅源图像的边缘信息，保证了目标边缘的完整性。具体方法如下：

首先利用Prewitt算子得到全色图像每层小波分解低频图像中包含着边缘信息的图边缘形态膨胀图Y，其中对第一层小波分解得到的低频图像进行边缘特征提取得到的1如图2所示。

图2 边缘特征形态膨胀图Y1

图3 高频系数取大图

当对应位置高频系数符号不一致时，融合公式为：

2 实验验证

2.1 实验条件

通过Matlab软件对本文算法的有效性进行实验验证。实验所使用的数据为德国ROSIS光谱仪获取的高光谱遥感影像，获取地点为意大利的帕维亚大学，共包含103个波段；高空间分辨率的图像从同时期同场景的谷歌地球上获取，经过配准并处理为全色图像。配准后的空间域图像大小为340×610。根据高光谱图像波段间相关系数差异将所有波段分为1～29、30～84、85～103共3组，再计算各波段标准差，选择各组信息量最大的第8、48、92波段参与融合。3个波段灰度图像如图5(a)～(c)所示；利用这3个波段代表红、绿、蓝3个通道分量值，可以得到一幅假彩色图像如图5(d)所示；图5(e）则展示了参与融合的高空间分辨率全色图像。

融合图像应当尽量保留高光谱图像的光谱信息以及全色图像的空间信息。

图5 所用数据部分波段示意图

2.2 实验结果

根据文献[2]的理论，选用小波基bior4.7进行3层小波分解。为比较本文算法（简称MF），还对经典的融合规则为低频系数采用平均加权法、高频系数采用绝对值取大法的基于小波变换的方法[12]（简称DWT）、基于主成分变换的PCA方法（用全色图像代替PCA变换后的第一主成分）[6]以及基于颜色空间变换的HIS方法进行了仿真实验，实验结果分别如图6(a)～(c)所示。利用本文方法提取平均梯度、边缘信息分别对低频系数和高频系数进行融合，经过小波逆变换及假彩色合成得到结果如图6(d)所示。

2.3 结果分析

分别从主观、客观两方面来评价这4种方法得到的融合结果图像质量。

图像质量的主观评价，即目视判读效果评判，主要依据人眼对图像的感受对图像进行评价[13]。首先，从光谱信息保留角度，融合图像色彩越接近高光谱3波段合成的假彩色图像说明光谱信息保留越好，通过观察可以看出，本文方法与DWT方法得到的结果色彩与原假彩色图像最相似，而PCA、HIS方法均存在一定的色彩变形，说明在光谱信息保持方面，小波变换的方法要优于这2种方法；在空间信息方面，除了HIS方法外，另外3种方法中空间分辨率较高光谱源图像均有一定的提高。其中，提取部分细节图像如图7所示，可以发现本文方法和PCA方法得到的融合结果图消除了地物边缘的锯齿，边缘表现最清晰。

图6 融合实验结果图

图像质量的客观评价，即通过一定指标进行定量分析，评判图像质量高低。本文选取了标准差（standard deviation，SD）、平均梯度（average gradient，AG）、信息熵（entropy of information，EI）、图像清晰度等指标（figure definition，FD）[14-15]进行评价。这4类指标分别反映了图像的信息量、纹理细节丰富程度以及清晰程度，指标越大说明图像质量越好。由于4类指标都是针对灰度图像，因此需要将4幅合成彩色图像转换为灰度图像再进行指标计算。此外还统计了4类算法的融合计算时间，结果如表1所示。

从表中可以看出，前4项指标中本文方法最高，PCA方法其次，说明本文方法与PCA得到的融合结果空间信息最丰富对比度最高，这与主观评价得到的结论一致。由于融合规则更简单，DWT方法的融合时间要比本文方法快0.3285s，但是本文方法计算时间仍要短于PCA、HIS方法。综合运算效率、融合效果等各类指标，本文方法在几类方法中表现最佳。

图7 融合结果细节图

表1 融合结果客观评价表

3 结论

将光谱信息丰富的高光谱图像与高空间分辨率的全色图像进行融合，是多源传感器图像融合理论的重要组成部分。采用小波变换为多分辨率分析工具，提出用平均梯度为自适应加权指标进行低频系数融合、全色图像边缘信息来指导高频系数融合的方法，能够很好地保留两类图像的信息，减少光谱空间的变形，又保证了空间信息能够很好的传递到融合图像中，使融合后的图像具有良好的视觉特性，有利于目视解译等图像后续分析处理工作的进行。同时本文方法运用灵活，不限于合成假彩色图像的单一应用，可以根据需要选择不同数量的高光谱波段参与融合，若省略降维步骤、将高光谱全部波段都用于融合，则可以得到空间分辨率提升的高光谱数据。

[1] 张兵, 高连如. 高光谱遥感图像分类与目标探测[M]. 北京: 科学出版社, 2011.

ZHANG Bing, GAO Lianru.[M]Beijing: The Science Publishing Company, 2011.

[2] 王克成. 基于小波理论的超光谱图像融合研究[D]. 哈尔滨: 哈尔滨工程大学, 2008: 34-58.

WANG Kecheng. Research on Hyperspectral Image Fusion Based on Wavelet Theory[D]. Harbin: Harbin Engineering University, 2008: 34-58.

[3] 葛志荣, 王斌, 张立明. 一种基于残差的遥感图像融合新方法[J]. 中国图像图形学报, 2007, 12(1): 135-140.

GE Zhirong, WANG Bin, ZHANG Liming. A new scheme for fusion of remote sensing images based on residual error[J]., 2007, 12(1): 135-140.

[4] Maria Gonzalez Audicana, Xavier Otazu, Octavi Fors. A low computational-cost method to fuse IKONS images using the spectral response function of its sensors[J]., 2006, 42(7): 1683-1690.

[5] Tania Stathaki. I:[M]. Elsevier Singapore Pte Ltd., 2014.

[6] PIELLA G. A general framework for multiresolution image fusion: from pixels to regions[J]., 2003, 4(4): 259-280.

[7] 杨金红, 尹球, 顾松山. 城区高光谱遥感数据假彩色波段组合研究[J]. 南京气象学院学报, 2005, 28(3): 289-296.

YANG Jinhong, YIN Qiu, GU Songshan. Band combination research of city region hyperspectral remote sensing data in false color synthesis[J]., 2005, 28(3): 289-296.

[8] 袁金楼, 吴谨, 刘劲. 基于NSCT与DWT的压缩感知图像融合[J]. 红外技术, 2015, 37(11): 957-961.

YUAN Jinlou, WU Jin, LIU Jin. Image fusion based on compressed sensing of NSCT and DWT[J]., 2015, 37(11): 957-961.

[9] Myungjin Choi. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter[J]., 2006, 44(6): 1672-1682.

[10] 李俊山, 李旭辉. 数字图像处理[M]. 北京: 清华大学出社, 2010: 168-172.

LI Junshan, LI Xuhui.[M]. Beijing:, 2010: 168-172.

[11] 童涛, 杨桄, 孟强强, 等. 基于边缘特征的多传感器图像融合算法[J]. 红外与激光工程, 2014, 28(1): 288-29.

TONG Tao, YANG Guang, MENG Qiangqiang, et al. Multi-sensor image fusion algorithm based on edge feature[J]., 2014, 28(1): 288-29.

[12] 孙永明, 吴谨, 刘劲, 等. 基于DWT的高频系数压缩感知图像融合[J]. 红外技术, 2014, 36(9): 714-719.

SUN Yongming, WU Jin, LIU Jing, et al. Image fusion based on compressed sensing of DWT high frequency coefficients[J].2014, 36(9): 714-719.

[13] 杨桄, 童涛, 陆松岩, 等. 基于多特征的红外与可见光图像融合方法[J]. 光学精密工程, 2014, 22(2): 489-497.

YANG Guang, TONG Tao, LU Songyan, et al. Fusion of infrared and visible images based on multi-features[J]., 2014, 22(2): 489-497.

[14] 杨勇, 童松, 黄淑英. 快速离散Curvelet变换域的图像融合[J]. 中国图象图形学报, 2015, 20(2): 220-229.

YANG Yong, TONG Song, HUANG Shuying. Image fusion based on fast discrete Curvelet transform[J]., 2015, 20(2): 220-229.

[15] 许廷发, 李俊涛, 张一舟, 等. 真彩色传递双波段图像融合[J]. 中国光学, 2014, 7(3): 402-410.

XU Yanfa, LI Juntao, ZHANG Yizhou, et al. True color transfer for dual band image fusion[J]., 2014, 7(3): 402-410.

Hyperspectral and Panchromatic Images Fusion Method Based on Multi-feature

ZHANG Xiaohan，YANG Guang，YANG Yongbo，HUANG Junhua

(,130022,)

Fusion of hyperspectral image with rich spectral information and panchromatic image with high spatial resolution can improve the quality of both two images effectively. It is a good way to choose proper bands of hyperspectral data to be fused with panchromatic image respectively, and the results are used for false color image composition for the fusion of two resources of images. In this paper, multi-resolution analysis frame is taken for fusion. Firstly, wavelet decomposition is carried out to resource images; multi features including average gradient and edge information are extracted from low frequency coefficients of two kinds of images. Then the low frequency coefficient of the fused image is obtained with regional average gradient weight method, while the high frequency coefficient is fused conducted by the edge feature of panchromatic image. Besides, the sigh of frequency coefficient is considered to avoid effect offset. At last, the fusion image of each band is obtained by performing inverse wavelet transforms, and after false color image composition, the fusion image is finally got. The experimental results indicate that the fused image obtained by this method can maintain both the spectral and spatial information effectively and efficiently. Compared with classical methods such as PCA and HIS, the fusion image using this method has the best performance in both subjective and objective evaluation.

hyperspectral image，panchromatic image，image fusion，multi-resolution analysis，average gradient，edge feature

TP751

A

1001-8891(2016)10-0832-05

2016-04-20；

2016-06-03.

张筱晗（1992-），女，山东日照人，硕士研究生，主要从事遥感图像解译以及高光谱遥感方向的研究。E-mail：15584175041@163.com。

杨桄（1975-），男，黑龙江省齐齐哈尔人，博士后，教授，主要从事图像解译与地理信息应用方面的研究。E-mail：yg2599@126.com。

吉林省科技发展计划资助项目（20140101213JC）；吉林省教育厅“十二五”科研项目（2015448）。