基于加权小波分析的遥感图像融合算法

莫才健, 田健榕, 武锋强, 陈 莉, 邹 强

(1. 西南科技大学 环境与资源学院, 四川 绵阳 621010； 2. 吉林大学 新闻与传播学院, 长春 130012)

遥感图像融合是通过图像处理和分析等方法将不同角度、 不同分辨率及不同传感器产生的遥感图像进行融合, 以获得角度宽、 广且分辨率高的融合图像[1]. 在遥感图像的融合方法中, 低频空间分辨率的多光谱图像与高频空间分辨率的全色影像的相互融合已成为近年来的研究热点, 通过对两种不同类型的遥感图像进行融合, 可获得多光谱高分辨率的全色影像融合图像, 其融合结果可弥补二者的缺陷, 并发挥二者的优势[2]. 传统遥感图像的融合方法主要包括三方面: 1) 颜色空间转化形成的图像融合, 包括HSI空间转换等[3]； 2) 通过主成分分析(PCA)获得图像主要分量的图像融合, 包括PCA等[4]； 3) 通过频域变换的方式完成图像融合, 包括Fourier变换和小波分析等[5].

在遥感图像融合方法中, 融合效果与鲁棒性最佳的是频域变换方法. 其中, 小波分析由于具有较优的时域和频域局部特性在图像融合中应用广泛. 二维离散小波变换分析方法的提出, 使小波分析在图像中的应用越来越广泛, 在小波分析的遥感图像融合算法[6-8]中, 由于单纯的小波分析直接丢弃低频部分, 而使用高频部分进行图像融合, 易产生分块模糊现象, 且单纯的主成分分析方法也会带来失真等问题. 为了解决传统算法在遥感图像融合上的不足, 本文提出一种采用主成分分析与小波分析方法加权的图像融合方法, 利用加权系数获得主成分分析和小波分析的优势, 克服了图像融合过程中的分块模糊、 边界不清晰和图像失真等问题.

1 算法设计

1.1 HSI颜色空间转换

HSI颜色空间[9]源于人类的视觉系统, 其采用色调(H)、 饱和度(S)和光照强度(I)3个维度对遥感图像进行描述. 该方法从人类视觉系统的本源出发, 对遥感图像进行描述, 更符合人类的视觉系统, 从而可更好地采用人类视觉的方式处理遥感图像. 实际上, 由于遥感图像空间大、 分辨率不一致等特点, 目前采用计算机视觉与图像处理方法对遥感图像进行处理时, 广泛用HSI颜色空间完成预处理, 在处理过程中对图像的操控效果更好, 处理精度更高. 在将RGB颜色空间转化至HSI空间中, 主要采用如下转化公式：

其中,R,G,B分别表示RGB空间中红、 绿、 蓝3种颜色的空间数值. 由转化公式可见, 计算结果i可充分表达出色彩空间中的光照强度分量, 并可提取光照强度分量对遥感图像进行进一步分析. 由于人类视觉对于光照强度的敏感度一般比色调与饱和度的敏感度高很多, 所以在对图像进行分析时, 将颜色空间转化为相对独立的光照强度和色彩信息, 即能使用光照强度信息对遥感图像进行一系列处理. 本文在HSI色彩空间下提取出遥感图像的光照强度分量进行主成分分析, 并对小波分析进行加权融合, 最终完成对遥感图像的融合.

1.2 主成分分析

遥感图像来源于高精尖设备的采集, 这些设备采集到的图像维度较高, 属于大场景图像, 直接在大场景高维图像上完成图像融合的难度较大, 需提供多个变换匹配点, 且融合的时间复杂度也较高, 无法进行高效、 快速地融合. 因此, 在进行遥感图像融合前, 需先通过降维的方法对原始图像进行降维, 再提取合适数量的变换匹配点, 然后构建映射过程, 最终采用映射过程对原始大场景遥感图像进行融合. 本文采用主成分分析(PCA)方法[10]对多光谱遥感图像进行融合. PCA方法在多元随机变量的压缩和降维中应用广泛, 主要通过对原始数据矩阵的分解获得特征值与特征向量, 再使用更小维度的特征值和特征向量表示出原始数据的大部分内容, 以期获得更有意义的结果.

PCA算法的数学原理为K-L变换, 假设经过K-L变换前后的图像向量分别为f和F, 则PCA算法的过程可表示为

根据离散条件下K-L变换的原理可计算出其正变换和逆变换：

其中:E(f)表示向量f的期望;A表示原始图像向量f的协方差矩阵Cf的特征向量构成的矩阵, 且特征向量按特征值由大到小排序. 假设协方差矩阵Cf的特征值和特征向量分别为λi和Ai, 则可得如下变换公式：

由于在计算特征值与特征向量过程中进行了由大到小的排序, 所以可得

λ1>λ2>…>λp.

(12)

在PCA方法中, 假设光照强度(I)的变量X集合为{Xi,i=1,2,…,N}∈n,E(X)表示变量的期望,U表示X的协方差矩阵的特征向量构成的矩阵, 且特征向量根据特征值的大小进行排序. 根据PCA算法的流程可得到下列变换：

Yi=UXi,

(13)

其中Y的集合为{Yi,i=1,2,…,N}∈n表示经过PCA算法变换后的特征向量结果.

对于多波段图像融合问题,f(i,j)应该表示光照强度(I)对应像素点(i,j)处的p个多光谱的组合数据：

f(i,j)=(f1(i,j),f2(i,j),…,fp(i,j))T.

(14)

假设图像向量的协方差矩阵Cf表示为

(15)

则根据上述对多光谱图像定义及方差定义可得如下关系：

其中E(fk)表示向量fk的期望, 计算公式为

(18)

M,N分别表示原始遥感图像的数据长度和宽度.

PCA变换后获得的多个主成分分量与原始遥感图像的各模式之间相互独立, 经过对光照强度(I)分解后获得的分量能更好地表示出图像的主要信息, 通过主要信息完成后续的小波分析和图像融合, 构建出有效的映射关系, 能更高效地服务于遥感图像融合. 通过减少冗余信息, 在遥感图像融合过程中还能进一步减小遥感图像的噪声, 通过PCA算法降维后的遥感图像边缘更清晰, 主要细节更明显, 能有效避免相干光斑对遥感图像融合时的影响, 同时提升融合后遥感图像便捷的清晰度.

1.3 小波分析

小波分析是从频域上统计出原始图像信号的特征[11], 可实现信号的多尺度分析, 根据小波尺度的不同, 可定义出空间、 时间和频率上的局部变换, 继而在图像融合中提取出图像中的有用特征. 小波分析建立在Fourier变换分析上, 通过将时域的图像信号转化至频域的图像信号, 再在频域上使用高通滤波器和低通滤波器从原始图像中分离出高频分量和低频分量. 小波分析的高频部分包含变化剧烈的信息, 包括原始遥感图像的边缘信息. 小波分析可产生多尺度的频域分解, 前一尺度下的低频分量可继续在后一尺度下进行分解, 经过多重分解即可将原始遥感图像中的空间结构信息表达出来. 经过小波分析的逐级分解, 即可获得原始遥感图像的频域分量. 小波分析的示意图如图1所示. 由图1可见, 小波分析结果的高频分量中包括水平特征、 垂直特征和对角特征3个方向的特征. 而在小波分析中, 主要通过高通滤波器获得图像的高频区域来完成遥感图像的融合工作.

图1 离散小波分析的层级示意图Fig.1 Hierarchical schematic diagram of discrete wavelet analysis

传统算法下基于离散小波分析的遥感图像融合主要包括3个方面[12]： 1) 通过小波分析获取高光谱和空间分辨率图像的高频部分； 2) 将高光谱分辨率的高频部分替代空间分辨率的高频部分, 从而获得融合后的遥感图像频域数据； 3) 将频域数据通过小波分析反变换获得融合后的遥感图像. 其融合算法流程如图2所示.

图2 传统基于离散小波分析的遥感图像融合算法流程Fig.2 Flow chart of traditional remote sensing image fusion algorithm based on discrete wavelet analysis

由于在小波分析结果中丢弃低频分量易使遥感图像产生分块模糊现象, 因此实际应用中, 应视不同的遥感图像丢弃不同程度的低频分量, 不能使低频分量的丢弃影响到遥感图像的融合过程.

1.4 加权小波分析算法的图像融合流程

图3 加权小波分析算法的图像融合流程Fig.3 Flow chart of image fusion with weighted wavelet analysis algorithm

传统小波分析遥感图像融合算法建立在高光谱分辨率和空间分辨率相应高频区域替换基础上, 实际上, 通过小波分析获得的高频分量中含有大量噪声, 直接将高频分量替换, 而舍弃高光谱, 会导致小波分析反变换产生分块模糊现象, 遥感图像融合结果中产生大量冗余的模糊线段, 且高光谱转换算法产生的光谱信息容易产生边缘丢失问题. 而本文提出的小波变换加权的遥感图像融合算法, 可有效解决这些问题. 该算法在HSI颜色空间上进行主成分分析, 获取修正的高光谱图像数据(光照强度I), 再将修正后的加权光照强度与高分辨率图像信息进行小波分析, 完成对遥感图像的融合.图3为加权小波分析算法的图像融合流程.

1) 对原始多光谱低分辨率遥感图像进行HSI颜色空间变换, 并提取出光照强度分量I.

2) 对光照强度分量I进行直方图匹配, 与原始低分辨率图像的光照分量完成匹配, 由于该分量依然包含有部分颜色信息, 因此采用PCA算法从中提取出纯度较高的加权光照强度分量I′.

3) 将加权光照强度分量I′与原始低分辨率图像进行加权的小波分析, 通过高频分量的互换获得图像融合结果, 加权过程计算公式为

Iout=(1-α)I′+αIdwt,

(19)

其中:Iout表示加权小波分析图像融合的输出结果;I′表示加权光照强度分量;Idwt表示小波分析分量. 通过加权系数α完成加权计算.

4) 将加权图像融合结果经过小波分析反变换转化至原始HSI空间, 并使用HSI颜色空间反变换转化至RGB空间, 获得最终的遥感图像融合结果.

2 仿真实验与分析

2.1 实验设置

为了验证本文提出的加权小波分析的遥感图像融合算法的可行性和有效性, 选取北京地区SPOT5多光谱和全色影像数据集进行仿真实验[13], 将其与传统小波分析、 HSI小波分析和PCA小波分析方法进行对比.图像融合结果的评判主要分为两方面, 分别是主观评价和客观评价. 主观评价通过人们对于融合结果的主观感受给出评判结果； 客观评价通过客观计算结果进行评判[14-15].

1) 信息熵. 信息熵是反应信息量变化的指标, 该指标越大, 说明遥感图像融合的效果越好； 反之, 则说明图像融合的效果较差. 信息熵计算公式为

(20)

其中:N表示图像的灰度级;pi表示融合后该灰度级的频率.

2) 平均梯度.图像的纹理和细节通常能通过图像的平均梯度表现, 平均梯度更大的图像清晰度更好, 融合的效果也更佳. 平均梯度计算公式为

(21)

Δxf(i,j)和Δyf(i,j)分别表示融合结果中x和y方向上的梯度值.

3) 标准差. 标准差表示融合结果中灰度级别的分散程度, 灰度级别分散程度越大, 说明图像的标准差越大, 且图像的纹理越清晰. 标准差计算公式为

(22)

4) 均值. 均值表示融合结果中的平均亮度, 一般亮度集中在适中区域的图像效果更真实, 其计算公式为

(23)

5) 互信息. 互信息表示两个融合图像X,Y之间是否存在一定的关系, 并用计算结果衡量关系的强弱. 互信息得分越高的两个图像的融合效果越好, 相关性越大, 计算公式为

(24)

其中:P(X,Y)表示X,Y之间的相关分布;P(X),P(Y)分别表示各自的边缘分布.

6) 边缘信息保留量. 边缘信息保留量是另一种衡量融合后图像与融合源图像之间的关系, 假设融合后的图像为F, 融合源图像为X, 则边缘信息保留量的计算公式为

(25)

2.2 实验结果分析

仿真实验在Windows10 64 bit系统, Genuine Intel (R) i7-6300 CPU, 8 GB内存的环境下, 使用OpenCV-2.4.5官方开源HIS颜色空间转化、 PCA降维和小波变换源码, 通过编程实现不同方法的比较. 分别对SPOT5数据集中城市场景和农村场景下的遥感图像进行对比实验, 实验过程中设置的小波分析分解为3层, 方向分解数分别为2,4,8, 尺度滤波器采用db16, 方向分解滤波器为8-6pkva, 主成分分析的维度设为k=100, HSI颜色空间设置按照正常状态. 在仿真实验中分别从主观上和客观上对SPOT5数据集中如图4所示的城市场景和如图5所示的农村场景下不同算法的融合结果进行对比.

图4 SPOT5数据集中城市场景下不同算法的融合结果对比Fig.4 Comparison of fusion results of different algorithms in city scene in SPOT5 data set

由图4和图5可见, 对于城市场景和农村场景下, 本文提出算法的融合结果边缘更清晰, 传统HSI空间转换、 小波分析和PCA算法都会产生一些分块的阴影部分, 这些阴影部分主要由传统PCA中的主成分或小波分析中的某些纹理成分组成, 在实际融合过程中会导致对多光谱图像的覆盖. 本文算法对PCA结果和小波分析结果进行合理加权, 有效降低了块状阴影的覆盖, 使用清晰的边缘区域代替原有的模糊块状阴影, 在农村场景和城市场景中的融合效果均较好.

图5 SPOT5数据集中农村场景下不同算法的融合结果对比Fig.5 Comparison of fusion results of different algorithms in rural scene in SPOT5 data set

根据选择的6种常用评判参数, 从客观上对SPOT5数据集中城市场景和农村场景下各种算法的融合图像进行评价, 结果分别列于表1和表2. 由表1和表2可见, 与传统的HSI颜色空间、 PCA和小波分析等方法相比, 本文提出的算法在均值、 标准差、 信息熵和平均梯度上均获得了较好的提升, 所以在城市场景和农村场景的遥感图像融合中能获得稳定的结果, 其融合结果的清晰度、 纹理细节和真实性都得到了一定的提升.

为了验证加权小波分析的有效性, 实验中针对加权权重α的不同值, 在同一幅图像的加权小波分析融合中, 分别给定不同的加权权重进行图像融合, 并分析融合结果的各项指标, 结果列于表3.

表1 SPOT数据集中城市场景下的融合图像客观评价指标

表2 SPOT数据集中农村场景下的融合图像客观评价指标

表3 权重值与客观评价指标的对比结果

由表3可见, 不同的加权条件下会导致不同的指标获得最优的结果值, 在实际使用过程中, 应该指定所需指标, 按照所需量获得合适的客观评价指标和相应的加权系数, 加权系数可根据融合图像所面临的问题进行自适应选择.

综上所述, 为了提升多光谱遥感图像融合算法的效果和效率, 本文提出了一种加权小波分析的遥感图像融合算法, 该算法首先将原始多光谱遥感图像转化至HSI颜色空间中, 再在该空间上提取出光照强度分量, 并通过主成分分析提纯后获得修正的光照强度分量, 然后结合小波分析结果, 将二者进行加权融合获得遥感图像的融合结果, 再使用小波分析反变换将融合结果变换至频域上, 最后使用颜色空间反变换将其转化至RGB颜色空间上. 实验结果表明, 本文提出的加权小波分析方法能在一定程度上解决图像融合后边缘模糊、 融合结果中出现模糊块状阴影等常见问题, 并在清晰度、 纹理细节和真实性上获得了较大提升, 能针对不同的需求调整合适的加权系数, 使遥感图像的融合达到最佳效果.