塔型分解多源图像融合方法

杨 钒，钱立志，刘 晓

(陆军军官学院，安徽 合肥 230031)

0 引 言

图像融合(image fusion)是指将多个传感器采集到的关于同一目标的图像进行信息提取，最大限度地保留各个图像中的有利信息，并将信息汇总综合成一幅高质量的图像，以提高图像信息的利用率、满足人们对图像目标信息的高要求，便于人眼或机器对景物目标的进一步感知和后续处理[1-2]。

红外热像仪和微光夜视仪是当前两种主要的夜视装备，由于它们工作波段和成像机理不同导致其获取夜晚图像方面各有优缺点。因此，红外探测器和微光探测器所表达的图像信息侧重点和信息量也不一样，红外和微光图像融合的必要性不言而喻[3-4]。当前，常用的红外与微光图像融合方法有很多，譬如加权平均法、PCA(principal component analysis)变换法、图像金字塔法、小波融合方法等[5]。基于图像金字塔分解的图像融合方法是利用不同图像在不同尺度、空间分辨率以及分解层上信息的差异进行的一种多尺度、多分辨率图像融合方法[6]。其融合的过程具有以下优点：金字塔图像分解法能够为人眼提供非常敏感的对比度突变信息；金字塔图像分解法在空域和频域中能够提供局部化信息。与其他一些融合方法相比，基于塔形分解的融合方法在改善融合效果方面比较明显。因此，文中重点对基于塔型分解的红外与微光图像融合方法进行研究，并对比率低通、拉普拉斯、梯度、对比度以及形态金字塔等不同方法进行了性能比较实验。

1 图像金字塔变换方法

图像金字塔变换是将源图像分解成多个不同层级分辨率的子图像，并将低分辨率(尺度较小)和高分辨率(尺度较大)的子图像分别放在上层和下层，形成一个从上至下由小至大的金字塔。通过拉普拉斯变换量化、编码每一层金字塔，并用较少的码字量化、编码人眼不敏感的层，从而达到图像压缩的目的[7]。

此外，图像不同分辨率层包含的图像信息也可通过图像金字塔来对图像中的细节和内容进行分析和相互指导，大大简化了计算量，使之更适合进行图像融合[8]。

2 塔型变换红外与微光图像融合方法

一幅图像通常可以通过金字塔分解成不同的频带，然后在不同频率层上分别进行融合，因此，不同融合算子可以突出不同的特征和细节，从而达到有效融合[9-10]。

2.1 融合流程

令A、B分别为两幅红外与微光图像，F为融合图像，融合流程如图1所示。

图1 基于金字塔变换的红外与微光图像融合过程

步骤如下：

(1)分别对图像A和B进行金字塔形分解，得到各图的分解层；

(2)利用融合规则对每个图像不同的分解层分别进行融合处理，形成一个新的金字塔；

(3)重建融合后图像的金字塔，最终得到融合图像F。

2.2 融合规则

对不同源图像的对应分解层进行融合处理决定了图像融合的优劣，因此融合方式及融合算子的选择将在图像融合过程中对融合结果具有较大影响[11-12]。文中分别采用基于单个像素融合和基于像素区域融合的方式进行融合，其原理如图2所示。

图2 图像融合的不同方式

(1)基于单个像素的融合方式。

该融合方式通过两幅图像上对应分解层相应位置图像像素大小灰度值来确定融合后的像素值，新的像素值可通过取大、取小或者加权平均来确定。

对于一幅可读性较强的图像而言，图像中每一块区域中的像素都具有很强的相关性，其特征也是由多个像素来体现，因此，采用基于单个像素的融合方法具有很大的片面性，对融合结果也会有较大影响[13]。

(2)基于像素区域的融合方式。

该融合方式通过计算图像中以某一像素为中心的邻域以及自身的方差作为基准进行融合。邻域大小可以是3×3、5×5、7×7或9×9等。具体为通过比较两幅图像的某方面特征，动态地选取突出特征获得融合结果[14]。

文中利用基于区域特征的方法进行融合，以三种特征作为区域特征：

一是特征量为区域信息量，以两幅图像中信息含量更为丰富的图像部分来融合图像，信息含量包括区域方差Dev(X)和区域熵E(X)：

(1)

(2)

在图像分解层中，中心像素所在区域像素，以方差或熵值大的为该像素在融合后图像分解层上的灰度值。

二是以该点邻域灰度值之和的平均值为特征量，中心像素所在区域中特征量最大的，以该像素为融合后灰度值。

三是以区域能量作为特征量。首先在两幅图像相应分解层上计算其对应局部区域“能量”El,A和El,B：

(3)

其中，El(m,n)表示以(m,n)为中心的在拉普拉斯金字塔第l层上的局部区域能量；Ll为金字塔第l层图像；wl(m',n')为加权矩阵算子；J、K为局部区域大小的范围，m'、n'取值范围在J、K内。

然后，计算图像对应区域的匹配度MAB：

n+n')Ll,B(m+m',n+n')]/

[Ll,A(m+m',n+n')+

Ll,B(m+m',n+n')]

(4)

这里设一个取值在0.5到1之间的匹配度阈值T，则融合后金字塔的第l层图像Ll,F为：

若Ml,AB(m,n)

(5)

若Ml,AB(m,n)≥T，则：

(6)

其中：

(7)

从式中可以看出，局部区域的匹配度MAB决定了两幅图像在该区域上的“能量”差别，若MAB小于阈值T，则选择“能量”大的区域中心像素作为融合后图像在该区域上的中心像素；反之，匹配度大于或等于阈值T，表明在该区域上两图像的“能量”相近，则该区域上的中心像素的灰度值可用加权融合算子来确定。

该方法相比基于单一独立像素的简单选择的融合方式，具有能量特征的区域融合，更能代表原始图像中区域的明显特征，因此更为合理和科学。

2.3 实验与结果分析

下面将通过多个实验来研究影响红外与微光图像融合效果的因素，包括金字塔分解类型、分解层数以及不同融合方式。

(1)不同金字塔分解类型对融合效果的影响。

图像融合前后的结果如图3所示。其中采用了相同的分解层和融合方式进行融合，分解层数均为4，其高、低频部分分别采用基于像素和加权平均融合方式。

图3 不同金字塔分解类型融合结果

为评价采用不同金字塔变换得到的红外与微光图像融合结果的质量，选用衡量图像信息丰富程度的信息熵[15]、反映了图像中的微小细节与纹理变化特征的平均梯度以及反映了图像像素值分布情况的标准差等三个客观评价指标对图像进行客观评价。结果如表1所示。从直观上看，比率低通金字塔和对比度金字塔这三种融合方法均对两幅源图像进行了有效融合，而且基于梯度金字塔变换和形态金字塔变换的融合方法，从融合图像的清晰度、对比度等方面，要好于其他几种金字塔变换的图像融合方法。

表1 不同的金字塔融合效果的客观评价指标

(2)分解层数对融合效果的影响。

为测试金字塔分解层数对图像融合效果的影响，采用基于像素的融合方式对上述5种融合方法进行实验，并将源图像与融合后图像进行比较。得出的结论是：尽管融合后图像包含了更多的信息量，但随着图像分解层数的增加，源图像中的部分信息在融合图像中出现了缺失。

表2～5分别是比率低通、对比度、梯度和形态学金字塔变换所得融合图像的评价指标。

表2 (比率低通金字塔)不同分解层融合后

表3 (对比度金字塔)不同分解层融合后

表4 (梯度金字塔)不同分解层融合后

表5 (形态金字塔)不同分解层融合后

可以看出，随着图像分解层数的不断增加，基于比率低通和对比度金字塔变换的图像融合方法所获得融合图像的信息熵、标准差和平均梯度等指标均得到提高；基于梯度金字塔变换的图像融合方法其标准差有所提高，但信息熵和平均梯度却有所下降；基于形态金字塔变换的图像融合方法其融合图像的信息熵变化不大，但标准差和平均梯度有所提高，且在分解层数为3时达到峰值，随后有所下降。由上述实验结果可知，对于不同的图像金字塔变换融合方法，不同的分解类型会使得融合后图像的不同指标具有一定的差异，但总体上说，随着分解层数(融合层数)的增加，融合效果和质量会有所提高。

(3)不同融合方式对融合效果的影响。

为了测试不同融合方式对红外与微光图像融合效果的影响，对基于像素和基于区域两种融合方式进行了比较。选择3×3的区域大小窗口，分解层数为4。评价指标的结果如表6所示。

表6 不同金子塔分解两种图像融合

从表6中可以看出，基于区域的融合方式在融合后图像的信息熵、平均梯度等指标方面均高于基于像素的融合方式，说明采用基于区域的融合方式继承了源图像更多的信息，融合后的图像信息更为丰富，两者比较基于区域的融合方式要更好。

3 结束语

针对红外与微光图像信息融合的必要性，主要研究了基于塔型分解的红外与微光图像融合方法，较全面地描述了塔形分解的实现、重构及特性，重点分析比较了基于像素和区域特征图像融合方式。通过实验详细地分析了不同的金字塔类型、不同分解层数和不同融合方式对图像融合效果的影响。实验结果表明，采用塔形分解图像融合方法可以较好地融合图像。但由于对图像融合效果的影响不仅取决于融合方法，其图像的类型也是一个重要因素。因此，下一步将针对其他类型的图像融合情况进行进一步研究。