基于BEEMD分解的红外与可见光图像融合

李广安，曹 岩，岳晓新

兰州交通大学 电子与信息工程学院，兰州730070

由于红外与可见光图像传感器的成像机理不同，所拍摄的图像也存在有较大的差异。红外传感器成像是将目标与环境的辐射差异按照固定的映射机制映射成为灰度图像[1]，其成像不受环境条件的限制，而且能突出显示隐藏的目标。可见光传感器是基于拍照场景的反射光线而成像的，在可见光图像中包含有丰富的纹理和轮廓等细节信息，但其成像对光线强度有一定的要求，在光线较弱的恶劣环境，可见光图像细节信息明显减少。因此，将两种具有不同特征的图像按照某种融合算法进行融合，获得具丰富场景信息的图像，是非常有意义的。而且这也有利于人的视觉观察和后续其他处理，目前这种技术广泛应用于军事领域、安全监控、医疗科学技术、遥感领域和机器视觉。

随着图像融合领域的不断发展，新的融合方法不断提出，而且融合效率也明显提高。传统多尺度融合方法有较多种类，如金字塔算法[2]、小波变换法[3]、非下采样Contourlet 变 换[4（]Nonsubsampled Contourlet Transform，NSCT）、shearlet 变换[5]等。尽管都有明显的融合效果，但这些传统多尺度融合方法对图像分解主要依赖于不同类型的滤波器，并没有依据图像自身的特征进行分解[6]，自适应性较差。

EMD方法是Huang等[7]于1998年提出，这是一种自适应的分解方法，只依赖于自身数据，不需要预定义任何的基函数或滤波器。一维经验模态分解广泛地用于分解一维非线性和非平稳信号，将待分解信号按照需要的分解层数和分解停止条件，自适应地分解为几个内蕴模函数（高频成分）和一个残差项（低频成分）。鉴于这种优良的分解方法，诸多学者对其进行了深入研究，并将一维信号分解扩展到二维图像信号分解，并且已经逐步地发展成熟。

郑有志等[8]将BEMD算法应用于医学图像融合，取得了比小波和傅里叶变换方法更好的融合结果。Zhang等[9]将BEMD 与双通道PCNN 相结合，通过BEMD 分解得到高频和低频成分，使用PCNN神经网络分类高频和低频中的纹理和背景，再对纹理类和背景类的像素进行融合，大大提高了图像的融合质量。Looney 等[10]为解决EMD 分解唯一性和参数敏感的问题，提出复数经验模态分解算法（CEMD）。宫睿等[11]为有效地提取残差分量中的高频信息，提出W 变换与BEMD 算法相结合的图像融合方法，获得了更清晰的融合图像。朱攀等[6]将BEMD算法与高斯模糊逻辑（GFL）结合，并应用于红外与可见光图像的融合，取得了比传统多尺度融合方法更好的结果。

以上的几种算法都是利用二维经验模态分解算法（BEMD）的优良分解特性，结合设计的融合规则实现最终的图像融合。虽然上述方法都实现了一定的融合效果，但是使用BEMD算法分解图像时多少都会存在模态混叠，对图像边缘和纹理提取不充分，融合后的图像存在细节丢失。为了更有效提取图像的特征信息，抑制分解过程中存在的模态混叠效应。本文以BEMD 算法为基础，利用噪声的辅助分析能力，提出一种新的红外与可见光图像融合方法，即二维集合经验模态分解算法，最后通过大量实验验证了该算法的有效性，并且在目标突出和细节保存上具有明显的优势。

1 二维集合经验模态分解算法原理

BEEMD算法主要思想是借助高斯白噪声的辅助分析能力，按照提出的噪声模型生成几个含不同幅值的噪声图像，使用改进的BEMD 分解图像，以集成均值的方式获得较高准确度的特征分量和残差分量。

1.1 噪声模型

模态混叠主要是由信号间歇[12]所引起的，它的存在使分解后的内蕴模分量频率严重混合，并使之失去原有的物理意义。对BEMD算法，添加少量的高斯白噪声却有助于分解图像。这是由于BEMD 算法在构造包络面的过程中，对图像数据的极值点分布具有较高的要求，纹理变化较为明显的细节部分，有较多区域极值点，纹理变化缓慢，细节不明显的区域却缺少必要的区域极值点，不利于BEMD算法包络面的构造。引入少量的高斯白噪声以后，图像的局部区域极值点增多，能够更好地构造包络面，驱动算法。

图像分解前，引入一定比例的高斯白噪声，使其均匀地填充在整个图像空间，对于大小为M×N图像添加噪声的模型可以表示为：

式中，A0(m,n)表示源图像，N(m,n)是待添加的高斯白噪声，其幅值要通过噪声标准差δ来限制，An(m,n)是添加噪声后的图像，δ/δ0为噪声标准差与图像像素值标准差之比，通过δ将范围限制在0～0.2，n表示集成次数(n≥3)。

图1 是源图像的一维行向量与含噪声图像的一维行向量EMD分解对比。图（a）与图（b）是源红外图像的行向量与引入白噪声后红外图像的行向量，图中红色曲线为下包络线，蓝色曲线为上包络线，黄色曲线为实际信号曲线。对比发现，图（b）极值点明显多于图（a），而且图（b）中源向量极值点和噪声极值点能够更好地构造上下包络线。对这两个一维向量使用EMD算法分别进行分解，其效果如图（c）和图（d），图（c）中源图像的行向量分解后每个imf分量中存在有不同频率的信号，但是图（d）中这种现象明显得到缓解。

图1 一维行向量EMD分解结果对比

1.2 基于BEEMD的图像分解

首先依据噪声模型生成n个含少量高斯白噪声的图像，再使用改进的BEMD算法依次对n个噪声图像进行分解，获得每层n个内蕴模分量IMF，而后对每层的n个IMF求均值，得到待融合图像的特征分量EIMF，最终的残差分量Res也通过求均值获得。每个特征分量EIMF以集成均值的方式获得，目的是为了消除残留在IMF中的高斯白噪声，具体算法流程如下：

输入：图像A0，集成次数n，分解层数I。

输出：图像A0的特征分量EIMF和残差分量Res。

1）将经过配准的待融合图像按照对称延拓的方法进行延拓。

2）根据噪声模型生成n个含少量白噪声的图像，分别记为An，依次将n个图像进行分解：

（1）初始化，令分解层数i=1，并限定最大分解层数为I层（即i

（2）将待分解图像视为残差分量Ri-1,n=An，计算每张图像的第i层的内蕴模分量IMFi。

①初始化，设定当前的迭代次数j=0，并令Hi,j=Ri-1,n；

②查找图像的局部区域极大值和极小值点，通过插值操作得到Hi,j的上包络面UMi,j和下包络面ULi,j,再根据上下包络面求均值包络面Mi,j=(UMi,j+ULi,j)/2；

③令Hi,j+1=Hi,j-Mi,j，按照筛选停止条件，判断Hi,j+1与Hi,j的标准差是否满足该条件，如果不满足，将j加1，即j=j+1，跳转至步骤②，满足该条件，那么跳转至步骤④；

④计算第i层的内蕴模分量IMFi,n=Hi,j+1，对应的残差分量Ri,n=Ri-1,n-IMFi,n，将i加1，直至i>I，即图像分解层数达到I层。

3）得到每层n个图像的IMF分量和残差分量R，将第i层的IMF分量求均值，得到待融合图像每层的特征分量EIMFi：

4）最后的残差分量也以均值的方式获得：

5）最终，得到待融合图像A0的BEEMD表达式：

式中，EIMFi(m,n)为图像A0的第i个特征分量，Res(m,n)为图像A0经过I层BEEMD分解后的残差分量。

上述步骤中，单个图像的每个IMF筛选停止条件也是影响IMF分量准确的关键因素，本文采用Cauchytype收敛条件[7]：

式中，SD表示迭代结束的标准差，(m,n)是每个像素点的位置，当迭代使得SD小于ζ时，表示筛选结束，ζ取值在0.2～0.3之间，本文取ζ=0.2。

图2和图3为BEMD与BEEMD算法分解红外与可见光图像结果对比。图2 是红外图像分解效果，使用BEMD 算法对红外图像进行三层分解获得对应的内蕴模分量如图（b）～（d），残差分量如图（e），而使用BEEMD算法分解后的特征分量和残差分量如图（f）～（h）、（i）。对比图2的（b）和（f）明显可以发现BEEMD算法获得的第一个特征分量人物目标的外轮廓更加清晰，第二与第三个特征分量的人物目标也是比BEMD 算法的突出。同样对比图3中的（b）和（f）、（c）和（g）、（d）和（h）可以发现BEEMD 算法获得的特征分量在房屋外边缘、围栏、跑道处的信息更加丰富。

BEEMD 算法能更准确地提取图像的特征信息，很好地抑制模态混叠，有较高的分解效率。对模态混叠的抑制能力可以使用正交指数[13（]Orthogonality Index，OI）来表述，OI 越小，表示分解效率越高，对模态混叠抑制效果越好，OI计算表达式为：式中，EIMF是每层的特征分量，EIMFI+1是分解后的残差分量，图像尺寸为M×N。图2和图3为BEMD与BEEMD算法分解红外与可见光图像结果对比，使用OI指标对BEMD 和BEEMD 算法的分解效率进行评价如表1。

图3 可见光图像分解结果

表1 BEMD与BEEMD算法分解效率对比

OI1和OI2为BEMD 与BEEMD 算法分别分解红外与可见光图像的分解效率指标。从表1 中可以看出BEEMD 算法分解效率明显高于BEMD 算法，表明BEEMD算法对模态混叠的抑制更彻底。

2 基于BEEMD分解的红外与可见光图像融合

将源红外图像与可见光图像使用BEEMD 算法进行分解得到相等数量特征分量和残差分量，对特征分量采用局部区域能量选择与加权[14]的融合规则进行融合，局部区域能量能够很大程度地反映局部区域信息丰富程度，区域能量越大表征信息越丰富，通过局部区域能量选择与加权自适应的分配融合系数。对残差分量使用模糊逻辑[15]进行融合。最后将融合后的特征分量和残差分量直接叠加获得最后的融合图像，基于BEEMD分解的图像融合具体流程：

（1）将待融合的红外图像IR 和可见光图像VI 进行I层分解，得到各自的高频和低频成分

BEEMD算法对特征信息的提取有明显的优势。在相同的分解层数下，BEEMD提取的特征信息更加丰富，这有利于保存红外图像的目标信息和可见光图像的背景信息，大幅度地提高图像的融合质量和视觉效果，其融合框架如图4。

图4 基于BEEMD算法的图像融合框架

2.1 EIMF分量融合规则

使用BEEMD算法提取的特征分量EIMF以高频成分为主，包含源图像的纹理边缘等细节信息，选择一个合适的融合规则可以很大程度保留这些细节信息。采用最大值法[16]对高频部分进行融合，这种融合方法速度快，但是没有考虑相邻像素之间的关联性，难以体现待融合图像的局部特征。按照各局部区域能量的大小自适应地选择区域之间的融合系数，保证特征分量高效融合。图像的局部区域能量按照下式计算：

式中，M×N表示局部区域窗口大小，w(a,b)表示加权模版，本文取M=N=5，采用的加权模版大小是：

高频信息的融合按照以下步骤进行：

式中，α(x,y)和β(x,y)为对应区域的加权系数：

2.2 Res分量融合规则

图像残差分量是源图像的近似描述，其中仍然保留着一定量的细节信息，占据源图像的大多数能量，因此有效地将低频信息融合，减少背景信息的损失是非常有必要的。采用均值的融合方法，实现方法简单，但是容易造成图像对比度下降，影响最终融合图像的视觉效果。为了避免这种情况，本文采用模糊逻辑对残差分量进行融合。模糊逻辑能够很好地区分图像中的像素是否属于目标或背景，对红外图像的目标和可见光图像的背景分配较大的权值，具有较好的融合效果。基于模糊逻辑的融合方法为：

式中，Res(x,y)是低频分量在(x,y)位置处的像素值，ηT(x,y)和ηB(x,y)分别表示红外与可见光图像残差分量的融合权值。其计算方法为：

式中，μ和σ分别表示红外图像的残差分量的均值和标准差，k是一个调节参数，用于优化实验结果，其取值范围为1～3之间，本文中取值为1.5。

3 融合效果与分析

3.1 图像融合实验

为了证明该算法的可行性，本文设计了4组对比实验，每组实验通过与基于拉普拉普斯金字塔算法（LP）、小波变换等2 种经典传统算法和多尺度分解变换[17]（MSD）方法、基于视觉效果图[18（]VSM）方法，以及四叉树分解[19（]QD）方法等3 种新算法之间的效果进行对比。实验中，使用BEEMD 算法分解图像时，由于第一层特征分量通常保留了最重要的信息，同时，为减少因分解造成的信息损失，本文采用一层分解（即I=1），每个待分解图像生成三个含白噪声的图像（即n=3）。对EIMF分量融合的过程中，阈值参数T取值不宜过小，过小会造成融合图像细节丢失，为更好地保存待融合图像的边缘纹理等特征信息，本文取T=0.85。LP算法采用四层分解，小波变换采用Daubechies 小波，所有实验都是在硬件参数是intel®CORE i5 处理器，2.6 GHz 主频，运行内存4 GB的PC机上完成的，编程环境是Matlab R2017a。

将具有相同场景的红外图像与可见光图像使用以上的6种算法进行融合，图5（a）、（b）分别是对应的红外与可见光图像，第一组红外图像人物目标特别清晰，背景较为模糊；可见光图像具有丰富的场景信息，但人物目标却不可见。第三组可见光图像明显地可以看见广告牌上的字体及路灯基座等细节信息，但车辆、路灯由于夜晚光照不足的原因，较为暗淡；红外图像却能够突出具有热辐射的目标，如行人、车辆轮胎及基座等。同样，在第二组和第四组均可以观察到红外与可见光图像所具有的信息特征。

图5 待融合的红外与可见光图像

3.2 融合实验结果分析

以上6种算法均实现了红外与可见光图像的融合，在一定程度上既突出了红外目标，又保存了背景信息。但是不同算法的融合效果有明显的差异，如图6 所示，在第一组实验中LP算法虽然明显地突出了人物的外形轮廓，但是融合图像背景明显缺少细节信息。小波变换的方法无论是在人物还是背景方面的保存上都不够，整体效果相对较差。MSD、VSM、QD 及本文的融合方法相对于前两种算法，都有较好的融合结果，但是MSD、VSM 及QD 方法在树枝、树叶及围栏等细节的保存上，主观效果仍不如本文方法。本文方法保留了更多的空间细节信息，既突出了人物目标，又很好地保存了背景信息，综合效果最好。

图6 不同算法的实验效果对比

对比第二组融合实验，LP 方法较多地保留了红外图像的信息，汽船局部区域较亮，不能很好地突出其外形轮廓和局部细节；小波变换方法整体较暗，细节突出不明显；MSD、VSM、QD的融合效果相对前两种传统方法有很大改善，但是背景信息的保存仍然不如本文算法。同样，在第三组和第四组的对比实验中本文算法优势也可以很好地体现，在第三组对比实验中，LP方法广告牌上的字体较暗，小波变换对于人物和车辆等细节信息的保存仍然不够，整体对比度也偏低，MSD 和VSM方法，虽然很好地保存了人物信息和车辆信息，但是在广告牌处的对比度较低，QD 方法在人物和路灯等处的细节模糊不清。本文方法无论是在人物、车辆及广告牌字体上，都具有很好的可视性。第四组融合结果中，本文方法主观效果仍然好于其他算法。总体来说，本文算法细节突出明显，清晰度高，可视化效果也最好。

为了进一步说明该算法的有效性，选取算法运行时间、平均梯度（AG）、标准差（SD）、信息熵（IE）等[20]几个客观评价指标对上述算法进行评价。算法运行时间用于验证算法的复杂度及效率；平均梯度可以定量评价图像的清晰程度，反映图像细节的变化特征[21]；标准差在一定程度上可以反映图像包含信息量的多少；信息熵也是用于衡量图像信息丰富程度的另一指标，信息熵越大，图像中含有的信息越丰富。从表2横向对比可以看到本文算法在第一组实验的三个客观评价指标中标准差和信息熵均高于其他算法，平均梯度略低于LP、MSD、VSM 和QD 算法，第二组实验中平均梯度均大于其他算法，第三组和第四组也是有两项指标高于其他算法。纵向对比可以发现本文算法平均梯度和信息熵中有两组高于其他算法，标准差中有三组高于其他算法。综合对比而言本文算法在客观评价指标方面也有较好的结果。而在运行时间上，由于本文算法需分解噪声模型生成的多个图像，所以算法运行时间略长，LP和小波变换的方法融合规则简单，算法时间损耗相对较少，融合效果也较差。QD方法是将提取的红外特征直接叠加在可见光图像上，算法本身较为省时；MSD 和VSM 也是基于变换域的融合，虽然运行时间小于本文算法，但是最后融合结果与本文却有明显的差距。

表2 融合结果的客观评价指标

4 结束语

本文针对二维经验模态分解（BEMD）算法在图像分解过程中容易出现模态混叠现象，利用高斯白噪声的辅助分析能力，提出基于BEEMD分解的红外与可见光图像融合。该算法能有效抑制分解过程中存在的模态混叠，获得准确的特征分量和残差分量，并将提取的特征分量EIMF按照局部区域能量选择与加权的方式，自适应选择融合系数进行融合，残差分量Res以有利于保存目标和背景信息的融合规则进行融合。将融合后的特征分量和残差分量叠加得到融合图像。融合后的图像不仅突出了红外图像的目标，而且明显增强了可见光图像中的场景信息，具有良好的视觉效果和图像清晰度，同时在客观评价指标方面也取得了很好的结果。在接下来的工作中，继续改进本文算法，进一步提高主观效果和客观评价指标。