基于双边滤波的多尺度图像融合

吴 川

1.中国科学院 航空光学成像与测量重点实验室，长春 130033

2.中国科学院 长春光学精密机械与物理研究所 图像室，长春 130033

1 引言

图像融合技术就是把多个传感器得到的图像信息按照一定规则结合起来，得到信息互补的图像。图像融合技术广泛应用于伪装侦察、战场感知、遥感、医学图像处理当中。图像融合方法可分为基于像素级的融合方法、基于特征级的融合方法、基于决策级的融合方法，其中基于像素级的融合方法已经得到广泛的研究。如赵鹏等[1]介绍了一种采用形态学算子、Top-hat变换及Bottom-hat变换相结合的方法把图像分解成不同尺度的图像，分别进行不同尺度的图像融合，最后再重构出融合图像，该方法适用于多聚焦图像及具有高噪声图像。Zhang等人[2]采用选择性融合和加权平均融合方法把不同尺度的图像融合在一起，计算比较简单，但融合图像失真和对比度信息损失的缺点比较明显。类似的把图像分解成不同尺度的图像分别进行融合的方法，还有李燕等人提出的采用梅花采样方向滤波器组的多光谱图像融合方法[3]。近年来小波变换的方法也被引入图像融合中[4-8]，如宗思光等提出的利用多尺度形态学滤波器对源图像进行分解，对分解后的图像采用树状小波变换进行融合，该类方法在舰载红外目标的检测中得到很好的应用，但其融合过程较为复杂；杨建惠等利用átrous小波-NSCT变换对遥感图像进行处理，得到的图像在光谱扭曲以及与原始图像相似度方面都取得了较好的效果，但该方法涉及到时域与频域间的变换与反变换同样过程较为复杂；此外赵澄东等利用一种概率方法进行图像融合，胡燕翔等利用不同曝光图像中融合目标灰度分布的不同进行图像融合[9-10]，在图像融合方面也都取得了一定进展。

Tomasi等人提出了一种双边滤波的低通滤波器[11-12]，该方法在保留图像边缘及图像的大尺度信息的前提下，能够有效滤掉图像噪声点。鉴于双边滤波器在图像滤波方面的良好表现，Eric、Durand分别把双边滤波思想应用到图像融合当中，并获得信噪比高，图像细节丰富的彩色图像[13-14]。但应用双边滤波进行图像融合的不足之处在于采用的双边滤波核函数复杂，人为设计参数过多，处理时间较长。针对双边滤波方法存在的问题，本文对双边滤波器的核函数进行改进，改进后的核函数计算复杂度降低，设计参数减少。本文将改进后的双边滤波器和高斯滤波器结合起来，对彩色图像和近红外进行滤波，得到多个尺度的图像，然后把不同尺度的图像按不同权重重构出融合图像，通过该方法可获得成像细节比原彩色图像更为清晰的融合图像。这里在权重的选择上提出一种基于融合像素邻域均值相似度的权值选择方法。

2 双边滤波图像滤波器

本章首先对双边滤波算法的原理进行介绍，针对其不足之处，对现有滤波器的核函数进行改进，提出一种计算简单，设计参数少的核函数。

2.1 双边滤波算法

双边滤波算法最早由Tomasi等人在1998年提出，应用在图像滤波中，具有保留图像边缘，减少图像噪声的优点，如式（1）所示。式中h(s)表示滤波后s点的像素值，s表示要滤波点的位置，p表示滤波点的邻域像素值位置，D(p，s)表示要滤波点和其邻域像素点的差，Ip表示p点像素值，Is表示s点像素值，Ω表示滤波子窗口。滤波函数g称为滤波器的核函数，多采用高斯函数形式如式（3）所示，式中σ为设计参数，选取不同σ可得到不同尺度的滤波图像。从公式（1）可以看出，双边滤波器同高斯滤波器相比采用了两个高斯核函数，因此有两个设计参数σ，为了区分两个设计参数，这里分别采用下标h和i相区分。其中g(‖‖p-s，σh)反映了p点像素和s点像素之间距离对s的影响，随着p点像素离s点像素越远，其对s点像素的影响越小，即p点在对s点滤波中所占的权重较小。g(D(p，s)，σi)反映了p点和s点像素之间的相似程度对s的影响，当p点和s点像素差值较小时即二者较为相似，则该项可提高p点在对s点滤波中所占的权重。p点像素值对s点像素值的作用受二者距离及相似度的综合影响，在对图像滤波时可有效保持图像边缘。而高斯滤波器在滤波时只考虑到像素间的距离，它在滤波时不仅对噪声进行滤除，对边缘也做了平滑。

2.2 双边滤波核函数的改进

双边滤波器的核函数为高斯函数，在计算过程中涉及到指数运算、乘方运算、除法运算、加法运算、减法运算，而且滤波过程中存在迭代过程，因此计算量较大，此外应用高斯函数不可避免的要人为设计一些参数。针对双边滤波器上述特点，本文对其核函数进行改进，改进后公式如式（4）～（7）所示。从公式中可以看出，用公式（7）代替公式（3），公式（3）和公式（7）的三维网格图如图1所示，图中x轴表示中心点到滤波像素X方向距离，单位为像素个数，y轴表示中心点到滤波像素Y方向距离，单位为像素个数，z轴表示核函数输出值。从图中可以看出二者变化趋势一致，只是公式（7）的下降趋势要缓一些，因此可以利用公式（7）近似取代公式（3）。

图1 两种核函数的网格图

从公式（5）、（7）可以看出，随着p点和s点的相似度减小g(D(p，s))值减小，反之增大，当Ip=Is时，即p点和s点像素值相同，这时g(D(p，s))值为1，即认为p点像素在滤波过程中起的作用与s点相同。从公式（6）和（7）可以看出，随着p点像素离s点像素越远，g(‖‖p-s)值减小，反之增大，当p=s时，g(‖‖p-s)表示s点本身在滤波中所占权重，这时认为它的权重应在参与滤波的所有像素中最大的，因此设为1。由此可见改进的双边滤波方法能起到公式（1）相同的作用，但其计算形式要简单得多。

3 基于双边滤波的多尺度图像融合

3.1 基于双边滤波的多尺度图像的获得

双边滤波器在平滑图像的同时具有保留图像边缘的特性，因此这里可以利用双边滤波器结合高斯滤波器得到彩色图像和近红外图像的不同尺度图像。

针对彩色图像分别采用高斯滤波器和双边滤波器对图像进行滤波，滤波后的图像分别定义为IG和ID。IG为高斯滤波后图像，它保留了图像的大尺度信息，即低频信息，这里称为低频图像；ID为双边滤波后的图像，它同高斯滤波图像相比除了保留了图像的大尺度信息外还保留了图像的边缘特征。用ID减去IG得到只含有边缘信息的图像用IEdge表示，定义如式（8）所示：

近红外图像同可见光图像相比由于其成像波段较宽，既包括可见光部分又包括近红外部分，因此其图像中包含的图像细节较可见光图像更为丰富。这里可通过对近红外图像进行双边滤波，然后同原近红外图像进行相减得到尺度相对较小的细节图像。为了叙述方便用IR代表近红外图像，IRD代表近红外图像进行双边滤波后的图像，IRDetail代表细节图像，如式（9）所示：

则融合图像可用公式（10）表示：

这里α、β为权重参数。

3.2 融合图像权值的选取

这里，权重的选择没有只考虑需要融合的像素，而是以需要融合像素的邻域均值作为权重取值的参考因素，好处在于可以削弱噪点对融合图像的影响，使融合图像在保持图像边缘、细节比原彩色图像丰富的同时，极大地抑制了噪声点对图像的影响。

3.3 参与融合的图像分量选取

在彩色图像和灰度图像融合的算法中，主要有两种方式：一种是彩色图像的RGB分量分别与灰度图像进行融合，融合后即得到新的彩色图像，这种方法需要RGB三个分量都参与计算，因此计算量大；另一种方式对RGB图像进行颜色空间转换把彩色图像的颜色分量和亮度分量分开，用亮度分量和灰度图像进行融合，然后把融合后的图像同颜色分量重构出彩色图像。这种方式计算量较小，因此这里采用这种方式。

此外由于彩色相机和近红外相机的成像原理、传感器敏感度、成像波段不同，如果直接把近红外图像作用于彩色图像亮度分量上，将导致色彩严重失真。因此在把两者融合之前，需要把近红外图像映射到彩色图像亮度分量上，称映射后的近红外图像为标准化图像，其计算公式参考文献[8]表示如下，式中IR′(x，y)为标准化图像：

IR源(x，y)为近红外源图像，IR源D(x，y)表示对IR源(x，y)进行双边滤波后的图像；ID(x，y)表示对彩色图像亮度分量进行双边滤波后的图像。在融和算法中所用的近红外图像均为标准化后的图像。

4 实验设计与结果分析

图2 使用几种融合方法得到的效果图

图3 针对低对比度图像融合效果图

本文针对不同源图像进行算法验证。使用的计算机CPU为双核的P8700，主频为2.53 GHz，采用的编程环境为VC++2008。为了验证算法的有效性，选取两组可见光彩色图像和近红外图像进行融合实验，其中第一组图像尺寸为1 392像素×1 040像素，第二组图像尺寸为1 024像素×768像素。它们的共同特点是可见光图像为彩色图像，由R、G、B三个色带组成，三个色带具有分光作用，因此图像细节信息同近红外图像相比较少；不同点在于第二组图像的可见光图像对比度更低。采用主分量变换法、相关系数法、Eric的方法[13]、本文方法进行融合实验，融合效果如图2和图3所示。由于图像尺寸过大，只给出了局部图像的融合效果图。为了确定算法优劣，引入了平均梯度这一客观指标对图像效果进行评价[15]。该指标描述了图像的清晰度，它的值越大表明图像越清晰，其公式如式（16），式中ΔIx和ΔIy分别表示图像在x和y方向的差分。

表1给出应用不同算法进行图像质量评价的结果；表2给出了不同算法计算时间对比结果。

表1 不同融合算法结果评价

表2 不同算法计算时间对比结果

从结果可以看出，Eric方法和本文提出的方法融合效果要优于主分量变换法和相关系数法。通过人眼观察也可以看出，图2中采用Eric的融合方法和本文方法的两幅图像融合效果近似，而从色彩和图像细节上均优于主分量变换法和相关系数法；图像3中采用主分量变换法和相关系数法得到的融合图像色彩失真较大，而Eric的方法局部有饱和现象，本文提出的方法得到的图像效果要优于上述三种方法得到的图像。该观察结果同客观评价方法得出的结论相同，因此可以看出本文提出的方法具有一定的实用价值。

5 结论

为了实现彩色图像和近红外图像的融合，得到成像更为清晰的彩色图像，提出一种基于双边滤波的多尺度图像融合算法。本文算法同Eric采用的双边滤波融合算法相比，简化了核函数的形式，在融合过程中，采用了一种自适应的融合系数选择法；在融合系数选择上没有单纯的对某一对参与融合的像素进行考虑，而是把采用融合的像素对的邻域进行综合考虑，选取融合系数，有效地避免把噪声带人融合图像。

实验结果表明，本文提出的融合方法能够提高彩色图像的清晰度，且运算时间要少于Eric的方法，有一定应用价值。

[1]赵鹏，王霓虹，浦昭邦.基于多尺度形态学滤波器的图像融合新方法[J].光学技术，2006，32（S）：207-211.

[2]Zhang Z，Blum R S.A categorization of multiscale-decomposition-based image fusion schemes[J].Proc of the IEEE，1999，87（8）：1315-1326.

[3]李燕，刘斌.采用梅花采样方向滤波器组的多光谱图像融合[J].计算机工程与应用，2012，48（5）：183-185.

[4]彭启民，贾云得.基于小波变换的全向图像分辨率增强方法[J].电子学报，2004，32（11）：1875-1879.

[5]晁锐，张科，李言俊.一种基于小波变换的图像融合算法[J].电子学报，2004，32（5）：157-159.

[6]Candes E J，Donoho D L.Curvelets and curvilinear integrals[J].Joural of Approximation Theory，2001，113：59-62.

[7]杨建惠，白超.Átrous小波-NSCT遥感图像融合[J].计算机工程与应用，2013，49（5）：170-173.

[8]许开宇，李双一.基于小波变换的图像融合算法的实现[J].红外技术，2007，29（8）：455-458.

[9]赵澄东，王旭辉，杨静宇.一种基于改进的概率图像融合方法[J].计算机工程与应用，2012，48（8）：182-184.

[10]胡燕翔，万莉.大动态范围多曝光图像融合方法[J].计算机工程与应用，2014，50（1）：153-155.

[11]Tomasi C，Manduchi R.Bilateral filtering for gray and color image[C/OL].（1998）[2012-12-01].http：//ieeexplore.ieee.org/stamp/.

[12]Petschnigg G，Agrawala M.Digital photography with flash and no-flash pairs[J].ACM Trans on Graph，2004，23（3）：661-669.

[13]Eric P，John L，Leonard M.Multispectral bilateral video fusion[J].IEEE Trans on Image Proc，2007，16（5）：1185-1194.

[14]Durand F，Dorsey J.Fast bilateral filtering for the display of high-dynamic range images[J].ACM Trans on Graph，2002，21（3）：257-266.

[15]郭雷，李晖晖，鲍永生.图像融合[M].北京：中国电子工业出版社，2008：53-54.