基于导向滤波和小波变换的红外可见光图像融合改进算法研究

易图明 王先全 袁威 何晓冬

摘  要：针对传统模型在跨模态下易产生光晕伪影、颜色失真等问题，提出一种基于导向滤波和小波变换的红外可见光图像融合改进算法。将源图像经由小波变换获得二维低频及高频的子代系数，低频分量采用加权平均融合，高频分量提取权重图后经导向滤波获得细节增强；再将所处理的各分量经小波逆变换获得融合图像。该算法使用开源数据集TNO检验效果，经过主客观评估，得出该算法的效果明显优于传统算法，符合研究预期。

关键词：图像融合；小波变换；导向滤波；多尺度分解；红外可见光图像

中图分类号：TP391  文献标识码：A  文章编号：2096-4706（2023）06-0041-05

Research on Improved Infrared Visible Light Image Fusion Algorithm Based on Guided Filtering and Wavelet Transform

YI Tuming1， WANG Xianquan2， YUAN Wei1， HE Xiaodong1

（1.Southwest Computer Co.， Ltd.， Chongqing  400060， China; 2.Chongqing University of Technology， Chongqing  400054， China）

Abstract： Aiming at the problem that the traditional model is prone to produce halo artifacts and color distortion in cross-mode， an improved infrared visible light image fusion algorithm based on guided filtering and wavelet transform is proposed. The sub-generation coefficients of two-dimensional low frequency and high frequency are obtained from the source image through wavelet transform. The low frequency components are fused by weighted average， and the high frequency components are extracted from the weight map， and then the details are enhanced by guided filtering; then the processed components are transformed by inverse wavelet transform to obtain the fused image. The algorithm uses the open source data set TNO to test the effect. After subjective and objective evaluation， it is concluded that the effect of the algorithm is significantly better than the traditional algorithm， which is in line with the research expectation.

Keywords： image fusion; wavelet transform; guided filtering; multi-scale decomposition; infrared visible light image

0  引  言

准确获取目标红外图像信息是军事安防和医学影像领域不可或缺的一部分。如何将红外图像对外部噪声的抗干扰能力与可见光图像丰富的表征信息相结合，弥补红外图像视觉效果差、对比度低的缺陷，同时加强自然光在低光照条件下的描述能力，成为该技术研究的主流方向。

针对上述跨模态图像融合技术发展过程中遇到的难点，学者们陆续开展了对基于多尺度分解的红外可见光图像融合算法的研究。小波变换和金字塔变换作为变换域中经典的跨模态融合算法，自20世纪90年代就开始进军图像融合领域。金字塔变换因分解过程中存在的数据冗余问题，融合效果很差；小波变换则因具有刻画时域信号局部特征的优势，为此得到了广泛的应用。但传统小波变换依旧存在一个很大的问题：小波变换各方向变换相同，无法体现图像的各相异性特征。因此，大量改进优化的小波变换图像融合算法被提出：平稳小波变換融合算法在采样过程中剔除了下采样，进而克服了小波变换存在的振铃效应和光谱失真，大大提升了图片融合效果并具有更优的平移不变性。双树复小波变换融合算法引出两个独立的离散小波树作为实部和虚部，单次从行列上分解的高频子带较离散小波多3个方向，大大提高了重构精度，提高了图像分解能力及方向选择性；可协调的经验小波变换通过构造自适应的滤波器实现对信号的自适应分解，并改进高低频融合规则，客观评价指标与标准图像最为接近。

为进一步去除融合图像噪声保留细节信息，近年来以导向滤波为首提出的边缘滤波器广受青睐。基于导向滤波（GFF）提出一种以源图像作为引导图重构不同图像权重的方案，在较好保持图像边缘信息的同时，可以有效缓解融合过程中高频信号带来的光晕、伪影等问题，达到平滑纹理，保留边缘信息以及提取图像细节的目的。但是导向滤波仍具有相当程度的局限性：

（1）导向滤波在处理图像边缘时仍然会引入部分细节“光晕”。

（2）在非高曝光条件下，易导致颜色失真，且融合结果主观评价不及传统融合方法。

（3）处理输入图像和引导图像不一致时会出现滤波不灵敏甚至失灵的情况。

为解决上述问题，本文提出一种基于导向滤波和小波变换的红外可见光图像融合改进算法。首先，将红外可见光图像作为源图像经由小波变换获得二维低频及高频的子代系数；其次，低频系数处理中，我们将红外图像的自带低频进行局部对比度增强，然后经由导向滤波加权平均；同时，对分离的高频子带提取权重图后经导向滤波获得细节增强；最后将处理的各分量经小波逆变换获得融合图像，并且通过开源数据集TNO上的测试及主客观评价来验证算法的优越性。

1  二维小波分解与重构

二维小波变换（DWT）即一维小波变换在横纵两个方向上的拓展。任意二维图像可定义为f （x， y）∈L2（R），其中x、y分别为二维图像的横纵坐标。定义二维小波母函数为f （x， y），伸缩、平移处理后的小波基函数为：

（1）

二维小波分别在横纵方向上进行一维小波变换，其定义公式为：

（2）

其中，bx、by分别表示横轴和纵轴两个维度上的平移，其相应的二维小波逆变换重构算法为：

（3）

其中：

（4）

当对输入图像进行二维离散小波变换时，依照式（1）（2）采用常用的Mallat算法，根据不同的频带、分辨率分解为系列子带图像：

（5）

其中，Hr、Hc表示高通滤波器；Gr、Gc表示低通滤波器；r、c表示行列。每层小波系数分解为水平和垂直方向低频子带（LL）、水平方向低频和垂直方向高频子带（LH）、水平方向高频和垂直方向低频子带（HL）、垂直和水平方向高频子带（HH），当分解层数为3层时如图1所示。

当二维离散小波变换对红外和可见光图片同时进行分解时，基于Mallat的小波融合算法的具体流程如图2所示。

2  导向滤波

与双边滤波相同，导向滤波可以在高度保持图像高频表征的情况下达到图像平滑的效果。但相较于传统的边缘保持滤波，导向滤波存在两大明显优势：

（1）相较于双边滤波器极高的计算复杂度，导向滤波仅存在线性计算复杂度，计算速度大大提高。

（2）双边滤波器的数学模型易导致图像的梯度反转进而使图像受损，而导向滤波从线性组合出发，输出图片和引导图片梯度方向一致，避免了梯度反转的问题。

导向滤波的实现是利用给定的输入图像P，经由导向滤波输出图像O，且假定引导图像I之间存在线性变换，即：

（6）

其中，N（i）表示以像素i为中心的邻域，在N（i）内线性系数ai和bi为常数，由回归计算得到。像素点i包含在相邻的窗口N（i）内，故式（7）中滤波输出Oi的值会随着窗口N（i）的改变而改变。为解决这个问题，对所有存在可能的ai和bi进行平均，得到输出Oj，即：

（7）

其中， 和  表示平均系数。

从滤波后呈现效果来看，导向滤波与双边滤波差距不大，但在细节处理过程中，导向滤波可以构造出时间复杂度无关窗口大小的算法，且效率更高。

3  本文算法

本文将二维离散小波变换和导向滤波相结合，同时采用局部对比度增强的方法进行红外可见光图像融合，具体流程如图3所示。设V、I分别为可见光和红外源图像，该融合算法的计算步骤如下：

（1）基于二维离散小波的多尺度分解：对V、I进行小波分解，得到高频子带和低频子带系数。

（2）对I分解得到的低频子带进行局部对比度增强，并与V的低频子带一起经由导向滤波后加权平均得到低频融合图。

（3）对V、I分离的高频信号分量提取权重图后经导向滤波得到高频融合图。

（4）最后采用二维离散小波逆变换将高频和低频融合在一起。

3.1  基于二维离散小波分解

运用式（1）（2）（5）对源图像V、I进行图像多尺度分解。实验中，我们固定小波分解系数为3层，单次小波变换得到一个低频子带（LL）和三个高频子带（LH、HL、HH）。

3.2  高频子带融合

首先，经过小波变换得到可见光和红外图像的多层高频信号Vn、In。将两类图像经过均值滤波器，得到双尺度表示：

（8）

其中，Z表示的均值滤波器通常设置为31×31，以此获得基础层，进而通过原高频信号减去基础层获得细节层：

（9）

紧接着对两张高频图的权重进行重构，使In、Vn分别经过3×3的拉普拉斯滤波得到高通图像HVn、HIn：

（10）

分別对HVn、HIn取绝对值化的局部平均值，构造相应的显著映射SVn、SIn：

（11）

其中，g表示一个（2rg+1）×（2σg+1）的高斯低通滤波器，这里我们将rg、σg设为5，测量图可以很好地表现细节特征的显著性。对显著性映射进行权重映射：

（12）

其中，、 为第n幅图中的显著性值。为避免权重图因本身自带噪声且边界不一致易造成伪影等情况，利用每张图的权重图进行导向滤波，将原高频图像作为引导图像：

（13）

其中，r1、ε1表示导向滤波的参数，、、、 分别表示滤波后生成的权重图。

经过导向滤波的优化，采用双尺度的图像重建进行融合。首先对所获得的新权重图和基础层进行加权平均处理：

（14）

其中，k表示增强的常量，最后将两张源图像的高频部分进行结合，以此得到最终的融合图像：

（15）

3.3  低频融合准则

图像的低频信号通常表示图像的近似特性及轮廓信息，为进一步保留源图像中的细节信息，同时又不会产生过多的噪点，在加权平均前首先使用导向滤波对源图像的低频子带Vn、In进行自引导，达到去除高噪声的目的：

（16）

其中，y=13，ε=0.01，随后，对In进行局部对比度增强，以此来突出想要保留的亮度细节：

（17）

其中，xn表示某张图像的局部像素平均值，C表示增强常量，mxn表示单张图像的低频分量。

最后，我们采用像素加权平均的策略进行低频子带的融合：

（18）

其中，a1、a2表示加权系数，且a1+a2=1。因为红外可见光的图像融合中，低频分量涵盖信息大致相同，因此取a1=a2=0.5。

4  实验结果分析

随着近年来图像融合领域的快速发展，与不同类型融合算法相对应的评估标准也变得多样化。图像融合的质量评估策略分為两大类，即主观评价策略和客观评价策略。主观评价策略就是利用肉眼对融合效果图进行直观评判，其优点是简单直接。客观评价策略就是利用科学量化模型给出的诸多指标来评判融合的效果。本文综合主观和客观两个方向对图像融合结果进行描述，其中客观评价指标分为两大部分：

（1）方差、信息熵、互信息、对比度等常规无参考评估标准。

（2）brenner、laplacian、SMD、SMD2等梯度函数、方差函数、energy函数、Vallath函数、entropy函数的无参考清晰度评估模型。

4.1  主观评估

为验证本文算法的优越性，在TNO数据集中选取红外可见光图像作为基准，与三个经典红外可见光融合算法（小波变换、TIF、IHS）进行比对。图4展示了原始红外可见光图像与小波变换图像算法结果以及本文融合算法的结果。

从融合结果来看，小波融合更为柔和，其对细节轮廓等没有做过多的处理。本文算法能够更好地保留边缘信息和细节信息。TIF算法和IHS算法在边缘处理上出现了重影、模糊等情况。为了进行更加清晰的比较，框出部分细节进行局部比较，如图5所示。

小波的融合结果虽然在整体上更为清晰，像素明暗因原本的加权平均融合策略相较于源图像更为中和。但与本文算法相比，本文算法因导向滤波的边缘保持特性，对自然光图像的细节保留更为充分，且在真实物体的轮廓细节上有所增强，更符合人眼感官。TIF算法和IHS算法在边缘保留上存在劣势，使得本文算法在红外图像的特征提取和自然光图像细节纹理刻画保留方面获得了更佳的表现。

4.2  客观评价

针对融合结果的信息，本文采取两类客观评价标准及模型选取对本文算法进行有效的量化评价，参数如表1所示。从表1中可以看出：在第一类评价中，本文算法在均值和方差的数值上比小波变换的融合结果更大，表示灰度分级更分散，图像质量更好；在图像熵的表现上，本文算法高于小波变换的数值表明其所涵盖的信息量更大；在对比度的表现上，本文算法明显优于小波变换，表明图像更清晰色彩表现更丰富。从四项对比来看，本文算法更为优越；从表2的客观评价模型来看，本文算法在无参考清晰度评估模型上的各项数值都远远超过小波变换的融合结果。由此可见本文算法比小波图像融合算法更为优越，无论是从清晰度、信息量还是主观感受方面来看，本文算法均具有更好的预测性能和应用价值。

5  结  论

对于传统图像融合算法存在的噪声、伪影和信息丢失尤其是高曝光条件下易出现的颜色失真等问题，本文提出一种基于导向滤波和小波变换的红外可见光图像融合改进算法，并通过实验和主客观评估模型校验了算法的优越性。实验和评估量化结果表明，本文算法所得到的融合图像，无论是信息携带量还是图像清晰度上都优于传统的图像融合算法。在红外和可见光图像的细节信息保留、图像边缘信息刻画等方面，本文算法更是汲取了导向滤波本身对该类信息处理的优势，大大提高了信息提取的有效性，图像过渡更加自然，在图像融合、机器视觉等领域具有广阔的前景。

参考文献：

[1] MA J Y，MA Y，LI C. Infrared and visible image fusion methods and applications： a survey [J].Information Fusion，2019，45：153-178.

[2] LIU Y，CHEN X，WARD R K，et al. Medical image fusion via convolutional sparsity based morphological component analysis [J].IEEE Signal Processing Letters，2019，26（3）：485-489.

[3] ZHOU Z Q，WANG B，SUN L，et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters [J].Information Fusion，2016，30：15-26.

[4] CHEN X G，LI X K. Application of Uniform Design and Genetic Algorithm in Optimization of Reversed Phase Chromatographic Separation [J].Chemometrics and Intelligent Laboratory Systems，2003，68（2）：157-166.

[5] HE K M，SUN J，TANG X O. Guided image filtering [EB/OL].[2022-10-05].https：//link.springer.com/chapter/10.1007/978-3-642-15549-9_1/.

[6] XIE W，ZHOU Y Q，YOU M. Improved guided image filtering integrated with gradient information [J].Journal of Image and Graphics，2016，21（9）：1119-1126.

[7] YANG H，WU X T，HE B G，et al. Image fusion based on multiscale guided filters [J].Journal of Optoelectronics·Laser，2015，26（1）：170-176.

[8] ZHU H R，LIU Y Q，ZHANG W Y. Infrared and visible image fusion based on contrast enhancement and multi-scale edge-preserving decomposition [J].Journal of Electronics and Information Technology，2018，40（6）：1294-1300.

[9] NOEL O C，YUKIHIKO Y. Anisotropic guided filtering [J].IEEE Transactions on Image Processing，2019，29：1397-1412.

[10] JIN H Y，WANG Y Y. A Fusion Method for Visible and Infrared Images Based on Contrast Pyramid with Teaching Learning Based Optimization [J].Infrared Physics & Technology，2014（64）：134-142.

[11] LIU C H，QI Y，DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain [J].Infrared Physics and Technology，2017，83：94-102.

[12] CUI G M，FENG H J，XU Z H，et al. Detail preserved fusion of visible and infrared images using regional saliency extraction and multi-scale image decomposition [J].Optics Communications，2015，341：199-209.

[13] SHEN Y，CHEN X P，LIU C. Infrared and visible image fusion based on hybrid model driving [J].Control and Decision，2021，36（9）：2143-2151.

[14] 常青，楊程伟，罗彬杰，等.基于小波变换的扩散焊超声C图像融合算法 [J/OL].郑州大学学报：工学版，2022：1-7[2022-10-03].https：//kns.cnki.net/kcms/detail/detail.aspx？dbcode=CAPJ&dbname=CAPJLAST&filename=ZZGY20220609002&uniplatform=NZKPT&v=0DDgriRsGa8lm2Rel30-g1NfK3xU62OPjWKiQT-kbqv9zfFR5OL3PWcQvMD08LEe.

[15] 宫睿，王小春.基于可协调经验小波变换的多聚焦图像融合 [J].计算机工程与应用，2020，56（2）：201-210.

作者简介：易图明（1969.10—），男，汉族，四川南充人，正高级工程师，国务院政府特殊津贴专家，本科，主要研究方向：通信技术；通讯作者：王先全（1968.09—），男，汉族，四川华蓥人，教授，硕士研究生，主要研究方向：计算机软件技术和智能仪器。

收稿日期：2022-10-26