马氏距离与引导滤波加权的红外与可见光图像融合

刘 佳，李登峰

马氏距离与引导滤波加权的红外与可见光图像融合

刘 佳，李登峰

（武汉纺织大学 数学与计算机学院，湖北 武汉 430200）

为使红外与可见光融合图像获得更好的分辨率和清晰度，提出基于非下采样轮廓波变换（non-subsampled contourlet transform, NSCT）的马氏距离加权拉普拉斯能量和与引导滤波改进（frequency tuned, FT）结合的红外与可见光图像融合算法。首先，对可见光图像进行对比度受限的自适应直方图均衡（contrast limited adaptive histogram equalization, CLAHE），并将红外图像与CLAHE处理后可见光图像进行NSCT变换，分解为低频和高频；其次，对FT算法使用引导滤波进行改进，利用改进的FT算法提取红外图像显著性图自适应加权融合低频图像，对高频图像使用基于马氏距离加权的拉普拉斯能量和取大融合；最后，对融合的低频和高频图像进行NSCT逆变换获得融合图像。实验结果表明，该融合方法相较其他传统融合方法，在主观视觉上和客观指标上都有较好的表现。

图像融合；红外图像；非下采样轮廓波变换；马氏距离；引导滤波

0 引言

图像融合可以将多幅不同成像机制的同一场景图像通过融合算法合成为一张新的图像，以有利于人眼观察和计算机处理[1]，目前已经在医学[2]、遥感[3]、军事[4]等邻域得到广泛运用。红外图像和可见光图像融合旨在利用图像融合算法运用红外图像和可见光图像的不同成像特点得到场景内目标更全面、清晰、准确的图像[5]。红外获取的图像不依赖于光照条件，抗干扰能力较强，但通常对比度和分辨率都较低，不能有效获取目标场景的细节信息[6]。可见光图像通常分辨率较高，边缘纹理等细节信息丰富，但依赖于光照条件[7]。红外图像与可见光图像之间有很强的信息互补性，充分利用两种图像信息的互补性，将这两种图像进行融合，可以得到目标场景清晰的图像。红外图像和可见光图像融合技术在军事、安全等邻域已经有较为广泛的运用[8]。

像素级的图像融合方法包含空间域融合和变换域融合方法。空间域的融合方法在像素层面上进行融合，复杂度低，但融合图像通常信息保留不完整[9]。变换域融合方法是基于多尺度变换理论将图像进行多层分解，得到源图像的低频近似子带和高频细节子带[10]。利用低频子带和高频子带的不同特点将低频子带和高频子带分别采用不同的融合规则融合，最后通过逆变换得到重构的融合图像。常用的多尺度变换如：金字塔变换、小波变换、轮廓波变换、非下采样Contourlet变换[11]等。金字塔变换的数据冗余度高且缺乏方向性[12]；小波变换克服了金字塔变换的缺点，在不同尺度上具有水平、垂直和对角线3个方向的分解信息[13]；在一定程度上提高了图像融合的效果；但在二维奇异曲线的表示上还具有局限性；Curvelet变换[14]的提出旨在更好地解决曲线奇异性问题；轮廓波变换是文献[15]提出的一种图像二维表示方法，能够更好地表示图像轮廓，但低频子带和高频子带中存在频谱混叠现象[16]，为消除轮廓波变换的频谱混叠现象，文献[17]中提出的非下采样轮廓波变换（non-subsampled contourlet transform, NSCT），删除了下采样操作，具有更好的频谱特性[18]。

本文算法对源图像首先进行初处理，然后对其进行NSCT分解。低频子带利用红外图像显著性图进行加权融合，在获取显著性图时，对传统FT算法进行基于引导滤波的改进以突出边界显著性；对高频子带采用基于马氏距离加权的拉普拉斯能量和取大的融合规则以获得更多的细节信息。实验结果表明，本文算法相较传统小波变化和NSCT变换等算法而言，不仅在主观视觉上表现较好，在客观评价上也有较好的表现。

1 非下采样Contourlet变换

进行NSCT分解时，对源图像首先经过塔形分解为高通和低通，对高通部分再进行多方向分解，低通部分继续进行二层分解[19]。如图1为NSCT两层分解的示意图。

图1 NSCT分解过程

2 对比度受限的自适应直方图均衡化

可见光成像容易受光照等条件的影响，获取的图像有时对比度较低，使用这样的源图像进行融合会丢掉很多图像目标细节信息，因此需要对源可见光图像进行对比度增强[20-21]。对比度受限的自适应直方图均衡（contrast limited adaptive histogram equalization，CLAHE）将图像划分为若干个小块，对每个子块的直方图做裁剪，然后将裁剪的部分均匀地分布在整个灰度区间上。在将图像进行分块处理时，图像容易出现块状效应，为解决这个问题，每个子块上像素点的值由它周围4个子块的映射函数进行双线性插值得到，角点处像素点由该子块的映射函数得到，边缘子块的像素值则以相邻两个子块的映射函数做线性插值得到。

本文采用CLAHE算法对可见光图像进行对比度增强，分别使用传统直方图均衡化算法（histogram equalization, HE）和CLAHE算法对可见光图像增强的结果如图2所示。

图2 可见光图像对比度增强

3 引导滤波改进的图像显著性图

人眼在观察一幅图像时，有些区域会引起人眼极大的兴趣，有些区域则会被忽略。而红外图像中的目标通常为人眼视觉的显著性区域，以人类视觉机制为基础，构建图像显著性模型[21]，将人眼对图像各区域感兴趣的程度使用灰度信息进行量化，即可获得图像的显著性图。

FT算法是提取图像显著性图的一种常用算法，FT算法获取图像显著性图的算法如下式(1)所示：

式中：m为输入图像的均值；gauss(,)为输入图像经高斯滤波后的图像在点(,)处的像素值。

高斯模糊在对图像进行细节平滑滤波时会使图像边缘也变得模糊，而引导滤波作为一种可以保持图像边缘的滤波方法可以有效地在滤波过程中保持图像的边缘，可以有效突出图像显著性区域的边界，基于此，本文使用引导滤波对传统FT算法进行改进，提出基于引导滤波的红外图像显著性图提取方法。引导滤波是一种自适应滤波器，能够在平滑图像的同时起到保持边界的作用[22]。引导滤波处理图像时，通过一张引导图对输入图像进行滤波处理，滤波后的输出图像与输入图像的纹理部分与引导图像相似。在使用引导滤波时，如果引导图像与输入图像相同，此时引导滤波成为一个保持边缘的滤波操作。在局部窗口内使用线性模型，使得滤波器输出结果与引导图在局部窗口内的梯度一致。引导滤波函数的输入和输出在一个局部窗口内满足线性关系如下式(2)：

式中：为引导图像；为输出图像；是中心像素点为的局部窗口；a和为当前窗口通过最小成本函数(a,b)获得，如下式(3)所示：

式中：是用来调节a，防止a过大的参数，对代价函数进行求解，可以得到a、b得最优解。

式中：为局部窗口内引导图像的均值；为局部窗口内引导图像的方差；||为局部窗口大小；`p为输入图像在局部窗口内的均值。由于滤波窗口滑动，同一个像素会出现在不同的窗口中，对同一像素位置在不同窗口下的a、b取平均值得到该像素位置的滤波参数，则某一像素点的滤波输出为：

其中：

假设(,)为红外图像同时作为引导图像和输入图像输入到引导滤波中的输出图像，将此输出图像代替公式(1)中的高斯滤波图像，因此，基于引导滤波改进的FT算法显著性图计算公式如下：

将获得的红外图像显著性图进行归一化：

式中：maxg和ming分别为g的最大灰度值和最小灰度值。最后对归一化的显著性图做对比度拉伸得到最后的红外图像显著性图，拉伸函数如下式(9)：

4 马氏距离加权的拉普拉斯能量和

传统的拉普拉斯能量和（sum of modified Laplacian, SML）[23]使用水平和垂直两个方向来计算拉普拉斯能量值，为获得更好的细节信息表征效果，本文计算4个方向上的拉普拉斯能量值，其计算方式如下式(10)：

马氏距离可以计算样本到样本“重心”之间的距离，样本到样本“重心”的距离越大[24-25]，表明该样本与总体偏离越远，与样本的相关度越低，使用马氏距离对拉普拉斯能量进行加权求和。设以点(,)为中心的3×3邻域Q,y内ML的均值和协方差为、，则邻域内的点(,)到该邻域内基于拉普拉斯能量ML的马氏距离为：

使用函数1/e将马氏距离映射到[0, 1]区间内计算拉普拉斯能量求和的权值，但指数函数运算给计算机硬件实现带来了极大的不便，因此采用麦克劳林公式对指数函数e进行分式展开如下：

由此，使用1/e的逼近函数1/(1＋)计算拉普拉斯能量和的权值：

则使用马氏距离加权计算的点(,)的改进拉普拉斯能量和SL为：

5 融合算法

本文结合NSCT变换的系数特点和可见光与红外图像的成像特点，首先对可见光图像进行对比度增强处理，并将红外图像与CLAHE处理后可见光图像经过NSCT变换分解为低频近似图像和一系列高频细节图像；低频图像是源图像的一个近似图像，对低频图像使用红外显著性图融合；高频图像中包含了图像的细节纹理信息，使用马氏距离对拉普拉斯能量和进行改进，对高频采用改进拉普拉斯能量和取大的融合规则进行融合；融合的低频图像和高频图像经过NSCT逆变换后获得最终融合图像。如图3为本文算法融合框架图。

图3 融合框架

对CLAHE增强后的可见光图像VIS和红外图像IR进行NSCT多层分解，设Lvis和Lir分别为VIS和IR的低频系数，C,kvis和C,kir分别表示VIS和IR的第层第个方向的高频系数。对低频系数采用红外图像的显著性图进行加权融合，其融合规则为：

其中权值：

对高频系数采用马氏距离加权改进的拉普拉斯能量和取大的规则进行融合。

6 实验结果分析

为验证本文算法的有效性，将本文算法（NSCT-M）与多种融合算法融合的红外图像和可见光图像进行实验对比，如图4所示为可见光图像和红外图像源图像。第一组图像为白天拍摄的远距离海上船只的图像，第二组图像为白天拍摄的目标与背景难以区分的图像，第三组图像为夜间拍摄的街道场景。

如图5为3组实验图像对比结果，对比实验设置为：小波变换（DWT）融合方法的源图像采用二维离散小波变换分解，低频采用取均值的融合规则、高频采用区域能量取大的融合规则。基于NSCT分解的融合算法以及本算法采用三层分解。NSCT融合低频采用取均值的融合规则、高频采用区域能量取大的融合规则；NSCT-FT融合低频采用红外图像FT显著性图提取加权融合的规则、高频采用区域能量取大的融合规则。NSCT-M为本文所提的融合框架算法。

图4 可见光源图像与红外源图像

从主观视觉上看，本文所提算法在图像清晰度以及细节边缘的保持上都优于其他3组融合算法。为进一步验证实验的有效性，使用信息熵（information entropy, EI）、标准差（standard deviation, SD）、平均梯度（average gradient, AG）和空间频率（spatial frequency, SF）图像融合客观评价指标对3组实验融合图像进行客观评价。从表1的客观评价指标上分析，本文算法相对其他算法保留的图像信息更多、图像清晰度更高、细节纹理信息也更丰富。

表1 融合图像客观评价结果

7 结语

本文算法利用NSCT变换的系数特点，利用可见光图像与红外图像之间信息的互补性与冗余性，对红外图像和可见光图像进行融合。针对可见光对比度低的问题，采用对比度受限的直方图均衡算法调整可见光图像的对比度。在对低频图像进行融合时，使用引导滤波改进的FT显著性图提取算法对红外图像提取显著性图，利用红外图像显著性图对低频图像做加权融合；在对高频图像进行融合时，针对传统算法通过四领域计算拉普拉斯能量的局限，本文使用八邻域计算拉普拉斯能量，并使用马氏距离对邻域内的拉普拉斯能量进行加权求和，最后使用改进的拉普拉斯能量和取大的规则对高频图像进行融合。理论分析与实验结果及指标表明，本文算法在主观视觉图像上和客观评价指标上都有较好的表现。

[1] LIU Z, CHAI Y, YIN H, et al. A novel multi-focus image fusion approach based on image decomposition[J]., 2017, 35: 102-116.

[2] Mauri G, Cova L, Beni S D, et al. Real-time US-CT/MRI image fusion for guidance of thermal ablation of liver tumors undetectable with US: results in 295 cases[J]., 2015, 38(1): 143.

[3] Tuia D, Marcos D, Camps-Valls G. Multi-temporal and multi-source remote sensing image classification by nonlinear relative normalization[J]., 2016, 120: 1-12.

[4] Baviskar J, Mulla A, Kudu N, et al. Sub-band exchange DWT based image fusion algorithm for enhanced security[C]//,, 2014: 534-539.

[5] ZHAO Cheng, HUANG Yongdong, QIU Shi. Infrared and visible image fusion algorithm based on saliency detection and adaptive double-channel spiking cortical model[J]., 2019: 102: 102976.

[6] SONG Minghui, LIU Lu, PENG Yuanxi, et al. Infrared & visible images fusion based on redundant directional lifting-based wavelet and saliency detection[J]., 2019, 101: 45-55.

[7] 甄媚, 王书朋. 可见光与红外图像自适应加权平均融合方法[J]. 红外技术, 2019, 41(4): 341-346.

ZHEN Mei, WANG Shupeng. An adaptive weight average fusion method for visible and infrared images[J].y, 2019, 41(4): 341-346.

[8] 甘玲, 张倩雯. 结合NSCT与引导滤波的图像融合方法[J]. 红外技术, 2018, 40(5): 444-448, 454.

GAN Ling, ZHANG Qianwen. Image fusion method combining non-subsampled contourlet transform and guide filtering[J]., 2018, 40(5): 444-448, 454.

[9] 刘智嘉, 贾鹏, 夏寅辉, 等. 基于红外与可见光图像融合技术发展与性能评价[J]. 激光与红外, 2019, 49(5): 633-640.

LIU Zhijia, JIA Peng XIA Yinhui, et al. Development and performance evaluation of infrared and visual image fusion technology[J]., 2019, 49(5): 633-640.

[10] 肖儿良, 刘雯雯. 多尺度梯度域可见光与红外热图像融合方法研究[J]. 计算机应用研究, 2015, 32(10): 3160-3163, 3167.

XIAO Erliang, LIU Wenwen. Research of multi-scale gradient domain visible and thermal image fusion method[J]., 2015, 32(10): 3160-3163, 3167.

[11] WANG Shiying, SHEN Yan. Multi-modal image fusion based on saliency guided in NSCT domain[J]., 2020, 14(13): 3188 – 3201.

[12] 刘斌, 辛迦楠, 谌文江, 等. 不可分拉普拉斯金字塔构造及其在多光谱图像融合中的应用[J]. 计算机应用, 2019, 39(2): 564-570.

LIU Bin, XIN Jianan, CHEN Wenjiang, et al. Construction of non-separable Laplacian pyramid and its application in multi-spectral image fusion[J]., 2019, 39(2): 564-570.

[13] Baviskar J, Mulla A, Kudu N, et al. Sub-band exchange DWT based image fusion algorithm for enhanced security[C]//, 2014: 534-539.

[14] 郭全民, 王言, 李翰山. 改进IHS-Curvelet变换融合可见光与红外图像抗晕光方法[J]. 红外与激光工程, 2018, 47(11): 440-448.

GUO Quanmin WANG Yan, LI Hanshan. Anti-halation method of visible and infrared image fusion based on improved IHS-curvelet transform[J]., 2018, 47(11): 440-448.

[15] Do Minh N, Vetterli Martin. The contourlet transform: an efficient directional multiresolution image representation[J].:, 2005, 14(12): 2091-2107 .

[16] 胡顺石, 丁琳, 秦建新, 等. 基于Iαβ色彩空间和Contourlet变换相结合的融合方法[J]. 计算机应用研究, 2010, 27(4): 1521-1523.

HU Shunshi, DING Lin, QIN Jianxin. Image fusion technique based on combination of Iαβ color space and contourlet transform[J]., 2010, 27(4): 1521-1523.

[17] HOU Yingkun, ZHAO Chunxia, LIU Mingxia. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2008, DOI: 10.1109/CSSE.2008.806.

[18] 刘卷舒, 蒋伟. 改进的基于非下采样的Contourlet变换的图像融合算法[J]. 计算机应用, 2018, 38(S1): 194-197.

LIU Juanshu, JIANG Wei. Improved image fusion algorithm based on nonsubsampled Contourlet transform[J]., 2018, 38(S1): 194-197.

[19] 常诚, 黄国荣, 常雅男, 等. 基于非下采样Contourlet变换的无人机景象匹配算法[J]. 科学技术与工程, 2014, 14(2): 137-140, 171.

CHANG Cheng, HUANG Guorong, CHANG Yanan, et al. Scene matching algorithm for unmanned aerial vehicle based on nonsubsampled contourlet transform[J]., 2014, 14(2): 137-140, 171.

[20] 林子慧, 魏宇星, 张建林, 等. 基于显著性图的红外与可见光图像融合[J]. 红外技术, 2019, 41(7): 640-645.

LIN Zihui, WEI Yuxing, ZHANG Jianlin, et al. Image fusion of infrared and visible image based on saliency map[J]., 2019, 41(7): 640-645.

[21] 刘玉婷, 陈峥, 付占方, 等. 基于CLAHE的红外图像增强算法[J]. 激光与红外, 2016, 46(10): 1290-1294.

LIU Yuting, CHEN Zheng, FU Zhanfang, et al. Infrared image enhancement algorithm based on CLAHE[J]., 2016, 46(10): 1290-1294.

[22] Achanta R, Hemami S, Estrada F. Frequency-tuned salient region detection[C]//, 2009: DOI: 10.1109/CVPR.2009.5206596.

[23] 谢伟, 王莉明, 胡欢君, 等. 结合引导滤波的自适应多曝光图像融合[J]. 计算机工程与应用, 2019, 55(4): 193-199.

XIE Wei, WANG Liming, HU Huanjun, et al. Adaptive multi-exposure image fusion with guided filtering[J]., 2019, 55(4): 193-199.

[24] 孙晓龙, 王正勇, 符耀庆, 等. 基于改进拉普拉斯能量和的快速图像融合[J]. 计算机工程与应用, 2015, 51(5): 193-197.

SUN Xiaolong, WANG Zhengyong, FU Yaoqing, et al. Fast image fusion based on sum of modified Laplacian[J]., 2015, 51(5): 193-197.

[25] 刘光宇, 庞永杰. 基于阿尔法均值算法和马氏距离的图像自适应滤波[J]. 吉林大学学报: 工学版, 2015, 45(2): 670-674.

LIU Guangyu, PANG Yongjie. Filter of the optical image based on alpha-trimmed mean filter and Mahalanobis distance[J].: Engineering and Technology Edition, 2015, 45(2): 670-674.

Infrared and Visible Light Image Fusion Based on Mahalanobis Distance and Guided Filter Weighting

LIU Jia，LI Dengfeng

(School of Mathematics and Computer, Wuhan Textile University, Wuhan 430200, China)

Toimprove the definition of fusion images and obtain better target information duringthe fusion of infrared and visible light images using the characteristics of non-subsampled contourlet transform(NSCT) coefficients, an Manalanobis distance weighted Laplacian energy combined with guided filtering is proposed to improve the frequency tuned (FT) algorithm. First, the visible light image is subjected to contrast limited adaptive histogram equalization(CLAHE), and the infrared image and the CLAHE processed visible light image are decomposed into a low-frequency approximate image and a high-frequency detail image through a multi-scale and multi-directional NSCT transform. Second, the FT algorithm improved by guided filtering isused to extract the significance graph of infrared images, the adaptive weighted fusion rule based on the significance graph of infrared images isused for low-frequency images, and the fusion rule based on the Laplace energy and maximum weighted by the Manalanobis distance isused for high-frequency images. Finally, the fusion image is obtained by the NSCT inverse transformation of the fused low-frequency and high-frequency images. The experimental results show that this fusion method has better performance in terms of subjective vision and objective indexes than other traditional fusion methods.

image fusion, infrared image, non-subsampled contourlet transform, Mahalanobis distance, guided filtering

TP391

A

1001-8891(2021)02-0162-08

2020-03-11；

2020-03-19.

刘佳（1997-），女，湖北黄冈人，硕士，主研领域：数字图像处理。E-mail：1769723820@qq.com。

李登峰（1964-），男，河南开封人，博士，教授，博士生导师，主研领域：小波分析与图像处理。

国家自然科学基金项目“稀疏框架与相关问题研究”（61471410）。