基于小波变换和各向异性扩散的红外和可见光图像融合算法

郝帅 安倍逸 付周兴 马瑞泽 赵新生 马旭 刘彬

摘 要：针对利用传统方法进行红外与可见光图像融合时易出现边缘模糊以及细节分辨能力弱的问题，提出一种基于小波变换和各向异性扩散的红外和可见光图像融合算法。首先，将红外图像和可见光图像利用小波变换进行多尺度分解，获取原图像所对应的高频部分和低频部分;其次，将高频部分和低频部分分别进行各向异性扩散，生成对应图像的基础层和细节层;然后，采用KL变换对异源图像的细节层进行融合，采用加权平均方法对基础层进行融合;最后，将融合后的细节层和基础层通过线性重构得到最终的融合图像。为了验证所提出算法的优势，将其与3种经典融合算法进行比较。通过大量融合实验表明，相比于其他3种经典融合算法，所提出的算法不仅实时性好，而且融合结果能够较好保留原图像丰富的细节信息，具有较高的清晰度。

关键词：图像融合;小波变换;各向异性扩散;多尺度分解

中图分类号：TP 391            文献标志码：A

文章编号：1672-9315（2022）01-0184-07

DOI：10.13800/j.cnki.xakjdxxb.2022.0124开放科学（资源服务）标识码（OSID）：

Infrared and visible image fusion algorithm based on

wavelet transform and anisotropic diffusion

HAO Shuai1，AN Beiyi1，FU Zhouxing1，MA Ruize1，ZHAO Xinsheng1，MA Xu1，LIU Bin2

（1.College of Electrical and Control Engineering，Xi’an University of Science and Technology，Xi’an 710054，China;

2.Xi’an Satellite Control Center，Xi’an 710043，China）

Abstract：In order to solve the problems of edge blur and weak detail resolution when using traditional methods to fuse infrared and visible images，an infrared and visible image fusion algorithm is proposed based on wavelet transform and anisotropic diffusion.Firstly，the wavelet transform is used to perform a multiscale decomposition on infrared image and visible image，and the corresponding high frequency and low frequency parts of the source images are obtained.Secondly，the high frequency part and the low frequency part are respectively anisotropic diffused to generate the basic layer and detail layer of source images.Then，KL transforming is used to fuse the detail layer of the heterogeneous image，and the weighted average method is used to fuse the base layer.Finally，the fusion image is generated by linear reconstruction of the fused detail layer and the base layer.

A comparison between the proposed algorithm and three traditional ones has been made to confirm the advantages.A large number of fusion experiments show that

the proposed algorithm

is better in real-time and the fusion result can better reserve the very details of the source with  higher clarity.Key words：image fusion;wavelet transform;anisotropic diffusion;multi-scale decomposition

0 引 言

圖像融合一直是计算机视觉领域中的研究热点，主要是将同一场景中的异源/同源图像按照一定的融合策略生成融合图像，从而增强图像中目标细节表达能力，以便后续处理。目前，图像融合技术已在测绘遥感[1]、人脸识别[2]、医学成像[3]、军事侦察[4]、输电线路故障检测[5]等领域广泛应用。红外图像和可见光图像是图像融合中研究最为广泛的2类图像[6]，红外图像主要是利用目标与背景的热辐射差异来区分目标和背景，它受光照变化以及天气条件影响较小[7]。然而，相比可见光图像，红外图像对目标的细节表达能力往往不足。可见光图像具有较强的细节分辨力，但是它受光照变化影响严重。为此，将红外与可见光图像进行融合，综合二者优点，可以使融合图像能够更加符合人类视觉感知标准，便于后续任务处理。

根据图像表征层次的不同，图像融合可以分为像素级、特征级和决策级融合[8]。决策级融合主要是依据一定的融合准则对每种传感器采集的数据进行可信度综合判断。该方法计算量小，但是由于每种传感器的决策结果都会传递到最终的决策层，所以该方法的融合精度严重依赖于所选取决策函数的容错能力。特征级融合是对各原图像所提取的特征（如形状、边缘、纹理等）进行融合。该方法可以有效降低处理的数据量，计算速度快，但是往往会损失部分细节特征。像素级融合方法是直接在像素点基础上进行融合，该方法可以保留图像中丰富的细节信息，但是处理时存在数据量大且易受噪声干扰等问题。李海宾等在研究中证明了像素级图像融合方法具有较好的融合效果，而且计算复杂度低[9]。为此，本方法研究重点是基于像素级的融合方法。像素级图像融合方法大致可分为基于空域和基于变换域的融合方法[10]。在基于变换域的图像融合方法中，由于基于多尺度的融合方法模拟了人类视觉系统感知方式，是目前最常用的像素级融合方法之一。刘先红等提出了基于多尺度方向引导滤波和卷积稀疏表示的图像融合方法[11]，陈勇等提出了基于小波变换的融合方法[12]，ZHANG等提出了基于非采样Contourlet变换的融合算法[13]，吴延海等提出了基于NSCT变换和压缩感知的融合算法[14]，他们通过融合实验证明了基于多尺度融合的方法能够获取较好视觉效果。但是叶明等在研究中指出，基于小波变换的融合图像算法会随小波分解尺度的增大出现较为明显的非均匀效应，而且融合结果中会存在细节信息保留不完整问题[15]。为了使融合结果具有较好的细节表达能力，大量学者利用滤波的方法来增强图像融合效果。如朱浩然等提出了基于迭代导向滤波的图像融合算法[16]，KUMAR采用交叉双边滤波算法进行图像融合[17]，赵程等提出了基于滚动导向滤波和混合多尺度分解的红外与可见光图像融合方法[18]，涂超平等提出了基于各向异性热扩散方程的多聚焦图像融合算法[19]。上述方法的思想都是先将源图像分解为基础层和细节层，然后利用不同的融合策略生成融合图像。封子军等在研究中指出，相比于滤波融合方法，基于各向异性扩散的方法能够更好的保留图像边缘信息，而且图像具有较好的去噪能力[20]。但目前针对各向异性扩散模型提出的改进方式大多都是针对扩散方程本身提出的，忽略了图像的自身特征信息，可能造成图像细节部分（纹理、弱边缘等）的丢失或模糊。综上所述，为了使融合图像具有较好的细节分辨能力的同时，更加符合人类视觉感知特性，提出一种基于小波变换和各向异性扩散的红外和可见光图像融合算法。

1 小波分解与重构小波变换作为一种有效的多尺度分析工具，可以将图像分解为低频分量和高频分量[21]。文中利用2个一维滤波器实现对二维图像的快速小波分解，然后通过2个一维重构滤波器实现图像的重构。j-1尺度下的分解公式可以表示为

H*和G*为H和G的共轭转置矩阵。

2 各向异性扩散通过各向异性扩散可将给定的图像保留常规比例下的特性，并借助偏微分方程可以保存边缘轮廓信息，获取区域边界清晰的图像。为此，选择通过各向异性扩散来增强图像的细节表达能力。各向异性扩散方程可以表示为

融合算法

3.1 融合流程

整个算法的流程如图1所示。

1）对源图像分别进行小波变换，提取高频部分和低频部分，在各自尺度进行叠加后形成最终高频层和最终低频层。

2）

对上一步叠加生成的低频层和高频层分别

进行各向异性扩散从而生成相应的基础层和细节层。

3）细节层融合利用KL变换进行融合，基础层利用加权平均的方法进行融合。

4）将细节层和基础层通过线性融合重构出最终融合图像。

3.2 融合策略红外图像与可见光圖像分别进行小波变换后，将得到的高频部分和低频部分分别进行加权平均叠加，从而获得融合后的低频图像与高频图像。假设低频融合图像为IL（x，y），高频融合图像记为

4 仿真结果及分析为了验证所提出融合算法（WDK）的优势，选取多尺度奇异值分解（MSVD）算法、小波变换（WT）、双尺度融合（TS）算法进行比较，从主观和客观2个方面来对算法的性能进行评估。本算法的运行环境为戴尔笔记本电脑（型号为灵越7380），软件平台为MATLAB R2019a，所用的异源图像来自于数据库https：//figshare.com/articles/TN_Image_Fusion_Dataset/1008029。

4.1 主观评价为了验证本算法的主观评价效果，从上述数据库中随机选取5组经过配准的红外与可见光图像进行融合实验，各算法的融合结果如图3所示。

从图3第1组图像可以看出，图3（d）（f）背景细节和房屋边缘对比度不高，融合结果较为模糊，图3（e）图像对比度较高，但房屋边缘及背景信息保留不完整，而本算法图3（c）可以明显看出房屋边缘纹理较为清晰，如图中红色矩形框区域所示。从图3第2组图像可以看出，图3（d）（e）（f）背景信息较为模糊，本算法图3（c）具有较高的图像对比度，在红色矩形框标注的部分可以清晰的看到人的边缘轮廓信息，融合效果较好。从图3第3组图像可以看出，本算法相比于其它算法更好地保留了树木细节信息。从第4组图像可以看出，图3（d）（e）图像清晰度较低，图3（c）和（f）的图像清晰度较高，但是图3（c）中红色矩形框中所示的树木细节信息相比于图3（f）更加丰富。而在第5组中，4种方法的融合图像都能将烟雾中的人物较为清楚的表示出来，但本算法能够更好地保留源图像的人物边缘轮廓，融合效果较好。通过以上5组对比实验可以看出，相比于其他3种融合算法，本

算法能够更好的保留融合图像中目标的细节信息。

4.2 客观评价为了客观评价本算法的优越性，实验中选取

香农熵（shannon entropy，EN）、图像交叉熵（cross entropy，CE）、特征相似度（feature SIMilarity，FSIM）、图像互信息（mutual information，MI）、相对标准偏差（relative standard deviation，RSD）以及运行时间作为评价指标[23]。其中，EN反映图像所含信息量的丰富程度，数值越大表明获得的融合图像所包含的信息量越大;CE表示融合后2幅图像与原始图像的交叉熵。交叉熵越小，图像间的差异越小，融合效果越好;FSIM用于评价图像间相似度，数值越大说明融合图像与源图像在某些特征方面更相似;RSD表示原始图像与融合图像的相对标准偏差，反映了与真实值的偏差程度，相对标准偏差越小，融合精度越高，图像融合效果越好;MI表示融合后的图像与原始图像之间的相互信息，MI越大，2幅图像的相似度越高。

利用4.1节主观评价中的5组图像进行测试验证，其客观评价指标结果分别见表1～表5。

从表1～表5可以看出，所提出算法的EN值在4组实验中效果最好，FSIM值在2组实验中保持数值最优，其余3组均为次优值，说明所提出的算法可以较好的保留源图像的信息，而且融合后的图像与原始图像特征具有较高的相似度。通过5组对比实验的CE数值可以看出，所提出算法生成的融合图像与源图像差异较小。通过5组实验的RSD指标可以看出，本算法在其中4组对比实验中效果最好。通过5组对比实验的MI指标可以看出，本算法均为最优数值，表明本算法相较于其他算法，融合图像的特征相似度与原始图像最为接近。从各算法的运行时间可以看出，所提出算法和TS算法的实时较好，其运行时间远小于其他算法，可以用于對实时性要求较高的场合。

通过各客观评价指标可以看出，所提出的算法综合性能最好。

通过主观评价与客观评价的对比分析，可以发现本算法的融合效果优于其他3种经典融合方法。本算法能够从源图像中提取更多轮廓、细节及纹理等信息，更符合人类视觉认知效果，同时具有较好的实时性。

5 结 论

1）将小波变换能够进行多尺度分辨以及各向异性扩散能够较好保留图像边缘特征的优点相结合，提出了一种基于小波变换和各向异性扩散的红外和可见光图像融合算法。2）将所提出的算法与3种经典融合算法通过公共数据库进行主观评价对比，实验结果证明了本算法所获取的融合图像具有清晰的边缘信息并且融合结果符合人类视觉感知特性。3）通过与3种经典融合算法的客观对比实验，验证了提出的算法在香农熵、特征相似度、图像互信息等客观评价指标方面，相比于对比算法具有明显优势，能够较好的保留源图像细节信息。此外，提出的算法具有较好的实时性，可以应用于对实时性要求较高的场合。

参考文献（References）：

[1] 尹雯，李元祥，周则明，等.基于稀疏表示的遥感图像融合方法[J].光学学报，2013，33（4）：259-266.YIN Wen，LI Yuanxiang，ZHOU Zeming，et al.Remote  sensing image fusion method based on sparse representation[J].Acta Optics，2013，33（4）：259-266.

[2]阮小利，王顺芳.基于多分辨率局部与全局特征融合的人脸识别[J].计算机工程与设计，2018，39（9）：237-241.

RUAN Xiaoli，WANG Shunfang.Face recognition based

on multi-resolution local and global feature fusion[J].Computer Engineering and Design，2018，39（9）：237-241.

[3]EI-HOSENY H，EI-KAREH Z，MOHAMED W，et al.An optimal wavelet-based multi-modality medical image fusion approach based on modified central force optimization and histogram matching[J].Multimedia Tools & Applications，2019，78（18）：26373-26397.

[4]于周锋，吴凡，宁新潮，等.基于无人机载的光电与SAR图像融合技术研究[J].应用光学，2017，38（2）：174-179.YU Zhoufeng，WU Fan，NING Xinchao，et al.Fusion  method of optical image and SAR based on UAV[J].Journal of Applied Optics，2017，38（2）：174-179.

[5]肖安南，张蔚翔，焦玉平，等.多模态的光谱融合图像识别技术在输电线路火灾监测中的研究应用[J].自动化应用，2018，2：52-53.XIAO Annan，ZHANG Weixiang，JIAO Yuping，et al.

Research and application of multi-modal spectral fusion  image recognition technology in transmission line fire  monitoring[J].Automation Application，2018，2：52-53.

[6]张烨，刘晓佩.一种改进的压缩感知图像融合方法[J].西安科技大学学报，2018，38（4）：690-696.

ZHANG Ye，LIU Xiaopei.An improved compressed sensing image fusion method[J].Journal of Xi’an  University of Science and Technology，2018，38（4）：690-696.

[7]徐雅薇，谢晓竹.多传感器图像融合方法及应用综述[J].四川兵工学报，2015，36（10）：116-119.XU Yawei，XIE Xiaozhu.Overview of approaches and  applications of multi-sensor image fusion[J].Journal of Sichuan Ordnance，2015，36（10）：116-119.

[8]冉向书，任金昌.图像融合中的特征选取及分类与决策[J].计算机应用研究，2005，22（9）：170-172.

RAN Xiangshu，REN Jinchang.Feature selection and  classification and decision in image fusion[J].Computer  Application Research，2005，22（9）：170-172.

[9]李海宾，葛秘蕾.一种新的红外与可见光图像像素级融合方法[J].半导体光电，2018，39（2）：290-293.

LI Haibin，GE Milei.A new pixel-level fusion method of infrared and visible images[J].Semiconductor Optoelectronics，2018，39（2）：290-293.

[10]劉羽.像素级多源图像融合方法研究[D].合肥：中国科学技术大学，2015.

LIU Yu.Research on pixel-level multi-source image fusion method[D].Hefei：University of Science and Technology of China，2015.

[11]刘先红，陈志斌.基于多尺度方向引导滤波和卷积稀疏表示的红外与可见光图像融合[J].光学学报，2017，37（1

1）：111-120.LIU Xianhong，CHEN Zhibin.Infrared and visible image fusion based on multi-scale directional guided filtering and convolution sparse representation[J].Acta Optica  Sinica，2017，37（11）：111-120.

[12]陈勇，皮德富，周士源，等.基于小波变换的红外图像融合技术研究[J].红外与激光工程，2001，30（1）：17-19.

CHEN Yong，PI Defu，ZHOU Shiyuan，et al.Study for  infrared image fusion based on wavelet transform[J].Infrared and Laser Engineering，2001，30（1）：17-19.

[13]ZHANG Y，LI Y J，ZHANG K，et al.Fusion of infrared and visible images based on nonsubsampled Contourlet transform[J].Computer Engineering & Applications，2011，8009（14）：1309-1311.

[14]吴延海，张烨，马孟新.基于NSCT变换和压缩感知的

图像融合[J].西安科技大学学报，2015，35（4）：88-93.

WU Yanhai，ZHANG Ye，MA Mengxin.Image fusion based on NSCT transform and compressed sensing[J].Journal of Xi’an University of Science and Technology，2015，35（4）：88-93.

[15]叶明，唐敦兵.区域清晰度的小波变换图像融合算法研究[J].电子测量与仪器学报，2015，29（9）：1328-1333.YE Ming，TANG Dunbing.Research on image fusion algorithm of regional clarity based on wavelet transform[J].Journal of Electronic Measurement and Instrument，2015，29（9）：1328-1333.

[16]朱浩然，刘云清，张文颖.基于迭代导向滤波与多视觉权重信息的红外与可见光图像融合[J].光子学报，2019，48（3）：190-200.ZHU Haoran，LIU Yunqing，ZHANG Wenying.Infrared and visible image fusion based on iterative guided filtering and multi-visual weight information[J].Acta Photonica Sinica，2019，48（3）：190-200.

[17]KUMAR S.Image fusion based on pixel significance using cross bilateral filter[J].Signal Image & Video Processing，2015，9（5）：1193-1204.

[18]赵程，黄永东.基于滚动导向滤波和混合多尺度分解的红外与可见光图像融合方法[J].激光与光电子学进展，2019，56（14）：98-112.ZHAO Cheng，HUANG Yongdong.Infrared and visible light image fusion method based on rolling guided filtering and mixed multi-scale decomposition[J].Laser & Optoelectronics Progress，2019，56（14）：98-112.

[19]涂超平，肖进胜，杜康华，等.基于各向异性热扩散方程的多聚焦图像融合算法[J].电子学报，2015，43（6）：1192-1199.

TU Chaoping，XIAO Jinsheng，DU Kanghua，et al.Multi-focus image fusion algorithm based on anisotropic  thermal diffusion equation[J].Acta Electronica Sinica，2015，43（6）：1192-1199.

[20]封子军，张晓玲，张靖波.各向异性扩散与高斯差分模型的多聚焦图像融合方法[J].中国图象图形学报，2011，16（11）：2054-2059.

FENG Zijun，ZHANG Xiaoling，ZHANG Jingbo.Multi-focus image fusion method of anisotropic diffusion  and Gaussian difference model[J].Journal of Image and Graphics，2011，16（11）：2054-2059.

[21]張春森，范金健，胡平波.小波变换和Arnold变换的数字水印技术[J].西安科技大学学报，2012，32（1）：95-100.

ZHANG Chunsen，FAN Jinjian，HU Pingbo.Digital watermarking technology of wavelet transform and Arnold transform[J].Journal of Xi’an University of Science and Technology，2012，32（1）：95-100.

[22]徐冬冬，付天骄，张宇，等.基于改进的K-L变换的多光谱图像压缩算法[J].光电子·激光，2015，26（6）：1200-1205.XU Dongdong，FU Tianjiao，ZHANG Yu，et al.Multi-spectral image compression algorithm based on improved K-L transform[J].Journal of Optoelectronics  Laser，2015，26（6）：1200-1205.

[23]MA J Y，MA Y，LI C.Infrared and visible image fusion methods and applications：A survey[J].Information Fusion，2019，45（2）：153-178.

2141501705259