基于NSST与引导滤波相结合的红外与可见光图像融合方法研究

曹宇彤，李向阳，陈笑，宦克为

（长春理工大学 物理学院，长春 130022）

图像融合技术通过使用特定的算法来处理多个传感器的数据信息，进而形成更加适合人类视觉认知系统的新图像，其主要应用于军事监视、目标跟踪、遥感探测、生物监测等多种领域［1-2］。当前，红外与可见光图像融合技术是图像融合技术的研究热点之一［3］。红外热成像系统通过测量目标的热辐射来获得红外图像，相比于可见光图像，其不受天气等因素影响。可见光图像具有丰富的细节信息，但无法实现全天候工作。因此，红外和可见光图像融合技术可以提取两者之间的优势信息，弥补彼此的不足。

基于传统的融合方法如基于金字塔变换、小波变换等方法在各个单项性能表现整体较为良好，但也没有特别突出的融合性能。多尺度变换方法能够更好地提取源图像的重要信息，从而被广泛地应用到图像融合领域之中。Nunes等人提出二维经验模态分解（Bidimensional Empirical Mode Decomposition，BEMD）算法提升了红外光和可见光的融合质量，其融合效果优于离散小波变换［4］。Arthur等人提出非下采样轮廓波变换（Nonsubsampled contourlet transform，NSCT）方法来实现图像融合，改善了轮廓波平移时易发生变化的缺陷，提高了融合图像的质量［5］。非下采样剪切波变换（Non-subsampled Shearlet Transform，NSST）具有较高的方向灵敏度，能够更加高效地分解源图像，减少算法的运算量［6-8］。对于多尺度图像融合方法，融合图像质量与图像低频、高频的融合规则密切相关。主成分分析、稀疏表示等算法常被用作图像融合的融合规则，提升融合图像的质量。基于图像的低频部分，曹义亲等人［9］使用压缩感知（Compressed Sensing，CS）算法快速地获取红外光与可见光图像特征信息，节省了运算时间。Rahman等人［10］利用模糊逻辑（Fuzzy Logic，FL）算法解决了图像背景、边缘、轮廓等不确定的问题，突出了红外图像的目标，最大限度地提高了图像对比度。

综上，为解决融合图像技术存在着图像边缘细节等信息保留不理想的问题，本文提出NSST结合引导滤波的红外与可见光图像融合算法。通过引导滤波充分考虑信息的局部相关性，在目标图像的不同位置产生滤波核，在增强图像的边缘细节信息的同时，能够更突出图像目标信息，提供丰富的背景细节信息，同时在融合过程中保留图像边缘信息，使融合的图像更符合人眼视觉系统。

1 非下采样剪切波变换

非下采样剪切波变换主要是由非下采样金字塔（No Subsampled Pyramid，NSP）和剪切波滤波器组（Shearlet Filter，SF）构成，具有多尺度、多方向、平移不变性、运算时间短等特性，能够快速、准确地提取源图像的重要信息［9］。NSST（Nonsubsampled Shearlet Transform）变换多尺度多方向分解过程如图1所示，即利用非下采样金字塔滤波器组多尺度的分解源图像，得到低频和多层高频子带系数，再通过改进的剪切波滤波器组多方向地分解不同层次的高频子带系数，进而获得多尺度、多方向的高频子带系数［11-15］。

图1 NSST多尺度多方向分解过程

2 自适应引导滤波

引导滤波是一种保持图像边缘的滤波器，具有良好地去除噪声、保持边缘等特性，被广泛应用于图像去噪、图像融合等领域之中。其主要通过引导图像对输入图像进行滤波处理，从而得到具有与引导图像相似的纹理输出图像。在一个二维窗口内的线性模型公式如下：

其中，Ii、qi分别为输入、输出图像的像素；ak和bk是当窗口位于中心时该线性函数的系数。如若将输入图像作为引导图像，并对双边求取梯度，可以得到：

当引导图像出现梯度变化时，输出图像也会出现类似的梯度变化。即在引导图像出现边缘时，输出图像也会出现类似的边缘。

为了求解线性系数ak和bk，并满足输入和输出图像之间差别最小。根据无约束图像复原方法可以转化为求最优化问题。函数为：

式中，ε为正则化参数。当源图像自身为引导图，求出线性系数ak和bk的解为：

其中，μk是图像I在窗口ωk中像素的平均值；是I在窗口ωk中像素的方差。

3 融合算法

3.1 算法模型

提出了一种NSST与引导滤波相结合的红外与可见光图像融合算法，其步骤如下：

（1）利用引导滤波提取源图像的轮廓信息，细节图像可通过原图像与滤波后图像的差分获得。

（2）利用NSST算法将图像分解成低频子带系数和多个高频子带系数。

（3）利用模糊逻辑算法使滤波后图像的低频信息融合，得到低频融合图像，利用区域能量最大化方法将图像高频融合得到新的高频图像。

（4）通过NSST重构得到融合图像。

NSST与引导滤波相结合的图像融合算法模型如图2所示。

图2 NSST与PCNN相结合的图像融合算法模型

3.2 自适应引导滤波

从引导滤波模型可知，正则化参数大小对引导滤波的滤波效果起着重大作用。参数ε过小不利于图像在非边缘区域的平滑，过大则不利于图像边缘保持原有梯度。正则化参数也影响着图像信息熵。随着其正则化参数的不断增大，红外和可见光的近似图像的信息熵先保持不变，后逐渐减小，而融合图像的信息熵也呈类似变化。在兼具考虑融合图像信息熵最大化的同时，也要考虑正则化参数不宜过小，从而保持图像的光滑程度。因此，提出了一种基于自适应的引导滤波算法来确定参数ε的大小，具体步骤如下：

（1）利用引导滤波对红外图像进行滤波处理，设定其正则化参数的初始值εIR=0，再以0.1大小步长逐渐增大εIR，直到近似红外图像的信息熵发生变化为止。此时，选取红外图像的正则化参数大小ε1，取值为（εIR-0.1）。同理，可见光图像的正则化参数ε2也如上述方法取得。

（2）选取ε1、ε2之间的最小值作为仿真实验的正则化参数ε0。并计算在ε0作用下，低频融合图像的信息熵Eε0。

（3）确定不同正则化参数作用下，低频融合图像的信息熵的最大值Emax。

3.3 低频子带融合规则

模糊逻辑是一种用数学语言（如高斯隶属度函数等）表达模糊概念的方法。在图像融合领域之中，模糊逻辑算法能够分辨、解决图像中低频界限问题。因此，采用模糊逻辑中高斯隶属度函数进行加权平均，实现低频子带的融合，其数学式如下：

3.4 高频融合规则

对于图像高频子带融合采用区域能量最大化融合规则。在高频子带能量较大的区域中，图像的细节、纹理较为明显，有利于融合图像信息的保持。红外图像和可见光图像中高频子带的区域能量公式如下：

通过比较红外与可见光图像高频子带区域能量的大小，来确定融合图像高频子带系数大小，进而实现图像高频子带融合。高频子带系数的大小计算公式如下：

4 实验及结果分析

为了验证融合的有效性，从数据集选取三组配准完成的红外与可见光图像进行仿真实验。并以离散小波变换、压缩感知、BEMD、NSCT结合脉冲耦合神经网络（NSCT+PCNN）、NSST域内结合模糊逻辑（NSST+FL）的融合等方法为对照方法。其中，DWT方法中，DWT采用单层“bior3.7”小波，采用加权平均的方法融合；BEMD方法中，BEMD将源图像分解成3个本征模态函数和1个残余分量；NSCT结合PCNN的方法中，NSCT变换采用“maxflat”滤波器、“dmaxflat7”滤波器，其方向级数[3,3]。最后，通过与上述5种算法比较，从主观和客观双重角度评价本文所提出的算法优劣。

第一组实验图像采用“UN Camp”红外与可见光图像进行融合，图像以及融合结果如图3所示。图 3（a）、图 3（b）分别为红外与可见光图像。由图3（c）可知，融合图像的图像背景不够明显。从图 3（d）、图 3（e）可知，融合图像存在虚影模糊，融合效果不够理想。从图3（f）可知，融合图像背景信息较为模糊，不利于观察。从图3（g）可知，NSST结合模糊逻辑融合方法，背景细节丰富，但导致目标信息不明显，同时难以保持融合图像边缘。图3（h）的边缘轮廓更好，对比度高，背景细节丰富，视觉效果更好。

图3 “UN Camp”红外和可见光图像以及融合结果

第二组实验图像采用“dune”红外和可见光图像进行融合，图像以及融合结果如图4所示。图4（c）融合结果对比度相对较低。图4（d）、图4（e）中图像存在着“朦胧感”视觉效果相对较差。图4（f）、图4（g）没有明显地突出目标信息，边缘细节不够清晰。图4（h）的图像具有很高的对比度，且相对光滑，边缘细节清晰，整体视觉效果好。

图4 “dune”红外和可见光图像以及融合结果

为了尽可能客观地评价图像的融合质量，选取信息熵（E）、平均梯度（AG）、空间频率（SF）、像素交叉熵（CE）、像素互信息（MI）五种评价指标对融合结果进行评价。

表1为“UN Camp”红外与可见光图像融合结果的评价指标，表2为“dune”红外和可见光图像以及融合结果的评价指标。由表1可以看出，对于“UN Camp”红外与可见光图像融合效果，本文方法均好于其他对比算法。图像质量评价指标中的信息熵、平均梯度、空间频率、像素互信息、像素交叉熵至少分别提高0.10%、0.62%、1.87%、3.25%、10.02%；由表 2可以看出，对于“dune”红外与可见光图像融合效果，本文所提出的方法在平均梯度（AG）的客观评价不如（NSST+FL）的方法，其余皆优于其他算法。图像质量评价指标中的信息熵、空间频率、像素互信息、像素交叉熵分别提高了1.55%、0.52%、9.59%、0.34%。由表1、表2实验数据可知，本文方法在评价结果中最优值的数量最多，运行时间相对较快，客观验证了引导滤波与NSST相结合方法的优越性。

表1 “UN Camp”红外与可见光图像融合效果评价

表2 “dune”红外与可见光图像融合效果评价

综上，运用引导滤波将源图像分解，保持源图像边缘细节信息，同时使用加权平均的模糊逻辑算法对图像低频部分进行融合，解决了融合过程中低频界限不清晰的问题，更好地表达源图像的特征。并且在融合图像高频部分中，采用区域能量最大化方法，保持图像高频信息，使融合后的高频子带能更准确地反应图像细节信息，在保障融合图像的细节信息的同时提高了融合图像质量。

5 结论

提出了一种NSST与引导滤波相结合的红外与可见光图像融合方法。采用引导滤波提取输入图像的细节信息，再通过NSST算法将滤波后的图像和细节图像分解成低频子带和高频子带。对于图像的高频、低频部分，分别采用区域能量最大化法与自适应模糊逻辑算法。实验结果表明，相比于传统的算法，本文方法提高了融合图像的对比度，在保持融合图像边缘信息的前提下，更有利于人眼观察。同时在保障运行时间相对迅速的前提下，融合效果在信息熵、空间频率、像素互信息、像素交叉熵等多个客观评价指标至少提高了0.10%、0.52%、3.25%、0.34%。