基于改进FT 显著性检测的NSCT 红外和可见光图像融合

王贤涛，赵金宇

（1. 中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033；2. 中国科学院大学，北京 100049）

1 引 言

图像融合技术可以充分利用两幅或多幅源图像的优势，按照合理的规则将其在时间或空间上的互补信息融合，获得一个能更丰富、更全面、更精确地对场景进行一致性解释和描述的综合图像［1］。图像融合技术在现代应用和计算机视觉中发挥着越来越重要的作用，已广泛应用于多聚焦图像、医学图像、红外可见光图像和遥感图像等图像领域［2］。在众多应用领域中，红外和可见图像由于具有非常好的普遍性和互补性，因此已成为行业主流研究热点，其中目标识别、检测、图像增强、视频监视和遥感等都是红外和可见光图像融合的典型应用［3-4］。

针对红外和可见光图像融合，目前已经衍生出了很多种方法，其中基于像素级的多尺度分解（MST）是目前公认的最有效且实用的方法［5］。常用的多尺度变换工具主要有拉普拉斯金字塔变换（LP）、小波变换（WT）、轮廓波变换（CT）、非下采样轮廓波变换（NSCT）、非下采样剪切波变换（NSST）等［6-7］。文献［8］对多尺度分解工具在图像融合领域的应用进行了对比分析，结果显示，NSCT 具有多尺度、多方向的性质，还具有平移不变性，变换后能量更加集中，其融合效果最好，应用最广泛。除了多尺度变换工具的选择，融合规则的设定也是影响融合图像质量的关键因素。传统的融合方法主要采用“像素平均法”或者“绝对值取大法”来处理或者利用修正拉普拉斯算子和（SML）、空间频率（SF）、熵、区域能量、区域方差、对比度、梯度等这些常用的单一活动水平度量获得的度量值来获得融合子带系数［9］。由于没有充分考虑像素之间的联系，简单的处理导致最终的结果不是很理想。

基于视觉显著性检测的方法根据人眼视觉特性提取人眼感兴趣的部分同时对背景进行抑制，融合后的图像具有目标突出保留更多背景信息的优势。该方法已被成功应用在图像融合领域并取得了较好的融合效果。目前针对红外可见光图像的显著性检测方法主要分为两类，一类是只针对红外图像的显著性区域提取算法。文献［10］提出一种基于改进基于全局对比度（LC）图像显著性检测灰度能量差异性的显著目标提取算法，对显著图进行sin 函数拉伸变换。文献［11］利用L0 范数改进FT 显著性检测算法，对红外显著图进行S 型曲线拉伸变换。文献［12］采用WLS 滤波改进最大对称环绕（MSS）显著性检测算法，对得到的显著图进行改进伽马校正。另一类是对红外和可见光图像都做显著图提取。文献［13］采用改进LC 算法有效实现了对可见和红外图像显著图提取。文献［14］提出一种基于视觉显著性的阈值优化融合规则。文献［15］通过平均滤波输出和中值滤波输出的差异来获得显著图。文献［16］根据相位一致性计算IR 和VIS 图像的显著图，随后采用引导过滤生成加权图。两类方法都存在局限性，第一类方法虽然可以减少无用的红外背景信息提取，但只能针对少数图像有很好的红外目标提取；第二类方法虽然提取快且不受图像复杂度影响，但是显著图中除了提取的红外目标外还包含了太多无用的红外背景信息。

为了克服上述问题，进一步提高目标和背景之间的对比度，保留更多的目标信息和细节信息，本文提出了一种基于改进的FT 显著性检测的NSCT 红外与可见光融合方法。首先为了提取较好的红外显著图，进行了限制灰度范围、高斯滤波换为引导滤波、灰度能量和对比度拉伸函数增强处理来瞄准红外图像，用于从背景中区分目标。然后使用NSCT 对红外图像和可见光图像进行高低频子带的分解，利用计算得到的红外显著权重图对低频子带系数进行指导融合，可以很好地保留目标和背景之间的对比度；对于高频部分，采用局部加权能量的规则进行融合然后再通过WLS 优化，可以获得更多的细节信息和减小噪声影响。最后对融合后的高频系数和低频系数进行NSCT 逆变换得到最终的融合图像。

2 相关工作

2.1 非下采样轮廓波变换

NSCT 由非下采样金字塔滤波器组（NSPFB）和非下采样方向滤波器组（NSDFB）构成。简单来说，NSCT 过程首先使用NSPFB 分解源图像得到低频和高频系数，完成多尺度分解过程，接着采用NSDFB 分解NSPFB 每个阶段的高频子带，完成多方向性分析过程。与Contourlet 变换不同，NSCT 通过在多尺度分解滤波器和方向滤波器中执行上采样，而不是对图像信号执行采样操作，因此具备平移不变性，消除了Contourlet 变换存在的伪吉布斯现象。经过N级NSCT 分解后的原图像最终可以得到与输入的源图像大小一致的子带图像（lj是尺度j下的方向分解级数）。图1 展示了NSCT 分解结构框图。

图1 NSCT 分解框架图Fig.1 NSCT decomposition frame diagram

2.2 Frequency-tuned 显著性检测

FT 算法采用频域滤波进行显著性检测。它有4 点要求：（1）强调突出大的显著目标而不是小的显着区域；（2）突出整体的显著性区域；（3）突出显著性区域的边界；（4）忽略纹理或噪声伪影成分。

为实现上述要求，FT 算法滤波选择采用高斯差分滤波方法，该过程中的高斯核尺寸为5×5，频率范围为（0，π/2.75］。对于一幅输入图像I，其显著性图获取的公式如式（1）所示：

式中：Iμ为输入图像I的灰度平均值，Iwhc(x，y)为输入图像在经过高斯滤波后对应位置的灰度值。||·||为L2 范式。

2.3 引导滤波器

高斯模糊由于对任意图像都是采用相同的操作，因此在平滑图像细节的同时也使得图像边缘变得模糊。而引导滤波器（GF）是一种经典的边缘保持滤波器，既能平滑图像细节又能较好地保持图像边缘，可以满足FT 算法中突出显著性区域边界的要求。GF 是一个局部线性移变滤波器。设输入图像为p，引导图像为I，滤波器输出图像为q，其中引导图像I可以是其他图像也可以是待滤波图像本身。图像引导滤波的计算公式如式（2）所示：

通过线性回归，令最小二乘法拟合函数的输出值与真实值之间的差距最小，得到线性函数的系数值如式（3）、式（4）所示：

其中：μk、σ2k分别是I在窗口w中的平均值和方差，N是窗口w中像素的数量，pˉk是待滤波图像p在窗口w中的均值。

2.4 改进FT 算法的红外图像显著图提取

由于在灰度图像中像素点的值只表示亮度，因此不用将图像转换到Lab 色彩空间。改进FT算法主要包括以下4 个方面：（1）将FT 算法中的高斯差分滤波器换为引导滤波器；（2）对FT 显著性检测算法做暗抑制处理，增强明亮区域；（3）采用基于灰度能量的方式计算灰度距离，突出显著目标；（4）对得到的红外显著图利用对比度拉伸函数进行拉伸处理。

图像I在（x，y）处的DSFT 显著性值为：

式中：count(i)表示图像灰度值为i的个数，dis(Iμ)为灰度值为Iμ的灰度距离总和表示归一化处理，IGF(x，y)为图像I经过引导滤波后在像素（x，y）处的灰度值。SGF(x，y)表示相应的红外显著性图。获取显著性图SGF(x，y)后，首先进行归一化处理得到Snom(x，y)：

其 中：SGF|min、SGF|max分 别 为SGF的最小和最大 灰度值；Snom(x，y)表示归一化显著图，灰度范围为［0，1］。接着，使用S 型曲线对比度拉伸变换函数对Snom(x，y)进行增强处理，突出显著性图里的红外目标并弱化背景信息，从而提高显著性图的整体质量。得到的对比度增强的显著性图Sehance(x，y)如式（7）所示：

式中：Senhance为进行改进伽马校正后的显著性图；w为≥1的常数，经过多次实验运算，w=2 融合性能较优。最后对Senhance在做一次归一化处理得到Smap。

最后，选择4 组数据库图像，5 种经典的显著性检测算法，分别是LC 算法、改进LC 算法［13］、文献［10］方法、FT 算法、文献［11］算法提取的红外显著图与本文方法提取的显著图进行对比实验，并对显著性检测的结果进行主观评价，实验结果如图2 所示。

图2 不同算法红外显著图的提取结果对比Fig.2 Comparison of infrared saliency map extraction results by different algorithms

从4 幅红外图像的显著图提取对比结果可以发现：其他方法可能只是针对某几个图像有很好的显著提取，而本文的显著性提取算法的目标在显著性图像中获得了良好的对比度，将人眼感兴趣的目标提取出来并且非目标区域保持清洁，有效抑制了背景信息。

3 本文融合策略

本文提出的基于改进FT 显著性检测算法的NSCT 红外和可见图像融合方法的总体框架示意图如图3 所示。首先通过改进的FT 的目标检测算法突出表征红外图像的目标特征。然后采用NSCT 将红外和可见光图像分解为基础层和细节层。接着将红外显著性图指导低频子带融合，得到融合后的低频子带。对于高频部分，采用加权局部能量取大和最小二乘优化处理得到融合后的低频子带系数。最后对融合后的低频、高频子带系数进行合并，然后通过NSCT 逆变换处理。

图3 红外、可见图像融合总体框架图。Fig.3 Overall frame diagram of infrared and visible image fusion

3.1 低频子带融合规则

低频子带为源图像的近似成分。为了充分突出红外目标的特征同时保留可见光图像的细节信息，给出了低频融合框架图，如图4 所示。

图4 低频子带融合框架图Fig.4 Low frequency subbands fusion frame diagram

3.2 高频子带融合规则

高频子带代表源图像的细节成分。采用简单的绝对值取大规则易使融合图像混杂许多无效信息，因此本文使用加权局部能量取大和WLS 优化相结合的规则来融合高频部分系数，如式（10）所示，融合框架图如图5 所示。

图5 高频子带融合框架图Fig.5 High frequency subbands fusion frame diagram

式中，WLE(x，y)表示某像素处的高频部分区域能量大小，如式（11）所示：

其中：W是大 小 为(2s+1)×(2s+1)的权重矩阵，s为半径，W内的元素值为22s-d，d为中心4 邻域距离。本文选择半径s=1，则W的大小为3×3，对应数值为：

对得到的权重图加权求和获得第j级近似融合细节层Mj，如式（13）所示：

为了进一步提取更多红外和可见的细节信息，可以通过WLS 以下代价函数来获得第j级的理想融合细节层Dj：

将可见和红外细节层分别表示为d1j和d2j、d2j和做两次WLS 得到对应理想融合细节层和，接着通过绝对值最大规则，得到最终细节 图 像：

4 实验结果与分析

为了验证所提方法的有效性和准确性，本文主要从两方面进行验证实验：第一是显著性检测算法之间的对比，通过客观评价指标平均梯度（AG）、信息熵（IE）、空间频率（SF）、互信息（MI）进一步验证本文显著性算法提取的有效性；第二是验证本文最终方法具有更好的融合效果，包括算法组合参数的寻优、测试图像的选择、MSD 具有代表性的融合算法之间的比较。实验结果的评价选择基于人眼视觉的主观评价和客观评价两种方式。所有图像来自http：//www.imagefusion. org/和TNO 数据库中的配准图像，所有实验都建立在matlab2016a 平台上。

(4) 为保障施工质量和优化支护设计，确保钢拱架受压变形可控，还需进行围岩变形监测，施工监测每天不得少于1次，在拱架变形严重、围岩过渡段、注浆前后等特殊时期每日检测不得少于2次。

4.1 显著性检测算法的有效性验证

本文的显著性提取算法在主观上的视觉效果更好。为了进一步验证本文显著性方法的优劣，本节主要通过对比一些显著性检测方法得到的客观评价指标来进一步验证算法的有效性。

测试数据集如表1 所示。采用NSCT 分解，NSCT 选择“v k”滤波器组，塔式滤波器选择“9-7”，分解层数为4 层，方向分解数分别为4，4，8，8，高频采用局部能量最大方法，低频子带融合选择对应文章的显著性检测方法。实验图像采用表1 中9 幅测试图像，数据采用9 幅图像的4 个指标AG、IE、SF 和MI 的平均值来快速判断，如图6所示。

表1 实验所用数据集Tab.1 Source image used for experimental verification

图6 9 幅图像的客观评价结果Fig.6 Objective evaluation results of 9 image

因为前面的一些改进方法对有些图的融合结果有严重失真，所以删除了一些方法，选择了5 种显著性检测方法来对比，分别是基于LC 的方法［17］、文献［13］的方法、文献［14］方法、文献［10］方法和本文方法。从图6 可以看出，本文方法的4 个指标的平均值最大，说明本文方法的综合性能最好。

4.2 组合参数的选择

本文融合算法中存在3 个自由参数，分别是引导滤波器窗口半径r、模糊度参数τ以及WLS优化中的参数λ。为了确定这3 个自由度参数的影响，利用AG、IE、SF、MI 对测试数据集在不同参数组合下进行客观评价。依然采用4 个指标的平均值这种简单快速方式作为评价结果，采用控制变量的方法进行择优选择，由于数据量太大，只展示最终数据处理结果，如图7 所示。从图7 可见，在τ=0.01 以及λ=0.01 时转折点都有最好结果。此外通过计算，由于窗口大小对数值影响很小且没有转折点，决定选择r=8。最终3 个自由度的取值分别为r=8、τ=0.01、λ=0.01。

图7 本文方法在不同参数下的影响曲线Fig.7 Influence curves of the method in this paper under different parameters

4.3 最终对比实验

实验图像：选择表1 数据集中4 组图像对，如图8 所示，分别简称为“Camp”、“House”、“Trench”和“Kaptein”红外与可见图像对。

图8 本文算法验证所用源图像Fig.8 Source images used in the algorithm verification in this paper

实验参数：NSCT 选择“v k”滤波器组，塔式滤波器选择“9-7”，分解层数为4 层，方向分解数分别为4、4、8、8。r=8，τ=0.01，w=2，λ=0.01。

4.3.1 主观性能评估

图9～12 所示分别为本文方法和另外5 种方法在4 组图像上的实验结果对比图。其中（a）～（f）分别为基于DWT 的低频子带加权平均、高频选择最大（DWT_avg）方法和低频选择区域能量、高频选择局部加权修正拉普拉斯算子和方法（DWT_WSML）［18］，基于NSCT 的低频子带加权平均、高频选择最大（NSCT_avg）方法，基于NSCT 的低频选择最大平方熵、高频选择拉普拉斯算子的方法（NSCT_SML）［19］，基于视觉显著性LC 的融合方法（NSCT_LC）［13］以及本文方法的融合结果，下面对各算法的融合结果进行分析评价。

图9 不同融合算法对“Camp”的处理结果Fig.9 Processing results of “Camp” by different fusion algorithms

图9 是本文算法和对比算法在“Camp”图像组上的实验结果。从图9 可以看出，不管是采用DWT 还是NSCT 工具进行多尺度分解，采用简单的平均和绝对值取大方法（图9（a）和图9（c）），融合图像虽然基本包含了两种图像的特点，但是不管是背景信息还是目标人物整体亮度偏暗，不够显著，视觉效果差，分辨率低。采用DWT_WSML 和NSCT_SML（图9（b）和图9（d）），目标人物非常显著，亮度有很大提升，但是融合图像包含了太多的红外信息，导致左下角的景物失真以及屋顶的目标人物边缘轮廓以及栅栏细节模糊，可见细节部分提取能力不够。采用NSCT_LC 与本文方法（图9（e）和图9（f）），融合后的图像人物目标显著，图像中的树木，道路等纹理清晰，但是本文方法的图像灰度分布黑白分明，更加有层次感，视觉效果更好。

图10 展示了不同算法对“House”图像的处理结果。图10（a）和图10（c）方法得到的融合图像存在亮度和对比度降低的问题。图10（b）和图10（d）的目标人物虽然对比度有显著提升，但是人物轮廓模糊，建筑物和树木细节信息提取不够，在地面和房屋附近出现严重的光晕伪影现象，不利于观看和后续场景描述。图10（e）和图10（f）（本文方法）目标和背景之间的对比度高，建筑物视觉效果好，房屋、树木以及地面纹理细节清晰详细。

图10 不同融合算法对“House”的处理结果Fig.10 Processing results of “House” by different fusion algorithms

图11是对沟壑里的士兵图像的处理结果。从图11（a～e）可以看出，DWT_avg、NSCT_avg 方法存在目标和背景之间的对比度低，红外目标不显著的问题，DWT_WSML、、NSCT_SML 方 法存在不同程度上边缘模糊，背景不自然，树木细节丢失严重的问题。NSCT_LC 方法的整体视觉较好。与上述5 种方法的结果相比，本文方法具有较好的结果（图11（f）），目标信息层次分明、辨识率高，可见光图像中的树木，草地、沟壑的边缘以及红外图像中的人物的轮廓都得到了较好的保留。

图11 不同融合算法对“Trench”的处理结果Fig.11 Processing results of “Trench” by different fusionalgorithms

不同算法对“Kaptein”图像的融合结果如图12所示。与前3 幅场景一致，DWT_avg、NSCT_avg方法虽然基本上包含了红外和可见的大部分信息，但是整体图像偏暗，目标背景对比度低。DWT_WSML 和NSCT_SML 方法存在过于提取红外信息，导致融合图像包含很多噪声和无关信息。NSCT_LC 方法的目标比较显著，同时可见信息提取完整、层次感强，但是本文方法与NSCT_LC相比，在路灯上方左上角保留了更多的可见光像中的细节纹理。

图12 不同融合算法对“Kaptein”的处理结果Fig.12 Processing results of “Kaptein” by different fusion algorithms

综合上述4 幅场景图像的融合结果，从主观评价上来看，本文方法在突出红外目标、提高目标和背景之间的对比度、增强目标信息的辨识率以及保留较多的可见光像中的细节纹理方面具有优势。为了避免人眼直接观察导致的误差影响到融合图像的评价，本文使用客观条件指标对融合图像进一步评价。

4.3.2 客观性能评估

为了进一步定量分析图像质量，选择AG、IE、SF、MI 作为指标进行评价［20］，表2 展示了本文方法与几种传统融合方法对上述4 组图像在4 个客观评价指标上的实验结果。4 个指标都是值越大表示融合结果越好。4 幅图的评价指标结果如图13 所示，其中最佳结果数值标注在对应柱状图上。

表2 不同算法对“ Trench ”和“ Kaptein ”的客观评价结果Tab.2 Objective evaluation results of “Trench” and “Kaptein” by different algorithms

图13 不同算法对“Camp”、“House”、“Ship”和“Jeep”的客观质量评价结果。Fig.13 Objective quality evaluation results of different algorithms for “Camp”，“House”，“Ship” and “Jeep”.

（1） 平均梯度（AG）

AG 用来度量图像中的梯度变化，其值的大小体现了图像的变化率、对应细节差异和纹理变化，因此可以用来表示图像的清晰程度，其定义如式（16）所示：

（2） 信息熵（IE）

IE 用来度量图像中所包含信息量的多少，是反应图像信息是否丰富的重要标准。公式如式（17）所示：

其中：L表示灰度等级值，pl表示融合图像中相应灰度值的归一化直方图数值。

（3） 空间频率（SF）

SF 反映图像灰度的变化率，反映了一幅图像在空间域内的总体活跃程度，因此空间频率越大，图像融合性能越好。SF 具体值由空间行频率（RF）和空间列频率（CF）计算得到，如式（18）～式（20）所示：

（4） 互信息（MI）

MI 表示融合图像与源图像之间的关联程度，反映融合图像从源图像中获得信息量的多少，定义如式（21）所示：

式中：MIA，F和MIB，F分别表示融合结果从红外和可见光源图像中获得的信息量大小，其中pX(x)、pF(f)和pX，F(x，f)分别表示源图像x、融合图像f的灰度直方图以及联合直方图分布情况。

从表2 可以看出，本文方法的融合结果在AG、IE、SF、MI 四项评价指标上均有提升。本文融合算法的4 个指标的提高说明本文方法相比于其他算法的融合图像更活跃，保留了更多的源图像信息，细节描述能力也优于其他算法。综上所述，本文方法的性能更佳，采用本文方法获得的图像效果最好，与主观评价得到的结果一致。

5 结 论

为了克服传统算法以及基于显著性检测算法存在的问题，进一步提高图像融合质量，本文提出了一种基于改进的FT 显著性检测的NSCT红外与可见光融合方法。为了可以更好地保留目标和背景之间的对比度，首先采用改进的显著图提取算法瞄准红外图像，用于从背景中区分目标。其次，利用计算得到的红外显著权重图对NSCT 分解的低频子带系数进行指导融合；同时为了获得更多的细节信息和减小噪声影响，对高频部分采用局部加权能量的规则进行抉择，再通过WLS 优化处理。最后，进行NSCT 逆变换得到最终的融合图像。实验结果表明，通过与不同显著性检测算法的对比，本文的显著性检测算法的红外目标提取准确，背景得到了有效抑制，客观指标选择的AG、IE、SF、MI 4 个指标的平均值也处于最佳结果，说明本文提出的改进FT 算法是有效的。通过这种快速判断方法进行参数寻优，本文的最终方法通过4 组图像与其他算法的实验对比结果发现，主观上，本文方法的目标突出，细节提取丰富，边缘伪影现象消除明显，视觉效果更好，在4 个单独客观评价指标平均梯度（AG）、信息熵（IE）、空间频率（SF）、互信息（MI）上都是处于最好的状态。与5 种对比方法指标的对比结果表明，其平均值在AG、IE、SF、MI 上分别提高了8.19%、5.34%、8.54%、68.18%，图像质量得到明显改善，说明这种快速判断的方法是可行的，所提出方法具有鲁棒性强的优点。