结合NSST和LC显著性的红外与可见光图像融合

李伟 陈红斌

（仲恺农业工程学院自动化学院 广东省广州市 510225）

图像融合是以图像为研究对象的信息融合，它通过特定的算法把多幅源图像的信息进行互补处理成为一幅新图像，得到信息量更丰富的图像。红外与可见光图像的融合算法是其中一类重要算法。红外图像普遍存在对比度较差和边缘模糊以及细节不够明显的问题。相比之下，可见光图像能够提供更高的对比度和丰富的细节信息，但其图像质量易受到光照亮度、目标遮挡和外部环境的影响。随着融合技术的发展，研究人员提出一些多尺度几何分析工具如Wavelet 变换、Curvelet 变换和NSCT 变换等。基于NSCT 的图像融合方法是近年来研究的焦点，它通过非下采样的拉普拉斯金字塔分解和非下采样的方向滤波器组来实现，NSCT 所有的分解子带都和源图像的大小相同，并具有平移不变性，从而具有较好的多方向性、多尺度性和平移不变性。但是NSCT 计算复杂度较高运行时间较长，并且其分解的方向数有限。2007年，Easley 等人提出了NSST，它由多尺度分解和方向分解构成，NSST 的时域变换和NSCT 是相类似的， 但NSST 由于在方向分解中采用了剪切滤波器，从而解决了NSCT 的非下采样方向滤波器所存在的方向数的限制问题。此外，其可以根据时间复杂度的需要和融合质量的要求决定方向数的多少。因此，NSST 不仅保留了NSCT 变换原有的优点，而且比NSCT 更具有灵活性和有效性。

图像视觉显著性检测的目的在于结合图像的局部及全局特性，检测能够描述场景的图像重要区域。利用视觉显著性检测结果指导的系数加权融合，可以充分利用源图像的特征信息，使融合图像更大程度地保留源图像的光谱信息，并能突出源图像中的目标区域。根据以上分析，本文提出了利用图像的视觉显著性特征来指导NSST 系数，实现红外与可见光图像融合。算法具体步骤如下：首先，利用基于LC 算法的显著性检测方法对红外和可见光图像进行显著特征提取；再利用NSST 变换分别对红外和可见光源图像进行多尺度、多方向分解，得到低频和高频方向子带系数；然后利用图像显著性特征和区域能量分别指导低频子带和各高频子带系数融合；最后，将融合后的低频以及各高频系数进行NSST 逆变换，得到最后的融合结果。以上方法能够使源图像的视觉显著性目标在融合图像中得到保持，融合图像从而更适合于视觉观察和进一步的图像处理应用。实验结果验证了算法的优越性。

1 NSST

图1：LC 显著图

图2：融合图像

NSST 以Shearlet 变换理论为基础，它是通过合成小波理论把几何和多尺度分析结合起来提出的一种新的多分辨率分析工具。NSST 离散化过程首先采用非下采样金字塔（nonsubsampled pyramid，NSP）滤波组获得图像的多尺度分解，然后采用改进的剪切波滤波器组（shearlet filter，SF）获得图像的多方向和多尺度分解。图像经过NSP 分解后形成大小相同的低频子带和高频子带。为捕获图像的细节信号，可对低频子带反复进行多级非下采样金字塔分解，最终形成大小相同的一个低频子带和多个高频子带。

本文首先对红外图像Ii和可见光图像Iv分别进行NSST 分解，表达式如下：

分解后得到高频分量H 和低频分量L。式中，J 表示分解层数，j 表示尺度大小，r 代表方向。

2 LC显著性检测

LC 算法由Zhai 等2006年提出，它能够均匀地突出图像整体的显著性区域，较好地定义显著目标的边界，并能有效忽略来自纹理、噪声和块效应的高频成分。它通过计算某个像素在整个图像上的全局对比度，即该像素和图像中其他的所有像素的某个距离的总和，这个距离一般使用欧式距离：

表1：不同融合方法的评价结果

式中，I是是图像像素集，S是与原图等尺寸的显著性图。图1中，（a）（b）为红外和可见光原图，（c）（d）为其相应的显著度图。

3 低频子带融合规则

原图像经NSST 分解后，低频部分占据着图像的大部分能量，即红外图像与可见光图像的背景信息。由于可见光图像中背景区域较为清晰，而红外图像中目标部分具有较大的能量和灰度值，为了能够较好地保存红外目标信息和可见光背景图像，本文采用了以红外可见光显著图为参考的方法进行融合，其融合策略可以表示为：

其中Li(x,y)和Lv(x,y)分别为红外和可见光图像低频子带系数，LR(x,y)为融合后的低频子带系数，Si(x,y)和Sv(x,y)为红外显著图和可见显著图。

4 高频子带融合规则

高频方向子带包含了图像的细节信息，如边缘、线条以及区域的边界等。高频分量中较大的值对应着亮度急剧变化的点，也就是图像中的显著特征，其融合的主要目标是尽可能获取图像的空间细节。区域能量能够反映图像区域内信息量的大小，本文采用了基于区域能量的规则进行融合，首先计算高频子带内以像素点（x,y）为中心的区域大小为3×3 的能量E(x,y)，定义为：

然后对高频系数进行融合，规则如下：

5 融合结果

为了验证融合方法的正确性和有效性，本文对红外与可见光图像进行融合处理，并将本文方法与均值、最大值、小波变换方法进行了比较。本文NSST 分解层数为5，小波变换低频系数采用均值融合，高频系数采用最大值融合，实验结果图2 所示。

在图2 中，源图像是在同一场景中获得的可见光图像和红外图像，红外图像中的行人作为热源目标是清晰可见的，但周围的背景信息却非常模糊。而在可见图像中，可以清楚地观察到周围环境，如道路、灌木丛和栅栏，却不可能识别行人。图2（a）中的红外和可见信号均较弱；图2（b）中除了红外物体明显，但道路、房屋等可见光信号没能做到较好的保留；图2（c）中红外和可见信号也较弱，且存在小波变换带来的块状效应。相比于其他三种融合方法，本文的融合结果亮度和对比度较大，人物特征清晰，同时也很好的保留了道路、房屋和围栏等可见光信号，具有较好的视觉效果。

为了更加客观地对融合结果进行对比，本文还利用熵（IE）、边缘保持度（QAB/F）和标准偏差（STD）对融合图像进行评价，结果如表1 所示。熵是表示图像信息丰富程度的重要指标，熵值越大越好; 边缘保持度可以衡量从源图像转移到融合图像中的边缘信息多少，值越大融合结果越好；标准差反映图像对比度的变化，值越大边缘轮廓越清晰。从表1 中可以看出本文算法融合图像的熵和标准偏差明显大于其他三种方法，边缘保持度相比最大值融合结果略小。客观评价结果也说明本文融合结果包含了较多的信息，具有较高的清晰度和对比度,保留了更多的图像特征。

6 结论

根据红外图像与可见光图像的特点，利用NSST 变换的特性和图像视觉显著性的优点，提出了一种基于NSST 的图像融合算法。该算法在低频子带采用以视觉显著图为参考的方法进行融合，高频子带采用基于区域能量的方法进行融合。融合结果表明，相对于其他部分算法，本文能够取得较大的熵、边缘保持度和标准偏差，可以较好地保留可见光图像的信息，还能较好地嵌入红外目标，是一种有效的融合方法。