基于NSST和NSGA-III的红外和可见光图像融合

袁东方，张 静，罗 聪，邢笑雪

红外图像（Infrared Image，IR）和可见光图像（Visible Image，VIS）融合的目的是充分利用红外图像的热目标和可见光图像的纹理细节信息，实现在各种光照和气候条件下更准确、全面的目标检测和识别.该技术在军事侦察、医学成像、导航等领域［1-3］已经得到广泛应用.

近年来，多尺度分解算法在图像融合领域中的应用备受关注，2005年，DO等［4］采用轮廓波变换（Contourlet Transform，CT）进行图像的多尺度分解.LABATE等［5］提出了剪切波变换（Shearlet Transform，ST），在原来的基础上使图像具备多尺度和多方向转换的特性.但CT算法和ST算法因无法实现平移不变性，导致结果中存在伪吉布斯现象.针对这个问题，2006年，CUNHA等［6］提出一种具有平移不变性优点的非下采样轮廓波变换（Non-Subsampled Contourlet Transform，NSCT），使图像具有良好的频率选择性和规律性，避免了图像产生伪吉布斯现象.2008年，LABATEA等［5］提出了NSST，NSST利用非下采样金字塔和方向局部化对源图像进行分解，其不仅具备剪切波的优点，还具备平移不变性，在不同尺度、不同方向上都能较好地表示图像信息.

事实上，图像融合在本质上可以理解成一种优化问题［7］，利用遗传算法［8］在两幅源图像中寻找最优的像素作为融合图像的最终结果.2008年，MUMTAZ等［9］引出一种基于遗传算法（Genetic Algorithm，GA）的图像融合算法，利用GA优化图像融合权重，或优化图像融合的阈值.2011年，RAGHAVENDRA等［10］结合粒子群优化（Particle Swarm Optimization，PSO）提出了两种图像融合方法.目前，DEB等［11］提出的NSGA-III作为一种多目标优化算法，能够有效平衡融合图像的对比度、亮度和信息增益等多个目标.

综上，本文设计了一种基于NSST变换和NSGA-III优化的红外和可见光图像融合算法，该算法不仅能在融合结果中突出显著目标，而且能更好地保留来自源图像的丰富背景信息.

1 基本理论

1.1 NSST变换

GUO等［12］在原始的仿射系统基础上融入几何与多尺度变换，得到了剪切波变换.具有合成膨胀的仿射系统AAB(ψ)，当空间维n=2，该仿射系统表达式如公式（1）所示：

图1表示一个2级NSST的分解示意图.

图1 2级NSST分解示意图

从图1可以看出，NSST分解包括两个主要部分：非下采样金字塔分解（Non-Subsampled Pyramid，NSP）和方向局部化［14］.首先，NSP分解采用非下采样金字塔滤波器组对原始图像进行多尺度分解，产生1个低频子图像和k个高频子图像，其中k表示分解级数，而这k+1个子图像的尺寸与原始图像相同.其次，方向局部化是通过剪切滤波器（Shearlet Filter，SF）对高频子图像进行多方向分解，每个高频子图像的SF分解都会生成多个不同方向的子带图像，这些子带图像的尺寸也与原始图像相同.

1.2 NSGA-Ⅲ优化算法

NSGA-III是一种先进的优化算法，专为解决多目标优化问题而设计［15］.在图像融合领域其被应用于优化IR和VIS的阈值设置，以提升融合质量.其具体的应用步骤如下：

①初始化.选取峰值信噪比（PSNR）、互信息（MI）和结构相似性指数（SSIM）作为优化目标，综合评估图像融合后的质量、信息内容和视觉相似度.设定NSGA-III算法的参数：种群规模大小20、交叉率0.5、变异率0.5和最大迭代次数5，这些参数决定了搜索过程的多样性和收敛速度.

②生成初代种群.随机产生多种阈值组合的初代种群.每个个体代表一种IR与VIS图像的阈值设置.

③非支配排序和选择.采用NSGA-III的非支配排序机制，根据多目标空间中的支配关系评估并选择种群中的优秀个体.

④参考点的应用.利用优化目标个数和分段数生成的参考点引导种群进化，保证解的多样性.

⑤目标函数计算.计算每个个体在其阈值设置下的PSNR、MI和SSIM等指标.

⑥遗传操作.执行交叉和变异操作产生新个体，探索更优秀的阈值组合.

⑦迭代.迭代过程包括对目标函数的连续计算、执行非支配排序、参考点的处理及遗传操作，直至达到预设迭代次数或其他停止条件.

⑧选择最优解.从最终种群中挑选出最优个体，代表最佳IR和VIS图像阈值设置.

2 基于NSST-NSGA-III的红外和可见光图像融合

2.1 算法框架

本文算法框架如图2所示.首先，使用NSST将输入图像转换成低频和高频子带图像.其次，低频子带图像融合包含两个步骤，低频子带利用区域能量对比方法得到预融合图像，再利用NSGA-III算法优化得到融合低频子带图像；高频子带选择绝对值取大规则.最后利用NSST逆变换重构融合图像.

图2 基于NSST-NSGA-III的融合算法框图

2.2 NSST分解

本文利用NSST对源图像IR和VIS进行分解.如公式（2）和公式（3）所示：

2.3 图像的融合规则

2.3.1 低频图像融合

低频图像融合分为两个步骤：一是基于区域能量［16］对图像进行预融合，以预融合图像作为参考图像；二是使用NSGA-III的融合算法优化融合阈值，最终获得融合低频子带.

基于区域能量的融合.区域能量能够很好地描述图像的亮度特征，其大小可通过计算分解后的红外和可见光图像的局部低频子带的平方值求和来确定.ES的定义如公式（4）所示：

式中：S指代VIS或IR，ES是以源图像中心点(m，n)为中心的局部区域能量，Ω(m，n)是以（m，n）为中心的领域的窗函数，W(i，j)表示3×3大小的窗口函数，As(i，j)表示红外或可见光图像的低频子带系数.

得到IR与VIS的区域能量系数之后，可进一步获取预融合图像f，计算如公式（5）至（7）所示：

式中：w1、w2表示权重系数，IRL和VISL分别表示IR和VIS的低频系数.

基于NSGA-III的融合.图3展示了低频子图像的融合框架，首先通过计算f与IR、f与VIS的结构相似性指标SSIM［17］来评价预融合图像和源图像之间的强度、饱和度、结构相似性，然后计算IR和f图像局部相似度的得分表、VIS和f图像局部相似度的得分表.如公式（8）和（9）所示：

图3 低频子图像的融合框架

式中：AIR是IR和f图像局部相似度的得分表，AVIS是VIS和f图像局部相似度的得分表，SSIM(IR，F)表示f与IR的结构相似性指标，SSIM(VIS，F)表示f与VIS的结构相似性指标.

由于不同输入图片的判定阈值不同，为了更好地适配不同输入的图片，提出用NSGAIII算法分别优化红外图像和可见光图像阈值θIR和θVIS.阈值优化如公式（10）所示：

式中：NSGA3(·)表示NSGA-III的数学模型，θS表示IR或VIS的阈值，获得得分表和优化阈值后，将得分表转换为权重表，转换公式如公式（11）和公式（12）所示：

式中：wIR和wVIS分别是IR和VIS的得分权重表，通过权重表可以关注到图像的每个像素.

针对红外图像的突出像素点、可见光图像丰富的结构纹理信息像素点和预融合图像的较为突出像素点采取不同的融合策略，如公式（13）所示.

式中：FL表示融合的低频图像，通过不同图像权重表的判断，可以最大化地使FL保留更多信息.

2.3.2 高频图像融合

与低频子带不同，高频子带图像通常用于反映源图像的边缘纹理和轮廓信息.图像结构信息以边缘和轮廓的形式表现，图像的边缘和轮廓通常对应于亮度信息急剧下降的像素.绝对值较大的高频系数能很好地反映图像的边缘纹理特征，为了有效地融合高频子带中的细节信息和结构信息，高频子带选择绝对值取大规则，如公式（14）所示：

2.4 NSST逆变换

本文通过NSST逆变换重建融合图像F，如公式（15）所示：

式中：NSST_REC（·）表示NSST逆变换函数；F为最终的融合图像.

3 实验结果与分析

3.1 实验设置

为验证本文算法的融合效果，实验选用TNO数据集作为源图像，其中选择TNO数据集中五组图像，分别是：“2_men”“sandpath”“camp”“Kaptein”“tank”图像.

本方法的实验平台是W indows10操作系统，处理器为AMD3750，主频2.3 GHz，内存8 GB，实验工具MATLAB 2019b.将文献［17］中的指标E、AG、SD、Qw、SF、PSNR、MI、SSIM作为客观评价指标.

实验中，本文方法与五种主流的图像融合方法——RFN深度学习网络（RFN）［18］、稀疏正则化（SR）［19］、潜在低秩表示（LATLRR）［20］、视觉显著性图（VSM）［21］和贝叶斯融合（Bayesian）［22］的融合方法进行对比.

3.2 主观评价的结果

图4 展示了本文方法与其他五种主流算法的主观视觉效果.每行图像分别为：红外图像、可 见光图 像、RFN、SR、LATLRR、VSM、Bayesian和本文算法（Proposed）融合结果.在图4（a）和图4（d）中，RFN、SR、LATLRR、VSM和Bayesian方法的融合图像显示出背景“天空”亮度较低，未与可见光图像的背景一致.在图4（b）和图4（c）中，RFN和Bayesian方法展现了良好的纹理细节，但红外目标未突出；SR方法对比度高但失去了树木结构；LATLRR和VSM方法对比度低，边缘效果差.在图4（e）中，RFN、SR、VSM和Bayesian方法整体亮度低，对比度不佳；LATLRR方法对比度高但草地模糊.相较之下，本文方法在这5组图像中的边缘纹理、对比度和突显红外目标方面均有较好的表现，为图像提供了更丰富的视觉效果.

图4 TNO主观效果图

3.3 客观评价的结果

图5为五种主流算法和本文方法的客观评价指标，黑色柱状图表示本文方法的客观评价指标值.

图5 客观评价指标对比柱状图

由图5可知，实验算法在E、AG、SD、Qw、SF、PSNR和MI七个指标中明显优于其他方法，表明融合图像具有更丰富的源图像信息，能更好地表述源图像.本文方法对图4（a）所得SSIM较低，但结合主观结果分析，本文方法更注重树木和标识牌的灰度信息和边缘轮廓，与可见光图像更相似.本文方法对图4（e）的SSIM值居第四，但在其他七个客观评价中表现出更丰富的信息、更高的对比度和更好的空间分布.这些结果表明本文方法能够更全面地保留源图像信息，融合图像质量更高.

4 结语

本文提出一种基于NSST和NSGA-III的红外和可见光图像融合方法.该方法充分利用NSST的多分辨率和各向异性特征，充分提取图像的低频与高频分量；针对低频图像，本文采用了一种基于区域能量的预融合技术，以预融合图像作为参考图像，运用NSGA-III算法进行优化获得融合低频图像；针对高频图像融合，选择绝对值取大规则.利用NSST逆变换进行图像重构.在TNO数据集上进行实验，并与其他先进的算法进行比较，定性和定量的分析结果表明，本文方法在目标突出的同时，保留了源图像更多的结构信息.