基于热辐射信息保留的图像融合算法

钱震龙，陈 波

（西南科技大学 计算机科学与技术学院，四川 绵阳 621010）

0 引言

如今，红外热成像技术在各领域都得到了很好的运用和发展。红外图像的独有特征是热辐射信息，但因其成像原理，红外图像难以避免地存在对比度不足、图像边缘不明显、细节信息不足等问题。可见光图像具有较为丰富的纹理信息和清晰的边缘，具有较强的对比度，可以很好地与红外图像互补。将红外图像和可见光图像的特征信息提取融合，可以得到信息更加丰富的图像，并能改善单一红外图像对人类视觉不友好这一问题，使融合后的图像不仅有红外图像的热辐射信息，还能体现出可见光丰富的纹理和轮廓。因此，使用合理的图像信息提取方法来将可见光图像中的细节纹理信息同红外图像中的热辐射信息进行结合，是提升融合性能的关键[1]。

近年来，很多学者对红外与可见光图像融合算法展开了研究并得到了相应的成果。常见的图像融合算法包括以多尺度变换为策略的离散小波变换[2]、平稳小波变换[3]、轮廓波变换（Contourlet）[4]、拉普拉斯金字塔变换[5]、非下采样轮廓波变换（NSCT）[6]、非下采样剪切波变换（non-subsampled shearlet transform，NSST）[7]，以及近几年发展起来的以卷积神经网络为策略的深度学习[8]、自适应融合[9]等融合方法。这些方法虽然在红外与可见光图像融合上都取得了较好的视觉效果，但由于它们在研究过程中更关注如何突出显著目标、增强图像融合对比度及细节信息，而忽视了红外热辐射信息，故在保留红外热辐射信息上并没有取得显著的效果，融合后的图像不能很好地体现出场景热辐射分布，这将限制红外与可见光图像融合技术在工业检测、体表温度筛查监控等社会领域的应用。在当今世界范围抗击新冠病毒疫情中，保留热辐射信息的红外可见光图像融合技术会是防止疫情扩散的一大助力。

针对上述问题，本文提出一种基于热辐射信息保留的图像融合算法，利用NSCT变换将图像分解为高频和低频子带，对低频部分使用拉普拉斯算子提取特征并进行融合，高频部分使用基于点锐度和细节增强的融合规则进行融合，使融合后的图像不仅具有可见光图像的细节信息，同时还能完好保留红外图像整体上的热辐射强度和分布信息，最后通过逆NSCT 变换得到最终的融合图像。

1 非下采样轮廓波变换

NSCT不仅具备Contourlet 变换的多尺度性和各向异性，同时还具有平移不变特性，有效避免了融合中出现的Gibbs现象，确保了融合图像的质量。结构上，NSCT 由非下采样塔式滤波器组（non-subsampled py ramid filterbank，NSPFB）以及非下采样方向滤波器组（non-subsampled directionalfilter bank，NSDFB）两部分组成。NSCT 首先通过NSPFB对图像进行多尺度变换得到多个子带，再经NSDFB对每个子带进行多方向变换，过程如图1所示。

图1 NSCT变换示意图Fig.1 NSCT transf ormation diagr am

非下采样金字塔（Non-Subsampled Pyramid，NSP）包含分解滤波器{H0(z),H1(z)}和合成滤波器{G0(z),G1(z)}，要使变换能完全重构，就需要满足如下关系：

NSCT每级分解中使用的分解滤波器都是对前一级分解中的分解滤波器进行采样得到的，采样用到的矩阵为而NSP变换后，所得到的是和源图像尺寸一致的1＋k个子带图像，即一个低通子带和多个带通子带图像。式(2)为NSPFB的滤波器数学表达式：

经过NSP变换后得到的子带，进一步进行l级的方向分解，可以得到2l个方向带通图像。对分解后的低频子带图像和方向带通图像进行需要的处理后，再通过逆NSCT变换，可以完成图像的相关处理。

2 保留热辐射信息的融合方法

首先，分别对可见光图像和红外图像进行NSCT变换，得到各自的低频子带和高频子带，然后分别对低频子带和高频子带采取不同的融合策略进行融合。其中低频子带使用基于拉普拉斯算子特征提取的方法进行融合，高频子带通过基于点锐度和细节增强的方法进行融合，得到所有的融合子带后，再经NSCT反变换，即得到最终的融合图像。整体的融合框架如图2所示。

图2 整体融合框架Fig.2 Integrated framewor k

2.1 基于特征提取的低频融合

要保留红外图像的热辐射信息，关键是在低频部分的合成中，尽可能不破坏红外低频子带的整体结构，同时将可见光低频子带中的关键结构信息与红外低频子带进行融合。现有的低频子带融合方法，如平均值融合[10]、基于视觉显著性融合[11]、加权平均融合、基于像素特征能量的加权融合、邻域特征结合IDCSCM（improved dual-channel spikingcortical model）融合[12]等方法旨在提高图像的视觉效果，但都在很大程度上牺牲了红外图像的热辐射信息，无法满足本文所提到的需求。使用拉普拉斯算子进行可见光低频子带信息提取，可以使其中的非关键信息值接近零值，减小低频融合过程中对红外低频信息的改变，且因拉普拉斯算子是一个线性、位移不变的算子，经算子处理后的子带具有零平均灰度[13]，确保了低频部分的融合不会改变红外低频子带的平均灰度，满足需求。故本文提出一种基于拉普拉斯算子的特征提取低频融合方法，表达式如下：

式中：FN为融合子带；AN为红外图像低频子带；BN为可见光图像低频子带经拉普拉斯特征提取后得到的特征系数；α为特征增益因子。由式可见，可通过调整α的大小来扩大或减小可见光低频特征系数对融合后低频子带系数的作用强弱，其值过小时，融合后图像的低频系数中可见光低频部分的结构信息体现不足，α过大时会破坏红外低频部分的结构信息，影响融合图像的质量和视觉效果。为了使α对于不同图像都能取得合适的数值，使用下式进行自适应取值：

式中：H为输入图像I在坐标(i,j)处取灰度值；l和w分别为输入图像的横向像素宽度和纵向像素宽度。为了保持红外图像低频部分的平均强度不变，BN还应满足：

为获取BN，需要对可见光图像低频子带使用拉普拉斯算子进行卷积运算，以完成作为其特征的边缘检测。边缘检测是提取图像特征的可行方法，并已被广泛应用到众多领域[13]。拉普拉斯算子是一个二阶微分算子，相比Sobel和Prewitt 等常用的边缘检测算子，拉普拉斯算子无方向性，这一特性使其能对各种方向的边缘都有相同的增强作用，但其不具备平滑功能，对噪声响应敏感，而图像的低频部分相当于已对图像进行过低频滤波，适合采用拉普拉斯边缘检测来提取可见光图像低频部分的特征。

式(6)为二维拉普拉斯变换的定义[14]：

离散式可表示为：

根据离散表达式，可以得到拉普拉斯卷积核的结构：

或：

本文选用式(9)拉普拉斯卷积核，通过与可见光低频系数卷积，得到的可见光低频特征系数BN不仅能反映出可见光低频部分的纹理变化程度，同时能在一定程度上体现出其明暗分布信息。

得到的BN并不能直接用于低频融合运算中，还需经过中心化和归一化，再按照融合规则进行低频融合。中心化和归一化分别如下所示：

2.2 基于点锐度的高频融合

因低频融合部分是以保留热辐射整体信息为前提，故不可避免地会导致融合后的图像在局部轮廓和边缘上的对比度有所下降，为此需要一种带细节增强的高频融合以进行图像质量损失补偿。对此，本文提出一种基于点锐度[15]与细节增强的高频融合规则，其中点锐度的数值大小能反映出邻域灰度相对于中心点灰度的变化程度，其值越大，则表明局部变化越剧烈，图像也越清晰，可作为融合度量。算法表达式如下：

式中：FKL为融合后NSCT变换第K层的L方向上的高频子带；AKL与BKL为同层同方向的红外与可见光高频方向子带；i，j为子带系数矩阵中的坐标，G为本文的高频融合算法。算法首先需要对AKL和BKL计算点锐度：

式中：m，n为子带系数矩阵中局部范围的长和宽；df为像素灰度变化幅值；dx为单位像素距离增量，可以看出，求取某点的点锐度即是在以该点为中心的邻域范围内，对邻域点与中心点作差，对差值取绝对值后进行加权均值运算，本文使用各点到中心点的距离作为权值高低依据，即距离中心点越近，权值越大。根据计算出的点锐度，采取以下高频方向子带融合规则：

式中：β为融合增益因子，其增益比重参照红外和可见光高频方向子带在局部细节变化程度的相似程度来定值，其计算方式为：

可以看出，当红外高频子带与可见光高频子带的点锐度相似时，会有较大的融合增益，即对融合后图像的主要轮廓进行增强，对细节纹理进行适量补足，以增强视觉效果，确保融合后的图像质量。

3 实验结果与分析

为验证所提出的融合算法的效果，本文将对融合后的图像质量和对红外图像信息的保留程度两方面进行算法对比实验，对实验结果的分析评价则从主观和客观两方面进行评价，并在对比实验后对红外源图像和融合图像进行伪彩色实验，以验证算法的实际可行性。

对比实验数据均取自TNO数据集，选择小波变换（discrete wavelet transform，DWT）、非下采样轮廓波变换（NSCT）、拉普拉斯金字塔变换（laplacian pyramid，LP）、非下采样轮廓波变换同脉冲耦合神经网络结合（non-subsampled contourlet transform-pulse coupled neural network，NSCT-PCNN）4种图像融合算法进行对比实验，伪彩色实验数据使用取自实验室的数据集，以上实验均在MATLABR2015b中进行，操作系统为Windows10，CPU为IntelCore i5-7200U，内存8GB。

3.1 对比实验

3.1.1 主观评价

通过直观的视觉感受对图像融合的质量优劣进行评判，是图像评价中一种重要的参考，图像作为视觉信息，其好坏最终将反馈给人的视觉，这种直观判断也是图像分析的重要方法之一。图3、4、5、6是各种不同算法的融合结果。

图3 Kaptein_1123的融合结果Fig.3 Fusion results of Kaptein_1123

图5 MMeting003 的融融合结果Fig.5 Fuusion results of Meting003

图6 MManinhuis 的融融合结果Fig.6 Fuusion results of Maninhuis

可以看出出，几种融合合方法都在不同程度上融合合了可可见光细节，整体上看，除本文的方法外，其它方方法视视觉上给人的的映像更加偏偏向于可见光图像，从细节节上看看，DWT 和LLP 的可见光光细节部分融融合得较多，但但高热热源对象的热热辐射整体体强度明显降降低，NSCTT 和NNSCT-PCNN的高热源对对象热辐射信息变化不大，，但对对偏向于背景景的低热源部部分的热辐射射进行了大幅幅改变变，而从本文文提出算法得得到的图像可以明显看出，，其局局部和整体热热辐射强度与与红外图像的热辐射强度高高度一一致，相较于于红外图像的的细节不足，所提方法融合合得到到的图像很好好地将可见光光图像的纹理细节与结构同红外外图像融合，并并具有可见光光图像中的立立体感和层次次感，很很大程度上改改善了视觉效效果，同时基本保持了红外外图像像所具有的热热辐射强度和和分布，而其它几种算法对对热辐辐射信息的保保留明显不足足，体现出本算法的优越性性。

3.1.2 客观评评价

为客观评评估各算法的的性能，本文文选用平均梯梯度（aveerage gradiennt，AG）、信信息熵（entroopy，EN）、空间频频率（spatial frequency，SF）对各算算法的图像融融合质量量进行考量，用结构相似似性（structuual similarityy，SSIMM）、互信息息（mutual infformation，MMI）、视觉信息保真真度（visualinformation ffidelity，VIFF）考量融合后图像像与源红外图图像的近似程程度，总计6项评价指标标对融合合效果进行客客观评价。其其中，AG可可反映图像细节和纹纹理的变化程程度，EN 表表明图像中信信息量的大小，SF能能体现图像在在频率上的信信息丰富的程程度，SSIM是对处处理后的图像像相较处理前前图像的失真真程度和损失进行评评估，MI 可衡衡量两变量间间的依赖性，用来度量融融合图像像与源红外图图像在灰度分分布上的相似似程度，VIF是基于于人类视觉失失真模型的一一种判据。以以上6 种指标标在数值值上越大，则则图像的融合合质量越好。表1和表2分别对对应图3、图44的评价指标标数值，表3为为从TNO（TThe TNOO Image Fussion Dataset））中抽取10组红外和可可见光源源图像进行融融合后得到的的指标算数平平均值。

图4 Kaamtein_1654的的融合结果Fig.4 Fusiion results of Kamtein_1654

表1 图3各算法评评价指标Table 1 Fig.3 Evvaluation indexees of each algorrithm

表2 图4各算法评评价指标Table 2 Fig.4 Evvaluation indexees of each algorrithm

表3 平均评价指标Table 3 Average evaluation indexes

从评价指标数据中可以看出，本文算法在AG、SF上占优，表明得到的融合图像在细节上的清晰度和纹理的丰富度上优于其它算法；SSIM 和MI 则反映出本文算法对红外图像热辐射信息的保留程度大于其它对比算法。虽然在EN 上不如NSCT 和NSCT-PCNN，但它们是以破坏红外热辐射整体结构信息为代价得到的，而NSCT-PCNN 在图4指标和平均指标中的VIF上高于本文算法，但由于VIF 对图像的结构信息没有反映，单凭此项无法说明NSCT-PCNN 对红外热辐射保留程度高于本文。因此，综合各评价指标来看，本文所提出的融合算法是更加有效的。

3.2 伪彩色实验

使用实验室的红外热像仪进行红外图像采集，成像温宽会根据场景自动调节。由图7、图8可见，红外图像与融合图像均能在视觉上反映出热辐射分布信息，相较于红外图像，融合图像融合了可见光细节信息，在保留热辐射分布信息的基础上，带来了更好的视觉体验，证明了本文算法的可行性。

图7 伪彩色效果图AFig.7 Pseudo-color rendering A

图8 伪彩色效果图BFig.8 Pseudo-color rendering B

4 结论

对于现有融合算法无法很好地保留红外图像热辐射这一问题，本文提出了一种基于热辐射保留的红外与可见光图像融合算法，使用NSCT 将图像分解为高频部分和低频部分，并将拉普拉斯算子和点锐度分别应用到低频和高频融合中，且在高频融合过程中作适当增强予以补偿视觉损失，最后通过逆NSCT 得到融合图像。融合后的图像不仅很好地保留了红外热辐射信息，还具有清晰的细节轮廓，相较LP 算法在AG、SF 上分别提高了18.32%和15.10%，确保了融合图像的质量，且在伪彩色变换后具有良好的视觉体验，验证了本文算法的可行性，为拓宽红外可见光图像融合技术的应用范围提供了依据。