基于NSST多尺度熵的红外与可见光图像融合

2022-08-09任亚飞张娟梅

兵器装备工程学报 2022年7期

任亚飞，张娟梅

(洛阳理工学院，河南洛阳 471023)

1 引言

红外图像(infrared image,INF)和可见光(visible image,VIS)的图像融合采用不同种类型图像传感器对目标进行采集，属于多模式信息融合。红外图像传感器根据目标与背景自身的热辐射分布差异成像，属于被动成像，这在各种恶劣环境下和夜间的情况下效果显著。可见光图像根据目标对外界光源的各种波长光反射率的不同来成像，属于主动成像，与人的视觉感观有着高度一致的成像效果，图像具有较好的三维空间分辨率和图像清晰度。所以，将红外和可见光图像进行融合处理，可以较好结合两者优点。

图像融合的根本属于构成图像二维信息的数据融合，故又称数字图像融合，是将单个和多个图像源信息进行关联、相关和综合，从而准确提取所需的目标特征值。单一类型传感器的多个图像信息融合存在一定的冗余性，可以采用不同采集模式获得不同条件下的图像信息，融合的难点在于不同模式的匹配问题。多个类型传感器的图像信息融合可以从理论上和方法上拓宽有用信息的范围，融合的难点在于不同类型传感器对于相同目标的特征值呈现不同，如何选择融合的层次，在合适的层级上，以合适的融合体系结构来完成图像信息融合的过程。

红外和可见光图像融合的发展历经：从基于显著性、空间变换、多尺度变换、稀疏表示等传统理念，到基于各种神经网络的现代深度学习方法。显著性方法基于人类视觉显著性特点，具有降维、压缩、高效率，多用于目标检测、图像压缩等方面。稀疏表示具有降维、抗噪，多用于复杂背景图像去噪、分类、压缩等方面。深度学习在多个领域都具有领先地位，属于机器学习的发展方向，但鉴于算法的复杂程度、运行时间、稳定性、硬件配置等多方面考虑，在图像处理领域的应用不如多尺度变换的方法流行。

2 红外和可见光图像融合原理

红外图像成像通过敏感元件采集目标和背景红外辐射的温度分布，红外线波长0.75～1 000 μm，根据辐射不同来区分目标和背景，因此红外辐射具有远距离成像和抗干扰能力等优势，但红外图像具有分辨率低、像素低、纹理信息特征不明显等缺点。而可见光的绝大部分光谱是众多电磁波中人眼可以直接感知的部分，波长在0.4～0.78 μm。不同波长的电磁波频率不同，人眼对不同颜色感觉也不同，可见光图像具有较高的三维空间分辨率和相当多的纹理细节等，最适合于人类的视觉感知，但很容易受到恶劣环境的影响，如环境光照、恶劣天气和空气质量的影响。红外和可见光图像具有无处不在和互补特性，可以拓宽图像成像的电磁波长范围，融合图像具有强鲁棒且信息丰富。

2.1 像素级图像融合规则

不同类型模式传感器的图像融合可分为像素级、特征级、决策级的不同融合级别，集中式、分布式和分散式的不同融合决策。其中，像素级图像融合在相对最大程度上可以保留原始图像的信息，故研究主要考虑像素级图像融合策略，即直接在不同图像传感器输出的原始二通道或三通道数据层次上进行融合，由于该层信息保持采样率，其冗余性较高，优势在于融合图像的信息熵较大，缺点在于融合难度大复杂度高。对于图像像素级融合规则大致分为2个方向——基于图像灰度和变换域的融合算法。

1) 基于图像灰度主要考虑图像像素的几何运算，通用为均值法、极值法、加权法：

(，)=(，)+(，)

(1)

如式(1)为像素值加权的融合算法(Choose-Max，CM)，、分别代表来自不同传感器采集的二维图像，和分别代表不同传感器可信赖的权重，计算方法有均值法、方差、信息熵、深度学习等。优点是简单便于实现，通过融合增加了冗余信息，可以用来做融合指标评价，难点是权值不好计算，容易放大噪声信号。

2) 基于变换域主要考虑在全局性傅里叶变换的基础上，通常有拉普拉斯变换、像素和区域的复小波变换、小波变换、曲线波变换等。小波变换能提供图像相对完善的描述，借助信息论中样本熵计算分解后的多尺度熵作为图像融合的权值，从而降低获取到的不同图像特征值之间的关联度，进而提取目标特征值。

2.2 多尺度多分辨率图像融合

使用多尺度变换来获得输入图像不同尺度的表示形式，在不同尺度上对图像的高低频系数进行分析，低频系数表示图像的轮廓信息，高频系数表示图像的特征值信息，可选用代表轮廓和特征值的权值作为加权系数，然后对各尺度上融合后图像的多组系数进行多尺度逆变换获得原尺度上的单幅图像，作为融合结果输出。图像的多尺度分解起源于时频域变换，可采用均值滤波、双边滤波、高斯滤波(Gaussian and bilateral filters,GTF)、引导滤波(GFF)、小波变换(Haar、db4、Bior2.4、Coif3等)获取图像不同尺度的信息，如基础信息和细节信息；也类似于微分方程分解、奇异值分解、梯度构成、各向异性扩散(ADF)、低秩表示(latent low-rank representation-lat,LRR)、稀疏变换等方法；还可以将这些方法混合起来使用多尺度分解和高斯、双边滤波(a hybrid multi-scale decomposition with Gaussian and bilateral filters,HMSD)。

这种方法主要考虑多尺度分解方法的选择和用于多尺度系数融合的融合规则，通常会考虑多尺度系数的自相关性和相邻像素或不同尺度像素之间的互相关性。这些方法基于图像由多个尺度上的不同信息组成的理念，难点在于图像多尺度分解、尺度的选择和多个尺度上信息的融合、信号的重构规则等。图像多尺度多分辨率分析方法中活跃的有图像金字塔结构方法、小波变换、几何分析等多尺度分析方法。

1) 图像金字塔有高斯金字塔、拉普拉斯金字塔等，金字塔的多尺度分析在于分析固定频率多个尺度的分析。准确地说，高斯核是唯一可以产生多尺度空间的核，图像在尺度上的尺度空间表示为(，，)，由输入的二通道源图像(，)与二维高斯函数(，，)的卷积运算得到，其中尺度可变，即尺度空间的变化形式为

(，，)=(，，)*(，)

(2)

具体实现步骤：先使用低通滤波器平滑图像，再对图像进行降采样。

2) 小波变换其优势在于多尺度多分辨率分析。图像经过如式(3)的傅里叶变换后，其像素分布体现了图像的变换特征，从奈奎斯特无失真采样的角度考虑，变换的目的是希望图像经离散变换后特征尽可能的集中在少量的几个系数中，即变换后的图像具有高压缩比稀疏性的同时，具有较好的特征聚集性。

(3)

(4)

3 NSST多尺度熵的图像融合

3.1 Shearlet

脊波(ridgelet)、曲波(curvelet)、剪切波(Shearlet)等多尺度几何分析方法，作为改进的小波变换相对更有优势。图像经过剪切波变换后，会出现相对的低频和高频部分，特征的分布会随着变换尺度的不同呈现一定规律。低频部分系数保留了原图像的大部分能量信息，即便在不同尺度上，低频系数都是原图像整体轮廓的近似。高频部分包含了原图像的突出细节信息，是原图像在不同尺度下特征值提取的有效阈值信号，如边缘信息和纹理信息。

(，，)=〈，，，〉

(5)

，，()=-34((-))

(6)

式(6)为剪切波母函数几何性质在频域上更为直观，尺度参数为α∈，剪切参数为∈，平移参数为∈，膨胀矩阵表示为=(，0；0，12)具有各向异性，剪切矩阵设为=(1，；0，1)。剪切波母函数，，在不同尺度上的几何特性为紧支撑在以原点对称、为斜率的梯形对上；改变剪切参数，梯形对产生旋转面积不变；为0时，梯形对以水平轴对称，不为0时，梯形对向纵轴两边旋转，值越大旋转角度越大。梯形对面积由尺度参数控制，随着→0，尺度减小支撑区间逐渐变窄。因此，随着平移参数的连续变化可检测所有奇异点的位置，突出奇异点变化方向故可解决波前集问题。

3.2 NSST

虽然当前多尺度变换有很多，但是这些变换没有评价的标准，不加选择的变换会带来新的问题，且降低处理算法的整体性能。非下采样剪切波变换(NSST)在Shearlet良好的局部特性、频域紧支撑、时域快衰减等基础上保持采样率进行多尺度分解，使每个尺度上的高低频系数都接近最优稀疏表示。针对该系统的核心功能——图像融合，系统采用基于NSST域多尺度熵的图像融合方法。

首先分别对单模态的VIS图像和INF图像进行非下采样剪切波(NSST)变换，NSST变换过程如图1所示，主要描述多尺度多方向分解通过非下采样金字塔滤波器NSLP (non-sub sampled laplacian pyramid)，简称拉普拉斯金字塔来实现，从而保证对低频边缘、轮廓特征信息敏感，且具有平移不变性，对高频细节信息的捕捉。

图1 NSST变换过程框图

拉普拉斯金字塔第层的图像由高斯金字塔中第层图像与高斯金字塔中第+1层的图像向上采样结果之差。

NSST中的方向局部化通过剪切波滤波器(Shearlet Filter)实现，如图2所示将VIS和INF图像经过级分解，得到1个低频系数图像和个大小相同(非下采样)但尺度不同的高频系数图像。然后分别对图像低频、高频子带寻找参数最优值，按融合规则提高图像边缘敏感度，更好的提取图像特征信息，最后重构获得融合图像。

3.3 多尺度熵

融合规则中样本熵(SampEn)是近似熵(ApEn)的一种改进度量方法，描述时间序列复杂程度，在热力学、医学等一维信号上均有应用，在图像或视频等多维信号上同样可以利用样本熵的有限和一致性。样本熵的定义：

(7)

图2 数据融合过程框图

由于在实际计算应用过程中，不可能为∞，因此当取有限值时，样本熵估计为

=-ln[()()]

(8)

式(8)中:表示的维数，一般取1或2；=+1表示的维数。在通常情况下，相似容限的取值由实际应用场景中序列、图像、视频等来决定，通常选择=01～025倍的原信息标准差。

由以上定义可知样本熵没有很好地考虑不同的时间序列中可能存在不同的时间尺度，为了分析不同时间尺度下信号的复杂性，Costa等人提出了多尺度熵(Multiscale entropy，MSE)，将样本熵扩展到多个时间尺度，以便在时间尺度不确定时提供额外的观察角度和稀疏的信息含量，评估时间序列的复杂性。其数学定义为

(9)

式(9)中:表示时间尺度，代表原时间尺度上时刻的时间序列，从(-1)+1时刻到时刻代表下采样过程每次跳跃1-个数据，取周期为个数据做平均以产生不同尺度(或分辨率)的新数据。然后，计算与每个尺度或分辨率对应的样本熵值，特别针对VIS原图像中包含多种波长的反射光信息，波动较大的时间序列会产生较大的样本熵值，可以认为是具有较高复杂度的信号。因此具有高度规律性的信号，其熵值也相应较低，利用多尺度(分辨率) 上的样本熵值分别对高低频系数加权进行多尺度图像融合。

4 图像融合及评估指标

4.1 实验结果

实验采用荷兰国家应用科学院制作的TNO红外与可见光数据集，选用数据集中有关道路的两组可见光和红外图像进行处理，对图像进行NSST变换后分别对高低频信号进行融合的实验结果如图3道路1/2NSST分解后多尺度高低频图像分解及融合结果。

图3 道路1/2 NSST分解后多尺度高低频融合结果图

同时从基于像素融合方法上对比最大(小)值(pimaxmin)、像素(加权)取平均值(piwav)等融合结果，如图4道路1/2常规的图像融合结果。从小波变换上对比多种小波基选择对多尺度融合结果的影响，如图5道路1/2小波多尺度的图像融合结果。从基于NSST多尺度变换上，对比采用均值融合和多尺度熵权融合的不同结果，如图6道路1/2 基于NSST多尺度融合结果。

从多尺度变换方法上选用各向异性扩散融合(anisotropic diffusion fusion，ADF)/引导滤波(guided filtering fusion，GFF)策略进行对比，如图7道路1/2基于ADF/GFF的融合结果。

图4 道路1/2常规的图像融合结果图

图5 道路1/2小波多尺度的图像融合结果图

图6 道路1/2 基于NSST多尺度融合结果图

图7 道路1/2 基于ADF/GFF融合结果图

从图像处理算法发展来看，趋于深度学习领域，如CNN算法基于卷积神经网络，ResNet算法基于残差网络，以及基于对抗神经网络等领先深度学习算法。从实现的角度来看，这些算法相对复杂，运行时间最长，即便可考虑提升硬件使用GPU来对算法进行加速，但神经网络参数的选择和调整在实际工程中存在一定难度。ADF算法结果不如NSST算法，但从原理上融合图像中保留原图的绝大部分信息，融合损失相对较小，时间差别不大。GFF算法在部分性能指标上略优于NSST算法，类似的均值滤波、高斯滤波、拉普拉斯滤波由于算法较少的计算量，也可在一些实时性较强的场合使用。

NSST算法容易理解，在同类的多尺度分解算法中，明显优于小波基多尺度分析和多种滤波多尺度分解，且可减少伪吉布斯效应，运行时间中等。常规的一些融合策略算法最为简易，运行时间短，但是融合损失较大，融合图像中的存在不可忽略的虚假信息。最终，为了对比3种优秀算法ADF、GFF和NSST多尺度熵权，实验采用了TNO数据集中的多组图像进行实验和分析，图8、图9描述了其中两组红外和可见光原图1、图2的GFF和NSST多尺度熵权融合结果。实验从主观评价和下面指标分析，结合运算效率等多方面因素，综合考虑不同要求的图像融合算法选择。

图8 红外和可见光原图1的GFF和NSST熵权融合结果图

图9 红外和可见光原图2的GFF和NSST熵权融合结果图

4.2 图像融合指标分析

图像融合的质量评价方法一般有主观、客观2种，主观指以人眼观察为主，具有一定片面性。客观主要计算原始图像和融合图像的独立熵、平均梯度等，及衡量相互关系的联合熵、偏差、相对偏差等参数来评价融合效果。下面对融合图像质量进行了客观的指标评价，选取了11项评估指标进行定量分析。

平均梯度可感知图像微小细节的反差，可描述图像的清晰度，值越大融合质量越好；边缘强度衡量融合图像边缘信息数量，强度越大融合图像质量越好；信息熵关注融合图像灰度分布，描述所含有的信息量；灰度均值指灰度的平均水平，代表图像的亮度；标准差反应图像相对灰度均值的离散程度，值越大融合质量越好；均方误差衡量信号波动大小的对比度，主要是图像高频部分的大小；峰值信噪比是信号最大可能功率和噪声功率的比值，越大越好；空间频率体现图像灰度变化率，值越大图像越清晰；图像清晰度是描述图像细节边缘变化的突出程度；互信息衡量融合图像获取的信息量的多少，值越大图像信息量越多；结构相似性主要由协方差来度量，值越大图像越相似。针对道路1(R1)和道路2(R2)的红外和可见光图像进行不同策略融合结果的指标分析如表1融合结果指标分析，表中已将一些比较突出的指标加粗显示。

根据融合后的图像和表1中的评价数据，不难发现基于NSST多尺度熵的融合比对应像素的融合要好，融合后的图像包含的信息量多，图像清晰度高。在对应像素的融合中，对应像素取最小值的效果最差，其图像拥有的信息量丰富程度不够，图像模糊。对应像素取加权平均值法的色调过于单调，体现的信息不够丰富。在像素取大(或小)的方法中，其对图像整体的把握一般，图像一般过暗或过亮，图像对比度偏低。NSST熵权相比ADF、GFF两种优秀算法，在大多数指标上都可以略胜一筹，而ADF的结构相似性、GFF的空间频率略优于NSST熵权融合，但是如图8、图9可以看出GFF损失了大量红外图像的信息，可考虑采用多尺度引导滤波融合，或者混合模型等来提高引导滤波的优势。

表1 融合结果指标分析

综合来看实验中NSST熵权可使用于多种场合图像融合，由于在变换域上剪切波的几何性质更为直观，采用具有局部特性的剪切波变换，结合多尺度信息熵的概念，对图像信号进行多尺度熵融合(Multiscal Fusion)。实验证明融合结果具有突出的平均梯度、边缘强度、信息熵、灰度均值、标准差、均方误差、峰值信噪比、空间频率、图像清晰度、互信息等评价指标，融合结果较好。但是考虑融合结果的同时，实验中还关注到了运算时间，不可否认基于NSST多尺度熵的融合策略耗时略长，这在时效要求高的场合并不合适。实验中考虑多尺度上不同信息采用不同的融合策略来提升运算效率，具有一定效果。当然，目前实验中也发现没有一种算法是各项指标都完胜的，所以，在实际应用中需要考虑融合结果中某些指标作为侧重点，来选择适合的融合策略。