基于NSCT域平均梯度能量驱动红外与可见光图像融合算法

贾 鑫

(北华大学 机械工程学院,吉林 吉林 132021)

随着信息化时代的到来,集成电路、电子信息、计算机等技术的飞速发展,单传感器在信息采集方面具有单一性,无法满足实际生产生活需要,多传感器构成图像采集系统能够实现信息互补,可见光图像能够提供观察域场景信息[1],但无足够支撑光源时,进行观察域目标提取较为困难,红外光能够在极端温度下观察目标,能够用于可见光源不足时目标信息提取,进行完整场景描述,可见光图像和红外图像优势互补[2],能够得到细节丰富、特征明显、目标突出、对比度高的图像,广泛应用于航天航空、电子产品检测、资源勘测等多个领域[3]。

近些年来,红外与可见光图像融合领域研究中,涌现出许多具有创新意义的研究成果,但仍然存在目标信息提取不完善或细节处理不完整等问题。如Ma[4]等人提出了一种通过细节保留对抗学习的红外与可见光图像融合方法,得到细节保留较为完整的融合图像,但红外图像对比度较低。叶坤涛[5]等人提出了一种改进显著检测与NSST的红外与可见光图像融合算法,能够保留丰富背景信息,提高图像清晰度,但红外目标显示不够突出。Li[6]等人提出了一种基于潜在低秩表示的多级图像分解方法,通过平均融合策略很好地融合图像细节,但融合图像失去可见光部分细节背景。闵莉等人[7]提出了一种改进生成对抗网络的红外与可见光图像融合方法,能够解决传统对抗网络不易训练问题,同时提升融合精度,但融合图像存在较大噪声干扰。

针对以上问题,本文提出了一种基于NSCT域平均梯度能量驱动的红外与可见光图像融合算法,通过NSCT变换对红外图像和可见光图像进行分解,得到三频段信息,通过各个频段融合规则对三频段进行融合处理,最后通过INSCT变换得到最终融合图像。通过三组对比实验证明本文提出的方法能够获得图像分辨率高、细节完整、图像边缘高度清晰的融合图像。

1 相关理论

1.1 非下采样轮廓波变换

非下采样轮廓波(Nonsubsampled Contourlet,NSCT)分解过程通过非下采样金字塔滤波器(Nonsubsampled Pyramid Filter Bank,NBPFB)和非下采样方向滤波器(Nonsubsampled Direction Filter Bank,NBDFB)实现。NSCT分解先通过NBPFB将输入图像一级分解,得到低频子带图像和高频子带图像(又称带通子带图像),高频子带图像经过NBDFB进行多方向分解,获得带通方向子带图(Bandpass Directional Subpass,BDS),对于相同高频子带的奇异点进行融合,获得高频子带系数。一级低频子带图像通过NBPFB继续分解,以此类推可以获得1+∑X2K个子带系数(其中1为低频系数;2K为高频系数;X为分解级数)[8-9],NSCT分解过程见图1(a),图1(b)为带通方向子带。

(a) NSCT分解

1.2 脉冲耦合神经网络理论

脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)是对哺乳动物视觉皮层神经元的同步振荡现象进行模拟[10],使用 PCNN 进行分割处理对参数的选择较为重要[11],单脉冲耦合神经元的组成部分包括接收域、调制域、脉冲产生器。单个PCNN神经元模型见图2。

图2 单PCNN神经元

PCNN数学描述:

Fij(n)=Sij(n) ,

(1)

Lij(n)=e-αLLij(n-1)+VL∑klWij,klYij,kl(n-1) ,

(2)

Uij(n)=Fij(n)[1+βLij(n)] ,

(3)

θij(n)=e-αθθij(n-1)+VθYij(n-1) ,

(4)

(5)

(i,j)为网络当中神经元所处位置;Sij为外部刺激输入;Fij为反馈输入;Uij为内部活动项;θij为动态阈值;Lij为链接输入;β所表示的是耦合的链接强度系数;Wij,kl表示权重系数矩阵;α、αL为衰减系数;Vθ为输出阈值的幅值系数;VL为链接域;Yij为脉冲输出。

阈值θ高于U时,关闭脉冲生成器,随后进行θ指数衰减;当阈值θ低于U时,打开脉冲生成,神经元会形成周期性点火,通常情况下只产生一次脉冲的神经元点火,单位阶跃函数类似于神经模拟器的工作原理,点火次数数学表达式见公式(6)。

Tij(n)=Tij(n-1)+Yij(n) ,

(6)

其中Tij为点火次数。

2 本文方法

本研究提出了一种基于NSCT域AVGE驱动的红外与可见光图像的融合算法。首先使用NSCT变换对IFR和VBI分别进行分解,得到低频、中频、高频三个频段信息,再对IFR和VBI相同频段进行融合,低频段采用AVGE取最大进行融合处理,中频段采用STF取最大进行融合处理,高频部分采用AVGE-PCNN进行融合,最后经逆非下采样轮廓波变换(INSCT)得到最终融合图像,该融合方法流程图见图3。

图3 本文图像融合方法流程图

2.1 低频融合规则

低频子带图包含较多源图像能量,带有信息与原图相近,低频融合采用平均梯度能量进行融合,平均梯度(Average Gradient,AVG)是指图像[12]的边缘或者是影像两侧相邻范围内有较为显著深度不同的灰色(即灰度的改变程度率显著增加),灰度改变程度率的大小能够体现图像的清晰程度,表示图像在细微细节上差别调度的变化速率,是图像多个维度、多个方向上密度改变的速率,体现图像的相对清晰程度。平均梯度所表示的是图像的真切程度,反映图像细微处的呈现能力。

对于低频区域采用平均梯度取最大的原则来获得非下采样轮廓波融合系数,对IFR和VBI以区域大小为M×N进行分解,图像分别以位置(i,j)像素点为中心,得到区域大小为M×N的平均梯度Ga(i,j)和Gb(i,j),选取源图中平均梯度较大的子带系数用来对应融合后的子带系数进行融合,融合规则如下:

(7)

像素点(i,j)位置子带系数用A(i,j)与B(i,j)所表示,Ga(i,j)、Gb(i,j)表示原图像以中心为(i,j)区域大小M×N的平均梯度值。平均梯度值越大,图像在细节反映上越丰富,图像的清晰程度越高,图像融合质量越好。图像边缘信息的强弱由平均梯度所反映,平均梯度定义如下:

(8)

(9)

(10)

平均梯度能量数学定义如下:

(11)

本文采用平均梯度能量取最大平均梯度能量融合规则如下:

(12)

其中AVGEa(i,j)、AVGERb(i,j)表示平均梯度能量值;LFA(i,j)、LFB(i,j)表示平均梯度能量在区域M×N像素中心点(i,j)位置子带系数。选取平均梯度能量较大的子带系数作为重构后的NSCT低频子带系数。

2.2 中频融合规则

STF表示指定波形在一个单位时间内重复的次数,是以梯度为基础的表征图像质量的指标,STF包含空间行频、列频(SRF、SCF)。STF用来测量成像梯度分布,能够有效处理图像成像信息,如图像纹理、细节等,依据对纹理和边缘的敏感特性,融合STF越大表示效果越好。

函数表达为

(13)

(14)

(15)

本文对于中频段区域所采用的是STF取最大的方式进行处理,对于红外与可见光图像分解设定区域大小M×N,以(i,j)为像素中心点,将红外图像和可见光图像分解系数代入公式(13)得到IFR和VBI两幅图像空间频率,选取空间频率子带系数较大的对应为融合后子带系数进行融合,融合规则如下:

(16)

其中MSFA(i,j)、MSFB(i,j)表示空间频率值;MFA(i,j)、MFB(i,j)为空间频率子带系数。

2.3 高频融合规则

本文在高频段采用以平均梯度能量作为驱动的脉冲耦合神经网络(AGE-PCNN)进行融合,选取源图中经平均能量驱动脉冲耦合神经网络子带系数较大的用来对应融合后的子带系数进行融合,其数学表达式如下:

(17)

(18)

(19)

(20)

红外与可见光图像点火次数n,当n=nmax时,高频系数融合规则如下:

(21)

2.4 实验结果与分析

本次实验采用的是Win10系统,使用的软件是MATLAB R2019a,64位操作系统,处理器为Intel(R) Core(TM) i5-10200H CPU @ 2.40GHz 2.40 GHz,RAM (16.0GB),为了更好地呈现本文所使用的方法,将会与另外三种方法进行对比,对比方法分别是DWT算法、DTCWT算法、NSCT算法。本文采用低频平均能量取最大,中频平均梯度能量取最大,高频AGE-PCNN,经过INSCT得到最终融合图像,将对比实验进行主观评价,客观评价。

2.4.1 主观分析

主观分析是通过人类视觉直接观察融合图像后的感受,图像融合效果评估和分析是根据图像表达的完整性、图像细节表达、图像失真等标志对经过融合后的图像进行评价,满足人类生物意义上的视觉特性。主观评价具有直接、可靠等特性可以对融合图像效果有较为直观的评估。人眼的视觉差异性会消耗成本、时间等,具有片面性。图4～6为本文选取的三组红外与可见光源图,对三组源图像做相同处理,并进行对比实验分析。

图4 第一组红外图像和可见光图像

图5 第二组红外图像和可见光图像

图6 第三组红外图像和可见光图像

图7的第一组红外与可见光融合算法对比图像可以看出本文所提出的融合算法融合效果最好,例如:汽车、路灯、栏杆、山、墙壁等物体能够很好地进行融合,图像对比度、纹理、清晰度、细节等方面的信息都能够很好地进行保留。DWT融合图像成像的可读性明显降低,从实验中可以明显看出汽车成像较为模糊。DTCWT和NSCT图像虽然在成像清晰度方面有所改善,但对山、墙壁等表达缺乏可见光信息,较为模糊。

图7 第一组红外与可见光融合算法对比图

图8的第二组红外与可见光融合算法图可以看出本文所提出的融合算法效果最好,例如:树枝、灌木丛、草地等物体能够很好地融合,在图像对比度、纹理、清晰度、细节等方面的信息都能够很好地进行保留。DWT、DTCWT、NSCT在对比度方面有所改进,DWT、DTCWT、NSCT在图像边缘丢失信息较多,细节表达不完整。

图8 第二组红外与可见光融合算法对比图

图9的第三组红外与可见光融合算法图可以看出本文所提出的融合算法效果较好,对树叶、树枝等能够很好地融合,在对图像细节、纹理、清晰程度、对比度等方面的信息能够很好地进行保留。DWT成像图像较为模糊,DTCWT对比度偏低,NSCT图像细节模糊,可见光不能很好地进行融合。

图9 第三组红外与可见光融合算法对比图

2.4.2 客观分析

为了更好地说明本文融合的优势,在客观对融合图像评价方面,借助四个数据指标评估图像融合效果[13]:标准差(Standard Deviation,STD)、互信息(Mutual Information,MI)、AVG、边缘信息传递因子QAB/F。

STD[14]所表示的是图像平均灰度值与灰度值的离散情况。图像的灰度级越分散则离散值越大,图像质量越好。MI表示被融合A、B图像有效信息的相关程度。融合图像之间的差异性越小则融合图像越清晰,有效信息越多,MI的值越大。AVG是描述周围像素和图像纹理之间的差别。AVG越大则图像质量越好,图像越清晰。QAB/F表示的是原图A、B的边缘细节信息有多少被融合后图像所保留,取值范围为[0,1],图像质量越好则其值越大。

由表1可以看出,本文平均梯度、互信息、标准差均高于其他融合算法据,则表明本文融合图像灰度等级分散,融合后图像有效信息多,包含较多源图像边缘信息。

表1 第一组融合结果客观评估

由表2可以看出,DWT标准差上较优于DTCWT和NSCT,在边缘纹理细节的保留和边缘细节信息保留上不如DWT和DTCWT,本文方法所得数据在标准差、互信息等都高于其他方法。

表2 第二组融合结果客观评估

由表3可以看出,DWT在对图像分层上比起DTCWT和NSCT来说要细致,在有效信息相关程度和边缘细节信息保留上有所不足,通过对比,本文融合方法要优于其他方法。

表3 第三组融合结果客观评估

3 结 论

针对多改进红外与可见光图像融合,提出了一种基于NSCT域平均梯度能量驱动的红外与可见光图像融合算法。在融合过程中,首先采用NSCT变换对传感器采集图像进行分解,得到三频段信息,再通过各频段融合规则进行融合,最后采用INSCT变换获得最终融合图像。通过三组对比实验证明,本文方法在主观视觉评估方面效果显著,通过与离散小波变化、双数复小波变换、非下采样轮廓波变换进行对比,本文方法在客观实验指标上表现出较好的融合效果,证实了该融合方法能够提高图像边缘清晰度,获得分辨率高、对比度清晰、边缘细节轮廓明显的融合图像,同时具有很好的自适应性。