基于FRGF和改进PCNN的红外可见光图像融合

杨艳春,王 可,闫 岩

(兰州交通大学电子与信息工程学院,甘肃 兰州 730070)

1 引 言

由于传感器技术的迅速发展,红外和可见光图像融合越来越成为了研究者们的研究重点。红外传感器得到的红外图像具备较大的反差和明显的目标,但其空间清晰度较低,并且容易受到噪声和纹理的影响,可见光传感器在纹理细节方面有较高的空间清晰度,分辨率较高,但图像的质量容易受到光照条件、天气及遮挡等环境因素的制约。故综合这两种图像的互补特征,就可以得到一个红外物体突出、纹理、边界细节特征等丰富的图像,此类图像在电力设备监测、人类视觉感知、军事应用、遥感、医学成像、目标识别和跟踪等方面得到了广泛的应用[1-4]。

目前,多尺度变换是一个广为学者们认可的方法[5-6],比如有拉普拉斯金字塔[7]、小波变换[8]、非下采样轮廓波变换(Non-Subsampled Contourlet Transform,NSCT)[9]和非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)[10]等。近年来,由于保边滤波器在边缘保留、噪声平滑等方面的效果突出,因此得到了广泛运用。为解决目标不突出、背景信息容易丢失等问题,Jiang等人采用改进引导滤波和双通道脉冲发放皮层相结合的方法[11]。Liu等人在NSST域中进行多尺度分解,利用了不可拆分小波的冗余提升特性,同时采用引导滤波器生成显著图和加权图,从而有效地提高了细节和边缘捕获能力[12]。为了较好保留图像的纹理信息,提高对比度,Chen等人提出一种基于显著性的多尺度分解的融合方法[13]。目前,多数保边滤波器在图像的边界和图像细节上都已经获得了比较优秀的成绩,但是在尺寸感知上却存在着一些缺陷。随之,Zhang等人利用滚动引导滤波器(Rolling Guidance Filter,RGF)的尺寸感知和边缘保持特性,在图像融合中有效提高了融合质量[14]。Jian等人利用RGF对图像进行多尺度分解,且通过联合双边滤波和最优校正优化来得到最终的权重图,从而有效地控制了伪影[15]。Lin等人提出了一种基于RGF和显著性检测的方法,使得有效的增强了对比度[16]。现阶段,利用滤波器方法在红外与可见光图像融合方面取得了有效成果,然而红外与可见光图像在融合过程中存在部分多尺度变换复杂以及方向数受到限制等问题,从而导致融合算法目标不突出,边缘不够清晰、对比度低。

根据上述问题,本文在滚动引导滤波器的基础上提出了一种更快速的滚动引导滤波器,可以较好地保留边缘、细节纹理信息的同时有效提高运行效率。首先,对配准的源图像通过快速滚动引导滤波和高斯滤波器实现分解;对已分解的基础层采取通过相似性匹配融合规则进行融合,从而突出图像的显著特点,以满足人眼的视觉观察;针对细节层能够更好地保存源图像细节纹理信息,可以通过基于改进后的参数自适应脉冲耦合神经网络融合方式实现融合;最后采用多尺度重构方法来得到最终的融合结果。所提方法在可以较好地保留源图像的纹理细节特征的同时,对所得的融合图像也具有较好的视觉效果,大大提高了融合算法运行效率。

2 相关工作介绍

2.1 滚动引导滤波器

滚动引导滤波器是一种非常高效的大尺度感知滤波器[17],它分为两步。首先,第一步通过高斯滤波去除小结构,描述为:

G=Gaussian(I,σs)

(1)

其中,I为输入源图像;标准差σs为尺度参数,并设置σs=2。通过大尺度空间[18]消除了小于σs的大尺度结构。第二步是边缘恢复,以第一步的高斯滤波的计算结果G为引导图像,迭代地还原已被模糊的大尺度结构边缘。由于引导滤波器复杂度较小具有保边特性,被选作联合滤波。对边缘恢复的Jt进行了迭代更新,迭代过程如下式:

(2)

其中,Jt为上一次迭代输出图像;t为迭代次数;σr控制权值,设定为σr=0.05,I,σs同上。通过上述两式得到RGF,描述如下:

U=RGF(I,σs,σr,T)

(3)

I,σs和σr同上,U表示滤波器的输出,T表示迭代次数。

2.2 改进的快速滚动引导滤波器

在RGF的基础上,提出了快速滚动引导滤波器(Fast Rolling Guided Filter,FRGF)。引导滤波器是几种流行的边缘保持平滑算法之一,它能够很有效地抑制梯度反转伪影并形成更清晰的边界轮廓,但注意到滤波器的加速没有被利用,希望这种加速能够提高融合算法性能,并进一步普及这个滤波器,于是在引导滤波器的基础上提出快速引导滤波器(Fast Guided Filter,FGF)[19],使得运行效率更高。FRGF结构模型见图1:

图1 FRGF结构模型

1)第一步利用高斯滤波器去除小结构信息,如式(1)。

2)第二步是边缘恢复,首先对上一步得到的结果G应用到快速引导滤波器中作为引导图像,公式如下:

(4)

3) FRGF通过公式(1)和(4)所得出:

U=FRGF(I,σs,σr,T,s)

(5)

T,I,s,σs和σr同上;U表示快速滚动引导滤波器的输出。

在第二步中,快速引导滤波的本质是通过下上采样使得算法的时间复杂度由O(N)降低到O(N/s2)。其中下采样就是采用最近领域插值算法对尺寸为M×N输入图像和引导图像进行比率为s的下采样操作,使得图像成为M×N分别缩小s倍的图像。上采样是指通过选择适当的插值计算在原有图像相邻像素点中间置入新的元素,进而使新图像的像素点和原有图像中相邻像素点的位置一一对应,最后通过系数映射进行线性上采样到原始大小。

为了检验快速滚动引导滤波器的有效性,本文选择图6(原始图像)进行仿真,图2是RGF和FRGF对分解图像的运行时间对比,运算时间平均减少58.87 %,运行速度有效提升。

图2 FRGF运行时间对比折线图

以上分析可知,FRGF方法的计算效率远远高于RGF方法,所需的运行时间最短。

图3为当迭代次数Iteration=4时,RGF,FRGF的滤波结果以及各自对应的三维截面图和细节放大图。在三维图像中可以看到像素的大小及分布情况,可以看出在三维图中RGF逐渐平滑大尺度边缘的曲率边缘,而FRGF保持整体图像亮度以及对比度的情况下恢复了大尺度边缘。从放大图中可以看出,FRGF在平滑曲率和保持局部图像对比度的情况下恢复了大尺度边缘,保持了边缘的区域。

图3 RGF,FRGF滤波结果分析

2.3 FRGF和高斯滤波器相结合的多尺度分解

对源图像通过FRGF分解得到基础层和细节层。仅通过设置参数σs和σr进行分解,此过程不仅浪费时间,而且无法充分分解出基础层。为了提高效率,采用FRGF和高斯滤波器结合的方法对图像进行分解。过程如下:

(6)

Dj=Uj-1-Uj,j=1,…,N-1

(7)

(8)

Bj=Uj-1-Uj,j=N

(9)

2.4 简化PCNN模型

脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)是一种反馈型网络[20-21]。PCNN最大的特点是不需要任何的训练直接可以使用,并且采用一种基于迭代的运算,然而PCNN基本模型参数过多,难以控制,导致其性能受到限制。因此本文使用图4的PCNN简化模型,且第(i,j)个简化神经元的数学表达式如式(10)所示:

图4 简化的PCNN

(10)

其中,Iij表示输入信号的灰度值;Lij[n]和Fij[n]分别表示神经元的链接和反馈信号;Yij[n]和Uij[n]分别表示神经元的脉冲输出和内部阈值;VL和Wijkl分别表示链接信号的放大系数和链接矩阵元素;αf表示指数式衰减系数,β为链接强度。PCNN的输出Yij[n]分为两种状态:点火状态(Yij[n]=1)和未点火状态(Yij[n]=0)。其中PCNN简化模型初始化为Yij[0]=0,Uij[0]=0和θij[0]=0。

2.5 改进PCNN模型

传统的PCNN模型的性能在一定程度上由PCNN的参数设置来决定,参数自适应PCNN模型中的参数分别是αf,β,VL,αθ,Vθ。本文将参数β和VL视为一个整体,但由于标准差能够很好地反映图像的纹理信息,故设λ=(βVL)STD为加权链接强度。因此在经过改进的自适应PCNN模型中,实际上只有4个参数。其中δ(s)代表了输入信号I的标准差和平均梯度的区间,s′为归一化Otsu阈值,Smax代表输入信号的最大强度,通过无参数和无监督方式自动进行选择Otsu的阈值。其中:

(11)

基于参数自适应PCNN模型进行图像融合,迭代次数n通常都可以由人工选择和决定,它的选择会影响PCNN模型的同步脉冲性。PCNN简化模型的输出幅度常由线性函数表示,导致神经元内部层次被削弱,点火幅度差异无法充分显示出来。本文使用Tanh函数计算每次迭代过程中子带系数的点火输出幅度,Tanh函数具有非线性特性,通过其非线性可以充分体现每次迭代过程中点火幅度的差异性。改进后的定义为:

(12)

(13)

3 本文融合方法

如图5所示,为本文算法流程图,本方法主要包含以下4个步骤:

图5 本文算法流程图

(2)对于基础层BI和BV,采用相似性匹配规则进行融合,从而得到融合后的基础层图像;

(4)最后进行多尺度重构得到融合结果图。

3.1 基础层融合

源图像经过FRGF分解后,将主要的轮廓信息集中在基础层图像上,用以调节融合图像的外观和对比度。所以,如何选择基础层的融合规则就十分重要。对于基础层图像BI和BV,计算BI和BV的局部能量图(小窗口内的系数平方和),表达式为:

(14)

(15)

式中,BI(x,y)表示在(x,y)处BI的基础层系数;BV(x,y)表示在(x,y)处BV的基础层系数;i表示特征层数。

由于红外图像与可见光图像在同一环境下有不同的成像特点,因此需要通过区域相似性匹配规则来比较其异同。将区域相似性匹配规则应用在基础层图像的融合,使最终的融合图像更好地体现轮廓和边缘信息。基础层图像I和V的区域相似性可表示为:

(16)

L(x,y)即对应像素点的能量相似性系数,它反映了红外和可见光图像中对应像素点能量值的相似程度,差值越大,两幅图像所对应的两个区域差异越小,否则相反,其度量范围为[-1,1],越接近1值说明存在着更大的相似性。设置阈值k′,来决定使用的融合模式,k′=0.6效果最优。如果L(x,y)≥k′,那么使用基于权重G的加权平均融合模式,其中G可表示为:

(17)

由(17)式可得到加权平均融合后的系数BF(x,y),如式(18)所示:

BF(x,y)=G(x,y)·BI(x,y)+[1-G(x,y)]·BV(x,y)

(18)

如果L(x,y)

(19)

最终的融合规则为:

BF(x,y)=

(20)

3.2 细节层融合

(1)对Fij,I[n]和Fij,V[n]进行归一化处理;

(2)采用改进的参数自适应的PCNN模型,其参数根据式(11)计算;

(3)计算式(10)～式(13),在每次迭代结束时添加以下步骤,可以累计触发次数:

Tij[n]=Tij[n-1]+Yij[n]

(21)

因此,每个神经元总的触发次数为Tij[N],其中N表示总迭代次数,DI、DV分别是红外与可见光图像的细节层系数,TDI、TDV分别是改进PCNN红外与可见光图像的触发次数,通过以下规则得到融合系数:

(22)

然后,将融合后的基础层与细节层相结合进行重构,如下:

(23)

4 实验结果与分析

为了进一步分析本文算法的有效性,对4组其大小分别为320 pixel×251 pixel、320 pixel×240 pixel、256 pixel×189 pixel和620 pixel×450 pixel的红外与可见光图像进行融合。其中,将本文算法(FRGF)和另外5种算法加以比较,结果如图6所展示,其中其他5种算法分别为RGF方法[22]、BRG方法[23]、GSF方法[24]、GF方法[25]、PIAFusion方法[26]。其中,RGF方法使用了滚动引导滤波和高斯滤波器实现了多尺度分解,利用视觉显著性图和加权最小二乘进行优化;BRG方法是一种通过红外特征提取和视觉信息保存的简单、快速的红外与视觉图像融合算法;GSF方法是一种基于结构相似性的梯度滤波方法,能够解决计算平均源梯度时受到的抵消效应影响,并突出源图像的显著特征与主要源梯度;GF方法是一种新的基于模糊梯度阈值函数和全局优化的滤波器,克服了传统基于局部加权平均的滤波器在分解过程中由于亮度的色散而导致的边缘模糊问题,保证图像的整体亮度和边缘信息;PIAFusion方法是一种基于光照感知的渐进式图像融合网络,通过利用光照概率构建光照感知损失来指导融合网络的训练,从而能够自适应地保持显著目标的强度分布并保留背景中的纹理信息。

图6 实验结果

本文方法参数的设置,设置T=4,σs=2,σr=0.05,s=2,自适应PCNN参数设置W=[0.03121,0.0312;1,0,1;0.0312,1,0.707],迭代次数n通过Tanh函数来设定。本文所有的实验均在win10系统上的Matlab2016a环境中实现的,仿真区域窗口设置为3×3。

从图6中可以看到,在第一组实验中,RGF方法与PIAFusion方法的整体融合效果良好,只是对比度和清晰度都不高;BRG方法、GF方法和GSF方法的总体融合效果比较模糊,细节纹理信息也都不清晰;而FRGF方法的总体视觉效果比较良好,纹理清晰,对比度高。第二组实验中,RGF方法和PIAFusion方法的视觉效果好、目标突出,但对比度低;BRG方法可以很好的保存目标信息,但细节信息丢失严重;GF方法边缘细节纹理保存较好,消除小梯度噪声信息,但目标对象不突出;GSF方法对比度高,但边缘有虚影产生,细节信息丢失较多;FRGF方法保留特征信息的同时,目标人物突出显著,纹理细节清晰,视觉效果最佳。第三组和第四组实验中,RGF方法、PIAFusion方法和GF方法的总体融合效果都很好,但场景图像不丰富,细节图像也不清晰;而GSF方法的总体融合效果较模糊,且存在过多的噪声信号,总体对比度也不高;BRG方法效果相对显著,但场景信息不够丰富,且边缘细节信息丢失严重;相比之下,FRGF方法的总体视觉效果比较良好,不但可以防止融合目标的边缘部分出现虚影,而且也更好的保存了源图象的总体轮廓和图像细节信息,从而增加了对比度和亮度。

由于人眼视觉差异,主观评价方法存在一定的局限性。因此本文引入了空间频率(SF)、平均梯度(AG)、视觉保真度(VIFF)、信息熵(EN)以及标准差(STD)这5个客观评价指标定量的评估图像的质量,如图7所示。这5种评价指标数值越高,说明融合效果就越好。

图7 客观评价指标折线图

通过观察图7客观评价指标的折线图走向趋势,可看出FRGF方法的指标值整体较高。因此,综合上述所得,本文方法优于其他对比方法。

5 结 论

传统红外可见光图像在融合过程中存在边缘及纹理细节不够清晰、对比度降低等问题,提出一种FRGF和改进PCNN的红外与可见光图像融合方法。结果表明本文方法与传统方法相比,在主观上,本文方法能够避免在目标物体的边缘区产生虚影,且细节丰富对比度高;在客观上,该方法的指标均高于其它5种方法,是一个非常高效的融合算法。为了进一步丰富融合图像的纹理和细节,在今后的研究中也将继续研究具有更好特征提取能力的融合规则。