基于NSST变换与自适应PCNN的多特征遥感图像融合

张 康,黄永东,王国芬

(北方民族大学数学与信息科学学院,宁夏 银川 750021)

1 引 言

遥感图像在军事和民用领域中都扮演着重要角色[1],如军事侦察,农业生产,地理与气象学等。在这些应用中总希望同时拥有高光谱分辨率和高空间分辨率的图像,而这一要求在实际中是很难直接得到的。由此就产生了遥感图像融合方法,从而有利于实现对图像场景的全面描述和提高观察者对图像的理解。

近年来,基于多分辨分析的融合方法[2]已成功运用到不同类型的图像融合中,其主要思想是采用小波变换[3]、Contourlet变换[4]和Curvelet变换[5]等实现图像的多尺度分解,进而执行后续的融合过程。众所周知,NSCT变换[6]不仅保持了Contourlet变换的各向异性和局部化特性,同时又具有平移不变性,故能有效防止伪吉布斯现象的发生；NSST变换[7-8]除了具有平移不变性之外,其计算效率比NSCT变换高；PCNN[9]拥有全局耦合和脉冲同步的出色特性。文献[10]中的PCNN将所有神经元的链接强度设置为相同的常数,其得到的结果与真实结果不具有一致性。另一方面,在图像融合算法中,高频子带大多采用单一的融合规则,如阈值控制[11]、平均梯度取大[12]等。这些单一规则融合图像时会产生细节表现能力不足的问题。鉴于此,王峰等[13]提出了一种基于多特征的遥感图像融合算法,采用了方差、能量和平均梯度来构造多特征的高频系数融合规则。但是,其低频系数的融合选取了像素绝对值取大的规则,降低了融合图像的质量。

为了克服以上算法的不足,本文结合NSST、PCNN和多特征的各自优点,提出了一种基于NSST变换与自适应PCNN的多特征遥感图像融合算法。首先,利用HSV变换提取MS图像的亮度分量V,并将得到的亮度分量V与PAN图像分别进行NSST变换；其次,对于低频子带,提出了一种基于自适应的PCNN融合规则,将空间频率和区域平均梯度分别作为PCNN的外部激励和链接强度；对于高频子带,采用了基于多特征的融合规则；最后,进行逆NSST变换和逆HSV变换得到融合图像。

2基于NSST变换与自适应PCNN的多特征遥感图像融合算法

图像经NSST变换后,会得到一幅低频图像和若干幅与原图像尺寸相同的高频图像。其中低频图像是原图像的近似图像,高频图像主要包含图像的细节信息,如边缘细节和线性特征等。其分解示意图见图1。另一方面,融合规则的选取对图像融合质量起着至关重要的作用。

图1 NSST分解示意图

2.1 低频子带融合规则

对于低频子带,本文采取自适应的PCNN融合规则,主要考虑其外部激励Sij和链接强度β的确定。

2.1.1 PCNN模型

PCNN是一种反馈型网络,是由Eckhorn、Reitboeck和Arndt等[9]在模拟哺乳动物的大脑视觉皮层中神经元同步行为现象提出的一类二维人工神经网络模型,具有全局耦合性和脉冲同步性。本文采用一种常用的简化模型,该模型由以下方程来描述[14]:

Fij(n)=Iij(n)

(1)

Yij,kl(n-1)

(2)

Uij(n)Fij(n)×(1+βLij(n))

(3)

θij(n)=exp(-αθ)θij(n-1)+VθYij(n-1)

(4)

(5)

其中,Sij作为神经元的反馈输入Fij;链接输入Lij是由伴随着突触权矩阵系数Wijkl的邻域神经元;振幅收益常数VL和时间衰减常数αL计算而来;Wij,kl的计算公式如下:

内部活动项Uij是通过链接强度因子β将反馈输入Fij与链接输入Lij相结合而获得；θij是动态阈值,其值是由前一状态的θij和输出结果Yij所获取；n表示最大迭代次数,k,l表示神经元的链接范围,Vθ为放大系数,αθ为衰减时间常数。若Uij(n)≥θij(n),则称神经元产生一个脉冲,即一次点火。

2.1.2 外部激励Sij的确定

由于图像的空间频率能够较好地反映原图像的边缘细节信息,因此,选择区域空间频率[14]作为PCNN的外部激励,能够取得较好地融合效果。一般情况下,空间频率只考虑水平和垂直两个方向的计算,而实际上,对角线方向也非常重要,其能够反映图像对角方向的边缘细节信息。为此,本文采用改进后的空间频率,数学表达式如下:

第五，校园周边的环境也亟待整治。现在各大学校园的周边布满了各类娱乐场所，如网吧(且超时经营)、影院、迪吧、工作室、游戏机室、桌球室、棋牌室等。有些自控力差的大学生整日沉迷其中，不能自拔。影响了学校的正常教学，有必要予以整治，还学生一个恬静的学习环境。

(7)

其中,RF为水平方向频率;CF为垂直方向频率;MDF为对角方向频率。它们计算公式如下:

(8)

(9)

MDF=P+Q,其中:

(10)

(11)

这里M,N为图像的行数与列数；C(m,n)为图像经NSST分解后在(m,n)处的低频子带系数。

2.1.3 链接强度β的确定

链接强度β反映图像像素的特征,同时可以调节链接通道在内部活动中的权重,因此β的选取好坏直接影响着融合效果。文献[15]中提出了一种基于平均梯度的指数衰减形式,增强了图像质量,然而由于使用了依赖于像素灰度值的指数函数,使得该方法在降低计算复杂度方面变得无能为力。为此,提出一种区域平均梯度的方法,并将其作为链接强度β,定义图像的区域平均梯度为:

(12)

g1(i,j)=|I(i,j)-I(i+1,j)|

(13)

g2(i,j)=|I(i,j)-I(i,j+1)|

(14)

其中,M×N表示区域大小,在此取为3×3。

然后根据脉冲点火次数来选择融合系数。具体融合规则描述如下:

(15)

其中,CV(i,j),CPAN(i,j)分别为原MS图像的V分量和原PAN图像经NSST变换后在(i,j)处的低频系数,CF(i,j)为融合图像在(i,j)处的低频系数,YV(i,j)和YPAN(i,j)分别表示原MS图像的V分量和原PAN图像经NSST变换后在(i,j)处的低频系数的脉冲输出。

2.2 高频子带融合规则

高频系数包含了图像的细节和边缘等特征信息,所以其融合规则的选择将影响融合图像的清晰度和光谱失真度。常用的高频系数融合规则是基于标准方差、平均梯度以及能量等特征信息的融合规则。大多数的方法只使用以上一种特征作为融合规则,这样会使结果产生细节表现能力不足的问题,无法实现主观视觉和客观评价指标的综合最优。为了解决该问题,本文采取文献[13]中提出的基于多特征的规则进行高频子带的融合。规则简要描述如下:

(16)

(17)

(18)

(19)

(20)

(21)

其中,GradPAN、GradV、STDPAN、STDV、EPAN、EV分别表示PAN图像和MS图像的V分量的整幅图像的平均梯度、标准差和能量(整体平均梯度、标准差和能量都不等于0)。GradPAN(i,j)、GradV(i,j)、STDPAN(i,j)、STDV(i,j)、EPAN(i,j)、EV(i,j)分别表示PAN图像和MS图像的V分量的高频系数的区域平均梯度、标准差和能量,设定的区域大小为3×3。

2.3 本文融合算法步骤

基于以上的分析,算法步骤如下:

Step1对MS图像进行HSV变换,提取亮度分量V,并对PAN图像进行直方图匹配；

Step2分别对匹配后的PAN图像和MS图像的V分量进行NSST变换；

Step3采用2.1描述的低频融合规则对PAN图像和MS图像的V分量的低频子带进行融合；

Step4采用2.2描述的高频融合规则对PAN图像和MS图像的V分量的高频子带进行融合；

Step5通过逆NSST变换和逆HSV变换获得融合图像。

融合算法流程图见图2。

图2 本文所提算法流程图

3 实验结果与分析

为了验证算法的有效性和优越性,以Matlab2012为工具,选择2组不同的遥感图像进行仿真实验与分析,并分别与传统的NSCT、NSST、NSCT-PCNN以及文献[13]的方法进行比较。其中NSCT变换采用 “maxflat”滤波器和“dmaxflat7”滤波器,方向级数为[1,2,3],NSST变换采用“maxflat”滤波器。本文方法的PCNN参数如下:αL=1,αθ=0.2,(k,l)=(3,3),VL=1,Vθ=20,n=200。两组MS图像与PAN图像及采用不同融合算法得到的融合结果见图3和图4。

图3 第一组原图像及各方法的融合图像

图4 第二组原图像及各方法的融合图像

3.1 视觉效果评价

从图3和图4可以看出,MS图像(a)具有丰富的光谱信息,PAN图像(b)的细节信息显著。图(c)～(g)分别为采用传统的NSCT、NSST、NSCT-PCNN、文献[13]的方法以及本文方法的融合结果。由图(c)～(g)可知,这五种方法都能够从低分辨率的MS图像中提取到光谱信息,并且从高分辨率的PAN图像中提取到细节信息,并将这两种信息体现在融合图像中。然而,基于NSCT和NSST所得的融合图像(c)和(d),由于融合规则的不足,会丢失部分信息,造成细节表现能力不足,图像的轮廓、纹理模糊,尤其从第二组实验中可以看出图像对比度很低,图像很暗；基于NSCT-PCNN方法所得的融合图像(e)保留PAN细节信息的能力远不如本文方法,而从第二组试验能看出虽然其对比度要比前两种方法要好,但图像还是有点暗,说明此方法不能很好的提取出MS图像的光谱信息；基于文献[13]所得的融合图像(f),虽然取得不错的融合效果,但细节信息还是不够充分,不能高效地实现图像融合；由本文方法得到的图像(g)保存原PAN图像的轮廓、纹理细节更加清晰、丰富,并且色彩更接近原MS图像,具有较好的主观视觉效果。

3.2 客观评价

MS图像与PAN图像融合的目的是尽可能的保留PAN图像的空间信息和MS图像的光谱信息。因此,本文主要采用信息熵(IE)[16]、交叉熵(D)[16]、互信息(MI)[16]和运行时间(Time) 4种客观评价指标定量地对融合结果进行分析和比较。其中信息熵的值越大,其包含的信息量越多,融合效果越好；交叉熵能够直接表示两幅图像(融合图像和原MS图像)对应像素间的差异大小,其值越小,差异越小,融合效果越好；互信息能够反映两幅图像(融合图像和原PAN图像)的相关性,其值越大,融合效果越好。两组MS图像与PAN图像采用不同融合算法得到的融合结果客观评价指标值见表1和表2。

表1 第一组图像的客观评价结果

表2 第二组图像的客观评价结果

由表1可以看出,在第一组实验中,本文方法的信息熵和交叉熵两个客观评价指标在R、G、B波段及平均值上都是最优的,而互信息在R、G波段上是次优的,略低于文献[13]。由表2可以看出,在第二组实验中,本文方法的信息熵和交叉熵在R、G、B波段上都是最优的,互信息在B波段上是最优的,在R、G波段上是次优的,略低于最优值。从而表明,本文方法在空间信息的提高与光谱信息的增强上是整体最优的。在时间性能方面,由于本文方法使用了NSST变换,有针对性减小了计算量,其运行时间与文献[13]相比有了较大的改善,但由于引入了PCNN和多特征,所以运行时间方面要比传统的简单方法要长,但是与得到的效果相比,时间上的牺牲是值得的。因此,本文方法能够较好地适用于真实环境,具有较高的实践应用价值。

4 结 论

本文在NSST变换的多方向性和时频局部化等优良特性的基础上,结合PCNN和多特征的优点,提出了一种基于NSST和自适应PCNN的多特征遥感图像融合方法。对于低频子带,提出了一种基于自适应的PCNN融合规则；对于高频子带,采用了基于多特征的融合规则。通过两组MS与PAN图像融合实验表明,该方法可以有效提高图像融合质量,并且在视觉效果和客观指标上都有良好的表现。

参考文献:

[1] Liu J,HuangJ Y,Li H L,et al.Human visual system consistent quality assessment for remote sensing image fusion[J].ISPRS Journal of Photogrammetry and Remote Sensing,2015,105:79-90.

[2] Ghassemian H.A review of remote sensing image fusion methods[J].Information Fusion,2016,32(PA):75-89.

[3] XIN Yanan,DENG Lei.An improved remote sensing image fusion method based on wavelet transform[J].Laser & Optoelectronics Progress,2013,50(2):133-138.(in Chinese)

辛亚楠,邓磊.基于小波变换的遥感图像融合方法研究[J].激光与光电子学进展,2013,50(2):133-138.

[4] Alejaily AM,Rube I A M,Mangoud M A.Fusion of remote sensing images using Contourlet transform[J].Innovations and Advanced Techniques in Systems,Computing Sciences and Software Engineering,2008,27(2):213-218.

[5] Dong L,Yang Q,Wu H,et al.High quality multi-spectral and panchromatic image fusion technologies based on Curvelet transform[J].Neurocomputing,2015,159(C):268-274.

[6] ZHOU Shenglong,ZHANG Tao,KUAI Duojie,et al.Nonsubsampled contourlet image fusion algorithm based on directional region[J].Laser & Infrared,2013,43(2):204-207.(in Chinese)

周生龙,张涛,蒯多杰,等.基于方向区域的NSCT图像融合算法[J].激光与红外,2013,43(2):204-207.

[7] Easley G,Labate D,Lim W Q.Sparse directional image representations using the discrete shearlet transform[J].Applied & Computational Harmonic Analysis,2008,25(1):25-46.

[8] Labate D,Kutyniok G.Sparse multidimensional representation using shearlets[J].2005,39(1):298-318.

[9] Eckhorn R,Reitboeck H J,Arndt M.Feature linking via synchronization among distributed assemblies:simulations of results from cat visual cortex[J].Neurocomputing,1990,2(3):293-307.

[10] Ikuta C,Zhang S,Uwate Y,et al.A novel fusion algorithm for visible and infrared image using non-subsampled contourlet transform and pulse-coupled neural network[C]//International Conference on Computer Vision Theory and Applications.IEEE,2015:160-164.

[11] LI Wenjing,WEN Wenpeng,WANG Qinghe.A study of remote sesing image fusion method based on Contourlet transform[J].Remote Sensing For Land & Resources,2015,27(2):44-50.(in Chinese)

李文静,温文鹏,王清和.基于Contourlet变换的遥感图像融合方法研究[J].国土资源遥感,2015,27(2):44-50.

[12] Wu Y H,Yan D and Ma M X,et al.An improved compressive sensing image fusion algorithm based on NSCT transform[J].Applied Mechanics and Materials,2013,433-435:306-309.

[13] WANG Feng,CHENG Yongmei,LI Song.et.al.Remote sensing image fusion algorithm based on multi-feature[J].Journal of Northwestern Polytechnical University,2015,33(3):489-494.(in Chinese)

王峰,程咏梅,李松,等.基于多特征的遥感图像融合算法[J].西北工业大学学报,2015,33(3):489-494.

[14] JIANG Ping,ZHANG Qiang,LI Jing,et al.Fusion algorithm for infrared and visible image based on NSST and adaptive PCNN[J].Laser & Infrared,2014,44(1):108-113.(in Chinese)

江平,张强,李静,等.基于NSST和自适应PCNN的图像融合算法[J].激光与红外,2014,44(1):108-113.

[15] Xiang T,Yan L,Gao R.A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain[J].Infrared Physics & Technology,2015,69:53-61.

[16] YANG Fanglin,GUO Hongyang,YANG Fengbao.Study of evaluation methods on effect of pixel-level image fusion[J].Journal of Test and Measurement Technolongy,2002,16(4):276-279.(in Chinese)

阳方林,郭红阳,杨风暴.像素级图像融合效果的评价方法研究[J].测绘技术学报,2002,16(4):276-279.