基于NSST与自适应PCNN相结合的卫星云图融合

颜 文，龚 飞，周 颖，周 峰，金 炜，符冉迪



基于NSST与自适应PCNN相结合的卫星云图融合

颜 文，龚 飞，周 颖，周 峰，金 炜，符冉迪

( 宁波大学信息科学与工程学院，浙江宁波 315211 )

为了综合利用红外和可见光云图的天气信息，本文提出一种基于非下采样shearlet(NSST)与自适应脉冲耦合神经网络(PCNN)相结合的红外和可见光卫星云图融合方法。首先利用NSST对红外和可见光卫星云图进行多尺度、多方向分解，然后对分解得到的低频子带系数采用基于局部区域方差和局部区域能量的自适应加权方法进行融合，高频子带系数采用改进的自适应PCNN进行融合，其中脉冲耦合神经网络的连接强度依据高频系数区域特征的不同重要性，通过一个S型模糊隶属度函数自适应确定。最后对融合完成的低频和高频分量进行NSST逆变换得到最终的融合云图。实验结果表明，基于本文提出方法的融合图像无论是从主观视觉效果，还是客观评价指标都要优于文中对比的典型融合方法，能为后续的天气分析和处理提供具有更加丰富的气象资料。

卫星云图；图像融合；非下采样shearlet变换；自适应PCNN；模糊隶属度函数

0 引 言

地球同步静止卫星通过全天候、不间断的对地球及其大气层进行观测来获得实时卫星云图资料。目前的气象卫星主要通过使用红外、可见光和水汽三种不同通道的传感器对大气进行观测获得三种不同特性的卫星云图。红外卫星云图为探测大气云层的红外辐射强弱来成像，可以实现昼夜监测，其云图的亮度值与地表和云顶温度密切相关，云顶温度越低在图像上表现越亮。可见光卫星云图为探测地表和云系对太阳光的散射和反射的成像图，物体表面的反照率及太阳高度角决定了可见光云图的亮度值大小。因为不同通道的卫星云图成像原理不一样，其所反应的天气特征也不一样，所以单独针对每个通道的云图进行分析和处理，最终可能得不到令人满意的效果。运用图像融合技术将不同通道的卫星云图融合，可以得到包含各个通道不同天气特征的卫星云图，利用融合云图中丰富的天气信息实现气象任务的自动化分析，如强对流天气识别、云分类、台风定位等。

图像融合作为数据融合技术在图像处理中的应用，近年来成为了图像处理领域一个前沿的研究热点。基于多尺度变换的图像融合技术是目前广泛使用的融合方法，其中常用的图像多尺度变换有：wavelet、contourlet、NSCT、shearlet、非下采样shearlet(NSST)等。文献[1]提出一种基于目标提取与NSCT的图像融合方法。文献[2]提出结合稀疏表示和Shearlet变换的甲状腺图像融合方法。Shearlet从逼近理论角度来看，能实现图像的最优逼近和多分辨率分析，相比于contourlet变换在多尺度的方向选择上没有方向数目和支撑基尺寸大小的限制。NSST不仅具有shearlet变换的特点，同时又克服了shearlet不具有平移不变性的缺点，因此使用NSST进行图像的多尺度分解能获得图像的更稀疏特征。脉冲耦合神经网络(PCNN)是一种通过模拟猫的大脑视觉皮层同步脉冲发放现象建立的一种新的神经网络方法[3]，由于其具有全局耦合性和脉冲同步性的生物视觉原理，在图像融合方面得到广泛应用。传统简化PCNN模型使用常量作为神经元连接的强度，而根据人眼视觉系统的特性，神经元的连接强度应依据自身周围环境特性的不同而自适应调整。因此针对NSST变换高频系数区域特征的重要性不同，使用一个S型模糊隶属度函数自适应确定连接强度，从而将改进PCNN模型应用到NSST变换的高频系数融合中，融合云图能够提取源图像更多边缘、纹理、区域边界等细节信息。

基于以上分析，本文提出一种结合自适应PCNN模型与NSST变换的红外和可见光卫星云图融合方法。对红外和可见光卫星云图分别进行NSST分解得到低频分量和高频分量，其中低频分量采用基于局部区域方差和局部区域能量的自适应加权方法进行融合，高频分量使用本文改进的自适应PCNN融合规则，对融合完成的低频和高频分量进行NSST逆变换得到最终的融合云图。

1 NSST变换

shearlet变换是由Guo等人在合成小波理论基础上构造而成的，合成小波充分结合仿射系统的经典理论提供一种有效方法来实现图像的几何形状和多尺度分析[4]。当维数时，仿射系统的合成胀缩形式为

NSST基于shearlet变换理论，通过多尺度分解和方向局部化两个步骤实现离散化[5]。首先通过非下采样拉普拉斯金字塔(NPS)实现图像的多尺度分解，然后采用改进的剪切滤波器对已分解的各尺度子带图像进行多方向分解，改进的剪切滤波器将Shearlet中标准剪切滤波器从伪极化坐标系统映射到笛卡尔坐标系统，这种转换可以直接通过二维卷积实现。因为没有使用下采样操作，变换具有平移不变性。具体实现步骤：

1) 首先采用二维通道非下采样滤波器组将图像分解为低频图像和高频图像，之后每层的NSP分解都在上层分解得到的低频分量上进行迭代以获取图像的奇异点。因为NSP分解没有下采样过程，最终进行层迭代分解产生的1个低频图像和个带通子带图像和源图像具有一样的尺寸大小。

2) 利用“Meyer”小波构造窗函数，对个带通子带图像进行多方向分解，得到不同方向子带系数。

3) 对个带通方向子带系数进行傅里叶逆变换，获得各个带通方向的非下采样剪切波高频系数。

2 改进的脉冲耦合神经网络

图像处理应用中，标准的PCNN模型是单层的、二维的、侧向连接神经脉冲耦合的神经元网络，神经元的个数与输入图像中的像素点的个数相等。每一个神经元由一个输入部分、连接部分和一个脉冲发生器构成。本文使用一种改进的PCNN模式[6]，如图1所示，其数学模型如下：

(3)

(4)

(6)

图1 PCNN简化模型

3 结合自适应PCNN与NSST变换的卫星云图融合实现

3.1 低频系数融合规则

经NSST变换得到的低频系数包含图像的近似信息，表示图像的基本结构。传统低频系数的融合规则如加权平均法，系数绝对值最大法，只是针对单个系数的特征进行融合，容易造成图像对比度的降低和源图像有用信息的丢失。基于区域系数特征的融合规则因为充分考虑系数与其领域之间的相关性，相对单个系数的特征融合方法在对比度改善和源图像有用信息融合方面能获得更好的效果。低频系数中局部区域能量较大的中心系数代表了源图像的明显特征，基于区域能量的融合规则能提高低频系数有用信息选取的准确性和融合图像的对比度[7]。局部区域方差体现了该区域系数变化的剧烈程度，在一定程度上反映了该区域图像的清晰程度。局部区域能量和局部区域方差从不同方面体现了图像同一区域系数的重要性，综合考虑两种区域系数特征能获得比单一区域能量融合规则更好的效果。因此低频子带系数采取基于局部区域方差和局部区域能量的自适应加权方法的融合规则。

(8)

(10)

3.2 高频系数融合规则

3.2.1自适应连接强度参数的确定

基于以上分析，本文依据源图像高频系数的局部平均能量和局部信息熵不同，使用一个S型模糊隶属度函数来自适应的设置连接强度参数值[11]。文中使用和分别表示每个高频系数的局部平局能量和局部信息熵，其表达式：

(12)

(14)

其中：，，为S型模糊隶属度函数的三个参数，决定了函数的形状。为函数值上升的起点，为函数值增长率变换的交叉点，为函数值上升的终点。

3.2.2融合图像高频分量的具体过程

1) 使用上面提出的方法确定两个源图像的高频分量的自适应连接系数。

3) 将两个源图像的高频分量分别作为激励输入改进的PCNN模型，利用式(2)~(6)实现模型次的迭代，并统计式(6)的点火状态，两个源图像的最终点火次数记为。

4) 最终高频融合分量利用计算式：

3.3 红外和可见光云图融合过程的具体实现

1) 首先对要进行融合的红外和可见光云图进行配准。将已配准好的两个源图像进行NSST变换，获得高频分量和低频分量。

2) 针对两个源图像的低频分量使用3.1部分的低频系数融合规则融合，高频分量使用3.2部分的高频系数融合规则融合。

3) 对融合好的低频和高频分量，使用NSST逆变换获得最终的融合卫星云图。

4 实验结果和分析

实验选取风云二号F型卫星同时段、同位置的红外和可见光通道的卫星云图进行图像融合。为了实验处理的方便，本文从原始云图中截取640 pixel´640 pixel大小的图像区域，选取包含丰富云系特征区域，因为丰富的云系特征蕴含了丰富的天气信息。为了验证本文提出的方法在卫星云图上融合的有效性，选取了四种不同典型多尺度分解与PCNN结合的融合算法进行对比，同时针对融合图像从主观视觉效果和客观性能参数两方面进行评价。方法一[13]为提升小波变换与自适应PCNN结合方法，记作LWT+PCNN。方法二[14]为Contourlet与PCNN结合的方法，记作Contourlet+PCNN。方法三[15]为非下采样Contourlet与空间频率PCNN结合的方法，记作NSCT+SFPCNN。方法四[16]为局部化非下抽样剪切波变换与基于块奇异值分解PCNN结合的方法，记作LNSST+SVDPCNN。方法五为本文方法，记作NSST+FPCNN。实验中PCNN模型参数统一设置为=0.2、=20、=200、，连接强度依据各自文献中的方法确定。方法一中提升小波分解为三层，方法二、方法三、方法四和本文方法中的多尺度变换都进行三层分解，各层带通方向数目为8，8，16。

图2(a)为包含两个台风气旋的红外卫星云图，图2(b)为同一位置、同时段的可见光卫星云图。红外卫星云图通过检测云层的红外辐射成像，能够检测到云系的内部特征，同时云系特征和非云系特征区别非常明显，但是图像存在分辨率低的缺点，云层的表面细节特征比较缺失。可见光云图通过检测云层和地表的反射成像，因此云层表面细节纹理特征非常丰富，但是缺少云层内部特征信息，同时云系与非云系交接边界区域特征不明显，通过将两种图像融合能得到云层结构分明、云系特征明显的卫星图像。

图2(c)~(g)为五种不同融合方法得到的融合云图。从图2(c)来看，红外云图的红外云系信息得到比较好保留，同时可见光云图的纹理细节信息比较丰富，但是云系与非云系交界的区域没有很好的融合,图像的整体对比度低。图2(d)出现纹理细节模糊、不均匀现象,对比度非常差,同时因为Contourlet不具有平移不变性，图像出现了明显的伪吉布斯现象，即图像的边缘区域出现明显的伪影模糊(放大图像可以看到)。图2(e)在局部对比度方面是最好的,然而红外特征和细节纹理特征出现了错误的融合,整幅图像看起来非常杂乱,视觉效果非常差。图2(f)中红外信息基本得到保留,但是可见光细节信息没有得到很好的注入,融合图像丢失了源图像重要的信息。图2(g)视觉效果最好,图像整体对比度高,红外云系信息和可见光细节纹理信息得到很好的融合。同时云系轮廓清晰、纹理细节特征丰富、云系和非云系交界区域结构分明。这表明本文的融合方法能够很好的提取红外信息和可见光的纹理细节信息,使得红外云图云系的内部特征和可见光云图的云系表面纹理细节特征完好的结合。融合图像整体对比度好、云系特征突出、云层结构特征分明。

图2 红外云图与可见光云图源图和五种不同方法的融合结果

为了从客观上定量评价不同融合方法的性能，本文采用平均梯度(Average Gradient, AVG)、标准方差(Standard Geviation , STD)、互信息量(Mutual Information, MI)、边缘信息传递量[17]作为客观性能定量评价指标。平均梯度体现图像纹理的变化特征与细节反差程度，值越大则表明图像清晰度越高。标准差反映了图像像素值与全局均值像素值的差异情况，值越大图像越清晰。互信息量反映了源图像有多少信息转移到了融合图像中。体现融合后的图像边缘信息，其值越大信息越丰富。

表1列出了五种融合方法的性能指标。基于Contourlet+PCNN的融合方法在平均梯度、标准方差、获得最低数值，表明融合图像在清晰度和对比度方面较低，源图像的纹理细节信息不能很好的注入到融合图像，这与实验融合结果也相符合。基于NSCT+SFPCNN与LNSST+SVDPCNN在互信息量指标上获得最低,表明源图像的重要信息没有有效的融合在一起。而本文融合结果在平均梯度、互信息量、指标上最高，表明相比较文中其他典型方法，本文方法得到的融合卫星云图在对比度提升，红外特征信息和可见光纹理细节特征保留方面取得更好的结果。

表1 融合结果的量化比较

5 结 论

根据红外云图和可见光云图自身的特性以及卫星云图融合的要求，本文提出了一种基于自适应PCNN与NSST相结合的红外和可见光卫星云图融合方法。相对于其他典型多尺度变换，NSST能实现图像的最稀疏表示，且具有平移不变性，利用NSST对红外和可见光图像分解能提取出更稀疏的云系特征。同时低频子带系数采用基于局部区域方差和局部区域能量的自适应加权方法的融合规则，高频子带系数采用自适应的PCNN模型融合。实验结果表明应用本文方法的融合图像云系特征明显，边缘、纹理细节信息丰富，具有更高的清晰度。相对单独的红外和可见光云图，融合的图像包含了源图像更多重要天气信息，为后续的天气分析和处理提供了更加丰富的气象图像资料。

参考文献：

[1] 邢素霞，肖洪兵，陈天华，等. 基于目标提取与NSCT的图像融合技术研究 [J]. 光电子×激光，2013，24(3)：583-588.

XING Suxia，XIAO Hongbing，CHEN Tianhua，. Study of Image Fusion Technology Based on Object Extraction and NSCT [J]. Journal of Optoelectronics×Laser，2013，24(3)：583-588.

[2] 郑伟，孙雪青，郝冬梅，等. Shearlet变换和稀疏表示相结合的甲状腺图像融合 [J]. 光电工程，2015，42(1)：77-83.

ZHENG Wei，SUN Xueqing，HAO Dongmei，.Thyroid Image Fusion Based on Shearlet Transform and Sparse Transform [J]. Opto-Electronic Engineering，2015，42(1)：77-83.

[3] Eckhorn R，Reitboeck H，Arndt M，Feature Linking via Synchronization among Distributed Assemblies：Simulations of Results from Cat Visual cortex [J]. Neural Computation(S0899-7667)，1990，2(3)：293-307.

[4] GUO Kanghui，Labate Demetrio. Optimally Sparse Multidimensional Representation Using Shearlets [J]. Siam Journal on Mathematical Analysis(S0036-1410)，2007，39(1)：298-318.

[5] Easley Glenn R，Labate Demetrio，Lim Wang-Q. Sparse Directional Image Representations Using the Discrete Shearlet Transform [J]. Applied & Computational Harmonic Analysis(S1063-5203)，2008，25(1)：25-46.

[6] WANG Zhaobin，MA Yide，CHENG Feiyan，. Review of Pulse-coupled Neural Networks [J]. Image & Vision Computing(S0262-8856)，2010，28(1)：5-13.

[7] 李新娥，任建岳，吕增明，等. NSCT域内基于改进PCNN和区域能量的多光谱和全色图像融合方法 [J]. 红外与激光工程，2013，42(11)：3096-3102.

LI Xin¢e，REN Jianyue，LÜ Zengming，. Fusion Method of Multispectral and Panchromatic Images Based on Improved PCNN and Region Energy in NSCT Domain [J]. Infrared and Laser Engineering，2013，42(11)：3096-3102.

[8] 余瑞星，朱冰，张科. 基于PCNN和BWT的图像融合算法 [J]. 光电子×激光，2008，19(7)：956-959.

YU Ruixing，ZHU Bing，ZHANG Ke. A New Image Fusion Algorithm Based on PCNN and BWT [J]. Journal of Optoelectronics×Laser，2008，19(7)：956-959.

[9] 陈浩，朱娟，刘艳滢，等. 利用脉冲偶和神经网络的图像融合 [J]. 光学精密工程，2010，8(4)：996-1001.

CHEN Hao，ZHU Juan，LIU Yanying，. Image Fusion Based on Pulse Coupled Neural Network [J]. Optics and Precision Engineering，2010，8(4)：996-1001.

[10] Kadir Timor，Brady Michael. Saliency，Scale and Image Description [J]. International Journal of Computer Vision(S0920-5691)，2001，45(2)：83-105.

[11] Aliev Rafik Aziz. Fuzzy Sets and Fuzzy Logic：Fundamentals of the Fuzzy Logic-Based Generalized Theory of Decisions [M]. Springer Berlin Heidelberg，2013：414-446.

[12] CHENG Henda，XU Huijuan. A Novel Fuzzy Logic Approach to Contrast Enhancement [J]. Pattern Recognition(S0031-3203)，2000，33(5)：809-819.

[13] 杨艳春，党建武，王阳萍. 基于提升小波变换与自适应PCNN的医学图像融合方法 [J]. 计算机辅助设计与图形学学报，2012，24(4)：494-499.

YANG Yanchun，DANG Jianwu，WANG Yangping. A Medical Image Fusion Method Based on Lifting Wavelet Transform and Adaptive PCNN [J]. Journal of Computer-Aided Design & Computer，2012，24(4)：494-499.

[14] 刘盛鹏，方勇. 基于Contourlet变换和IPCNN的融合算法及其在可见光与红外线图像融合中的应用 [J]. 红外与毫米波学报，2007，26(3)：217-221.

LIU Shengpeng，FANG Yong. Infrared Image Fusion Algorithm Based on Contourlet Transform and Improved Pulse Couple Neural Network [J]. Journal of Infrared and Millimeter Waves，2007，26(3)：217-222.

[15] 屈小波，闫敬文，肖弘智，等. 非降采样Contourlet域内空间频率激励的PCNN图像融合算法(英文) [J]. 自动化学报，2008，34(12)：1508-1514.

QU Xiaobo，YAN Jingwen，XIAO Hongzhi，. Image Fusion Algorithm Based on Spatial Frequency Motivated PulseCoupled Neural Network in Nonsubsampled Contourlet Transform Domain [J]. Acta Automatica Sinica，2008，34(12)：1508-1514.

[16] 陈广秋，高印寒，段锦，等. 基于LNSST与PCNN的红外与可见光图像融合 [J]. 光电工程，2014，41(10)：12-20.

CHEN Guangqiu，GAO Yinhan，DUAN Jin，Fusion Algorithm of Infrared and Visible Images Based on Local NSST and PCNN [J]. Opto-Electronic Engineering，2014，41(10)：12-20.

[17] LIU Zheng，Blasch Erik，XUE Zhiyun，. Objective Assessment of Multiresolution Image Fusion Algorithms for Context Enhancement in Night Vision：A Comparative Study [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence (S0162-8828)，2012，34(1)：94-109.

Satellite Cloud Image Fusion Based on Adaptive PCNN and NSST

YAN Wen，GONG Fei，ZHOU Ying，ZHOU Feng，JIN Wei，FU Randi

( Faculty of Information Science and Engineering, Ningbo University, Ningbo315211, Zhejiang, China )

In order to comprehensive utilize infrared and visible imagery weather information, a kind of infrared and visible light satellite cloud image fusion method is put forward based on Nonsubsampled Shearlet Transform (NSST) and adaptive Pulse Coupled Neural Network (PCNN). Firstly, the infrared and visible satellite imagery were decomposed at multi-scale and multi-direction by NSST, then for the low frequency subband coefficients, an self-adaptive fusion rule algorithm based on local area energy and local area variance was presented. The high frequency subband coefficients are fused by an improved adaptive PCNN, The connection strength of pulse coupled neural network is determined by a S type fuzzy membership function according to the different importance of the regional features of high frequency coefficients. Finally, the fusion of low frequency and high frequency were reconstructed by NSST inverse transform. Experimental results show that the proposed method of image fusion is better than the typical fusion method of comparison in this paper both from subjective visual effect and objective evaluation index, and fusion cloud image can provides more rich meteorological data of weather information for the subsequent weather analysis and processing.

cloud images; image fusion; nonsubsampled shearlet transform; adaptive PCNN; fuzzy membership function

1003-501X(2016)10-0070-07

TP391.4

A

10.3969/j.issn.1003-501X.2016.10.012

2016-01-22；

2016-04-18

国家自然科学基金(61271399, 61471212)；浙江省自然科学基金(LY16F010001)；宁波市自然科学基金(2016A610091)

颜文(1990-)，男(汉族)，湖南郴州人。硕士，主要研究工作是数字图像处理。E-mail: yanwen62@126.com。