非下采样Contourlet变换和脉冲耦合神经网络相结合的遥感图像融合方法

鲍程辉，贺新光，蒋卫国

（1.湖南师范大学资源与环境科学学院，长沙410081；2.北京师范大学减灾与应急管理研究院，北京100875）

非下采样Contourlet变换和脉冲耦合神经网络相结合的遥感图像融合方法

鲍程辉1，贺新光1，蒋卫国2

（1.湖南师范大学资源与环境科学学院，长沙410081；2.北京师范大学减灾与应急管理研究院，北京100875）

为最优保留多光谱图像光谱信息的同时，最大限度地融入全色图像的高空间信息，该文提出了一种基于非下采样Contourlet（非自适应方向多尺度分析方法）变换和脉冲耦合神经网络相结合的图像融合的方法。根据目标融合区域地物的空间分布特点，将目标融合区域划分为边缘区域和非边缘区域，并对全色图像和多光谱图像I分量在非边缘区域进行空间域融合，融入更多多光谱图像的光谱信息。然后，对多光谱图像I分量和空间域融合后的图像进行非下采样Contourlet变换，在低频子带和高频子带分别采用区域能量和空间频率作为源图像的原始信息，驱动脉冲耦合神经网络以每个像元的点火数作为活跃性测量，对图像进行融合。实验结果表明：该算法在非边缘区很好地保持了多光谱图像的光谱信息，在边缘区融入了更多的全色图像的空间细节信息，提高了融合图像的空间分辨率。

非下采样Contourlet变换；NSCT；脉冲耦合神经网络；PCNN；区域能量；空间频率；区域特征

1 引 言

图像融合是指通过采用一定的算法，将两个或多个具有互补和冗余特性的源图像融合成新的图像，使得到的图像最大限度地利用互补信息，减少冗余信息，从而获得更高清晰度和可理解性的图像［1］。在遥感技术的应用中，多光谱（Multispectral）成像传感器可获得多个光谱波段的遥感图像，但成像分辨率低，清晰度差，而全色波段（Panchromatic）成像传感器可获得高空间分辨率的全色波段遥感图像，但其光谱分辨率低。因此，如何利用多光谱图像的光谱信息和全色图像的空间信息，获得高空间分辨率的多光谱图像，成为遥感图像融合研究的热点［2］。目前，遥感图像融合在土地利用调查、城区识别和森林资源调查等遥感应用领域中发挥着极其重要的作用［3］。

遥感图像的融合方法主要在空间域和变换域中进行的。其中，空间域的融合由于直接对源图像进行融合，或者进行简单的变换，算法简单易行，但由于没有对源图像进行任何分析分解，融合效果差，已不能满足空间信息分析和提取的要求，主要的融合方法包括加权平均法、IHS融合方法［4］、PCA融合方法［5］等。变换域的融合方法，由于其对源图像的多尺度分解过程类似于人类视觉对图像系统的多层次分解过程的特性，近几年来，成为图像融合研究的重要手段。主要的分解方法包括Wavelet变换［6－8］、Ridgelet变换［9］、Curvelet变换［10］、Contourlet变换［11］、非下采样Contourlet（Nonsubsampled Contourlet transfrom，NSCT）（非自适应方向多尺度分析方法）变换［12］等。其中，2006年Cunha［12］（非自适应方向多尺度分析方法）变换等提出了非下采样Contourlet变换理论，不但继承了Contourlet变换的多尺度、多方向性，还消除了频谱的混叠现象［13］，具有平移不变性，同时不同尺度和方向的子带与源图像具有相同的大小，因此在图像融合领域得到了广泛的应用［14－17］。

脉冲耦合神经网络（Pulse Coupled Neural Networks，PCNN）是Eckhorn［18－19］于90年代末在猫等生物视觉系统的理论基础上进行改进而提出的一种新型神经网络。它模拟了猫等哺乳动物视觉层神经细胞的活动情况，具有全局耦合同步脉冲的特性，而这一特性在图像融合处理中有着非常重要的作用［20－26］。但选用何种信息作为源图像的原始信息，成为脉冲耦合神经网络融合方法的研究的重点。方辉等［25］提出直接采用NSCT系数作为源图像的原始信息，但单个系数值并不能完全表示源图像的信息。因此，Qu等［26］提出了一种空间频率驱动PCNN的图像融合算法，采用区域空间频率作为源图像的原始信息，驱动PCNN，在近红外和可见光图像，多焦距图像融合中的应用，取得了非常好的融合效果。但由于全色图像和多光谱图像与多焦距图像、近红外图像和可见光图像不同空间信息和光谱信息分布特点，使得这种融合方法并不适用于全色图像和多光谱图像的融合处理。

由于在遥感图像的融合处理中，保持多光谱图像的光谱信息和最大限度融入全色图像的高空间信息是相互矛盾的，因此，需要在两者中找到平衡。仔细分析目标融合区域可以发现不同地物交界的区域，空间信息集中而光谱信息稀疏，称之为边缘区域；而同种地物内部，光谱信息集中而空间信息稀疏，称之为非边缘域。显然，在图像融合过程中，需要在边缘区域加入更多的全色图像的空间信息，而在非边缘区域加入更多的多光谱图像的光谱信息。例如，在城乡交界处，城市内部的交通用地，建筑用地交界等边缘地区空间细节信息丰富，而郊区的农田、林地等非边缘地区光谱信息丰富。因此，利用地物的空间分布特性，首先对全色图像和多光谱图像I分量在非边缘区域进行空间域融合，使得融合后的图像在非边缘地区具有更多的多光谱图像的光谱信息，而在边缘区域保持全色图像的空间细节信息。然后，对空间域融合后的图像和多光谱图像的I分量进行NSCT，根据NSCT的低频子带和高频子带分别表示源图像的平均信息和突变信息的特点，在低频子带和高频子带分别采用区域能量和空间频率作为源图像的原始信息，驱动脉冲耦合神经网络，以每个像元的点火数作为活跃性度量，对图像进行融合。实验结果表明，融合图像在非边缘区域更好地保持多光谱图像的光谱信息的同时，边缘区域的空间信息也得到了一定程度的提高。

2 数学理论基础

2.1 非下采样Contourlet变换

NSCT是由非下采样金字塔（Nonsubsampled Pyramid，NSP）分解和非下采样方向滤波器组（Nonsubsampled Directional Filter Banks，NSDFB）相结合组成的。首先利用NSP对图像进行多尺度分解，得到一个低频子带和高频子带，实现图像的多分辨率分解，然后利用NSDFB把高频子带分解为多个方向子带，实现高频子带的多方向分解，最后对每一层的低频子带重复上述操作，得到图像的多层非下采样Contourlet变换。与Contourlet变换不同的是，在图像的分解和重构过程中，NSCT没有对NSP以及NSDFB分解后的信号分量进行分析滤波后的降采样（抽取）以及综合滤波前的上采样（插值），而是对相应的滤波器进行降采样和上采样，再对信号进行分析滤波和综合滤波，使得NSCT不仅具有多尺度分解、良好的空域和频域局部特性以及多方向性，同时还具有平移不变性以及各子带图像之间具有相同尺寸大小等特性，使得各子带图像之间容易找到对应关系，从而有利于融合规则的制定。其变换的结构图，如图1所示。对图像进行j层NSCT，首先，进行j层NSP变换输出为j个高频图像Dj（j＝1，…，J）和一个低频子带AJ，再对每个高频图像Dj进行NSDFB分解得到2lj个方向高频图像，lj表示当前NSDFB的方向分解级数。得到各尺度上的高频方向Dkj（j＝1，…，J；k＝1，…，2lj）。

图1 NSCT结构图

2.2 脉冲耦合神经网络

PCNN又称第3代人工神经网络，是Eckhorn［18－19］于90年代末在生物神经系统理论的基础上进行改进而提出的一种新型神经网络。PCNN中的单个神经元的内部结构是由接受部分（receptive section）、调制部分（modulation section）和脉冲产生部分（pulse generator section）3个功能单元动态非线性的组合在一起的。其数学公式，如式（1）和式（2）所示。

式中，O表示外部输入刺激信号，即表示源图像的原始信息；i，j表示源图像原始信息的行列号，也是神经元的行列号；l，k分别表示分解尺度和方向分解级数；L表示神经元的连接输入；W 表示神经元之间的连接权系数矩阵；VL表示连接输入放大常数；β表示连接强度；U表示神经元的内部行为；θ和Vθ分别表示变阈值输出和阈值放大常数；αL和αθ分别表示为连接输入和变阈值函数的时间常数；Y表示神经元输出；n表示迭代次数。当U＞θ时，则神经元产生一个脉冲，称为点火。T表示n次迭代中神经元对应的点火次数。在图像处理时，PCNN是一个单层的二维横向连接的神经网络。该神经网络中的神经元个数与它所要处理图形的像素点的个数相等，且每个神经元都与图像的像素点存在一一对应的关系，每个神经元与其周围的神经元都相连接。首先将源图像的原始信息驱动PCNN，计算每个像素的点火次数，把点火次数作为活跃性度量，取点火次数较大的神经元对应的系数。其融合结构和连接模型如图2所示。

图2 PCNN融合结构（a）和连接模型（b）

3 基于NSCT和PCNN相结合的融合方法

根据NSCT低频子带和高频子带不同的融合目的，即低频子带集中了图像的主要能量，包含着图像的近似轮廓信息和平均状况，主要表示图像的光谱信息。高频子带反映源图像的亮度突变特性，主要表现为图像的边缘、区域、纹理等细节信息，在低频子带和高频子带分别采用区域能量和空间频率作为源图像的原始信息驱动PCNN。利用PCNN的同步脉冲全局耦合的特点，可以在非边缘区域保持多光谱图像的光谱信息的同时，提高融合图像的在边缘区域空间的细节信息。

3.1 融合步骤

①对全色图像和多光谱图像进行图像预处理。包括图像滤波、重采样、图像配准。将多光谱图像从RGB彩色空间变换到IHS彩色空间，得到I（亮度）、H（色调）、S（饱和度）3个分量。

②通过Sobel算子对全色图像和多光谱图像提取目标融合区的边缘区域和非边缘区域，对全色图像和多光谱图像I分量进行空间域融合。空间域融合图像fs在边缘区域取全色图像fpan的像素值，在非边缘区域根据多光谱图像I分量fmul＿i和全色图像fpan灰度值的差值大小，取不同的值。当灰度差值大于0.75时，则fs的像素值取fmul＿i的值；差值在0.25和0.75之间时，fs的像素值取fmul＿i和fpan的均值；差值小于0.25时，fs的像素值取fpan的值。

③对空间域融合图像fs和多光谱图像的I分量进行J层非下采样Contourlet变换，得到如下分量：

其中，AJfs、AJfmul＿i表示空间域融合图像和多光谱图像I分量的低频子带，Dkjfs、Dkjfmul＿i表示空间域融合图像和多光谱图像I分量分解的第j层k方向的高频方向子带。

④在低频子带系数融合中，采用3×3窗口计算源图像的区域能量，如式（5）和式（6）所示。作为原始信息，代入式（1）和式（2），驱动PCNN，得到关于多光谱图像I分量和空间域融合图像低频子带系数的点火次数为AJLETmul＿i（x，y）、AJLETf（x，y）。当AJLETmul＿i（x，y）≥AJLETf（x，y）时，融合系数AJf（x，y）就取多光谱图像低频子带系数AJfmul＿i（x，y），否则，就取空间域融合图像的低频子带系数AJfs（x，y）。

⑤在高频子带系数融合中，采用空间频率作为源图像的原始信息，其计算如式（7）和式（8）所示，代入式（1）和式（2），驱动PCNN，得到关于多光谱图像I分量和空间域融合图像高频方向子带的点火次数为当时，融合系数取多光谱图像分量的高频子带系数否则，就取空间域融合图像的高频子带系数

⑥将得到融合系数进行NSCT逆变换，得到新的I分量，将得到新的I分量和多光谱图像的H分量、S分量执行HIS逆变换，得到融合图像。

4 仿真实验与分析

为验证本文所提出算法的实用性和有效性。本文选用两组全色图像（图3（a）和图3（b））和两组多光谱图像（图3（c）和图3（d））进行了融合实验，其中第1组全色图像和多光谱图像分别来自SPOT卫星和Landsat卫星，第2组图像均来自WorldView卫星。对本文提出的融合方法与其他3种融合方法进行比较。用来比较的3种融合方法分别是：①传统的基于彩色空间变换的IHS变换的融合方法［4］，将多光谱图像从RGB空间转化到IHS空间，然后直接用全色图像替换I分量。简称为T－IHS，结果如图4（a）和图4（e）所示。②对多光谱图像和全色图像进行NSCT变换，低频子带和高频子带分别采用区域能量取大和空间频率取大的融合算法，简称为N＿LSM，结果如图4（b）和图4（f）所示。③首先，对多光谱图像和全色图像采用本文提出的空间域融合方法，然后对多光谱图像和空间域融合图像进行NSCT变换，低频子带和高频子带分别采用区域能量取大和空间频率取大的融合方法，简称SN＿LSM，结果如图4（c）和图4（g）所示。本文提出的算法，简称SN－LSP，结果如图4（d）和图4（h）所示。实验中，NSCT采用“9－7”的非下采样金字塔滤波器组和“pkva”的非下采样方向滤波器组，尺度分解级数为0，1，3，4，4，对应的方向分解级数为0，2，8，16，16。PCNN的参数设置为αθ＝0.5，最大迭代次数为250。

从主观上说，4种融合图像都比原多光谱图像清晰，能够清晰地分辨融合区域中的道路和房屋，但图4（a）和图4（e）明显比其他3种融合图像光谱偏差都大，如在图中稻田明显出现了光谱扭曲。图4（c）、图4（g）、图4（d）和图4（h）与图4（b）和图4（f）相比，显然在方框等非边缘区域，如稻田，光谱信息保持较好。图4（d）和图4（h）与图4（c）和图4（g）相比，在图中边缘区域（如圆圈处），空间分辨率更高。

图3 两组多光谱和全色图像

图4 两组图像的融合结果

为了客观地评价融合图像，本文分别采用空间频率、平均梯度、信息熵、标准差、相关系数和相对偏差等6个客观参数对融合图像进行客观评价。其中，空间频率表示图像在空间域的总体活跃程度，其值越大，清晰度越高；平均梯度可敏感地反映图像对微小细节反差表达的能力，可用来评价图像的模糊程度，平均梯度越大，图像越清晰；信息熵是衡量图像信息丰富程度的一个重要指标，图像的熵值越大，表示融合图像的信息量增加，融合图像所含的信息越丰富；标准差反映图像各个像素点灰度值相对均值的离散程度，标准差越大，表示图像的像素点的灰度值越分散，图像信息越丰富；相关系数能反映融合图像与源多光谱图像的光谱特征的相似程度，即保持光谱特性的能力，相关系数越大，说明融合图像从源图像中获得的信息越多，光谱保持能力越好；相对偏差表示融合图像与源多光谱图像的光谱差异程度，相对偏差越小，光谱信息保持越好。两组图像的客观评价参数如表1和表2所示。

从表1、表2中可以看出：①比较文中的4种融合算法，在空间频率、平均梯度、信息熵和标准差方面都优于多光谱图像，表明4种融合方法都融入全色图像的空间信息。其中，T＿IHS融合图像的相关系数比较小，且相对偏差比较大，说明T＿IHS融合图像的光谱扭曲比较大。②N＿LSM、SN＿LSM和SN＿LSP融合图像，在空间频率、平均梯度、信息熵和标准差方面都接近甚至超过T＿IHS融合图像，但相关系数比T＿IHS融合图像大，相对偏差比T＿IHS融合图像小，说明基于NSCT变换融合方法的可行性和有效性。③SN＿LSM、SN＿LSP融合图像与N＿LSM融合图像相比，空间频率、平均梯度和信息熵相差微小，但相关系数大于、相对偏差小于N＿LSM融合图像，说明基于非边缘区域的空间域融合方法，有助于保持多光谱图像的光谱信息。其中，标准差有所降低，说明基于非边缘区域的融合图像空间信息方面有所降低，但损失的空间信息都是在非边缘区域内部，如在森林或稻田的内部，对融合图像的应用影响不大。④SN＿LSP融合图像与SN＿LSM融合图像相比，在空间频率、平均梯度、信息熵和标准差方面都优于SN＿LSM融合图像，且相关系数大于相对偏差小于SN＿LSM融合图像。说明SN＿LSP融合图像在边缘地区融入更多全色图像的空间细节信息，提高了融合图像的空间信息，在非边缘地区融入更多的多光谱图像的光谱信息，很好地保持了多光谱图像的光谱信息。

表1 第1组全色和多光谱图像的融合图像的客观评价参数

表2 第2组全色和多光谱图像的融合图像的客观评价参数

5 结束语

本文提出了一种结合空间域融合，基于NSCT系数区域特征和脉冲耦合神经网络相结合的融合算法。首先，根据边缘区和非边缘区侧重不同的信息特点，对全色图像和多光谱图像的I分量进行空间域融合，再将空间域融合图像和多光谱图像分量I分量采用NSCT，分别采用区域能量和空间频率作为源图像低频子带和高频子带的原始信息驱动PCNN，采用点火次数取大作为活跃性测量，选取融合系数进行逆NSCT变换。实验证明，本文提出的算法，在非边缘区域，很好地保持了多光谱图像的光谱信息，在边缘区域融入了更多的全色图像的空间细节信息。

参考文献：

［1］ WALTZ E，LLINAS J.Multisensor data fusion［M］.Boston：Artech House，1990.

［2］ VAN GENDEREN J L，POHL C.Image fusion：Issues，techniques and applications［C］.1994.

［3］ 田养军，薛春纪，马智民，等.曲波变换的高光谱遥感图像融合方法在土地利用调查中的应用［J］.遥感学报，2009，13（2）：313－318.

［4］ 瞿继双，王超，王正志.基于数据融合的遥感图像处理技术［J］.中国图像图形学报，2002，7（10）：985－992.

［5］ WAKD L.Some terms of reference in data fusion［J］.IEEE Transactions on Geoscience and Remote Sensing，1999，37（3）：1190－1193.

［6］ MALLAT S.A theory for multiresolution signal decomposition：The wavelet representation［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，1989，11（7）：674－693.

［7］ MALLAT S，ZHONG S.Characterization of signals from multiscale edges［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14（7）：710－732.

［8］ MALLAT S，HWANG W L.Singularity detection and processing with wavelets［J］.IEEE Transactions on Information Theory，1992，38（2）：617－643.

［9］ CANDES E J.Ridgelets：Theory and applications［D］.Stanford：Department of Statistics，Stanford University，1998.

［10］ STARCK J L，CANDES E J，DONOHO D L.The curvelet transform for image denoising［J］.Trans Image Processing，2005，14（3）：343－359.

［11］ DO M N，VETTERLI M.Contourlets：A new directional multi－resolution image representation［C］.Conference Record of the 36th Asilmar Conference on Signals，Systems and Computers，2002：497－501.

［12］ ESLAMI R，RADHA H.The contourlet transform for image denoising using cycle spinning［C］.Proceedings of Asilomar Conference on Signals，Systems and Computers，2003：1982－1986.

［13］ CUNHA A L，ZHOU J，DO M N.The nonsubsample contourlet theory design and application［J］.Transactionon Image Processing，2006，15（10）：1780－1792.

［14］ 沈洁，胡学龙，杨义军，等.基于非子采样Contourlet变换的图像融合算法.微电子学与计算机，2009，26（10）：74－81.

［15］ 吴一全，陈飒，罗子娟.基于无下采样Contourlet变换的图像融合［J］.中国体视学与图像分析，2008，13（2）：111－115.

［16］ 翟军涛，那彦.基于NSCT的多光谱和全色图像的融合［J］.激光与红外，2008，38（3）：282－288.

［17］ 林玉池，周欣，宋乐.基于NSCT变换的红外与可见光图像融合技术研究［J］.传感器与微系统，2008，27（12）：45－47.

［18］ LZHIKEVICHI E M.Class 1neural excitability，conventional synapses，weakly connected networks，and mathematical foundations of pulse coupled models［J］.IEEE Trans.Neural Networks，1999，10（3）：109－115.

［19］ LZHIKEVICHI E M.Weakly pulse－coupled oscillators.FM interactions，synchronization，and oscillatory associative memory［J］.IEEE Trans Neural Networks，1999，10（3）：118－121.

［20］ BROUSSARD R P，ROGERS S K，OXLEY M E，et al.Physiologically motivated image fusion for object detection using apulse coupled neural network［J］.IEEE Transactions on Neural Networks，1999，10（3）：554－563.

［21］ LI M，CAI W，TAN Z.Pulse coupled neural network based image fusion［J］.In：Proceedings of the 2nd International Symposium on Neural Networks.Chongqing，China：Springer，2005：741－746.

［22］ LI W，ZHU X F.A new algorithm of multi－modality medical image fusion based on pulse－coupled neural networks［J］.In：Proceedings of International Conference on Advances in Natural Computation.Changsha，China：Springer，2005：995－1001.

［23］ XU B C，CHEN Z.A multisensor image fusion algorithm based on PCNN［J］.In：Proceeding of the 5th World Congress on Intelligent Control and Automation.Hangzhou，China：IEEE，2004：3679－3682.

［24］ QU X B，YAN J W，ZHU Z Q，et al.Multi－focus image fusion algorithm based on regional ring characteristic of pulse coupled neural networks［J］.In：Proceedings of International Conference on Bio－Inspired Computing：Theories and Applications.Zhengzhou，China：Publishing House of Electronics Industry，2007：563－565.

［25］ 方辉.图像融合算法研究［D］.成都：西南交通大学，2009.

［26］ QU X B，YAN J W，XIONG H Z，et al.Image fusion algorithm based on spatial frequency－motivated pulse coupled neural networks in nonsubsampled contourlet transform domain［J］.Acta Automatica Sinica，2008，34（12），1508－1514.

An Image Fusion Method Based on Combination of NSCT and PCNN

BAO Cheng－hui1，HE Xin－guang1，JIANG Wei－guo2
（1.College of Resource and Environmental Science，Hunan Normal University，Changsha410081；2.Academy of Disaster Reduction and Emergency Management，Beijing Normal University，Beijing100875）

In order to optimally preserve the spectral information of multi－spectral images and maximally fuse the spatial information of panchromatic images，we present an image fusion method by combining the nonsubsampled Contourlet transform（NSCT）and pulse coupled neural networks（PCNN）in this paper.First，we divide target area into edge area and non－edge area according to spatial distribution characteristics of ground objects.We employ spatial domain fusion with panchromatic image and I component of multispectral image in non－edge area to improve spectral information.Second，spatial fused image and I component of multispectral image are transformed by NSCT，and we regard local energy and spatial frequency as original information of source image to motivate PCNN and fuse image by taking large number of ignition as fused rules.Experimental results demonstrate that the proposed method is feasible in both keeping spectral information at non－edge area and improving spatial information at edge area.

nonsubsampled Contourlet transform；pulse coupled neural networks；local energy；spatial frequency；local feature

10.3969／j.issn.1000－3177.2015.02.008

P237.3

A

1000－3177（2015）138－0050－07

2014－03－03

2014－04－09

湖南省十二五重点学科地理学（20110000）；国家自然科学基金项目（41171318）。

鲍程辉（1990～），男，硕士研究生，主要研究方向为遥感图像处理和分析。

E－mail：baochenghui71＠163.com

贺新光（1973～），男，博士，教授，研究方向为遥感图像处理、GIS应用与开发及与数值计算。

E－mail：xghe＠hunnu.edu.cn