基于各向异性GGF与自适应PCNN的NSST域图像融合

姚 杰，侯至群，朱大明，阮理念，付志涛

（1.昆明理工大学 国土资源工程学院，云南 昆明 650221；2.昆明市测绘研究院，云南 昆明 650051）

0 引言

高分辨率图像在国土空间规划、环境监测、场景解译、目标识别等领域均起到非常重要的作用，但由于传感器技术限制，目前无法获得既保留多光谱信息，又具有高分辨的空间细节信息的图像。

图像融合方法包括基于分量替换、多分辨率分析（MRA）、稀疏表示［1-2］及深度学习方法［3-4］。其中，基于多分辨率分析是目前的研究热点，由拉普拉斯金字塔和小波变换衍生而来［5］，但小波变换存在方向限制、混叠等缺点。为了解决该问题，不少学者提出曲波变换［6］、轮廓波变换［7］、剪切波变换［8］等多尺度分解方法。然而，该方法不具有平移不变性，在融合图像边缘时会发生伪吉布斯现象。

非下采样轮廓波变换（Non-subsampling Contourlet Transform，NSCT）［9-10］和非下采样剪切波变换（Non-subsampling Shear let Transform，NSST）［11-12］相较于NSCT 的计算量更少，又因其平移不变性受到广泛研究。例如，吴一全等［13］提出一种混沌蜂群优化的NSST 域融合方法。萧明伟等［14］对低频子带采用区域能量平均方法，对高频子带采用改进拉普拉斯能量和（Sum ModifiedLaplacian，SML）激励的脉冲耦合神经网络（Parameter Adaptive Pulse Coupled Neural Network，PCNN）方法融合孔径雷达图像与光学图像。Wang 等［15］分析NSST 低频和高频子带的方向性和树状结构，提出基于方向邻域和树状结构的融合策略。

脉冲耦合神经网络被称为第三代人工神经网络，具有出色的图像处理特性。例如，神经元的全局耦合和脉冲同步，现已被广泛应用于图像分割、图像增强、模式识别等领域［16］。Yin 等［17］提出一种红外和可见光图像融合算法，利用边缘梯度确定链接系数，但其他参数均使用常量。Li等［18］提出一种基于PCNN 的方法融合遥感图像，并利用图像清晰度自适应设置网络参数。Wang 等［19］提出一种基于PCNN 的多面自适应图像融合算法，根据图像信息自适应设置参数，但仍需要手动设置部分参数。Chen 等［20］提出PAPCNN 模型根据输入图像自适应确定模型内参，无需人工设置，在医学图像融合领域取得了不错的效果［21］，但在遥感图像融合中应用较少。

引导滤波器（Guided Filtering，GF）是一种局部线性滤波器，具有计算速度快、效率高等优势［22］，但仍属于局部线性模型，可能会导致晕轮伪影。为此，Kou［23］提出一个梯度域引导滤波器，引入显式一阶边缘条件约束更好地保留边缘。Ochotorena 等［24］研究表明，引导滤波器及其衍生产品无法处理高强度的过滤行为，当输入图像和引导图像结构不一致时滤波器性能较差，而这些问题的根源来自滤波器采用非加权平均方法。

为了解决上述问题，本文将多光谱图像和高空间分辨率的全色图像进行融合，基于MRA 提出一种结合各向异性梯度域引导滤波器（Anisotropic Gradient Domain Guided Filtering，AnisGGF）和PAPCNN 的NSST 域遥感图像的融合方法。本文创新点如下：①引入AnisGGF 调制NSST 域的低频子带，在保持最大光谱信息的同时，尽量减少边缘模糊现象；②引入PAPCNN 模型针对高频子带，自适应计算模型的相关参数；③采用局域方差作为PAPCNN 模型中的链接强度，依据区域特征自适应地调整链接强度；④采用S型函数解决PCNN 模型负值丢失现象。

2 相关理论

2.1 非下采样剪切波变换

非下采样剪切波变换（NSST）包括非下采样多尺度分解和方向局部化两部分［16］（见图1）。其中，采用非下采样金字塔滤波器组实现非下采样多尺度分解，保证NSST 的多尺度特性，源图像经过k层NSP 分解后得到一个低频分量和k个高频子带分量，（k+1）个和源图像的大小相同的子带；采用剪切滤波器组实现方向局部化，首先建立伪极坐标系和笛卡尔坐标系，然后使用Meyer 窗函数生成剪切波滤波器组，最后将NSP 分解得到的k个高频子带与Meyer窗函数进行卷积操作。

在二维空间中，连续剪切波变换是复合小波变换的一种特殊情况，通常被定义为：

Fig.1 Schematic diagram of NSST图1 NSST示意图

2.2 各向异性梯度域引导滤波器

首先，定义一个成本函数：

式中，N（i，j）表示以（i，j）为中心的8 邻域及中心。设置加权平均的目的是为了最大化扩散，当趋近于0 时扩散最大，可建立目标函数：

2.3 脉冲耦合神经网络

PCNN［25］是一种具有全局脉冲同步和脉冲耦合的神经网络，每个神经元由接收域、调制域和脉冲发生器构成。点火发生时间越长，图像对应的像素区域信息就越多，其表达式可以写为：

式中，n为迭代次数，Fij(n)为神经元反馈输入，Dij为外部输入，Lij(n)为连接输入，αL、αθ表示衰减时间常数，β为神经元之间的链接权重，Uij(n)代表神经元的内在活动，θij(n)为动态阈值，VL为连接输入的放大系数，ωij，pq表示神经元的突触联系，Vθ为阈值放大系数，Yij(n)表示神经元的PCNN 输出脉冲。

如图2 所示，在原模型中，若Uij(n) ＞θij(n)，神经元产生的脉冲值为1，采用S 形函数计算模型在迭代过程中的点火输出幅值。T为模型经过n次迭代后点火输出总幅值。

Fig.2 PCNN architecture图2 PCNN架构

3 图像融合

3.1 融合流程

图像融合流程如图3所示，具体步骤如下：

步骤1：将预处理后的MS 图像进行RGB-YUV 变换，从中提取亮度分量Y，并将PAN 图像与Y 进行直方图匹配。

步骤2：将匹配后的PAN 图像进行NSST，得到低频子带（LY、LP）和高频子带（HY、HP）。

步骤3：对于低频子带，采用AnisGGF 融合规则获得融合后的低频子带LF；对于高频子带，采用PAPCNN 获得相应方向的高频子带HF。

步骤4：对LF、HF进行逆NSST，得到Y'。

步骤5：将Y'与U、V 通道进行YUV-RGB 变换得到融合图像F。

Fig.3 Image fusion process图3 图像融合流程

3.2 融合策略

3.2.1 低频子带

传统低频子带融合策略通常采用加权平均方法或基于区域能量的方法，但存在对比度降低和详细信息丢失的现象。此外，系数选择偏差也会导致频谱失真。

为此，本文设计基于各向异性梯度域GF 的低频子带融合规则，通过NSST 分解的低频子带保留原始图像大部分能量和详细的空间信息。首先将PAN 的低频子带矩阵LP作为引导；然后利用各向异性梯度域引导滤波器对亮度分量Y 的低频子带矩阵LY进行空间细节优化；最后生成融合后的低频子带矩阵LF。具体数学表达式如下：

3.2.2 高频子带

Chen 等［20］提出PAPCNN 模型根据输入图像自适应调整模型参数，现已在医学图像融合领域取得了不错的效果［21］。为此，本文采用PAPCNN 作为高频子带的融合策略，该模型存在5个自由参数：αf、β、VL、αe和VE。

由式（19）可知，β、VL是的权值，可看作为一个整体进行处理。因此，设λ=βVL表示加权连接强度，其他参数为：

式中，σ（S）表示［0，1］范围中输入图像S 的标准差。S'、Smax分别表示归一化的Otsu 阈值和输入图像的最大强度。

为解决融合高频子带时发生的负值丢失情况，采用经过S形函数调制后的高频子带作为PCNN 的外部输入：

由于PCNN 模型参数中的链接强度对融合效果的影响较大。本文采用高频子带的区域方差来决定神经元之间的链接强度，依据区域特征自适应调整链接强度。具体数学表达式如下：

其中，T1、T2分别代表P 和Y 的高频子带的PCNN 模型输出。

综上所述，首先根据式（25）调制相同方向的高频子带，并将结果作为PAPCNN 的输入；然后由局域方差确定的PAPCNN 计算脉冲点火次数；最后根据式（26）和高频子带的脉冲点火次数确定融合后的高频子带HF。

4 实验结果与分析

4.1 实验数据及环境

为分析本文方法的融合性能，选择GF-2、GF6 和Geo-Eye 共3 种卫星的影像作为实验数据集，通过平均梯度（AG）、分辨率（SF）、信息熵（E）、融合质量（QAB/F）、基于视觉信息保真度的指标（VIFF）和特征互信息（FMI）共6 种指标对本文所提方法与SE、NSCT-PCNN、GF 和ISCM 进行比较，从主观视觉和客观评价指标两个方面对各方法的融合性能进行综合评价。

实验基于MATLAB R2018b 平台，CPU 为Intel Core i5-5200U，内存为4GB。NSST 分解滤波器为“maxflat”，引导滤波器中的窗口半径r为2，模糊度ɛ=10-6。PAPCNN 模型迭代次数设置为110，W=

4.2 分解层数设置

由于NSST 的分解层数及相应的方向数会影响融合效果，因此通过实验确定最佳分解层数，相关设置如表1 所示，融合结果的定量评价指标与分解层数的关系如图4所示。

Table 1 Settings of NSST decomposition layers and corresponding directions表1 NSST分解层数和对应方向数设置

Fig.4 Influence of decomposition layers on fusion effect图4 分解层数对融合效果的影响

由图4 可见，当分解层数≥4 时，6 项指标性能均较优，融合效果较好；当分解层数继续增大时，融合性能提升不明显。考虑到分解层数较多会增加时耗，因此将NSST 的分解层数设置为4。

4.3 GF-2卫星影像

4.3.1 实验数据

第一组数据来自于高分二号卫星影像，其全色影像空间分辨率为1m，多光谱影像空间分辨率为4m，本文共裁剪12 组影像进行实验，大小均为512×512 像素，源图像如图5所示。

Fig.5 The first group of experimental data图5 第一组实验数据

4.3.2 实验结果及分析

第一组图像融合结果如图6 所示，可见图6（a）融合结果整体颜色偏黑，光谱失真严重，矩形框中空间信息丢失严重；图6（b）、图6（c）清晰度相似，相较于图6（a）更清晰，空间细节更多，但相较于PAN 仍存在视觉模糊问题；图6（d）相较于前两种融合方法图形更清晰，空间信息保留更多，但图像边缘细节存在模糊，且植被地物颜色略有失真；图6（e）最为清晰，边缘细节保留最好，对比度也最好。

各方法的定量评价指标如表2 所示。其中，加粗值为5 种方法的最优评分，表格中“↑”表示评价指标越大，融合效果越好。

Table 2 Quantitative evaluation of the first group of experiments表2 第一组实验定量评价

Fig.6 Fusion results of the first group图6 第一组融合结果

由表2 可知，本文方法在第一组实验中，定量评价指标排在前2 位且排名第1 的指标居多，融合效果最好。GF方法虽具有较高的客观性，但无法平衡光谱信息和空间细节，易产生颜色失真现象。

4.4 GeoEye卫星影像

4.4.1 实验数据

第二组数据来自于GeoEye 卫星影像，全色影像为0.41m，多光谱影像为1.64m。本文共裁剪16 组影像进行实验，大小均为512×512像素，源图像如图7所示。

Fig.7 The second group of experimental data图7 第二组实验数据

4.4.2 实验结果及分析

第二组图像融合结果如图8 所示，定量评价指标见表3。由此可见，图8（d）、图8（e）相较于前3 种方法更清晰，空间信息保留更好。为了区分GF 方法和本文所提方法的差异，由表3 中6 种评价指标可知GF 相较于其他方法客观性更优。综上所示，本文所提方法在总体上具有更优的图像融合效果。

Table 3 Quantitative evaluation of the second group of experiments表3 第二组实验定量评价

4.5 GF-6卫星影像

4.5.1 实验数据

第三组数据来自于GF-6 卫星影像，全色影像为2m，多光谱影像为8m。本文共裁剪22 组影像进行实验，大小均为512×512像素，源图像如图9所示。

Fig.8 Fusion results of the second group图8 第二组融合结果

Fig.9 The third group of experimental data图9 第三组实验数据

4.5.2 实验结果及分析

第三组融合结果如图10 所示，定量评价指标见表4。综合对比光谱保真和空间保真性能，本文所提方法的图像融合效果均优于其他方法，6 项指标均排在前2 位，位于第1 位的指标（表中加粗部分）占大多数，证实该方法能较好平衡光谱和空间保真。

Table 4 Quantitative evaluation of the third group of experiments表4 第三组实验定量评价

Fig.10 Fusion results of the third group图10 第三组融合结果

5 结论

本文提出一种结合AnisGGF 和PAPCNN 的NSST 域图像融合方法。其中，采用AnisGGF 技术对NSST 域的低频子带注入空间信息，减少边缘的模糊；针对高频子带，引入PAPCNN 模型和局域方差自适应地调整神经元之间的链接强度。实验结果表明，该算法能尽可能保留源图像信息，优化图像融合效果。

为验证本文所提方法的有效性和优越性，将其与SE、NSCT-PCNN、GF、ISCM 方法进行比较，选取AG、SF、QAB/F、VIFF、E 和FMI 共6 种定量评价指标对融合性能进行评价。实验结果表明，本文所提方法的5 项指标均排在前3，综合性能最好。

然而，本次实验仅对图像的R、G、B 通道进行研究，但卫星图像中波段更多，在实际研究过程中需要将不同波段进行组合。因此，下一步将融合方法扩展到图像的各种波段，以进一步提升图像空间质量。