基于自适应NSST—PCNN的红外与可见光图像融合方法研究

李向阳，曹宇彤，陈笑，宦克为，王迪

（1.长春理工大学 理学院，长春 130022；2.中移建设有限公司吉林分公司，长春 130112）

图像融合技术通过使用特定的算法来处理多个传感器的数据信息，进而形成更加适合人类视觉认知系统的新图像，其主要应用于军事监视、目标跟踪、遥感探测、生物监测等多种领域［1］。红外传感器通过测量对象的热辐射来获得红外图像，相比于可见光图像，红外图像存在诸如分辨率差和对比度低的缺点［2-4］；可见光图像是传感器依据场景中物体反射率不同进行成像，具有丰富的光谱信息，但不适合在复杂环境下成像。红外和可见光图像融合技术可以提取两者之间的优势信息，弥补彼此的不足，使图像更适合人类观察使用，因此，该技术一直是图像融合领域的研究热点。

由于多尺度变换方法能够很好地提取源图像的重要信息，已被众多学者广泛的应用到图像融合领域之中。Martin［5］提出轮廓波变换的方法提取图像的纹理、边缘等信息，有效提升了融合效果。Arthur［6］提出非下采样轮廓波变换（Nonsubsampled Contourlet Transform，NSCT）方法来实现图像融合，改善了轮廓波平移时易发生变化的缺陷，提高了融合图像的质量。Arthur［7-9］提出的非下采样剪切波变换（Non-subsampled Shearlet Transform，NSST）方法，具有较高的方向灵敏度，能够更加高效地分解源图像，减少算法的运算量。而在多尺度图像融合方法中，图像低频与高频的融合规则严重影响着图像融合质量，图像低频部分融合主要强调图像的目标信息，图像高频部分融合主要是保留源图像的细节信息。基于图像的低频部分融合，曹义亲等人［11］使用压缩感知（Compressed Sensing，CS）算法快速地获取红外光与可见光图像特征信息，节省了运算时间；Rahman等人［12］利用模糊逻辑算法解决了图像背景、边缘、轮廓等不确定的问题，突出了红外图像的目标，最大限度地提高了图像对比度。针对图像的高频部分融合，朱强波等人［13］运用脉冲耦合神经网络（Pulse Coupled Neural Network，PCNN）算法减少了细节信息的丢失，进一步提高目标识别率，使融合后图像更加清晰。

综上，提出一种NSST结合自适应PCNN方法。

首先，利用NSST将源图像进行多尺度分解；其次，使用自适应模糊逻辑算法进行低频子带融合，使用链接强度自适应PCNN算法实现图像高频部分融合；最后，利用NSST逆变换重构新的融合图像。实验结果表明，相比于传统方法，该方法提供的背景细节更加丰富，保留的图像细节信息更加完整。

1 非下采样剪切波变换

非下采样剪切波变换主要是由非下采样金字塔（No subsampled Pyramid，NSP）和剪切波滤波器组（Shearlet Filter，SF）构成，具有多尺度、多方向、平移不变性、运算时间短等特性，能够快速、准确地提取源图像的重要信息。NSST变换多尺度多方向分解过程如图1所示，即利用非下采样金子塔滤波器组多尺度的分解源图像，得到低频和多层高频子带系数；再通过改进的剪切波滤波器组多方向的分解不同层次的高频子带系数，进而获得多尺度、多方向的高频子带系数。

图1 NSST多尺度多方向分解过程

对于NSST尺度的分解，主要通过红外和可见光图像尺寸大小来确定分解层数（K）值，其计算公式如式（1）所示：

式中，m，n分别为图像尺寸的高、宽；∏为无穷大取整函数。当对源图像进行l级剪切波方向分解时，可以得到数量为2l+1的方向子带图像。在仿真实验中，选择剪切滤波器尺寸为16×16。

2 PCNN模型

通过模拟动物视觉皮层系统处理信号的过程，给出一种新型的神经网络模型—脉冲耦合神经网络模型［15］。与传统的神经网络不同的是，PCNN算法在进行图像处理时不需要训练样本，节省了运算时间，提高了图像融合的实时性。更重要的是，针对图像高频部分，使用PCNN算法能够有效地保留红外图像的细节信息。其具体模型如下：

式中，下标(i,j)为像素的坐标；Sij作为神经元的外层刺激；n为迭代次数；kl为神经元与周围链接的范围，设定的链接范围3×3；Wij为连接权系数矩阵；Fij、Lij分别表示反馈输入、链接输入；Uij表示内部活动项；θij为动态阈值；β是内部活动链接系数。

在反馈输入和链接输入的共同作用下，Uij产生变化。当Uij(n) >θij(n)，神经元被激活，PCNN的脉冲输出Yij(n)＝1，产生点火；最后，让上述过程反复迭代，直到满足所需条件为止。

3 融合算法

3.1 算法模型

提出了一种换NSST域内结合自适应的PCNN的融合算法。其融合算法步骤如下：

（1）利用NSST变换将源图像分解成一个低频子带系数和多层次、多方向的高频子带系数；

（2）对于图像低频融合，使用模糊逻辑中高斯隶属度函数进行加权平均方法；而对于图像高频部分的融合，采用自适应的PCNN的方法。

（3）将低频、高频图像进行NSST逆变换，重新构成新的融合图像。

该算法的具体模型如图2所示。

图2 NSST与PCNN相结合的图像融合算法模型

3.2 低频子带融合规则

模糊逻辑是一种用数字语言（如高斯隶属度函数等）表达模糊概念的方法。在图像融合领域之中，经常运用模糊逻辑算法能够分辨、解决图像中低频界限问题。因此，采用模糊逻辑中高斯隶属度函数进行加权平均的方法，进而实现低频子带的融合，其数学式如下：

高斯函数调整参数对低频图像融合有着至关重要的影响。传统的随机取值使融合效果并不理想，因此针对参数的选取，提出了一种基于自适应的模糊逻辑算法来确定k值。其具体步骤如下：

（2）设定k=0.1，以0.1步长逐渐增大，当k=2时停止。计算不同k值的可见光像素的平均背景 隶 属 度 ηk；并 求 取 ηk与 η0差 值 的 绝 对 值

（3）找出min | ηk-η0|所对应的高斯函数调整参数k0值，并计算对应的交叉熵CE0；

（4）计算不同值k的可见光图像的交叉熵，找出最小交叉熵CEmin所对应的高斯函数调整参数k1值；

（5）计算CE0与CEmin差值的绝对值 |C E0-CEmin|，判断 | CE0-CEmin|≤δ是否成立。若判断结果成立，k1值即为所确定的高斯函数调整参数。如果判断结果不成立，比较k0与k1的大小。若k0≤k1，适量增加 η0值，k0≥ k1适量减小 η0值，返回第1步，直到交叉熵的差值符合要求。

3.3 高频子带融合规则

图像高频子带通常会使用方差、绝对值最大化和区域能量等方法进行融合，这大概会损失图像的细节信息。为了使融合图像的细节信息更好的保留，将采用PCNN算法实现图像高频子带的融合。通常情况下，将单个像素的灰度值作为反馈输入，但源图像可能存在噪声因素，故对源图像进行滤波处理；同时也要尽可能地考虑到图像边缘对信息的影响，对于图像边缘的像素大小，应保持不变。

在PCNN模型中，链接强度调节着链接通道在内部活动中的权重，它的选取直接影响着融合效果。而图像的梯度表示像素之间相互影响的程度，图像梯度大的地方，像素互相影响的程度小，连接权重小；梯度小的地方，像素互相影响的程度反而大。因此，提出一种基于区域平均度的方法来表示β。

公式（11）-（15）中，I(i , j)表示图像的像素，g1、g2、g3、g4分别代表图像像素在 0°、45°、90°、135°方向上梯度变化的平方和，表示局部领域（3×3）内的平均梯度。而链接强度可以定义为：

最后，通过对平均梯度的研究，确定链接系数β。

图像的高频主要是反应图像的细节信息和纹理特征，高频子带的融合规则的优劣影响着融合图像的清晰度，其具体融合步骤如下所示：

（1）使用边缘提取算子对红外与可见光图像进行边缘检测；对于非边缘部分，源图像进行滤波处理；处理后图像的像素作为反馈输入Fij()n。

（2）设置PCNN模型中各种参数，PCNN模型中的初始值

（3）通过PCNN模型后得到输出激励YVIS(i , j)、YIR(i , j)。

4 实验结果及分析

为了验证融合的有效性，从TNO_Image_Fu‐sion_Datase［16］数据集选取两组配准完成的红外图像和可见光图像进行仿真实验。并以离散小波变换（DWT）、拉普拉斯金字塔（LP）、压缩感知（CS）、NSCT、传统的NSST等方法进行对比分析。其中小波变换选取单层“bior3.7”小波，LP将源图像分解成3层，采用加权平均的方法来实现图像融合；NSCT变换采用“dmaxflat7”滤波器，其方向级数[3 ,3]，再与PCNN算法相结合。最后，通过与上述五种算法比较，从主、客观双重角度评价所提出的算法的优劣。

第一组实验图像为“UN Camp”红外和可见光图像，融合结果如图 3所示。图3中（a）、（b）分别为红外图像和可见光图像。由图3（c）可知，融合图像的图像部分背景不明显；从图3（d）、图3（e）可知，融合图像存在虚影模糊，融合效果不够理想的问题；从图3（f）中可以看出融合图像背景信息较模糊；通过图3（g）可知，传统的NSST域内结和最大值的融合方法细节不突出。图3（h）突出了红外图像的目标，使融合图像的对比度变高，视觉效果更好。

图3 “UN Camp”红外和可见光图像以及融合结果

第二组实验图像为“pavilion”红外和可见光图像，融合结果如图4所示。图4中（a）、图4（b）分别为红外图像和可见光图像。由视觉观察得出，图 4（c）可见光背景信息不够丰富；图 4（d）并没有明显的突出红外图像的目标；图4（e）图像模糊，视觉效果相对较差；融合效果不够理想；在图 4（f）背景信息较模糊，图 4（g）的融合方法细节不突出。图4（h）具有丰富的可见光背景信息，有效地突出了红外图像的目标，更有利于观察。

为了尽可能客观地评价图像的融合质量，选取信息熵（E）、平均梯度（AG）、空间频率（SF）、互信息（MI）像素交叉熵（CE）、时间复杂度六种评价指标对融合结果进行评价。表1为“UN Camp”红外与可见光图像融合结果的评价指标，表2为“pavilion”红外和可见光图像以及融合结果的评价指标。

表1 “UN Camp”红外与可见光图像融合结果的评价指标

表2 “pavilion”红外与可见光图像融合结果的评价指标

由表1可以看出，对于“UN Camp”红外与可见光图像融合效果，本文方法均好于其他对比算法，图像质量评价指标中的信息熵、平均梯度、空间频率、互信息、交叉熵至少分别提高了1.54%、7.44%、10.5%、9.14%、0.12%算法；由表2可以看出，对于“dune”红外与可见光图像融合效果，本文方法也均好于其他对比算法，图像质量评价指标中的信息熵、平均梯度、空间频率、互信息、交叉熵分别提高了2.84%、4.52%、3.52%、12.3%、5.96%，客观上验证了自适应NSST-PCNN方法的优越性，本文算法运行时间<3 s，在执行效率上表现优异。

综上，运用自适应NSST-PCNN图像融合算法将源图像分解完成后，能够得到低频子带和多个不同层次、不同方向的高频子带系数，使用加权平均的模糊逻辑算法解决了融合过程中低频界限不清晰的问题，更好地表达源图像的特征；针对图像高频部分的融合，以处理后图像的像素作为PCNN的反馈输入，采用区域梯度调节β的大小，保持了图像的高频信息，使融合后的高频子带更能准确的反应图像的细节信息。

5 结论

提出了一种NSST结合自适应PCNN的红外与可见光图像的融合方法。源图像经过NSST变换后，能够得到低频子带和多个不同层次、不同方向的高频子带系数。针对图像低频子带的融合，采用了自适应的糊逻辑加权平均的融合规则；对于图像高频部分的融合，使用链接强度自适应的PCNN的算法。实验结果表明，相比于传统方法，基于自适应NSST-PCNN的融合图像在信息熵、空间频率、平均梯度、互信息和交叉熵五个客观评价指标上至少分别提高了1.54%、4.52%、3.52%、9.14%、0.12%。该方法提高了融合图像对比度，保留了背景细节信息，更有利于人眼观察，可以很好地应用于军事监视、目标跟踪等领域。