基于双通道PCNN的NSST域红外与可见光图像融合

王兴龙，朱 芳

(安徽新华学院 通识教育部，安徽 合肥 230088)

0 引言

随着图像传感器技术的快速发展，红外与可见光图像融合已成为图像处理领域的一大研究热点，该项技术能够有效地结合红外图像的目标特性和可见光图像的场景细节信息，增强人们对目标场景的感知和识别能力[1]，且已成功应用于军事、工业和安检等领域.

目前，基于变换域的红外与可见光图像融合算法应用非常广泛，其中较多的有小波变换、Contourlet变换、Shearlet变换及在此基础上改进的一些变换.其中小波变换具有较强的重构能力，能够提取源图像的结构和细节信息，但易丢失图像的几何信息，针对这方面缺陷,Kim Y等人[2]基于尺度函数提出一种改进增强小波变换的图像融合算法.Contourlet变换可以很好地捕捉到源图像的边缘信息，但不具备平移不变性，易在奇异点处产生伪吉布斯现象，因此A.L.Cunha等人[3]提出平移不变的非下采样Contourlet变换(NSCT)，消除了Contourlet变换过程中出现的频谱混叠现象.刘少鹏等人[4]提出一种基于区域分维和NSCT变换相结合的红外与可见光图像融合；蔡怀宇等[5]提出一种基于NSCT变换和直觉模糊集的红外与可见光图像融合算法，该算法提高了图像对比度，保留了源图像中的边缘和细节信息.这些算法都取得了非常好的融合效果，但NSCT运算效率不高，耗时较长，实用性较差.针对NSCT存在的一些不足之处，D.Labate等人[6]提出了剪切波变换(Shearlet),具有多尺度、多方向等优良的性质，但其仍不具备平移不变性，于是Easley[7]等人提出了非下采样剪切波变换(NSST)，具有Shearlet所有的优点，且运行效率高，更加适用于实时性的需求.丁文彬[8]等人提出了基于NSST和稀疏特征的红外与可见光图像融合，该方法有效保留了图像背景信息，突显了红外图像的结构信息，取得了很好的融合效果.

红外与可见光图像融合技术中，变换域的选择是首要任务，但高低频的融合准则选取同样至关重要，传统经典的融合准则主要有绝对值取大[9]、加权平均[10]和区域梯度[11]等.这些融合准则可以达到图像融合的目标，但分析不够全面，没有充分考虑红外与可见光图像自身的特点，易丢失重要细节信息，且传统的融合准则较少考虑领域及其周边因素的影响，导致融合效果不是很理想.近些年来一些学者将遗传算法[12]、粒子群算法[13]和脉冲耦合神经网络(PCNN)[14]应用于图像处理中，取得了一定的成效，其中图像融合算法中应用最多的就是PCNN.郑红等人[15]提出一种基于NSST和自适应PCNN模型的红外与可见光图像融合算法，实现了红外与可见光的有效融合，但经典的PCNN模型也存在自身的一些缺点，基于此Xiang T等人[16]提出一种基于自适应双通道PCNN的NSCT域图像融合算法，有效提高了融合图像的目标与背景的对比度；LIU等人[17]在NSST框架下提出一种基于区域双通道单连接脉冲两维神经网络和独立分量分析的红外与可见光图像融合算法，能突显融合结果的目标和细节信息.这些融合算法都取得了很好的融合效果，但没有充分考虑NSST系数特征，NSST分解后的低频子带反映了图像的近似特征，包含了图像的大量基本信息，因此低频部分的处理至关重要.

显然，图像融合技术已取得一定的成效，但目前这些优良的算法中仍存在某些方面的缺陷，基于此笔者提出一种基于NSST和双通道PCNN的红外与可见光图像融合算法，利用小波变换补偿NSST分解后的低频子带系数，实现系数的再次分解.第1步，利用S-函数对红外图像进行预处理，增强红外图像的对比度；第2步，利用NSST对预处理的红外图像和可见光图像进行分解得到低频和高频子带，由于低频子带中包含了源图像的大量细节信息，利用二维小波变换对其进行再次分解得到相应的低频和高频子带，其中低频子带采用一种基于显著图的融合策略，高频部分采用绝对值取大的原则，对处理过的低频和高频部分进行小波逆变换得到NSST重构的低频子带；第3步，对NSST分解后高频子带采用2APCNN进行处理，将边缘能量作为PCNN的刺激输入，可以充分保留图像的细节信息；第4步，对处理过的低频和高频部分采用NSST逆变换实现图像的最终融合.多组实验显示，本文算法较现有的经典融合算法取得了更好的融合效果.

1 基于2APCNN和NSST变换的红外与可见光图像融合

经典的基于变换域的图像融合算法虽然已取得很好的效果，但在细节处理、信息冗余等方面仍有所欠缺，且基于PCNN模型的融合算法计算量较大,易在图像背景处产生失真等现象.笔者针对红外与可见光自身特点优化原有的融合算法，并对其进行改进使得算法更加实用，为了增强红外图像的对比度，在进行变换域处理之前先对其进行预处理.

1.1 红外图像预处理

红外图像主要是通过目标场景的热辐射而成像的，具有较强的识别伪装的能力，但成像的清晰度较低，因此红外图像在进行NSST变换之前先利用S-函数进行预处理，以增强图像的对比度，使得融合效果更佳.S-函数定义如下：

(1)

(2)

其中A(i,j)表示红外图像的像素值；S(i,j)表示对比增强后的灰度值；μ是红外图像灰度值的均值；k是影响的参数.选取两幅经典的红外图像进行实验，图1为两幅红外图像经过S-函数处理的结果.

图1 红外图像和预增强过的图像

从视觉效果上可以看出红外图像经过预处理之后明显清晰很多，对比度也增强很多，说明红外图像经过预处理后更加适用于人类视觉需要.

1.2 低频子带融合准则

基于NSST自身所具有的优点，笔者对预处理过的红外和可见光图像分别进行4层的NSST分解得到相应的低频和高频子带，由于低频部分包含了图像的大量能量信息，是融合的关键环节，且以往经典的融合算法都是直接对低频进行处理，融合效果不是非常理想.由于NSST分解会得到一个尺寸大小与源图像相同的低频子带，因此我们先对低频部分进行二维小波变换再次得到低频和高频子带，低频子带采用一种基于显著图的融合策略，高频部分采用绝对值取大的原则.

经过小波变换分解后的低频部分仍旧包含图像的大量信息，常见的低频融合准则大多采用系数加权平均、梯度算法和区域能量等策略，这些融合方法虽取得了较好的融合效果，但在细节和边缘的处理上仍有所欠缺.这里我们根据人类视觉系统对图像对比度比较敏感的特点，提出一种基于显著图的融合准则.一幅图像的像素显著值是通过像素自身与周边像素之间的关系体现出来的，设图像f的任意像素值p处的显著值[18]定义为：

(3)

其中F(p,q)表示像素p,q间的差值，通过式(3)可以计算出低频子带所对应的显著图.由于红外与可见光图像的成像原理不同，在图像相同部位所包含的局部强度和细节信息都会相差很多，因此需要通过区域方差匹配度来衡量两者之间的差异程度，避免细节信息的丢失.局部区域方差匹配度记为：

(4)

其中G表示局部区域(本文取3*3大小)，S2I(i,j),S2V(i,j)分别表示红外与可见光图像低频子带系数在位置(i,j)处的显著值；MI,V(i,j)反映的是两幅图在相同位置显著值的接近程度，值越高说明两幅图的相似匹配度越高，否则说明区域差异较大.基于此需要设计一个阈值T，一般在0.5～1，本文取T=0.75，yF(i,j)为融合后的系数，下面给出具体的低频子带融合策略：

若MI,V(i,j)

(5)

若MI,V(i,j)≤T，说明局部相似性程度较高，则采用加权平均准则.

(6)

且自适应算子为:

(7)

对于小波变换再次分解得到的高频部分，笔者采用绝对值取大原则进行处理，并与(5)或(6)式低频处理后的结果进行小波重构可以得到最终用于NSST重构的低频子带系数.笔者采用小波变换主要是为了突显源图像的背景信息，能够较好地利用小波变换的优势，提高图像低频部分的融合效果.

1.3 高频子带融合准则

图像分解后的高频部分包含了源图像的大量细节、边缘和轮廓等信息，以往经典的融合策略大多都是“绝对值取大”、“空间频率”等方法，这些融合策略会丢失一部分细节信息.笔者基于传统PCNN提出一种双通道PCNN模型，将边缘能量(ENE[19])作为2APCNN的刺激输入，并结合边缘梯度设置链接强度，下面给出2APCNN的具体表达式：

(8)

其中Fkij(k=1,2)表示双通道的反馈输入；Skij(k=1,2)表示外部刺激输入；Lij表示链接输出项；Wijkl表示连接神经间的权值系数矩阵；Yij表示神经元的脉冲输出；αL,αθ表示时间衰减系数；VL,Vθ表示归一化参数；Uij(n)表示内部活动总数；βk(k=1,2)表示两个通道的链接强度；θij(n)表示神经元的动态阈值.在2APCNN神经网络中，当Uij(n)>θij(n-1)时,会产生一个脉冲信号，即点火一次.

由于传统的PCNN参数较多且取值较为固定,导致融合的效果不是很理想，这里我们结合高频子带系数相邻位置给出边缘梯度,即

(9)

则2APCNN的连接强度定义为：

(10)

下面给出高频子带的边缘能量并将其作为双通道的刺激输入，具体公式如下：

LEl,k(i,j)=(E1*yl,k(i,j))2+

(E2*yl,k(i,j))2+(E3*yl,k(i,j))2.

(11)

将设置过的参数应用于(8)式，并得到最终的融合系数yF，即:

(12)

2 基于2APCNN和NSST变换的红外与可见光图像融合流程

源图像在进行融合之前已进行严格的空间配准，分别记为I,V，融合后的图像记为F，则具体的融合步骤如下：

1)对红外图像I进行预处理，再将其和可见光图像V进行NSST分解(这里取N=3)，得到大小与源图像相同的低频子带图像I0N,V0N，及各方向的高频子带图像Iki,Vkj,k=1,2,…,K,j=1,2,…,N,N为分解的最大层数，K为每层分解的方向数；

2)为了更多地保留源图像的背景细节信息，将NSST分解后的低频子带图像再次进行二维小波分解，得到相应的低频和高频子带，低频子带采用基于显著图的策略进行处理，高频部分采用绝对值策略，对处理过的低频和高频进行小波逆变换得到最终用于NSST重构的低频子带部分；

3)对NSST分解后的高频子带采用自适应的2APCNN模型进行处理，采用改进的边缘梯度作为模型的链接强度β，并利用系数的边缘能量作为2APCNN模型的刺激输入，其他的初始值设为Uk,l0(i,j)=0,Lk,l0(i,j)=0,Yk,l0(i,j)=0;

4)最后将处理过的低频和高频子带进行NSST逆变换得到最终的融合图像.

图2为具体的图像融合流程.

图2 图像融合的流程

3 实验结果与分析

3.1 实验设置

为了验证笔者所提算法的有效性，选取常用的两组具有不同特点的红外与可见光图像(“Road,Leaves”)进行实验，对比的算法选取经典的基于小波变换(DWT)和基于NSST的融合算法，这两种算法都是按低频取平均，高频取大的原则进行处理.另外再选取3种近几年经典的融合算法：基于NSST的自适应PCNN融合算法(NSST-PCNN)[15]；基于补偿机制的NSCT域红外与可见光图像融合(NSCT-DWT-PCNN)[20]，该算法也是利用小波变换实现低频部分的再次分解；基于自适应双通道PCNN的NSCT域图像融合算法(NSCT-2APCNN)[16]，这3种算法在处理红外与可见光图像融合时都取得了很不错的效果.同时为了更加全面地评价本文算法，选取5个客观指标[21]进行对比分析：平均梯度(Average Gradient,AG)、标准差(Standard Deviation,STD)、信息熵(Information Entropy,IE)、互信息(Mutual Information,MI)和边缘信息保留量QAB/F.

3.2 实验结果及分析

图3的(a)和(b)为Road2红外与可见光图像，是在夜晚拍摄的道路图像，由于光线昏暗导致可见光图像中目标行人和车辆模糊看不清，红外图像中目标信息较清晰但背景模糊，下面是6种算法实现该组图像的主观和客观融合结果.

从主观视觉效果可以看出6种算法不同程度地实现了目标和背景信息的融合，其中基于DWT得到的融合图像较为暗淡，在目标和背景处较为模糊，且在奇异点处存在块效应；基于NSST的两种融合结果,即图(d)和(e)在目标背景处相对清晰一些，但对比度不高,显得图像较为灰暗，且在区域处过渡不是很自然；基于NSCT的两种融合结果,即图(f)和(g)相比之前的算法对比度有所增强，且在目标行人和车辆处清晰很多；本文算法对比度最高，道路清晰，行人和车辆明显，且在红色线内的车辆也较其他算法清晰很多.

客观数据显示近年来提出的融合算法(NSCT-DWT-PCNN，NSCT-2APCNN)在红外和可见光图像融合上取得了很大的提高，其中STD值提高最多，其他4个指标也有所提高，说明算法在对比度和细节处理上均有所改善，但由于NSCT自身算法的特点，导致计算时间较长.笔者所提算法在5个指标上均有所提高，其中AG和STD提高最多，耗时不是很长，融合效果最佳.

图4(a)和(b)为 Leaves红外与可见光图像，红外图像中目标较为清晰但背景树叶较为模糊，可见光图像中树叶清晰但目标对比度较低.图3与表1是6种算法实现该组图像的主观和客观融合结果.

图3 Road2融合结果

表1 不同融合方法处理Road2图像的客观指标

图4 Leaves融合结果

从图4和表2可以看出6种算法均考虑了源图像的互补信息，不同程度地实现了红外与可见光图像融合.DWT、NSST和NSST-PCNN这3种算法在目标板的对比度相对较低，且背景树叶处也较为模糊；NSCT-DWT-PCNN和NSCT-2APCNN融合算法在背景和目标处都相对前面3种算法清晰很多，客观指标上也有所提高，但耗时较长，不利于实际应用；笔者所提算法的目标板的对比度最高，周边细节信息更加丰富，背景树叶也较为清楚，整体视觉效果更好，且计算时间不是很长.

表2 不同融合方法处理Leaves图像的客观指标

4 结论

笔者提出的融合算法是基于变换域(NSST)的再次分解(DWT)的图像融合，有效结合了两种变换域算法的优势，实现目标和背景信息的有效保留.对DWT分解的低频和高频分别采用不同的融合准则进行处理，低频采用基于显著图的融合方法，高频直接绝对值最大；同时对NSST分解的高频部分采用改进的双通道PCNN进行处理，利用边缘信息作为模型的刺激输入，多方面自适应调节2APCNN的模型参数，以达到最优的融合效果.经过实验对比分析,可以看出本文算法在对比度和背景信息处理上均取得了很大的改进，更加符合人眼的视觉需要，其客观数值上均优于其他几种融合算法.