基于NSCT-PCNN的多聚焦红外图像融合

岳静静1，李茂忠，陈 骥，罗永芳，胡志宇1



基于NSCT-PCNN的多聚焦红外图像融合

岳静静1,2,3，李茂忠4，陈 骥4，罗永芳4，胡志宇1,2,3

（1.上海交通大学微米/纳米加工技术国家重点实验室，上海 200240；2.上海交通大学纳微能源研究所，上海 200240；3.上海交通大学微纳电子学系，上海 200240；4.云南北方驰宏光电有限公司，云南 昆明 650217）

由于红外镜头景深的限制，为获得场景中所有区域都聚焦清晰的图像，提出一种在非下采样轮廓波变换（NSCT）域结合改进的脉冲耦合神经网络（PCNN）的多聚焦红外图像的融合算法。首先通过NSCT将图像分解为不同尺度和方向的子带；低频子带图像利用基于一致性验证的特征选择规则进行融合；对于高频子带，采用改进的空域频率激励PCNN模型，选择点火时间最大的系数进行融合；最后通过NSCT反变换得到融合图像。通过多组同一场景不同聚焦位置下的红外图像融合实验，结果分析表明该算法能从源图像中获得更多的信息，更好地保留源图像的边缘信息，融合效果优于相关算法。

红外图像；多聚焦图像融合；脉冲耦合神经网络；非下采样轮廓波变换

0 引言

图像融合技术是将两幅或多幅图像中的信息提取出来，得到一幅信息更丰富的更适于视觉感知和计算机处理的图像的技术[1]，多聚焦融合是图像融合的一种。由于光学系统景深的限制，物体在聚焦范围内的图像是清晰的，其他区域是模糊的。为了获得场景中所有区域都聚焦清晰的图像，需要将同视点不同焦距下采集的图像进行融合，以便于肉眼观看和机器处理。

多分辨分析方法比简单加权平均法等空域算法的融合效果好，已经广泛应用于图像融合中，其中包括小波，拉普拉斯金字塔，轮廓波等[2]。传统的小波变换可以捕获有限的方向信息，但不能捕获轮廓信息，轮廓波变换可以弥补小波变换在方向上的不足，但由于采用了上下采样，也会引起奇异点周围的伪Gibbs现象。而Da Cunha等人提出的非下采样轮廓波变换（Nonsubsampled Contourlet Transform，NSCT）具有平移不变性、各向异性和丰富的方向性[3]，能够很好的解决这些问题。

脉冲耦合神经网络（Pulse Coupled Neural Networks，PCNN）是Eckhorn等人基于对猫和猴子视觉皮质中同步脉冲突发实验观察而提出的一种生物神经网络[4]，具有全局耦合和脉冲同步性特征。它已经被广泛应用于图像处理中，如图像分割，边缘提取，目标识别，图像融合[5]等领域。

红外热成像系统把物体表面的红外辐射转换成图像，通过图像灰度值反映温度信息。图像清晰度会影响温度测量精度，当场景中物体起伏超过景深时，聚焦模糊部分造成的温度误差对红外热成像系统在生物特征识别、热绝缘分析等的应用中影响显著[6]，多聚焦图像融合就十分重要。目前关于多聚焦红外图像融合的研究较少，本文借鉴可见光图像多聚焦融合相关研究思路，结合NSCT和PCNN的特点，提出一种多聚焦红外图像融合的方法。首先对红外热成像系统采集的源图像进行NSCT分解，针对分解后高低频子带的特点，采用不同的融合规则进行融合。低频子带融合采用基于一致性验证的特征选择规则，高频子带利用改进的空间频率激励的PCNN模型，根据点火时间映射选择系数融合，最后通过NSCT反变换对融合后的高低子带进行重构得到融合图像。

1 NSCT

图1 NSCT示意图

2 PCNN

PCNN是一种反馈神经网络模型，它无须训练即可实现模式识别和目标分类，因此适用于图像融合[7]。PCNN由许多神经元构成，每个神经元包括3个部分：接受域、调制域和脉冲产生器。在图像处理中，PCNN是一个二维单层脉冲耦合神经元阵列，空域或MSD域中的像素被输入到PCNN，神经元与输入图像的像素点一一对应。每个神经元的输出有两种状态，点火和非点火。神经元总点火时间会产生一个与空域或MSD域图像大小相同的点火映射，映射中每个像素值等于神经元点火时间。由于其基本模型较为复杂，为了降低时间复杂度，这里采用如图2所示简化的PCNN模型[8]。

3 基于NSCT-CV-MSF-PCNN的融合算法

本文采用NSCT对源图像进行分解，得到相应的高频子带和低频子带。对分解得到的高频子带和低频子带分别采用不同的规则进行融合：低频子带系数融合采用H. Li[9]等提出的基于一致性验证（Consistency Verification，CV）的特征选择规则；高频子带利用PCNN模型，采用改进的空域频率（Modified Spatial Frequency，MSF）作为PCNN的外部激励，根据点火时间映射选择系数进行融合；最后将融合的高频和低频子带经过反NSCT变换得到融合图像。我们称本文的算法为NSCT-CV-MSF-PCNN算法。文中记、为源图像，表示融合图像，＝(,)，、表示第级NSCT分解第个子带，L,q表示图像的低频子带系数，D,q表示图像的高频子带系数，(,)表示每个系数的空间位置。

图2 简化PCNN模型

Fig.2 Simplified PCNN model

3.1 低频子带融合规则

低频子带包含了源图像绝大部分的能量，反映了图像的近似特征。对分解得到的低频子带，系数选择采用基于绝对值最大的原则，并对选择结果进行一致性验证。对低频系数L,q，定义其最大绝对值为特征变量：

式中：为以(,)为中心的小区域，选择绝对值较大的系数作为相应位置的系数。在融合时，定义如下决策表对小区域内进行系数选择：

3.2 高频子带融合规则

高频子带表示图像相应的细节，如轮廓和边缘细节等，采用改进的MSF激励的PCNN模型进行融合。空域频率（Spatial Frequency，SF）是由Eskicioglu[10]等提出的，通过行频率（RF）和列频率（CF）来计算，反映图像的活动能级。本文采用的MSF是对SF的改进，MSF包括行频率，列频率和对角方向频率（DF）。原始的SF缺少图像中存在的方向信息，会导致图像重要细节的缺失。MSF包括方向信息，能够捕捉图像细节，可以作为图像清晰度或活动能级的度量[11]。对于×的图像块，MSF定义为：

式中：

为了降低计算复杂度，本文采用了简化的PCNN模型：

3.3 算法流程

图像融合流程如图3所示，具体步骤如下：

第一步：将源图像和分别通过NSCT分解，分别得到相应的低频子带和高频子带；

第二步：低频子带融合采用基于一致性验证的特征选择规则；

第三步：按照公式(4)～(7)，利用滑动窗口计算高频子带系数的MSF；

第四步：将每个高频子带的MSF作为外部激励输入到PCNN，按照公式(8)～(13)，产生神经元脉冲。利用公式(10)计算点火时间；

第五步：当＝时迭代停止，对得到的点火时间映射，利用公式(14)选择拥有最大点火时间的系数，作为高频融合图像的系数；

第六步：将融合的高频和低频子带系数分别通过NSCT反变换重建，得到融合图像。

4 仿真实验及结果分析

4.1 仿真实验

为验证本文算法的有效性，选用6组同视场不同聚焦位置下工作中的芯片红外图像进行融合实验[12]，如图4所示。1(a)、2(a)为第一组图像，1(b)、1(c)、1(d)、1(e)、1(f)分别为1(a)聚焦位置下移0.1mm、0.2mm、0.3mm、0.4mm、0.5mm的图像；2(b)、2(c)、2(d)、2(e)、2(f)分别为2(a)聚焦位置上移0.1mm、0.2mm、0.3mm、0.4mm、0.5mm的图像。

图3 融合算法流程图

4.2 结果分析

6组图像仿真实验结果分别如图5～图10所示。

由图5～图8所示，实验所得的融合图像中，DWT算法融合后的芯片图像对比度降低，引脚轮廓明显模糊；NSCT算法所得图像整体相对清晰，但边缘仍较模糊；PCNN算法融合图像无法显示芯片全貌，且轮廓不明显，与原图相比对比度也较低；NSCT-SFPCNN算法有效地提高了融合图像清晰度，但仔细观察可发现芯片图像引脚部分较模糊有明显虚影存在，这可能是因为SF缺少图像的方向信息导致细节丢失造成的；与以上几种算法相比，本文所提的融合算法能够很好地提取源图像中聚焦清楚的部分，所得图像更清晰，对比度高，轮廓细节表现也最好。由于第5组和第6组源图像聚焦清晰部分不明显，图9～图10中各算法视觉效果差别不明显，整体看NSCT-SFPCNN和本文提出的算法相对较为清晰。因此从主观视觉分析来看，本文的融合算法得到的图像边缘更清晰、细节保留更丰富，融合效果最好。

图4 6组不同聚焦位置下工作中的芯片红外图像

图5 第1组图像仿真结果

图6 第2组图像仿真结果

图7 第3组图像仿真结果

图8 第4组图像仿真结果

图9 第5组图像仿真结果

图10 第6组图像仿真结果

为了量化评价融合算法效果，本文主要采用互信息（Mutual Information，MI）[14]、边缘相似性度量（AB/F）[15]、平均梯度和边缘强度作为客观评价标准。MI值越大，表示从源图像中获得的信息就越多。AB/F表示从源图像传送到融合图像边缘信息的相似性，其值越大，表示从源图像保留的边缘信息越丰富。平均梯度是图像边界附近灰度的变化率大小，用来表征图像的相对清晰度，其值越大，表明图像越清晰。边缘强度值越大，表示图像边缘越清晰。

表1为6组仿真实验4个客观评价指标的对比结果，加粗标识的数据表示此项指标的最大值。由表1的数据可知，PCNN算法和本文提出的算法MI值最大，但由于PCNN算法所得图像整体模糊，且与源图像的对比度相差大，所以可以排除，则MI表现最好的为本文所提算法，其从源图像提取信息的能力较佳；前五组数据本文算法的QAB/F值最大，最后一组数据NSCT算法QAB/F最大，本文所提算法其次，说明本文算法能从源图像中获得更丰富的边缘信息；6组数据中本文所提算法的平均梯度和边缘强度都是最大的，表明本文融合算法所得图像的整体清晰度和边缘清晰度都是最高的。因此分析可得，本文提出的算法各项指标综合最优。

通过对多组实验仿真图像的主观分析和客观评价表明：本文算法利用了NSCT平移不变性、多尺度性、高度的方向性等特质，结合改进的空间频率激励的PCNN模型，并对不同子带采用不同的融合规则，能够有效地捕获红外图像的细节，能从源图像中提取更多有用信息，更好地保持源图像边缘和方向信息，且图像清晰度高、对比度高，在多组不同聚焦位置下的红外图像融合中综合性能都较佳。但本文算法中的PCNN模型有大量参数要设置，这些参数需根据实验和经验调整确定，对融合效果影响较大；且算法融合过程计算量大，运行时间较长，在实际应用中受限。因此下一步的工作将围绕这些问题展开，研究如何得到根据图像特性自适应参数调整的PCNN模型，以及如何简化PCNN网络结构来提高算法的运算效率。

5 结论

本文提出了一种结合NSCT和PCNN的多聚焦红外图像融合的方法，该方法使用简化的PCNN模型，并采用MSF作为外部激励，低频子带和高频子带分别用不同的规则进行融合。对多组不同焦距下工作中的芯片红外图像进行融合实验，并与小波、NSCT和PCNN等图像融合方法进行主观和客观对比分析。实验结果表明，本文提出的算法能有效实现多聚焦红外图像融合，融合效果优于相关算法，为进一步研究多聚焦红外图像融合提供了参考，在红外热成像系统景深扩展中有很好的应用前景，进而更好地实现其在温度测量、医学分析、故障分析检测中的应用。

表1 各融合算法效果评价指标对比

[1] Goshtasby A A, Nikolov S. Image fusion: Advances in the state of the art[J]., 2007, 8(2):114-118.

[2] Do M N, Vetterli M. The contourlet transform: an efficient directional multiresolution image representation[J]., 2005, 14(12): 2091-2106.

[3] Da Cunha A L, Zhou J, Do M N. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101.

[4] Eckhorn R, Reitboeck H J, Arndt M, et al. Feature linking via synchronization among distributed assemblies: simulations of results from cat visual cortex[J]., 1990, 2(3): 293-307.

[5] Wang Z, Wang S, Zhu Y, et al. Review of image fusion based on pulse-coupled neural network[J]., 2016, 23(4): 659-671.

[6] Benes R, Faundez-Zanuy M, Faundez-Zanuy M, et al. Multi-focus thermal image fusion[J]., 2013, 34(5):536-544.

[7] Eckhorn R. Neural mechanisms of scene segmentation: recordings from the visual cortex suggest basic circuits for linking field models[J]., 1999, 10(3): 464-479.

[8] Johnson J L, Padgett M L. PCNN models and applications[J]., 1999, 10(3): 480-498.

[9] Li H, Manjunath B S, Mitra S K. Multi-sensor image fusion using the wavelet transform[C]//,.-94.,, 1994, 1: 51-55.

[10] Eskicioglu A M, Fisher P S. Image quality measures and their performance[J]., 1995, 43(12): 2959-2965.

[11] Zheng Y, Essock E A, Hansen B C, et al. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms[J]., 2007, 8(2): 177-192.

[12] 刘中意, 张春, 胡志宇. 基于多聚焦红外图像的温度测量及三维重构[J]. 红外技术, 2015, 37(6):449-456.

LIU Zhongyi, ZHANG Chun, HU Zhiyu. Temperature Measurement and 3D Reconstruction Based on Multifocus Thermal Images[J]., 2015, 37(6):449-456.

[13] XiaoBo Q, JingWen Y, HongZhi X, et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[14] Qu G, Zhang D, Yan P. Information measure for performance of image fusion[J]., 2002, 38(7): 313-315.

[15] Xydeas C S, Petrovic V. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

Multi-focus Infrared Image Fusion Based on Pulse Coupled Neural Networks in a Nonsubsampled Contourlet Transform Domain

YUE Jingjing1,2,3，LI Maozhong4，CHEN Ji4，LUO Yongfang4，HU Zhiyu1,2,3

(1.,,200240,; 2.,,200240,; 3.200240,; 4.,650217,)

Because of the limitations in the depth of field of a thermal camera, in order to obtain a focused image of all regions in a scene, a novel multi-focus infrared image fusion method based on improved pulse-coupled neural network (PCNN) in a nonsubsampled contourlet transform (NSCT) domain is presented. First, the source images are decomposed into subbands of different scales and directions by NSCT. The low-frequency subbands are fused using the feature selection rule based on consistency verification. In order to fuse the high frequency subbands, modified spatial frequency is used to motivate the PCNN model. Coefficients with large firing times are then selected. Finally, the fusion image is obtained by inverse NSCT. Experiments are conducted to fuse multi-group infrared images with different focus positions in the same scene. The results show that the proposed algorithm can obtain more information from the source image while retaining the edge information of the source image more effectively. In general, the proposed algorithm is more effective than the correlation algorithm.

infrared image，multi-focus image fusion，PCNN，NSCT

TP391

A

1001-8891(2017)09-0798-09

2017-04-25；

2017-08-23.

岳静静（1993-），女，硕士研究生，主要研究方向为图像处理和模式识别。

胡志宇（1965-），男，博士，教授，主要研究方向是纳米量级高效低污染能量转换元器件及其应用、薄膜纳米结构功能材料等。

云南省科技厅省院省校科技合作专项（2014IB007）。