基于NSCT变换的红外与可见光图像融合新算法

杨 丹， 何建农

(福州大学数学与计算机科学学院， 福建 福州 350116)

基于NSCT变换的红外与可见光图像融合新算法

杨 丹， 何建农

(福州大学数学与计算机科学学院， 福建 福州 350116)

考虑红外与可见光图像的成像机理， 提出把非下采样Contourlet变换用于该类图像融合的改进措施. 先用NSCT变换在多尺度和多方向上去分解已经配准的图像， 可以得到低频系数部分和高频系数部分； 再对低频子代部分应用归一化局部方差的差和融合阈值比较的融合规则， 对于高频方向子代部分则使用拉普拉斯能量和的能量取大的融合方法； 最后把NSCT逆变换应用在高低频部分， 输出最后的图像. 通过对比实验可知， 提出的新方法较传统的图像融合方法更能准确地反映所要研究的场景.

图像融合； 红外图像； 可见光图像； 非下采样Contourlet变换； 区域方差； 拉普拉斯能量和

0 引言

图像融合是对多幅原始图像的信息进行互补处理， 得到一幅信息更加丰富的新图像， 从而能够更加准确地反映所要研究的场景[1]. 近年来， 图像融合在遥感图像融合[2]、 医学图像[3]、 军事等方面发挥了重要作用. 现在多数科研人员都在重点研究关于多尺度变换方法的图像融合, 多尺度变换方法的工具也不断出现， 常见的有小波变换和Contourlet变换[4]等. 其中， 小波变换能够解决图像信号的点奇异性问题， 但它不能解决图像信号的线奇异性问题. 而Contourlet变换可以解决此问题， 但是它没有平移不变性， 所以新图像可能出现伪Gibbs现象. Cunha 等[5]做了更加深入的探索， 提出了非下采样Contourlet变换(nonsubsampled contourlet transform， NSCT)， 最重要是其存在平移不变性.

红外与可见光图像融合是为了尽量多地保留目标细节信息及背景轮廓信息， 使得到的新图像更接近于所要研究的真实场景. 为了实现该目标， 本研究提出把NSCT变换应用到红外与可见光图像融合之中， 通过进行对比实验可知， 该方法比传统的小波变换、 Contourlet变换以及NSCT变换方法更有效.

1 图像的NSCT变换

NSCT变换是由非下采样金字塔变换(nonsubsampled pyramid, NSP)和非下采样方向滤波器组(nonsubsampled directional filter bank, NSDFB)构成. 它在具体的实施流程中包括两个步骤： 首先在多尺度方面对输入图像进行处理， 通过非下采样金字塔变换实现， 于是有了高低频子带； 然后对高频子带在多发向方面进行处理， 通过非下采样方向滤波器组实施， 从而出现了方向子带. 重复对低频部分进行上述处理， 最终能够实现对图像在多尺度多方向上的分解， 并且产生的子图像与源图像尺寸一样. NSCT变换和Contourlet变换有所区别， 其具体处理流程中并没有涉及上采样、 下采样这两个环节， 因而它存在平移不变性.

具体实现过程： NSP的分解和重构是利用双路非下采样滤波器组实现的， 每层NSP分解出1个低频子带和1个高频子带， 对上一层低频子带不断去分解就形成了多层NSP分解； NSDFP是使用双路非下采样方向滤波器组来实现分解与重构的操作， 把平面域变为多方向域， 对于i级分解能分出2i个方向子带. 如图1是NSCT分解示意图.

(a)NSCT的滤波器组结构 (b)NSCT的频率分解 图1 NSCT分解示意图Fig.1 NSCT decomposition diagram

2 把NSCT变换应用于红外与可见光图像融合的算法

2.1 融合步骤

图2 图像融合流程图Fig.2 Image fusion flow diagram

1) 通过NSCT变换去处理源图像A和B， 于是就出来了高低频部分.

2) 采取归一化区域方差的差与阈值相结合的策略去处理低频部分. 把拉普拉斯能量及区域能量都用于处理高频部分.

3) 通过NSCT逆变换作用于经过上述步骤处理之后的高低频部分， 于是就可以输出新图像F.

图像融合流程图见图2.

2.2 低频系数融合方法

由NSCT处理之后的低频部分含有输入图像很多的信息内容， 能够体现出图像的大致特征. 早先的低频融合策略基本上是对系数进行加权平均、 系数直接取大等方法， 容易使图像的一些信息丢失. 红外图像的特点是目标突出， 聚集着很多的能量信息； 可见光图像的特点是背景较清楚， 主要属于低频信息； 而区域方差表示图像的信息丰富度， 从而可以把区域方差应用到低频部分. 本研究考虑了像素点之间的相关性， 并结合文献[6-7]， 采用归一化区域方差的差与给定的阈值进行比较的新方法, 能够有效地保留图像的轮廓和细节信息.

区域方差定义为：

式中:

其中: 源图像X等于A, B；VX(m,n)表示X在像素(i,j)上的区域方差；CX(i,j)是X在像素(i,j)上的低频系数；μX是对X在M×N范围内的低频系数求平均；M×N为窗口的大小， 在本研究中取为3×3.

归一化局部方差的差公式：

设T为阈值, 通常取0.2～0.5, 本研究经实验取0.45. 当归一化局部方差的差值比较大时， 即M(i,j)>T， 则表明两幅源图像区域方差的差别比较大. 选择区域方差较大者：

当归一化局部方差的差值比较小时， 即M(i，j)

式中:

其中:Wmin、Wmax为加权系数， 用来调节图像A、 B的低频系数在融合图像F的低频系数中所占的比例.

2.3 高频系数融合方法

高频子带含有图像的边缘细节信息， 但是传统的高频系数融合方法对于这些细节信息的保留情况并不好， 从而导致图像的边缘比较模糊. 由于红外图像中的目标变现为多尺度多方向性， 主要属于高频信息且有强大的细节信息能量， 可见光图像的背景中有轮廓信息能量， 因而对高频部分利用NSCT变换的多方向性进行分解， 并提取能量特征以保留更多的信息. 综合考虑文献[8-9]中的方法， 因为拉普拉斯能量和可以体现出图像的边缘信息情况， 区域能量体现了图像的活跃程度. 所以， 本研究对于高频部分采取拉普拉斯能量和与区域能量相结合的措施， 能够更好地保留图像的纹理细节信息.

拉普拉斯能量和的公式如下所示:

式中:

区域能量定义：

为了提高图像的融合效果， 更好地保留图像的边缘纹理信息及清晰度， 提出把拉普拉斯能量和引入到区域能量的融合方法， 如下所示：

(12)

本研究采取的方法是对上式取较大者：

3 实验结果和对比分析

选择三组已经精确配准并且灰度级均为256×256的红外与可见光图像， 为了证明本研究提出方法的有效性， 选择其它4种融合方法与本研究方法进行比较. 方法1： 经典的小波变换， 低频部分求取平均， 高频部分直接求取较大值的措施. 方法2: 采取Contourlet变换去处理输入图像， 融合措施同方法1. 方法3: 用NSCT变换对输入图像进行处理， 对低频部分求平均， 对高频部分求取绝对值较大的措施. 方法4： 文献[6]中提出的方法. 实验中的5种方法的分解级数全部为3级， 窗口大小全部取为3×3. 详见图3～图5所示.

首先进行主观评价， 从图3～5中可以看出， 这5种方法都不同程度地提高了图像的融合效果. 对这5种方法进行比较， 方法1的融合效果较差， 方法2的融合效果有所改善， 但是对比度较低. 方法3比前两种方法的融合效果有一定的提升， 但是目标边界模糊， 背景细节信息不清晰， 整体亮度低. 方法4的融合效果提高的不明显， 一些细节部分模糊. 本研究提出的方法视觉效果最好， 融合图像中的目标信息比较突出， 背景的细节信息比较清晰， 增强了图像的亮度.

图3 第一组图像最终结果Fig.3 Final results of the first group images

图4 第二组图像最终结果Fig.4 Final results of the second group images

图5 第三组图像最终结果Fig.5 Final results of the third group images

从客观评价上分析， 本研究选择信息熵、 标准差、 互信息、 平均梯度、 边缘强度和均值这些评价指标对融合结果进行评价[10-11]. 信息熵表示图像本身所含有的信息情况， 计算结果越大则表明图像含有的信息越多. 标准差是表征图像像素值与平均数两者间的波动情形， 计算结果越大越好. 互信息体现输出图像保留输入图像多少信息的情况， 计算结果越大则说明已经保留了更多的输入图像信息. 平均梯度是表征图像的清晰情况， 计算结果越大则说明图像结果就越好. 边缘强度表示图像边缘信息情况， 数值越大则结果越好[12]. 均值是指图像的像素平均值， 代表图像的平均亮度情况， 若数值合适则视觉效果会较好[13]. 从表1中分析可知， 本研究方法的均值比其它4种方法相对较高， 说明平均亮度相对高， 视觉效果较好. 而且该方法的其它5个评价指标均高于前面4种方法， 从而证实了其有效性.

表1 三组图像最终结果分析Tab.1 Analysis for final results of three group images

续表1

组别方法信息熵方差互信息平均梯度边缘强度均值第3组方法16．310926．46017．25043．522634．588299．5865方法26．383626．48606．55554．293337．713299．5851方法36．411127．74517．47284．348341．236299．4759方法46．497337．78723．70692．477824．2323158．5836本研究方法6．709843．24497．67284．378041．8394164．8181

4 结语

通过大规模地研究红外与可见光图像的融合措施， 提出用NSCT变换处理这类图像的新方案. 本研究关键是对低频系数用归一化的区域方差的差与给定的阈值进行比较的融合规则； 对高频系数引入拉普拉斯能量和的能量的融合方法. 通过对5种方法进行主观评价和客观评价， 说明了该方法比其它4种方法的融合结果好， 提高了融合图像的清晰度， 更加符合人眼的视觉特性.

[1] 敬忠良， 肖刚， 李振华. 图像融合——理论与应用[M]. 北京： 高等教育出版社， 2007: 1-3.

[2] 王峰， 程咏梅， 李松， 等. 基于多特征的遥感图像融合算法[J]. 西北工业大学学报， 2015， 33(3)： 489-494.

[3] LIU S Q， ZHAO J， SHI M Z. Medical image fusion based on improved sum-modified-laplacian[J]. International Journal of Imaging Systems and Technology， 2015， 25(3): 206-212.

[4] DO M N， VETTERLI M. The contourlet transform: an efficient directional multire solution image representation[J]. IEEE Transactions on Image Processing， 2005， 14(12): 2 091-2 106.

[5] CUNHA A L， ZHOU J P， DO M N. Nonsubsampled contourlet transform: theory， design， and applications[J]. IEEE Transactions on Image Processing， 2006， 15(10): 3 089-3 101.

[6] 陈优良. 红外与可见光图像的非采样Contourlet变换融合方法[J]. 南昌航空大学学报(自然科学版)， 2015， 29(2)： 33-38.

[7] 王坤臣， 孙权森. 基于区域特性的Curvelet变换图像融合算法[J]. 现代电子技术， 2015， 38(2)： 77-82.

[8] 孙晓龙， 王正勇， 符耀庆， 等. 基于改进拉普拉斯能量和的快速图像融合[J]. 计算机工程与应用， 2015， 51(5)： 193-197.

[9] 邢雅琼， 王晓丹， 梁兵杰， 等. 基于非下采样剪切波变换域方向信息测度的多聚焦图像融合方法[J]. 系统工程与电子技术， 2015， 37(1): 191-198.

[10] 陈木生， 蔡植善. 基于NSCT的红外与可见光图像融合方法研究[J]. 激光与电子学进展， 2015， 52(6): 114-119.

[11] 赵飞翔， 陶忠祥. 基于NSCT的红外与可见光图像融合[J]. 电光与控制， 2013， 20(9): 29-33.

[12] 李荣花. 基于改进的脉冲耦合神经网络模型的图像融合[J]. 科学技术与工程， 2012， 12(35)： 9 562-9 565.

[13] 栾静， 殷明， 于立萍， 等. 基于Curvelet和改进区域方差的遥感图像融合[J]. 合肥工业大学学报(自然科学版)， 2015(9)： 1 220-1 225.

AnovelfusionmethodofinfraredandvisibleimagesbasedonNSCT

YANG Dan, HE Jiannong

(College of Mathematics and Computer Science, Fuzhou University, Fuzhou, Fujian 350116, China)

Considering the imaging mechanism of infrared and visible images, an improved measure of infrared and visible images based on NSCT was proposed in the paper. Firstly, theregistered images are decomposed into low frequency coefficients part and high frequency coefficients part at multi-scale and multi-direction by using NSCT. Then the fusion rule based on comparing the subtraction of normalized regional variance with threshold is used in the low frequency subband part. The fusion method based on maximum energy of sum of Laplace energy is used in the high frequency directional subbandspart. Finally, the ultimate new image is output after inverse NSCT dealed with high frequency and low frequency part. The contrast experiment showed the proposed method is more accurate for reflecting the study scene than traditional image fusion methods.

image fusion; infrared image; visible image; nonsubsampled contourlet transform; regional variance; Laplace energy sum

10.7631/issn.1000-2243.2017.05.0635

1000-2243(2017)05-0635-06

TP391.41

A

2016-01-20

何建农(1960-)， 副教授， 主要从事智能图像处理、 网络GIS、 信息安全等方面研究， 42566374@qq.com

国家自然科学基金资助项目(51277032)

(责任编辑： 林晓)