基于CV模型和NSCT的红外与可见光图像融合

毕家宾，牛珍珍，魏宗寿

兰州交通大学光电技术与智能控制教育部重点实验室，兰州 730070

基于CV模型和NSCT的红外与可见光图像融合

毕家宾，牛珍珍，魏宗寿

兰州交通大学光电技术与智能控制教育部重点实验室，兰州 730070

1 引言

图像融合是通过对多幅图像信息的提取与综合，产生对同一场景或目标更准确、全面可靠的图像描述[1]。经过融合处理得到的图像可以弥补单一图像信息量不足的问题，更符合人眼的视觉特征。图像融合是数据融合的分支，在军事、医学图像处理、遥感、安全和监视领域有广泛的应用。

目前，常用的图像融合算法[2]主要有加权平均法、主成分分析以及基于多尺度分解的方法，其中以后者的效果较好。作为一种信号分析工具，小波变换以其具有的多分辨率和时频局部化特性，在图像融合中得到了广泛的应用，是目前图像融合领域方面一种较为主流的方法。但是小波无法识别自然图像中固有的线奇异和面奇异，同时其捕获的方向性信息也受到限制[3]，因此融合后的图像中容易产生细节成分模糊现象。为了克服小波变换存在的不足，文献[4]提出了Contourlet变换。Contourlet变换不仅具有小波变换的多尺度和时频局部特性，而且具有高度的方向性和各向异性，但是由于其变换过程中的下采样操作，使得Contourlet变换不具备平移不变性，信号频谱会产生一定的混叠现象，图像融合中则表现为较明显的吉布斯现象。受到构造非下采样小波的启发，应用Trous算法提出了一种非下采样Contourlet变换（Nonsubsampled Contourlet Transform，NSCT），它具有一定的冗余性，不但继承了Contourlet的多尺度、多方向的性质，还具有良好的多分辨、平移不变性和灵活的方向分解特性。

针对传统融合方法在光照不足、目标隐藏或目标和背景颜色接近时，容易出现目标信息丢失或减弱的现象，本文提出一种采用基于CV模型目标提取和NSCT相结合的融合方法。首先对红外图像做基于CV模型的目标提取，得到目标区域和非目标区域，然后对红外图像和可见光图像分别作基于NSCT的多尺度、多方向分解，分别对位于目标区域和非目标区域的低频和高频系数采用不同的融合规则。将融合结果与现有的融合方法进行对比，实验结果表明，本文算法更好地保留了目标信息和细节信息，清晰度高，具有较高的信息量。同时，对不同的融合方法进行对比融合实验，证明了算法的有效性。

2 相关理论

2.1 CV模型原理介绍

活动轮廓模型（Active Contour Models）是由Kass、Witkin和Terzopoulos提出的[5]，是一种可应用于图像分析和机器视觉领域中解决各种问题的方法。活动轮廓是一种保留连通性的逐次近似法，适用于图像分割问题。自从Kass第一次提出Snakes模型，动态轮廓方法就开始被应用在图像分割和边界跟踪方面。动态轮廓的基本思想是通过一个初始的闭合曲线，根据图像中的某项参数迭代进行收缩或扩张操作，这些操作被称为轮廓演化，演化的动力来自一个能量函数最小化过程。动态轮廓主要有基于边界的和基于区域的两种模型，由于基于区域的动态轮廓模型对先验知识的依赖较少，模型一般包括两个部分：一个是决定轮廓平滑性的调整项；另一个是能量最小化项。

在此选用Chan和Vese所提出的水平集分割方法中的Chan-Vese模型（CV模型）[6]。CV模型作为一种有效提高曲线演化时拓扑自适应能力的分割模型，是图像分割领域中的一种有效工具，是一种基于曲线演化和水平集理论的简化经典Mumform-Shah（M-S）动态轮廓模型[7]。CV模型假设图像中每个同质区域的灰度值时常数，最小化能量函数的目的就是寻找最优分割C，使得分割图像和原图像之间的差异最小。定义图像域Ω中，演化边界C是Ω中一个子集区域ω的边界，即ω⊂Ω且C=∂ω。ω表示前景像素所占的区域，inside(C)表示区域ω，outside(C)表示区域Ωωˉ。假设图像u0(x，y)由两个同质C1和C2区域构成，若目标边界是C，则C内部的灰度值等于C1，C外部的灰度值等于C2，Chan和Vese引入如下能量函数：

式中，μ≥0，ν≥0，η1，η2＞0是权重系数，轮廓C的长度Length和轮廓C内部区域的面积Area是两个约束项，前两项为光滑项，保证轮廓的光滑，后两项为拟合项，使轮廓向理想目标边界靠拢。通过求解能量泛函的最小值问题得到图像前景和背景的分割，在水平集方法中，轮廓C⊂Ω用零水平集函数表示：

在变分水平集模型中，将能量泛函F(c1，c2，C)右边各项使用ϕ代替C，并引入Heaviside函数和Dirac函数：

2.2 非下采样轮廓波（NSCT）

Contourlet变换作为一种多尺度、多方向的图形表示工具[8]，已成功用于图像融合领域，但是由于下采样操作导致基函数仍缺乏平移不变性，在边缘部分亦存在可见的振铃效应。NSCT在保持Contourlet变换的优良性能的前提下，通过非下采样滤波器组又获得了良好的平移不变性，因此，理论上更适于图像融合应用[9]。

由于没有下采样操作，NSCT具有平移不变性，与Contourlet变换不同的是，NSCT中的多分辨率分解不是通过LP分解来实现的，而是直接通过满足Bozout恒等式（完全重构）条件的移不变滤波器组来实现的。由于在塔式分解过程中没有下采样（抽取）环节，即使低通滤波器的带宽大于π/2，其低频子带也不会有频谱混叠现象产生，具有更好的频谱特性[10]。NSCT两层分解如图1所示。

图1 非下采样Counterlet变换

NSCT的多尺度特性通过非下采样金字塔（NSP）结构来获取，在第j分解层的低通滤波器的理想带通支撑是[-π/2j，π/2j]2，因此对应的高通滤波器理想的带通支撑应为低通的补集，即[-π/2j-2，π/2j-1]2[-π/2j，π/2j]2。接着，各尺度分解层的滤波器通过对上一层的上采样（零插值）来获得，这样无需附加滤波器的设计就获得了多尺度特性。对于J层分解来说，NSCT每一层一个带通图像产生J+1个冗余，而对应的NSCT分解则产生三个方向图像，即3J+1的冗余。本文采用具有如下性质的低通分解滤波器，H0(z)来构造所要的NSCT，即令高通分解滤波器为H1(z)=1-H0(z)，对应的合成滤波器为G0(z)=G1(z)=1，此时的系统满足如下的完全重构条件：

充分考虑到滤波器组设计中的完全重构和抗混叠条件，可简化如下选取的原型滤波器：

3 采用CV模型目标提取和NSCT的红外与可见光图像融合

基于CV模型的目标提取方法可以把红外图像分割为目标区域和背景区域，然后利用NSCT的多尺度、多方向的分解特征，抽取出目标区域和背景区域的重要信息，再根据目标区域和背景区域特征的不同而采用不同的融合规则，其算法流程图如图2所示。

图2 基于CV模型目标提取和NSCT的图像融合算法流程

基于CV模型目标提取和NSCT变换的红外与可见光图像融合方法的具体步骤如下：

步骤1设红外图像A和可见光图像B为已配准待融合的图像。

步骤2对红外图像运用CV轮廓线的方法进行目标提取，得到目标区域和背景区域。

步骤4目标区域和背景区域分别代表不同的物理意义，为了更好地得到融合图像F，在不同的区域需要采用不同的融合规则，用X表示目标区域，Z表示背景区域，由于不同的频域子带代表不同的意义，低频反映的是原始图像的粗略成像，高频则表示图像的细节信息以及显著特征。因此，融合规则的选取要充分考虑图像的这些特征，融合系数{}可通过以下步骤得到：

步骤4.1目标区域。目标区域具有较高的像素值，所以能量值高于其他区域，为了保证红外图像的热目标信息能够最大限度加入到融合图像，因此目标区域直接选取红外图像A的分解系数作为融合系数。

步骤4.2背景区域。因为可见光图像包含大量的背景信息，而背景信息可以提供目标的局部位置信息，又多尺度分解的低频信息是对源图像的粗略成像，即可见光图像B的低频系数包含了大量的背景细节信息，所以选取可见光图像的低频系数作为融合图像的低频系数。

鉴于对信息量的考虑，在高频子带的处理中，选择基于窗口的局部信息熵的融合方法。

步骤5通过对上面得到的融合系数做NSCT反变换，就最终得到了基于CV轮廓线目标提取和NSCT的融合图像。

4 实验结果与分析

为了验证本文算法，采用实拍且经过配准的几组红外与可见光图像，进行对比实验，图片下载自http：//www.imagefusion.org/。

实验1选取官方图片UN-camp序列中的几组目标与背景颜色相近或目标隐藏在背景后的红外及相应的可见光图像，如图3所示；使用CV动态模型方法对目标进行检测，检测结果如图4所示，其中两组红外图像的目标提取轮廓曲线如图5所示。

实验2将本文方法与NSCT方法[11]、拉普拉斯金字塔方法[12]和小波方法[13]进行对比融合实验，实验结果如图6所示。

图3 目标与背景颜色相近或目标隐藏的源图像

图4 基于CV动态轮廓线模型的目标检测结果

图5 基于CV动态轮廓线模型的目标提取轮廓

实验3虽然实验2中主观视觉感知给出了对各种方法的直观比较，然而，其结果易受到视觉心理因素的影响，因此，要全面衡量融合效果，需要从主观感知和客观指标衡量两方面综合考察。为了比较全面地对融合结果进行衡量，采用如下的衡量指标：平均梯度、标准差、空间频率、平均光谱误差等客观评价指标，对上述几种方法进行比较实验，实验结果如表1所示。

图像融合结果是否较好地保留了原始图像的数据，除了目视效果外，还可以进行定量分析，本实验的客观评价标准如下所示[14-15]。

（1）熵（Information Entropy，IE）：图像信息熵反映了图像携带信息量的多少，熵值越大，说明携带的信息量越大。其定义为：

式中，Pi为灰度值等于i的像素数与图像总像素数之比，L为灰度级总数。

图6 不同融合方法得到的融合图像

表1 不同融合效果的性能评价指标

（2）平均梯度（Average Gradient，AG）：可敏感地反映图像对微小细节反差表达的能力，因此可以认为平均梯度大的图像清晰程度好。其定义为：

式中，M、N分别表示图像f(i，j)行数和列数。

（3）空间频率（Space Frequency，SF）：反映图像的全面活跃水平，其值越大图像越清晰。其定义如下：

其中，RF为图像的行频率，CF为图像的列频率。

（4）标准差（Standard Deviation，STD）：可反映图像灰度相对于灰度平均值的离散情况，并可以用标准差来评价图像反差的大小。若标准差大，则图像的对比度大，图像包含更多的信息；标准差小，图像反差小，则对比度小。其定义为：

其中，MV为图像的均值。

（5）平均光谱误差（Relative Average Spectral Error，RASE）：它表征该方法在光谱带中的平均性能，其值越小说明该方法越好。其定义为：

通过图3可以看出，红外图片中的人物外形清楚可见，但是树木等信息不甚理想，而可见光图片中的细节纹理信息丰富，但是目标被树木等遮挡或目标与背景的颜色相近，其目标几乎完全不可见或目标信息不明显，目标很难分辨，而在红外图像中，由于目标温度高于周围场景温度，因此目标较明显。

通过实验2可以看出，如图6所示为可见光中目标隐藏时利用本文方法、NSCT方法、拉普拉斯金字塔方法和小波方法得到的融合图像。从实验结果可以看出，本文方法得到的效果较好，背景和目标都比较清晰，背景中的花草、房屋、道路都比较清晰，且目标突出，边缘明显，可视度好。本文方法不仅保留了可见光图像中的细节、轮廓等背景信息，还最大程度地保留了红外图像中的目标信息，并有所增强，目视效果较好，边缘清晰。

从视觉效果来看，本文方法的融合图像具有较理想的融合效果，不仅继承了可见光图像中景物的光谱信息，而且也完全保留了红外图像中的热目标的特征信息，且边缘细节信息突出，这即反映了基于CV轮廓线对目标特征的提取作用，也反映了NSCT捕捉图像中沿边缘信息的能力。相比之下，拉普拉斯方法和小波方法的融合图像虽然也保留了两幅源图像中的主要景物特征信息，但融合图像边缘细节信息较模糊，整体对比度较低，NSCT方法融合的图像虽然整体对比度有所改善，但仍然损失了一部分可见光图像的光谱信息。例如，灌木的光谱信息相比可见光图像损失不小，且目标特征信息不如本文方法突出。

对融合结果的评价，除了目视效果这种简单有效的定性分析法外，还可以采用相关的评价指标做定量的分析。实验3中选用熵、平均梯度、标准差、空间频率、平均光谱误差等客观评价指标对几种方法进行比较。表1给出基于上述客观衡量指标的红外与可见光图像的融合结果（对应于图6的融合结果）。实验结果表明，客观指标的衡量结果与主观视觉相一致，本文提出的融合方法得到了比较理想的融合效果，综合了两幅源图像的有用信息，因此，本文方法要优于其他几种方法。实验也证明单纯利用NSCT的方法，无论主观感受还是客观指标与本文方法相比均有差距，这是由于红外与可见光图像本身特性差异较大造成的。

以上对比实验表明，基于CV轮廓线和NSCT的图像融合方法，从客观评价指标来讲，相比NSCT方法、拉普拉斯金字塔方法和小波方法部分评价指标有较大改善，但是个别指标有所下降。这主要是由于该方法对目标部分采取了直接替换，使目标中的纹理细节信息有所损失。主观来讲，本文融合方法可有效获得源图像的目标特征信息，从而可在融合过程中针对目标信息及背景信息采用不同的融合策略，使融合图像既突出了红外图像的目标特征，又能有效地保留可见光图像的光谱信息。本文方法的融合结果的目标比较清晰，亮度较高，目视效果较好，表明该方法有一定的实际意义。

5 结束语

针对红外与可见光图像的成像特点及融合要求，提出了一种基于CV动态轮廓模型和NSCT变换的红外与可见光图像融合方法。本文方法充分考虑了红外图像的目标轮廓信息，提高了它在杂物遮挡背景环境中检测的准确性。实验结果表明，本文方法不仅能够保留可见光图像中的细节、轮廓等背景信息，还较大程度地保留了红外图像中的目标信息。该算法基于具有良好的多分辨、平移不变性，以及灵活的方向分解特性的非下采样Contourlet变换。实验表明，无论是视觉效果还是客观衡量指标两个方面，本文方法较之NSCT方法、拉普拉斯金字塔方法以及小波方法都有一定的改进效果，是一种比较有效的红外与可见光图像融合算法。

[1]Pohl C，Genderen J L.Multisensor image fusion in remote sensing：concepts，methodsandapplications[J].InternationalJournal of Remote Sensing，1998，9（5）：823-854.

[2]夏明革，何友，唐小明，等.图像融合的发展现状与展望[J].舰船电子工程，2002（6）：2-3.

[3]储彬彬，庞璐璐.基于多尺度分析的图像融合技术综述[J].航空电子技术，2009，40（3）：29-33.

[4]Do M N，Vetterli M.The contourlet transform：An eficient directional multiresolution image reptrsentation[J].IEEE Transactions on Image Processing，2005，14（12）：2091-2106.

[5]Kass M，Witkin A，Terzopoulos D.Snakes，active contour model[J]. International Journal of Computer Vision，1988（4）：321-331.

[6]Chan T，Vese L.Active contours without edges[J].IEEE Trans Image Processing，2001，10（2）：266-277.

[7]Morar A，Moldoveanu F，Groller E.Image segmentation based on active contours without edges[C]//Proceedings of IEEE International Conference on Intelligent Computer Communication and Processing（ICCP），2012：213-220.

[8]焦李成.图像多尺度几何分析理论与应用[M].西安：西安电子科技大学出版社，2008.

[9]Zhang Qiang.Multi-focus image fusion using the nonsubsampled Contourlet transform[J].Signal Processing，2009，89（7）：1334-1346.

[10]Cunha A L，Zhou Jianping，Minh N.The nonsubsampled Contourlet transform：theory，design，and application[J].IEEE Trans on Image Processing，2006，15（10）：3089-3101.

[11]张莹，李言俊，张科，等.基于NSCT的红外与可见光图像融合[J].计算机工程与应用，2011，47（3）：196-198.

[12]Burt P J.A gradient pyramid basis for selective image fusion[J]. Society for Information Display Digest of Technical Papers，1985，16：467-470.

[13]Li H，Manjunath B S，Mitra S K.Multisensor image fusion using the wavelet transform[J].Graphical Models and Image Processing，1995，57（3）：235-245.

[14]González-Audícana M，Saleta J L，Catalán R G，et al.Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J]. IEEE Transactions on Ggeoscience and Remote Sension，2004，42（6）：1291-1299.

[15]李树涛，王耀南，张昌凡.多传感器图像融合的客观评价与分析[J].仪器仪表学报，2002，23（6）：651-654.

BI Jiabin,NIU Zhenzhen,WEI Zongshou

Key Laboratory of Optical-Electronic Technology and Intelligent Control,Ministry of Education,Lanzhou Jiaotong University, Lanzhou 730070,China

In order to solve the problem that the target information is easily lost or impaired when the target is hided or the color of target is close to the background or lack of light,a new method that combined NSCT and target extraction based on CV model is proposed.The method uses the dynamic contour model to search,test and identify the infrared target,then divides the source image sequence into target and background region,and uses non-subsampled Contourlet transform to sparse decomposition in multi-scale and multi-directions for getting high-dimensional singular information accurately.Different fusion rules are used in target and background region respectively,and this method is compared with wavelet fusion method,Laplace fusion method, and NSCT fusion method.Quantitative analysis is carried out for the fused image under parameters like entropy,average gradient,spatial frequency and standard deviation.The results show that this method can not only make the detection of fusion target more easily,but also make the target look clear and brighter.A good fusion effect in subjective visual andobjective evaluation index is obtained.

CV model;target extraction;NSCT method;image fusion

针对传统融合方法在光照不足、目标隐藏或目标和背景颜色接近时，容易出现目标信息丢失或减弱的现象，提出一种将基于CV模型的目标提取与NSCT相结合的方法。该方法使用动态轮廓线模型对红外目标进行搜索检测识别，将源图像序列分为目标和背景区域，利用非下采样Contourlet变换对输入图像进行多尺度、多方向稀疏分解，准确捕获图像中的高维奇异信息，并在目标和背景区域里分别采用不同的融合规则，将其与小波融合方法、拉普拉斯融合方法、NSCT方法作对比，并通过熵、平均梯度、空间频率、标准差等参数对融合后的图像进行定量分析。实验结果表明，该方法不但较好地提高了融合图像的目标探测性，而且融合结果中的目标比较清晰，亮度较高，目视效果较好，在主观视觉效果与客观评价指标上均取得了很好的融合效果。

CV模型；目标提取；NSCT方法；图像融合

A

TP391

10.3778/j.issn.1002-8331.1303-0087

BI Jiabin,NIU Zhenzhen,WEI Zongshou.Image fusion based on CV model and NSCT for visual and infrared images. Computer Engineering and Applications,2013,49（19）：180-185.

毕家宾（1989—），男，硕士研究生，主要研究领域为智能系统与信息工程；牛珍珍（1988—），女，硕士研究生，主要研究领域为信息工程；魏宗寿（1954—），男，研究员，主要研究领域为交通控制信息工程与智能系统。E-mail：275957469@qq.com

2013-03-08

2013-05-03

1002-8331（2013）19-0180-06

CNKI出版日期：2013-05-21http://www.cnki.net/kcms/detail/11.2127.TP.20130521.1030.016.html