DWT、NSCT和改进PCA协同组合红外偏振图像融合

杨风暴，董安冉，张 雷，吉琳娜



DWT、NSCT和改进PCA协同组合红外偏振图像融合

杨风暴，董安冉，张 雷，吉琳娜

（中北大学动态测试技术重点实验室，山西 太原 030051）

为充分保留红外光强和偏振图像细节、强度等信息，综合多算法的优势性能，提出一种DWT、NSCT和改进PCA的多算法协同组合融合新方法，在考虑3种算法互补协同关系基础上，充分保留源图重要目标和细节信息。首先，用离散小波变换（DWT）将源图分解为高低频分量，低频用非下采样轮廓波变换（NSCT）再次分解；其次，对主成分分析法（PCA）进行权值改进，分块融合NSCT分解所得低频分量；然后，提出“相关系数-局部能量-局部标准差”规则融合NSCT分解所得高频，用“层内对比度”规则融合DWT分解所得高频；最后，NSCT逆变换重构所得图像作为DWT低频融合图，再用DWT逆变换获得最终融合图像。实验结果表明，所提方法在视觉效果、细节层次及保留等方面比单一或简单组合方法更具优势，对不同场景适应性较强。

图像融合；红外偏振；协同融合；DWT；NSCT；PCA

0 引言

红外热成像技术利用目标红外辐射特性进行热成像，所得红外光强图像具有显著的亮度特征和区域特征，但纹理和细节特征不突出；红外偏振成像能够利用光谱、空间和偏振信息来捕获目标材料、形状、粗糙度等有用信息，有助于在复杂背景中检测到人造物体和温差小的目标，所得偏振图像纹理、细节信息丰富，极大地增强了识别和探测杂乱场景目标的能力[1-4]，但其亮度特征较差。因此，红外光强图像和偏振图像具有很强的互补性，将二者有效差异特征融合到一幅图像，能有效提高红外探测水平，满足应用需求。

当前红外偏振图像融合方法主要有：比率金字塔、形态学金字塔、对比度金字塔、拉普拉斯金字塔及小波变换（WT）、非下采样轮廓波变换（NSCT）和剪切波变换（NSST）等多分辨率分析方法，以及取大融合、加权平均、主成分分析（PCA）、基于马尔科夫随机场（MRF）的图像融合等空间域的融合方法。这些方法各具特点和优势，并取得了相应的一系列成果。赵永强等[5-6]分析了小波域的融合规则，并研究了利用稀疏表示的多波段偏振图像的融合方法，获得了较好的视觉效果；Yue Z等[7]提出用多方向拉普拉斯金字塔将偏振信息融合到红外光强图像中，该方法所得融合图像有较好的亮度和对比度，但该方法对边角等细节表示不够理想，对复杂场景难以适应；A.Gagalowicz等[8]将D-S证据理论引入偏振图像融合，但这种不确定信息处理的方法对不同场景适应性不佳；Xuelian YU等[9]提出用NSCT结合模糊C均值分割的方法融合红外偏振图像，融合结果增强了目标边界，能较好地保留重要信息，但一定程度上抑制了区域强度，且边界处存在很多噪声，不易判别小目标；González-Audícana等[10]提出用PCA和IHS空间变换在小波域融合的方法；Xu等[11]提出使用一种新的将马尔科夫随机场作为决策工具的图像融合方法，该方法既可用于多尺度方法也可用于单尺度方法中；马苗等[12]初步研究了多算法协同的方法并进行图像融合，通过算法间竞争机制对指标和参数反复迭代选择最优算法。

单一算法对图像融合往往有所侧重，如取大法融合易丢失源图像的一些暗细节，或造成对比度不高；PCA方法容易丢失细节和小目标；比率金字塔在突出细节的同时也易放大噪声；小波变换方向性不佳等。而两算法简单组合若不充分考虑协同互补性和组合方式，会使源图信息保留不够充分，甚至起反作用而削弱图像特征。文献[12]采用的多算法协同方法是一种竞争性协同方式，最终也是用一种方法融合，不能充分综合源图细节信息。本文提出基于离散小波变换（DWT）、NSCT和PCA的多算法协同组合的方法融合红外光强与偏振图像，考虑三者之间互补关系，进行各算法各层级协同组合融合，避免单一算法或算法简单组合对源图信息考虑不充分而忽略重要差异信息的缺陷，从而获得较好的视觉效果，以适应不同场景融合需求。

1 DWT、NSCT和PCA协同性分析

1.1 算法特点分析

1）DWT：小波变换是一种能对信号进行有效时频分析和处理的理想工具，是典型的多尺度分解方法，其对平滑信号和点状奇异能有效表征。离散小波变换通过小波滤波器对图像进行分解，每一层级可分为更高层级的低频和三方向高频（水平、垂直和对角方向）分量，以达到对图像多尺度精细处理的目的。

2）NSCT：NSCT是小波变换后的一种新的先进的多尺度分解工具，对图像分解具有多尺度和多方向性，对细节的表示是用类似于轮廓段的基结构来逼近，基的支撑区间是具有随尺度变化而变化的一定长宽比的“长条形结构”，具有多方向性和各向异性，而小波是用正方形支撑区间描述轮廓，其基缺乏方向性，不具有各向异性，轮廓波变换能克服小波变换只有3个方向的局限性，对不同方向二维曲线能完美逼近[13]，如图1（小波）和图2（轮廓波）对图像的描述。

图1 小波变换对曲线的描述

图2 轮廓波变换对曲线的描述

NSCT是由非下采样金字塔（NSP）和非下采样方向滤波器组（NSDFB）构成，NSP进行多尺度分解，NSDFB进行多方向分解，其在轮廓波变换过程中去掉了采样环节，具有平移不变性，能克服图像处理中产生的伪吉布斯现象导致的图像失真[14-15]。采用NSCT对图像表示，能够很好地表示轮廓边缘等细节信息。

3）PCA：PCA是统计学中分析数据的一种有效方法，主要目的是降维和去相关性，将原来的维空间投影到维空间（＞），用低维空间数据充分代表原高维空间的数据，保留原数据的主要信息，突出主要成分，从而使数据更易处理。用于图像融合，以图像数据间协方差矩阵的特征值衡量不同图像的重要性，对细节并不丰富的低频信息较有效。

1.2 算法协同性分析

从算法的原理上分析可知，3种算法对图像的表示具有很强互补协同性，DWT对平滑信号和点状奇异能有效表示，重构时纹理细节能量损失相对较小，而移变性是其缺点，易受噪声影响，在融合中容易引入虚假信息；NSCT对图像表示具有多方向性和平移不变性，对轮廓几何形状能完美重构，但重构时轮廓信息能量损失相对严重；PCA用于融合能突出图像主要信息，对细节不丰富的低频更有效，是一种空间域融合方法，简单易处理。利用三算法互补协同关系进行协同组合融合能充分发挥3种算法的优势特点，更全面综合源图信息。

图3中(b)、(c)是车场景红外图像的DWT和NSCT的分解重构误差图。由图可知DWT整体信息损失均匀（与原图对比），小区域信息损失不受边界和其它区域影响，如车后视镜处；而NSCT整体信息损失不均匀（不同亮度区都很暗），且小区域重构易受边界影响（车后视镜处）；DWT对噪声较为敏感，导致细节信息易受噪声影响而被淹没，而NSCT有一定容噪能力；DWT对边缘、细节描述不如NSCT，很多细节不能精确描述，但对边角等含有奇异的信息描述与原图一致，NSCT对边缘、细节形状描述较好，但重构误差线为亮线，说明细节能量损失相对较多。可知，二者无论是对强度特征还是对轮廓细节形状特征等的表示均具有较强的互补性，加上PCA融合的特点，三者互补协同能更多保留源图信息，增强视觉效果。

2 基于DWT、NSCT和PCA的协同组合融合

2.1 PCA算法改进

传统PCA用于图像融合，由PCA算法确定图像融合权值。具体做法是将整个图像看成一维向量，待融合图像数据构成1个矩阵，并求其协方差的特征值，将不同排序图像数据对应的特征值占所有特征值和的比重作为该图的权重系数进行加权融合，即第幅图像权值为：

式中：是第幅图像矩阵对应的特征值；是待融合图像数。

若两图像相同或相似，所得最大特征值与其它特征值将差别很大，加权结果便是两图取大，符合人眼强度视觉，由于图像相似性，也不会丢失重要信息；若图像差异较大，不同特征值间差异变小，权值差异变小，图像差异越大，加权结果越趋于平均，以保证重要差异不丢失。

这种融合方法具有权值确定的自适应性特点，具有合理性，然而该方法太多考虑图像的强度信息，一定程度上忽略了相位信息（因为特征值表征强度信息），在图像强度和相位差别都较大时，会导致强度弱的图像细节信息被淹没。采用主成分对应特征向量的绝对值作为权值，特征向量一定程度反映主成分的方向信息，其值的大小也一定程度反映数据的强度信息，其权值和大于1，有一定增强作用，不至于导致融合图像对比度过小或细节被淹没的现象。另外，将整幅图作为一维数据，数据量太大，容易丢失小目标甚至中等目标，故本文对图像进行分块处理，每块为8×8矩阵，防止小目标丢失。而分块容易引入拼接痕迹，可将每对图像块组生成的融合权值分别放于2个矩阵中，并分别进行横向和纵向为3或5、7或9等长度的模板进行均值滤波加以消除，对于不同尺寸和复杂度图像，模板长度应该不一致，尺寸越大，模板长度可相应变大。

2.2 协同组合融合算法

1）由第一部分算法分析可知，可利用DWT、NSCT和PCA较强的互补性和不同层级间的特有特点结合适当融合规则进行协同组合融合。DWT由于对信息损失较为均匀，故用其对源图进行第1次分解，在融合重构时能保持红外光强信息的区域平滑性和充分保留光强与偏振图像的奇异点信息；DWT分解后低频中仍有很多高频信息，而NSCT能提取更多高频细节，故用其对DWT分解低频分量再次分解，有利于纹理细节信息（特别是偏振信息）的进一步有效融合；NSCT再次分解所得低频分量中高频信息较少，用改进PCA分块融合NSCT分解低频分量，能够保留红外光强图像的亮度特征，即突出融合结果整体的主要亮度特征，且能减少低频中细节（尽管很少）损失；NSCT分解高频分量中细节信息较为精细，结构信息突出，故用“相关系数-局部能量-局部标准差”规则融合，在充分保留细节等结构信息的同时，又能尽可能减少强度信息的损失；DWT分解所得3个方向高频分量中边缘细节信息较为粗糙，但却是主要的高频信息，使用“层内对比度”规则融合能突出融合结果中的主要高频信息，增强纹理细节在整体背景中的对比度；且重构时NSCT细节信息损失相对较多与DWT细节信息损失相对较少可形成互补，在一定程度上能抑制低频噪声并保证重构结果整体信息的一致性。故本文融合方法为针对各算法特点及各层级特点的串联嵌接协同组合融合。

图3 车场景红外光强图及DWT和NSCT分解重构误差图

2）对于NSCT分解所得高频分量的融合，不仅需要保留源图强度信息，更需要尽可能保留源图纹理信息，而红外光强与偏振图像高频分量中纹理信息差异较大，结构信息突出，故提出用窗口相关系数判断两图像局部结构相似度，如果两图局部区域相关系数较高，则采用窗口加权能量取大的规则进行融合，这样能突出主要目标而又不损失细节；若两图局部区域相关性不高，则说明两图相应局部区域有较大差异，此时若采用能量决策则很可能会淹没细节，故采用窗口标准差取大规则进行融合，这样能充分保留较多差异信息。此规则与基于结构相似性指标的规则不同，结构相似性指标判断相似性包含强度信息，有可能出现图像区域在强度上很相似但在结构上却并不很相似的情况，此时相似性指标仍可能较大而导致误判，从而丢失结构信息。设窗口大小为×（、为≥3的奇数）。采用3×3窗口，判断相似度的阈值设为0.75，两图局部相关系数为：

式中：(,)为、两图像以(,)为中心坐标的窗口协方差；(,)、(,)分别为两图窗口标准差；为3×3均值掩膜；eps为一小量。局部能量和局部标准差如下：

3）DWT分解所得高频分量是红外光强和偏振图像的主要高频信息，采用“层内对比度”规则融合，在保留主要细节的同时能增强高频信息在融合结果中的对比度，使高频信息更突出，第（＝,）类图像第（＝1,2,3）幅小波分解高频分量的层内对比度定义为：

式中：为DWT分解高频第类图像第幅高频分量；0为小波分解低频分量的3×3窗口均值特征，以ft为第幅小波分解高频分量融合图，则融合决策规则为：

4）具体融合算法如下：

①对源红外光强与偏振图像进行DWT一层分解，获得小波分解高频与低频分量；

②用NSCT对DWT分解低频分量进行二次分解，分解所得低频分量用改进PCA进行分块融合；

③NSCT分解高频分量用所提“相关系数-局部能量-局部标准差”规则进行决策融合；

④DWT分解所得高频分量用“层内对比度”规则进行决策融合；

⑤对相应融合的高低频分量分别进行NSCT逆变换和DWT逆变换重构融合图，获得最终红外光强与偏振融合图像。

融合方法流程简图如图4所示。

图4 本文所提融合方法流程图

Fig.4 The flow chart of the proposed method

3 实验及结果分析

此部分将选取512×424、256×256和256×256三组不同尺寸的配准过的红外光强与偏振图像验证本文方法的有效性，3组图像分别为：长波红外热水壶场景、长波红外汽车场景及中波红外汽车和树场景，分别记为组1、组2和组3。

此处将分别用涉及到的NSCT、DWT和PCA单一融合方法和形态学差异金字塔（MDP）、比率金字塔（RP）、DWT与PCA组合和NSCT与DWT组合7种融合方法和本文所提协同组合融合方法进行对比，并用信息熵（IE）、标准差（STD）、对比度（CON）、空间频率（SF）、平均梯度（AG）及Piella基于结构相似性的两个指标W与E共7种客观融合评价指标评判融合结果。其中信息熵用来衡量图像信息的丰富程度，其值越大则融合效果越好；标准差反映像素值的分布状况，表征细节的多少；对比度描述融合图像不同区域特征的相对显著程度；空间频率反映图像在空间域的总体活跃程度，越大说明融合效果越好；平均梯度又被称为清晰度，用来体现图像中的微小细节反差和纹理变化特征，值越大表明图像的清晰度越好，融合效果越好。W（优于Piella另一指标）反映融合图像与源图的结构相似性程度，值越大说明融合图保留源图整体信息越多；E反映融合图像与源图边缘、细节的结构相似性程度，值越大说明融合图保留源图边缘、细节信息越多，融合质量越好。

图5～图7分别为3组不同场景红外光强和偏振图像组及其不同方法融合结果图。

表1～3分别是3组融合图的融合评价指标，加粗数据表示指标最大。

由组1融合图和融合评价指标可知，对于细节信息不是很丰富的热水壶场景，各种方法融合均未出现太大失真现象，从视觉上看，本文方法综合二者信息较多，除RP融合平均梯度指标稍高外，本文方法各指标均最高。

由组2融合图和融合评价指标可知，对于场景较复杂的车场景，MDP融合空间频率较高，但其视觉效果不佳，特别是边缘处，PCA融合标准差指标稍高，其余指标本文方法均最高。

由组3融合图和融合评价指标可知，对于复杂或细节反差较大的源图，MDP和RP融合多项指标都偏高，但从视觉效果上看，此两种方法融合效果较差。排除这两种方法，本文方法指标均最高。

从融合指标和视觉效果综合分析，本文协同组合融合方法融合效果最佳。而从主观上整体来看，所有融合算法对于细节不复杂的场景（如热水壶）融合均未造成严重失真，都能综合源图主要信息，只是有些融合图的主要强度特征对比度不同或有边缘细节差异，如形态学差异金字塔有一定的融合边缘痕迹，如壶身边缘处；比率金字塔融合壶身有较多噪声，但不明显。而对于细节丰富或反差较大的源图，不同方法融合差异明显，细节越丰富、反差越大，差异越明显，如组2汽车场景MDP和RP融合在细节处都引入了误差或虚假信息，这在组3融合图中特别明显，MDP融合由于形态学滤波算子过开闭操作导致边缘等细节严重失真；而RP融合为了突出边缘，将原图与滤波后图像的比率作为高频，这样虽然突出了高频信息，但也容易突出噪声，故在细节较多的组3场景融合中引入了过多的虚假信息，组2中融合也显模糊，这也是这此两种方法在组2和组3复杂场景融合某些指标虚高的原因，这对目标识别等后续处理极为不利。其余方法融合视觉上未出现失真现象，但各方法各有侧重，DWT融合由于方向有限，会导致某些方向细节的丢失，故其很多指标不如NSCT；NSCT能很好保留图像细节，但由于其分解重构容易丢失边缘细节等强度信息，融合时会导致某些区域边缘与区域的对比度不强或整体强度信息不突出，如组1中壶身边缘及壶口处的亮度信息，组2中车窗口处和车头亮条处，组3中车头与前车窗交界处等；PCA融合能突出主要成分，故其亮度特征凸显，但细节容易丢失，组3融合中反应最明显；而DWT与PCA、NSCT与DWT简单组合对融合质量的提高也有限，甚至由于未考虑互补协同性而得不到提高，反而消弱某些特征，如组1中NSCT与DWT组合融合壶身边缘处较亮的强度特征丢失，组2中DWT与PCA融合车窗处强度特征较差等，两种方法对细节信息的保留也不如本文方法（E指标较小）。而本文所提方法充分考虑了3种算法的互补协同关系，对红外光强和偏振图像差异信息有较多的保留，故融合不会过于偏重某一幅图像信息，这在3组场景的融合中均有体现，其融合结果不仅凸显了重要强度信息，对源图细节信息也能充分保留（AG、E指标均较大），并有较好的对比度，视觉效果较好。故本文方法能有效针对各算法及其分解层级的特点，充分发挥各算法协同互补作用，获得较好融合效果，且对不同场景适应性较强，特别是较复杂场景。

图5 热水壶场景不同方法融合图

图6 车场景不同方法融合图

Fig.6 The fused images with different methods for the car scene

图7 车和树场景不同方法融合图

表1 热水壶场景融合评价指标

表2 汽车场景融合评价指标

表3 车和树场景融合评价指标

4 结论

提出了一种新的基于DWT、NSCT和PCA的协同组合红外偏振图像融合方法，所提方法充分考虑了DWT、NSCT和PCA三种算法分解层级的特点及对图像表示的互补协同性特点，即DWT对图像表示的均匀性和对奇异点表示的有效性，NSCT对轮廓形状等细节表示的精确性和平移不变性等，及二者对细节信息表示的差异互补性，PCA方法改进后对低频融合的有效性（突出主要特征），从而确定三者的串联嵌接协同组合方式，并提出有针对性的不同高频融合规则。多组不同场景红外光强和偏振图像融合结果表明，本文方法能充分发挥3种融合算法的各自优势，充分保留源图细节、边缘信息，并能突出重要目标强度信息，对于不同场景适应性较强。本文方法对红外光强和偏振图像融合较为有效，也可尝试与不同传感器的图像融合，下一步还需更探究PCA融合中自适应滤波和其它不同融合算法如何更有效协同的问题。

[1] 李其申, 李俊峰, 江泽涛. 非下采样Contourlet变换的图像融合及评价[J]. 计算机应用研究, 2009, 26(3): 1138-1142.

LI Qishen, LI Junfeng, JIANG Zetao. Image fusion based on non-subsampled Contourlet transform and evaluation[J]., 2009, 26(3): 1138-1142.

[2] 安富, 杨风暴, 蔺素珍, 等. 特征差异驱动的红外偏振与光强图像融合[J]. 中国科技论文, 2014, 9(1): 96-102.

An Fu, Yang Fengbao, Lin Suzhen, et al. Feature differences driven fusion of infrared polarization and intensity images[J]., 2014, 9(1): 96-102.

[3] Nedelcu A,Guériaux V, Berurier A, et al. Multispectral and polarimetric imaging in the LWIR:Intersubband detector a versatile solution[C]//, 2013, 59: 125-132.

[4] Yang Fengbao, Wei Hong. Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules[J]., 2013, 60: 235-243.

[5] 赵永强, 潘泉, 张洪才. 基于图像序列融合的Stokes图像计算方法[J].光电子激光, 2005, 16(3): 354-357.

Zhao Yongqiang, Pan Quan, Zhang Hongcai. Calcul ation Met hod of Stokes l mages Based on Sequence Image Fusion[J].·, 2005, 16(3): 354-357.

[6] Zhao YQ, Zhang QY, Yang JX. High-resolution multib and polarization epithelial tissue imaging method by sparse representation andfusion[J]. Applied Optics, 2012, 51(4): A27-A35.

[7] Yue Z, Li F.M. An infrared polarization image fusion algorithm based on oriented Laplacian pyramid[C]//Proc. ofSPIE, 2014, 9142: 914208.

[8] Gagalowicz A, Philips W. Optimal Gabor filters and Haralick features for the industrial polarization imaging[C]//Computer Vision/Computer Graphics Collaboration Techniques, MIRAGE, 2011, 6930: 122-132.

[9] Yu Xuelian, Chen Qian, Gu Guohua, et al. An infrared polarization image fusion method based on NSCT and fuzzy C-means clustering segmentation algorithms[C]//Proc. of SPIE, Infrared Technology and Applications, 2014, 9300: 93000W.

[10] González-Audícana M, Saleta JL, Catalán RG, et al. Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J]. IEEE Transactions on Geoscience &Remote Sensing, 2004, 42(6): 1291-1299.

[11] M Xu, H Chen, Varshney P K. An image fusion approachbased on Markov random fields[J]. IEEE Transactions on Geoscience &Remote Sensing, 2011, 49: 5116-5127.

[12] 马苗, 田红鹏. 图像协同融合方法的初步研究[J]. 计算机应用研究, 2008, 25(1): 316-318.

Ma Miao, Tian Hongpeng. Research on image cooperative fusion method[J]., 2008, 25(1): 316-318.

[13] 许廷发, 李俊涛, 张一舟, 等. 真彩色传递双波段图像融合[J]. 中国光学, 2014, 7(3): 402-410.

Xu Tingfa, Li Juntao, Zhang Yizhou, et al. True color transfer for dual band image fusion[J]., 2014, 7(3): 402-410.

[14] 安富, 杨风暴, 牛涛. 模糊逻辑与特征差异驱动的红外偏振图像融合模型[J]. 红外技术, 2014, 36(4): 304-310.

An Fu, Yang Fengbao, Niu Tao. A Fusion Model of Infrared Polarization Images Based on Fuzzy Logic and Feature Difference Driving[J]., 2014, 36(4): 304-310.

[15] 袁金楼, 吴谨, 刘劲. 基于NSCT与DWT的压缩感知图像融合[J]. 红外技术,2015,37(11): 957-961.

Yuan Jinlou, Wu jin, Liu Jing. Image Fusion Based on Compressed Sensing of NSCT and DWT[J]., 2015, 37(11): 957-961.

Infrared Polarization Image Fusion Using the Synergistic Combination of DWT, NSCT and Improved PCA

YANG Fengbao，DONG Anran，ZHANG Lei，JI Linna

(,,, 030051,)

In order to retain the details and the intensity information of infrared intensity image and polarization image adequately and integrate prominent performance of different algorithms, a novel synergistic combination fusion method of infrared polarization images based on DWT, NSCT and improved PCA is proposed, which can fully preserve important objectives and details of source images after considering complementary relationship of the three fusion algorithms. Firstly, the source images are decomposed into high and low-frequency components with DWT. The low-frequency coefficients are decomposed again with NSCT. Secondly, the weights generated by PCA are improved to fuse the low-frequency coefficients obtained by decomposing of NSCT block-by-block. Then, a Correlation coefficient, Local energy and Local standard deviation rule is put forward to fuse the high-frequency coefficients obtained by decomposing of NSCT. And the high-frequency coefficients obtained by decomposing of DWT are fused with the Layer Contras rule. Finally, the fusion image obtained by inverse NSCT is used as the low-frequency fusion image of DWT. And the final fusion image is obtained using inverse DWT. Experimental results show that the proposed method has more advantages than the single or simple combination fusion method in the visual effect, levels of detail and details preservation and has strong adaptability to different scenes.

image fusion，infrared polarization，synergy fusion，DWT，NSCT，PCA

TP391

A

1001-8891(2017)03-0201-08

2016-05-17；

2016-05-27.

杨风暴（1968-），男（汉），山西省临汾人，教授，博士生导师，信号与信息处理。E-mail：yangfb@nuc.edu.cn。

中北大学动态测试技术重点实验室开放基金目（ZDSYSJ2015005），教育部高等学校博士学科点专项科研资助（博导类）（20121420110004）