差异特征指数测度的红外偏振与光强图像多算法融合*

张 雷，杨风暴，吉琳娜

（中北大学信息与通信工程学院，太原 030051）

0 引言

红外偏振与光强成像分别描述了物体的不同属性［1-3］，将两类图像进行融合，能够更全面地描述目标的信息，提高图像视觉效果，有利于目标定位和识别等后续处理任务。为了获得较为理想的融合图像，研究人员提出了基于空间域和多尺度变换的多种红外偏振与光强图像融合算法［4-5］。由于单一融合算法很难满足多种差异特征的融合需求。针对不同融合算法的优势［6-7］，研究人员将不同融合算法相结合，更好地保持图像间的差异特征，减少信息损失，融合图像质量明显高于单一算法融合图像。

目前，图像多算法融合主要包括变换域间组合［8-10］和多个融合算法结果，以权重的形式相结合及通过设定目标函数优化得到最终结果［11］3种形式，主要考虑算法间互补性，很少考虑图像间差异特征对算法选取和权重确定的影响，造成融合图像不能较好地保留图像间差异特征，信息损失较多，不利于后续识别和检测等处理。比如：离散小波与非下采样轮廓波变换、稀疏表示与多尺度变换间组合，主要考虑不同变换域间对细节特征融合上的互补性，不利于低频差异特征融合；多尺度形态学与支持度变换相结合，注重提高融合图像对比度特征；以图像间某一差异特征（对比度、边缘或纹理等）为目标函数，对多个融合结果优化或为权重得到最终结果，会造成融合图像中其他差异特征的弱化。

针对上述问题，本文提出一种基于差异特征指数测度的红外偏振与光强图像多算法融合的方法，根据不同差异特征选取互补性的融合算法，将图像间不同差异特征的测度作为不同融合算法组合时权重判定依据，实现多算法间的融合。

1 差异特征指数测度

图1为课题组拍摄（前两组）和文献［4-5］中（后两组）的红外偏振（P）与光强图像（I），图1中矩形窗口显示，红外偏振与光强在边缘和局部区域亮度上具有显著差异。文献［12］对红外偏振与光强图像间差异特征进行了较深入研究，研究表明：红外光强图像主要包含亮度和轮廓等低频特征，红外偏振图像主要体现物体的边缘和细节特征。

图像灰度值高低反映图像的亮度特征，采用灰度均值描述图像的亮度特征，公式如下：

式中，X表示图像，M和N为图像尺寸，i和j为图像中像素坐标，μX为图像均值。

轮廓和边缘特征主要是对比度特征，采用标准差描述轮廓和边缘特征，公式如下：

式中，Y表示图像，δX为图像标准差，δXY为图像联合标准差。

图像的细节特征主要反映了像素的变化程度，采用图像局部拉普拉斯能量算子描述的细节特征［13］。公式如下：

式中，ω为拉普拉斯能量模板，EOL为图像的拉普拉斯能量。

研究表明，人的视觉特征响应函数接近于指数规律［14］，利用指数函数能够比较自然地反映图像特征差异程度，因此，文中提出指数型红外偏振与光强图像间差异特征测度，差异特指数征测度越大说明该特征在图像间差异程度越大。图像间局部的差异特征既反映了图像局部差异，又反映整体上差异，所以，文中采用局部亮度差异指数测度、局部标准差异指数测度和局部平均梯度差异指数测度作为亮度、轮廓和边缘、细节特征差异程度度量，亮度和纹理差异特征测度如式（6），轮廓和边缘差异特征测度如式（7），具体公式如下：

式中，ΔTS为局部差异特征指数测度，S为BS时ΔTS表示图像间局部亮度差异特征测度，S为ES时ΔTS为图像间局部纹理差异特征测度，fLK和qLK为不同图像局部特征，f和q取μ或EOL分别代表图像均值或拉普拉斯能量，K为图像，K取I或P，局部滑动窗口为3×3。

图2为红外偏振与光强图像差异特征指数测度图，图2中右下角为框图的放大图，从图2中可以明显看到局部均值、标准差和局部能量拉普拉斯差异指数测度图，反映了两类图像间亮度特征、边缘和轮廓特征及细节特征上差异。

2 融合算法选取

本文以红外偏振与光强图像两类图像间的差异特征为例分析融合算法的选取，选择对图像间亮度、轮廓、边缘和细节差异特征具有显著性优势的融合算法。

图像亮度特征反映图像能量，图像的低频特征集中了图像的大部分能量，因此，图像间亮度差异反映了红外偏振与光强图像间低频特征的差异，大多数图像融合算法中对低频特征的融合都采用局部能量取大，多尺度变换不利于图像低频特征的保留，所以，本文采用局部能量取大（MEV）对红外偏振与光强图像进行融合，保留图像间亮度差异特征。

红外偏振与光强图像间边缘差异特征属于图像间大尺度高频差异特征，融合算法中应具备较好的边缘提取能力，边缘保持滤波器在平滑图像的同时具有较好的边缘保持能力；轮廓特征间的边界就是边缘，边缘特征提取较好时，轮廓特征也较完整，因此，边缘保持滤波器也能较好地提取图像的轮廓特征。引导滤波边缘保持滤波器相对于其他边缘保持滤波器，具备更好的边缘保持能力和运算速度快的特点，所以，本文采用多尺度引导滤波（MGST）融合红外偏振与光强图像间边缘和轮廓差异特征。

红外偏振与光强图像间纹理差异特征属于图像间细节差异特征，图像间纹理特征主要表现为图像中细小曲线，非下采样剪切波（NSST）属于二维多尺度变换，其基函数组通过函数的伸缩、平移、旋转产生，具有平移不变和各向异性，分解时不受方向数限制，能够更好地表征图像的细节特征，因此，本文采用NSST融合图像间的纹理差异特征。

为了客观地分析选取的融合算法与差异特征类型间对应关系，文中通过评价不同融合算法对图像特征提取的优势对算法选取的合理性进行判定。图像的轮廓特征、边缘和细节特征主要反映在图像的高频图像中，因此，本文首先采用MGST和NSST分别对红外光强与偏振图像进行分解，去除低频子带图像，重建时只保留高频子带图像；图像轮廓和边缘特征来自红外偏振与光强图像，通过标准差对重建后的图像进行评价，标准差越大说明算法对边缘和轮廓特征提取较好，融合时有利于边缘和轮廓差异特征融合；图像细节信息主要来自红外偏振图像，采用空间频率对重建后的红外偏振图像进行评价，空间频率越大说明算法对细节特征提取越好，融合时有利于细节差异特征融合。图像的亮度特征主要来自红外光强图像，利用图像均值描述MEV对红外图像亮度的保持，由于计算图像的局部能量会增强图像的像素值，所以对红外光强图像能量图的均值进行比例缩小，便于与源图像对比。如图3，图中横轴为图像个数，纵轴为指标值。

从图3中可以看到，NSST算法的高频特征图像空间频率值高于MGST算法，有利于图像细节信息的提取；NSST算法的高频特征图像标准差值低于MGST算法，说明MGST在边缘和轮廓特征提取上具有优势；MEV的能量图像均值明显高于原图，有利于亮度特征的提取。图3反映出的各算法特点与理论分析是一致的。

3 多算法融合权重确定

文中选取MEV、MGST和NSST作为融合不同差异特征的融合算法，当图像变化时，图像间的差异特征差异程度会发生变化，差异特征指数测度反映了图像间差异特征变化程度，通过差异特征差异性测度确定权重，能有效、客观地反映图像间特征差异性对融合结果的影响。因此，红外偏振与光强多算法融合算法如式（8），流程图如下页图4所示。

式中，F为最终融合图像，FMEV为MEV融合结果，WMEV为MEV融合结果权重，FMSGT为MGST融合结果，WMSGT为MGST融合结果权重，FNSST为NSST融合结果，WNSST为NSST融合结果的权重，融合规则为常用的规则，低频采用加权平均，高频采用绝对值取大。

从图2中可以看到，红外偏振与光强图像间的亮度、边缘和轮廓、纹理差异特征是两类图像间主要差异特征，差异特征指数测度都比较大，直接采用差异特征指数测度作为权重会造成融合图像过饱和，主成分分析能够较好地去除数据间的相关性。因此，本文采用主成分分析的方法确定不同融合算法权重，增加差异特征指数测度间区分度，防止图像过饱和，首先利用ΔT1（亮度差异特征指数测度）、ΔT2（边缘和轮廓差异特征指数测度）和ΔT3（纹理差异特征指数测度）构成差异特征指数测度矢量，如式（9）；然后计算协方差矩阵，如式（10）；最后，计算协方差矩阵的特征值和特征矢量，如式（11），取最大特征值对应的矢量作为不同融合算法权重，最终融合如式（12）。

式中，Y为差异特征指数测度矢量，Y'为Y转置，C为Y的协方差矩阵，COV为协方差函数，D为协方差矩阵特征值，D为特征矢量，eig为矩阵特征值和特征矢量计算函数分别为最大特征值对应特征矢量的3个矢量值。

4 实验与结果分析

为了验证本文融合算法的有效性，文中采用常用的单算法和多算法融合与本文算法相比较，单融合算法采用NSST，融合规则为：低频局部能量加权，高频取大；NSST、SWT和PCA结合的多算法融合，首先利用NSST和SWT分别对图像进行融合，最后利用PCA对两幅融合图像进行综合；NSST、MEV和MGST分别对图像融合，最后不同融合结果加权平均。

下页图5为4种不同融合算法融合结果，从图中可以看到4种融合算法整体上都具有较好的视觉效果，本文算法相对于其他3种融合算法，较好地保持了红外光强图像的亮度和轮廓等特征，整体视觉效果最好，融合图像的边缘和细节特征都比其他3种融合算法清晰，其他算法原图像迁移信息能力相对较差，信息损失较多。图5（d1）整体视觉效果最好，车的侧窗和前窗较好地迁移了红外偏振与光强图像间的差异特征；图5（d2）中车头的边缘特征最为清晰，背景中的植物和建筑的亮度、轮廓和细节特征最为清晰，整体视觉效果最好；图5（d3）中窗户、窗户护栏和空调的轮廓、边缘特征最好，整体亮度特征最好；图5（d4）中车盖、车前窗、车轮和车顶的边缘和细节特征保持最好，树木枝叶、人行道上地砖的轮廓、纹理特征和边缘最清晰，整体亮度特征最好。

图6为不同融合算法与原图像间的差值图，与源图像相比，越相近，说明融合算法迁移两类图像的特征能力越强。

从图6中可以看到本文融合算法较好地迁移了红外图像的低频特征轮廓、亮度和轮廓特征、红外偏振图像的边缘和纹理特征，其他融合算法的融合图像信息损失较多，对亮度、边缘和细节差异特征上融合效果相对较差。

为了客观评价融合图像质量，文中采用图像灰度值均值（U）、相关性差异和（RAB/F）、标准差SD、空间频率（SF）对不同融合算法进行客观评价［15］。图像灰度均值反映了图像亮度；标准差反映了融合图像的对比度特征；空间频率反映了融合图像的清晰度，值越大清晰度越高；相关性差异和反映了融合算法迁移原图像差异特征的能力，值越大说明迁移能力越强，如式（14）。

式中，r相关性差异，k=1,2，Dk和Sk分别为融合图像与原图差异图和原图像，分别为和均值，RAB/F是相关性差异和。

表1 I1和P1融合图像评价指标

表2 I2和P2融合图像评价指标

表3 I3和P3融合图像评价指标

表4 I4和P4融合图像评价指标

从图表中可以看到，本文算法融合图像的标准差和空间频率比其他融合算法融合图像都有显著的提高，具有较好的对比度和清晰度；相似度差异和指标除第四组外都得到明显提高，第四组本文融合算法融合图像低主要是对红外偏振图像特征进行了增强，但融合图像较好地保持了两类图像特征，说明本文融合图像能够比较好地迁移和保持红外偏振与光强图像特征，有效避免信息损失，这与差异图所反映的情况一致；灰度平均值最高，且图像无过饱和现象，说明本文融合图像具有较好的亮度特征。通过四组融合图像评价指标分析可以得出，本文融合算法在提高融合图像视觉效果，减少两类图像信息损失上具有较强的优势。

图7为不同融合算法融合图像不同指标图，从图中可以直观地看到本文融合算法相对于其他融合算法具有比较显著的优势，能够较好地融合红外偏振与光强图像间差异特征，明显改善多算法融合图像质量。

5 结论

本文根据红外偏振与光强图像间主要差异特征，选取具有互补性较强的融合算法；提出了差异特征指数测度的特征差异程度度量方法，以差异特征指数测度作为权重确定依据，能够更好地综合利用不同融合算法，显著提高红外偏振与光强多算法融合的融合效果；实验表明本文所提融合算法具有较强的亮度、轮廓、边缘和细节差异特征的迁移能力，根据差异特征有针对性选择算法、确定不同融合算法组合形式，可以显著提高融合图像质量；本文融合方法可进一步推广到其他类型图像融合中。

［1］杨风暴.红外物理与技术［M］.北京：电子工业出版社，2014.

［2］段锦，付强，莫春和，等.国外偏振成像军事应用的研究进展（上）［J］.红外技术，2014，36（3）：190-195.

［3］王霞，夏润秋，金伟其，等.红外偏振成像探测技术进展［J］.红外与激光工程，2014，43（10）：3176-3182.

［4］周强，赵巨峰，冯华君，等.非下采样剪切波的红外偏振图像融合 ［J］. 浙江大学学报 （工学版），2014，48（8）：1508-1516.

［5］YUE Z，LI F M.An infrared polarization image fusion algorithm based on oriented Laplacian pyramid［C］//Proc.of SPIE，2014，914208：1-11.

［6］原惠峰，杨风暴，张雷，等.不同图像融合技术的融合性能分析比较［J］.中国科技论文，2015，10（20）：20406-20411.

［7］LI S，KANG X D，FANG L Y，et al.Pixel-level image fusion：A survey of the state of the art［J］.Information Fusion，2017（33）：100–112.

［8］LIU Y，LIU S P，WANG Z F.A general framework for image fusion based on multi-scale transform and sparse representation［J］.Information Fusion，2015，24（3）：147-164.

［9］BHATEJA V，PATEL H，KRISHN A，et al.Multimodal medical image sensor fusion framework using cascade of wavelet and contourlet transform domains［J］.IEEE Sensors Journal，2015，15（2）：6783-6790.

［10］LI S，YANG B.Hybrid multiresolution method for multisensor multimodal image fusion ［J］.IEEE Sensors Journal，2010，10（9）：1519–1526.

［11］AFZAL S，MAJID A，KAUSAR N.A novel medical image fusion scheme using weighted sum of multi-scale fusion results［C］//11th International Conference on Frontiers of Information Technology，2013：113-118.

［12］牛涛，杨风暴，王肖霞，等.差异特征与融合算法的集值映射关系的建立［J］. 红外与激光工程，2015，44（3）：1074-1079.

［13］HUANG W，JING Z L.Evaluation of focus measures in multi-focus image fusion ［J］.Pattern Recognition Letters 2007（28）：493–500.

［14］ADU J H，GAN J H，WANG Y，et al.Image fusion on nonsubsampled contourlet transform for infrared and visible light image［J］.Infrared Physics&Technology，2013，61：94-100.

［15］ASLANTAS V，BENDES E.A new image quality metric for image fusion：The sum of the correlations of differences［J］.International Journal of Electronics and Communications，2015，69（3）：1890–1896.

［16］房晓东.一种基于显著性区域的图像分割算法［J］.火力与指挥控制，2016，41（7）：48-51.