基于局部能量匹配的红外偏振图像融合

杨风暴，赵艳霞，吉琳娜，刘英杰，董安然



基于局部能量匹配的红外偏振图像融合

杨风暴1，赵艳霞1，吉琳娜2，刘英杰1，董安然1

（1. 中北大学信息与通信工程学院，山西 太原 030051；2.中北大学动态测试技术重点实验室，山西 太原 030051）

针对红外偏振融合后图像边缘模糊不清和细节信息不明显等问题，本文提出了一种基于局部能量匹配的红外偏振图像融合方法。首先，融合偏振角图像和偏振度图像得到偏振特征图像；然后运用非下采样剪切波变换（NSST）把偏振特征图像和光强图像分解为低频子带和高频子带，运用顶帽（Top-hat）变换处理偏振图像的低频信息，提取目标；最后采用基于局部能量匹配和局部方差相结合的融合规则融合低频子带和高频子带。实验结果表明，本文算法与NSCT算法相比较，融合后图像的整体互信息值提高了8.7%，方差提高了3.9%，很好的保留了图像的细节信息。

红外偏振图像融合；NSST；局部能量；Top-hat变换

0 引言

目前的红外热成像探测系统在实现目标的发现、识别与跟踪时，主要是接收物体表面的热红外辐射信号，通过分析得到的热图像，从而区分目标和背景。但由于红外图像的反差低，在复杂的场景情况下缺乏细节，因此很难识别背景中的目标。而偏振是光的一种固有特性，偏振图像可以对人造目标和自然目标进行区别；两种的目标的偏振特性不一样，利用这些特性可以把人造目标区分出来，从而提高目标的检测率。把红外偏振图像和光强图像融合，融合后的图像具有与融合前两幅图像互补并且相互区别的信息。因而它们的融合引起了广泛关注。

红外偏振融合算法中，文献[1]提出了基于小波变换的融合方法，但是小波变换不能够对图像方向进行充分的分解，融合后图像增加的灰度信息量较少，增加的信息量较少。非下采样轮廓波变换具良好的方向特性和平移不变性，广泛应用于图像融合领域[2]。文献[3]采用NSCT变换对低频子带以局部能量作为测度指标来融合。目前的研究中对低频子带系数的融合规则通常采用简单的加权平均融合算法，有些融合规则直接选取较大的局部能量系数，这种融合规则使得融合后图像模糊、对比度下降、目标识别能力减弱。

本文针对上述问题提出基于局部能量匹配的红外偏振图像融合方法，图1为本文融合方法的原理图。NSST在分解过程中没有采样操作，并且具有良好的方向选择性，因此本文用NSST作为源图像多尺度分解工具。

1 红外偏振图像的获取

偏振是光的一种固有特性[4]，通常用斯托克斯矢量（Stokes）描述法来描述。Stokes矢量描述法用、、、四个参量来描述光波的偏振态和强度。其中参量表示光强信息，即通过单位面积的辐射能力；表示水平和垂直方向线性偏振的强度差异；表示45°和135°方向的直线偏振光分量；表示圆偏振信息，在自然光的辐射反应中，相对于，，来说，值非常小，所以我们假设＝0。如图2所示，图2(a)～图2(d)为偏振度分别为0°、45°、90°和135°的红外偏振信息图像，然后计算出偏振度图像和偏振角图像，如图2(e)和图2(f)所示。

2 NSST图像分解方法

剪切波区别于轮廓波的特点在于其基函数组可由函数的伸缩、平移、旋转产生，因此非下采样形式的剪切波（Shearlets）变换[5]在图像在分解与重构过程中细节信息不会丢失，不仅具有平移不变性和稳定性，而且分解后图像与原图像大小相同，因而能够更加准确地描述了图像方向性和特征。因此本文采用非下采样剪切波变换对偏振特征图像和光强图像进行多尺度分解。NSST离散化过程为：采用非下采样金字塔（nonsubsampled pyramid，NSP）滤波组获得图像的多尺度分解；采用改进的剪切波滤波器组（shearlet filter，SF）获得图像的多方向和多尺度分解。

3 算法描述

偏振特征图像与光强图像融合的主要目的是融合来自两个源图像中的互补信息[6-7]。本文方法将偏振特征图像和光强图像经过NSST分解，分解为低频子带系数和高频子带系数。在低频子带系数上，互补信息主要是目标的整体特性；而在高频子带系数上，互补信息主要表现为目标的细节特性上，如目标的边缘描述等。

图1 融合算法原理图

图2 偏振图像的获取

融合时作为源图像的偏振特征图像是偏振度图像和偏振角图像的融合结果，偏振特征图像经多分辨率分解后，它的低频子带信息经亮Top-hat变换和暗Top-hat变换，提取图像中较亮和较暗的信息。亮、暗细节特征信息使得的融合图像的对比度增加，丰富了图像的细节信息。采用不同的融合规则对对两幅图像的低频子带信息和高频子带信息分别进行融合；最后对低频子带信息和高频子带信息进行NSST多分辨率重构，最终得到融合后图像。

3.1 偏振特征图像的获取

偏振参数图像偏振度（DOP）和偏振角（AOP）包含清晰的目标边缘和轮廓，但是整体图像看起来暗而且对比度低。由于人造目标的表面较平滑，线偏振度较大，而背景目标的表面各异，偏振度离散较大，线偏振度较小，因而DOP图像更多的描述目标的偏振信息，能够突出人为目标。而AOP图像能够很好的描述目标表面情况，图像中的细节更丰富，边缘更清晰。将AOP图像和DOP图像融合之后，融合后的图像即偏振特征图像具有了两类图像的不同优势，更有利于偏振特征图像与光强图像的融合，使融合后图像细节清晰，因而将这两类图像融合十分重要。本文先融合偏振度图像和偏振角图像，得到融合后图像(,)即偏振特征图像。偏振特征图像中，目标的边缘和轮廓清晰，目标表面细节比较明显。在偏振特征图像和红外光强图像融合后的图像中突出了目标的细节和边缘。由于DOP图像和AOP图像取值范围的不同，应先进行标准化：

3.2 低频系数融合规则

偏振特征图像和光强图像融合的目的是提取图像的目标信息，而且目标信息的能力大，而源图像经多分辨率分解后，得到了低频子带系数和高频子带系数，而源图像的近似特性以及绝大部分能量均由低频子带系数反映，因而对低频系数的融合能够得到偏振特征图像和光强图像的互补信息。对于低频子带图像，标准的加权平均规则不能突出目标。因此，我们采用局部能量匹配和加权平均的融合规则。0(,)，0(,)分别表示光强图像和偏振特征图像经NSST分解后的低频成分。局部能量表示为：

局部能量匹配度定义为：

M的取值范围是[0, 1]。给定一个阈值，比较与M的大小，当M＜时，比较偏振特征图像与光强图像的区域能量，若光强图像的区域能量大于等于偏振特征图像的区域能量，则选取0(,)为融合后图像的低频系数，反之亦然。当M≥时，则根据局部能量大小进行加权融合，即：

3.3 高频系数融合规则

图像经NSST分解后得到的高频系数反映了图像的边缘以及图像细节等的突变特性，高频子带的局部方差越大，其对于区域的图像越清晰，为了保留源图像的细节信息，采用局部方差特征信息来选择高频系数。高频系数的局部方差定义为：

4 融合实验及性能评价

为充分验证本文方法的有效性和实用性，在双核2.10GHz处理器的PC机上，通过Matlab2012a平台进行实验，对自然场景和人工场景进行偏振片角度为0°、45°、90°和135°的拍摄，采集所需图像数据。本文实验所使用的图像均来自互联网。

4.1 融合的客观质量评价指标

本文待融合的图像为光强图像和经AOP图像和DOP图像融合后得到的偏振特征图像，所选取的客观质量评价指标有算法运行时间、方差、信息熵和互信息值4个指标，其中方差表征了融合图像的对比度信息；信息熵表征了融合图像的灰度信息量，计算公式如式(10)，的值越大，则说明信息越丰富；互信息值越大，表示融合图像从源图像中获取的信息越丰富，融合效果越好，本文分别求取光强图像和最终融合图像的互信息值F、偏振特征图像和最终融合图像的互信息值F，整体互信息值定义为两者之和。

4.2 融合效果和分析

目前，大多数红外偏振图像的融合方法大都针对红外光强图像和偏振度图像进行[8]，能提取图像的显著性信息，但偏振角图像中包含的边缘和细节信息常常被忽略，本文将AOP图像和DOP图像通过一定的融合规则进行融合，对图像细节有效信息进行更为精细的处理，并通过多尺度分解和顶帽变换[9]处理，达到较好的融合效果。为充分验证本文算法效果，分别选取自然场景和人工场景图像进行实验验证，其中，偏振特征图像为经过本文融合规则对AOP图像和DOP图像进行融合后的图像，并将本文算法和DWT算法、NSCT算法、LP算法的融合结果进行对比验证，结果如图3、图4所示。

图3为自然场景下一幅图像，光强图像中的明亮区域是由图中物体的辐射信息决定的，图像屋顶等物体的反射很强，使得光强图像的中间偏上部分区域较亮，但图中树木和草丛等区域细节不清晰；而偏振特征图像中树木和草丛等自然景象的细节信息较明显，反而屋顶处却比较模糊。

图3 自然场景图像融合结果对比

图4 人工场景图像融合结果对比

图4为人工场景下一幅图像，光强图像中人及其身后窗体部位辐射信息较好，但车体和周围建筑的边缘较模糊，偏振特征图像恰好弥补了红外光强图像的不足。

由图3和图4可看出，DWT算法融合图像的对比度较低，细节信息不明显，而LP算法、NSCT算法和本文算法融合效果较好，且能较好突出图像细节信息，对于反映图像结构特性的边缘信息，本文算法取得了较好的效果。为从客观角度对实验结果进行评价，根据4.1中所述，将LP算法、NSCT算法和本文算法融合结果的方差、信息熵、互信息值和算法运行时间列表如下，表1为图3的客观指标评价，表2为图4的客观指标评价。

由融合数据可知，本文算法所得融合图像的方差、信息熵均高于LP融合方法；相比LP算法和NSCT算法，本文算法红外光强图像和最终融合图像的互信息值F、偏振特征图像和最终融合图像的互信息值F的总和均较高，表明本文算法处理后的融合图像从源图像中继承的信息较多。数据各项指标显示本文算法和NSCT算法相比，在方差、信息熵及互信息值上差别较小，但本文算法运行时间较NSCT算法有较大提升，互信息值优于NSCT算法，综合而言，对于各种场景图像，本文算法边缘和细节信息保留较完整，融合效果较好。

5 结论

为突出目标的边缘和细节信息，本文提出了基于局部能量匹配和局部方差的红外偏振图像融合算法。利用NSST对图像进行多尺度的方向分解，能够准确而精细地分解目标与背景信息。本文算法综合了光强图像的辐射亮度信息和偏振图像的纹理信息，并且通过Top-hat变换提取了图像低频区域的较亮和较暗信息，细节信息保留较完整。

表1 图4客观指标评价

表2 图5客观指标评价

Table 1 The objective index evaluation of figure 5

[1] 张晶晶, 方勇华, 陈晓宁. 基于小波的偏振图像融合算法及性能评价[J]. 合肥工业大学学报: 自然科学版, 2009, 32(7): 1101-1105.

ZHANG Jingjing, FANG Yonghua, CHEN Xiaoning. Polarimetric image fusion algorithms based on wavelet transform and performance evaluation[J]., 2009, 32(7): 1101-1105.

[2] 孔韦韦, 雷英杰. 基于NSST域人眼视觉特性的图像融合方法[J]. 哈尔滨工程大学学报, 2013, 34(6): 777-782.

KONG Weiwei, LEI Yingjie. Technique for image fusion based on NSST domain and human visual characteristics[J].2013, 34(6): 777-782.

[3] 李伟伟, 杨风暴, 安富. 基于NSCT 的红外偏振与光强图像的融合研究[J]. 光电技术应用, 2012, 27(2): 58-61.

LI Weiwei, YANG Fengbao, AN Fu. Fusion of Infrared Polarization and Intensity Images Based on NSCT[J]., 2012, 27(2): 58-61.

[4] 杨风暴, 蔺素珍. 红外物理与技术[M]. 北京: 电子工业出版社, 2014.

YANG Fengbao, LIN Suzhen.[M]. Beijing: Publishing House of Electronics Industry, 2014.

[5] 郑红, 郑晨, 闫秀生, 等. 基于剪切波变换的可见光与红外图像融合算法[J].仪器仪表学报, 2012, 33(7): 1613-1619.

ZHEN Hong, ZHEN Chen, YAN Xiusheng. Visible and infrared image fusion algorithm based on shearlet transform[J]., 2012, 33(7): 1613-1619.

[6] 李范鸣, 牛继勇, 马利祥. 基于红外偏振特性的空间目标探测可行性探讨[J]. 应用光学, 2013, 34(4): 653-657.

LI Fanming, NIU Jiyong, MA Lixiang. Feasibility analysis of space target detection based on infrared polarization properties[J]., 2013, 34(4): 653-657.

[7] 虞文俊, 顾国华, 杨蔚. 基于小波变换的红外偏振图像融合算法[J]. 激光技术, 2013, 37(3): 289-292.

YU Wenjun, GU Guohua, YANG Wei. Fusion algorithm of infrared polarization images based on wavelet transform[J]., 2013, 37(3): 289-292.

[8] YANG Fengbao, WEI Hong. Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules[J]., 2013: 235-243.

[9] X Z Bai. Image fusion through feature extraction by using sequentially combined toggle and top-hat based contrast operator[J]., 2012, 51(31): 7566-7575.

An Infrared Polarization Image Fusion Method Based on Local Energy Matching

YANG Fengbao1，ZHAO Yanxia1，JI Linna2，LIU Yingjie1，DONG Anran1

(1.,030051,;2.,,030051,)

In order to highlight the edge of infrared image and the detail information, the article proposes a fusion method based on local energy matching for IR polarization and light intensity images. First, The polarization characteristic image is the result of the fusion of AOP and DOP images, then polarization characteristic image and infrared image are decomposed into low frequency and high frequency sub-bands by using the NSST, and the low frequency information of polarization image is processed by using Top-hat transform, with target extracted. Finally the low-frequency sub-band and high frequency sub-band are fused by different fusion rules which are based on local energy matching and local variance. Experimental results show that compared with the NSCT algorithm, the mutual information value is increased by 8.7% and the variance is increased by 3.9% and the image details are retained very well.

fusion based infrared polarization image，NSST，local energy，Top-hat transformation

TP391.41

A

1001-8891(2016)04-0319-06

2015-10-16；

2016-03-08.

杨风暴（1968-），男，山西临汾人，教授，博士生导师，主要研究方向：信号与信息处理。E-mail：1136707688@qq.com。

中北大学动态测试技术重点实验室开放基金项目（ZDSYSJ2015005）。