面向双模态红外图像融合算法选取的联合可能性落影构造

吴强，吉琳娜，杨风暴，郭小铭

（中北大学 信息与通信工程学院，山西 太原 030000）

0 引言

红外热成像技术与红外偏振成像技术分别是基于红外目标的红外辐射能量差异和光的偏振属性进行成像，成像机理上的差异导致两类图像在亮度、边缘、纹理细节等特征上具有很多差异[1-2]。红外热辐射成像由于直接对目标物体进行热辐射强度成像，得到的红外图像光强信息很丰富，但物体材质、纹理边缘细节、对比度信息很弱；偏振度图像能够体现物体的表面边缘信息，可以很好地表示物体材质、粗糙特性、边缘轮廓信息、内部纹理细节、目标反差度特性，但光强信息很弱。因此，综合两类图像互补优势，融合互补信息，更有助于发挥红外成像技术在各领域的应用优势[3]。

由于实际场景环境较为复杂，目标差异特征的表现具有随机性，尤其是动态探测场景中图像间差异特征更为复杂多变，所有单一融合算法很难满足复杂场景下的红外图像融合需求。不同融合算法对不同差异特征的融合效果是不同的，例如基于顶帽变换和支持度变换的融合算法主要对亮度差异特征有更好的融合效果[4]；文献[5]提出了一种基于双树复小波变换和稀疏表示的图像融合方法，融合图像具有较高的对比度和细节信息。金字塔[6-8]、小波变换[9-12]等图像融合算法对图像细节差异特征的融合性能上各有优劣[13]，又表明同一算法对不同差异特征或是不同融合算法对同一差异特征的融合效果也有所差异。因此，实现对不同场景下融合算法的优化选取，对于双模态图像融合质量提升至关重要。

双模态红外图像根据差异特征的动态变化及差异特征间的关联性选取融合算法的前提是差异特征与算法间关系的建立[14]，而现有融合模型多只考虑差异特征单一属性的融合效果对算法选取的影响，缺乏差异特征多属性的权衡，可能造成融合效果差等问题。如张雷[15]等以差异特征指数测度作为权重确定依据来选取多融合算法进行算法协同嵌接，但差异特征指数测度主要通过类型和幅值属性得到的，考虑差异特征单一，从而导致融合结果有偏差。

可能性分布合成[16]通过不同模糊算子或合成规则综合不同因素对事件的影响，应用在目标识别、故障诊断、多属性决策等领域中。本文利用可能性分布合成理论，将算法对不同差异特征的融合有效度的可能性分布进行合成，确定其联合可能性落影[16]以实现融合算法的优化选择，可突破特征单一属性造成的融合效果差的局限，以提高图像融合的针对性和有效性。

1 图像融合算法的选取方法

本文提出的双模态红外图像融合算法选取方法流程如图1 所示。

图1 双模态红外图像融合算法选取流程Fig.1 Flow chart of Bimodal infrared image fusion algorithm selection

1.1 差异特征融合有效度的确定

选取实验所需的已配准的大小为m×n的双模态红外图像，图像I和图像P，选取已有融合算法组成融合算法集Aset＝{A1,A2,A3,…,Ar}，选取两类图像的差异特征集Qset＝{Q1,Q2,Q3,…,Qk}。图像I和图像P的融合图像F组成融合图像集Fset＝{F1,F2,…,Fr}。用大小为a×b的滑动窗口对双模态红外图像及对应的融合图像进行分割，得到相应的个大小为a×b的分割子图Isub、Psub、Fsub，计算所得各分割子图的差异特征得到大小为的差异特征矩阵Q(I)、Q(P)、Q(F)。

本文采用文献[17]提出的新型融合度计算方法（如式(1)所示），该方法兼顾各源图像，从一定程度反映了融合增益，能够全面反映融合效果的优劣。

式中：Qf(I)、Qf(P)和Qf(F)为差异特征矩阵Q(I)、Q(P)和Q(F)对应点的差异特征幅值；Vf为融合有效度矩阵V对应点的融合有效度评价结果；wIF和wPF为有效度权重因子，其作用是放大（缩小）较大（较小）差异特征对融合有效度结果的影响性，融合有效度相对越大表示该位置的融合效果相对越好。

1.2 联合可能性落影函数的构造

1）计算差异特征融合有效度的可能性矩阵

基于融合算法集Aset中任意融合算法Ar和差异特征集Qset中任意差异特征Qk计算得到融合图像的差异特征矩阵Qrk(F)和融合有效度矩阵Vrk。将差异特征矩阵Qrk(F)中的点Qij(F)进行标准化，如式(2)所示，将不同差异特征数据转化为无量纲的指标测评值，以便进行综合测评分析。并将标准化的差异特征数据Nrk(F)等分为256 个等分区间，统计第j区间内差异特征散点的个数nj，得差异特征频次分布Ωrk＝[n0,n1,…,n255]。

计算融合有效度矩阵Vrk内各融合有效度值Vfij在Vrk整体中所占的比重pij，计算可能性矩阵πrk，如下式所示：

式(3)中：∑Vf为融合有效度矩阵Vrk中融合有效度值的总和；式(4)中max(p)为pij最大值；πij为可能性矩阵πrk对应点的可能性大小，表示该处融合有效度表现良好的可能性，可能性相对越大融合效果越好。

2）构造差异特征融合有效度的可能性分布

本文选用线性回归构造可能性分布[16]的方法构造差异特征融合有效度的可能性分布函数。以标准化后的差异特征数据Nrk(F)为横轴坐标，可能性矩阵πrk对应点的数据为纵坐标组成散点集，得到可能性观测值的散点图。利用最小二乘法，通过最小化偏差平方和R2，寻找数据的最佳函数进行匹配，构造可能性矩阵πrk的可能性分布函数∏rk(x)(0≤∏rk(x)≤1)：

当可能性观测值与可能性分布函数∏rk(x)的偏差平方和R2最小时，曲线∏rk(x)代表可能性大小随差异特征变化的规律。

3）构造联合可能性落影函数

构造联合可能性落影函数需先确定各差异特征的可能性分布函数的系数，本文采用二元对比法中的择优比较法，先对各差异特征的可能性分布进行两两对比，一共需比较Cm2次（Cm2为m个可能性分布中任取2 个的组合数），重要性比较的结果如表1 所示，再按对比的重要性总分确定各可能性分布在联合可能性落影中的重要性。

表1 可能性分布重要性比较权重Table 1 Possibility distribution significance comparison weight

对比可能性分布∏ri(x)与∏rj(x)的重要性，首先在可能性分布函数∏ri(x)与∏rj(x)上取可能性测度序列∏ri＝[π0,π1,…,π255]＝[∏ri(0),∏ri(1),…,∏ri(255)]与∏rj＝[π0,π1,…,π255]＝[∏rj(0),∏rj(1),…,∏rj(255)]。再计算同一算法下的不同差异特征的可能性测度序列的协方差矩C计算协方差矩阵C的特征向量A＝[A1,A2]和特征值λ＝[λ1,λ2]。

每个特征向量为一个投影方向，相对应的特征值是原始可能性分布在这个方向上的投影的方差，方差越大则投影方向上综合的可能性分布的信息量越大，保留了相对较多的可能性分布的特性。特征向量对应特征值的大小代表了可能性分布所含信息的重要性比较结果。则取最大特征值λp对应的特征向量Ap＝[a1,a2]，可能性分布∏ri(x)与∏rj(x)的重要性比较权重分别为pij、pji。可能性分布∏rk(x)的重要性权重为prk。

各可能性分布的重要性权重即为联合落影投影轴系数，则可得各差异特征的可能性分布函数∏rk(x)的联合可能性落影函数∏r(x)：

1.3 算法选择

最终得到各融合算法的得分集合{C1,C2,…,Cr}，得分最高的算法即为最优算法。

2 实验仿真

2.1 源图像数据集的建立

实验选取的经配准的双模态红外图像为红外可见光图I外偏振图像P，如图2。取图像大小m×n为256×256，滑动窗口大小a×b为16×16。经过实验对比分析，可能性置信水平λπ取值在区间[0.4－0.6]内时，各融合算法的得分区分度明显且准确度较为稳定，本次实验取可能性置信水平λπ＝0.5。实验选取双树复小波变换（double tree complex wavelet transform,DTCWT）[5]、离散小波变换（discrete wavelet transform,DWT）[12]、引导滤波（guided filter,GFF）[18]、拉普拉斯金字塔变换（Laplacian pyramid,LAP）[7]、多分辨率奇异值分解（multiresolution singular value decomposition,MSVD）[19]、小波包变换（wavelet packet transform,WPT）[20]共6 图像融合算法组成融合算法集Aset＝{A1,A2,A3,…,A6}，选取边缘丰度（edge abundance,EA）、边缘强度（edge strength,ES）、Tamura对比度（Tamura contrast,TC）、空间频率（spatial frequency,SF）共4 种图像特征组成图像差异特征集Qset＝{Q1,Q2,Q3,Q4}。图2 中实验源图像得到基于上述融合算法得到的融合图像结果，依次如图3 所示。

图2 两组双模态红外源图像Fig.2 Source dual-mode infrared images of two groups

图3 基于融合算法集的融合图像结果Fig.3 Fusion image results based on fusion algorithm set

2.2 差异特征融合有效度结果

通过第1.2 节中提到的融合有效度计算方法对融合算法集Aset中各算法对应差异特征集Qset中的差异特征，进行差异特征的融合有效度计算，得出融合有效度矩阵Vrk，作多融合算法差异特征幅值的融合有效度散点分布图。如图4 所示为第一组实验源图像经过融合算法A5所得融合图像F5的各差异特征融合有效度V5k散点图。

图4 差异特征融合有效度V5k 散点图Fig.4 Scatter diagram of effectiveness of differential feature fusion V5k

2.3 差异特征的可能性分布构造

通过第1.2 节的方法得到的第一组实验图像在算法A5下所得融合图像的各差异特征融合有效度矩阵V5k对应的差异特征融合有效度可能性矩阵π5k，绘制可能性分布散点图（图5，横轴为标准化后的差异特征，纵轴为差异特征对应的可能度），并计算可能性分布函数∏5k(x)，绘制如图6 所示的可能性分布函数曲线∏5k(x)(k=1,2,3,4)。

图5 差异特征可能性分布π5k 散点图Fig.5 Differential feature possibility distribution scatter diagram

图6 可能性分布函数曲线∏5k(x)(k=1,2,3,4)Fig.6 Possibility distribution function ∏5k(x)(k=1,2,3,4)

2.4 计算联合可能性落影分布函数

表2 可能性分布重要性比较权重Table 2 Possibility distribution significance comparison weight

可能性分布∏5k(x)(k=1,2,3,4)的投影轴系数序列为[0.1656,0.3898,-0.015,0.4596]，联合可能性落影函数，所得联合可能性落影函数如图7 中实线所示。

图7 联合可能性落影函数Fig.7 Joint possibility drop shadow function(Note:“Dotted line”: ∏5k(x)(k=1,2,3,4),“Solid line”: ∏5(x))

2.5 融合算法的排序

从1.2 节所得联合可能性落影函数∏5(x)上取联合可能性测度序列∏r＝{π0,…,π255}，取可能性置信水平λπ＝0.5，计算得到∏5的可能性截集测度序列∏r(λ)。

通过第1.2 节中提到的融合有效度计算方法对融合算法集Aset中各算法对应差异特征集Qset中的差异特征，统计差异特征频次分布Ωrk，如图8（横轴为差异特征区间，纵轴为区间内差异特征点的统计频次）所示为第一组实验源图像经过融合算法MSVD 所得融合图像的各差异特征频次分布Ω5k，并计算总差异特征频次分布以及可能性测度权重序列，如图9 所示（横轴为差异特征区间，差异特征频次分布纵轴为区间内差异特征点的统计频次，可能性测度权重序列纵轴为区间内差异特征点的可能性测度权重）。

图8 差异特征频次分布Fig.8 Differential characteristic frequency distribution

图9 总特征频次分布 及可能性测度权重Fig.9 Total feature frequency distribution and probability measure weight

3 实验结果分析

本文所有的实验均在同一设备及操作系统下完成，处理器为Intel(R) Core(TM) i7-4720HQ CPU @2.60 GHz，操作系统为Windows 10。通过对14 组图像进行20 次操作的平均值得方法总计耗时5.201 s，本文方法在时间效率上符合实时图像融合应用需求。

3.1 图像融合评价指标

为了验证本文所提出的联合可能性落影构造方法对融合算法选取的合理性，采用主观视觉评价与客观指标评价相结合的评价方式，以减少人的心理状态、视觉特性等对方法性能评价的影响，同时也避免只从客观图像评价标准结果的角度分析而与图像融合目的产生冲突的情况。本文采用信息熵（information entropy,IE）[21]、标准差（standard deviation,STD）、空间频率（spatial frequency,SF）[22]、平均梯度（average gradient,AG）[23]、融合质量（fusion quality,QAB/F）[24]、峰值信噪比（peak signal to noise ratio,PSNR）[25]、互信息（mutual information,MI）[26]、结构相似性（structural similarity,SSIM）[27]这8 个图像融合评价指标Erj(j＝1：8)对两组源图像对应的6 种融合算法下的融合结果进行评价。不同算法的优势在各个评价指标上表现不同，为此利用加权综合指标将多个评价指标结合为第9 个评价指标S以提高评价结果的准确性和可靠性。

3.2 评价结果及分析

计算两组实验图像对应融合算法的融合图像F的评价指标，结果如表3 所示。两组实验图像以及对应融合算法的融合图像的融合效果如图10 所示。

从表3 分析可知第二组实验源图像在算法GFF下所得融合图像在各项评价指标上均表现良好，并且有4 项指标在6 种算法中表现最佳，但由图10 分析可知该算法所得融合图像并没有很好地融合双模态红外图像的细节特征，并且图像在一定程度上产生模糊；同时算法MSVD 很好地融合了双模态红外图像的细节特征，但在融合图像客观评价指标结果上的表现不如算法DTCWT。故此本文采用的主观视觉评价与客观指标评价相结合的验证方式可以更好地对本文算法所选结果进行综合评价。

第一组实验图在本文方法下的得分集合为{166.4838,102.7309,89.7001,157.9335,174.9231,171.51 73}，得分排序结果为C5＞C6＞C1＞C4＞C2＞C3，即算法MSVD 为最优算法。由图10 可知第一组实验图在DWT、GFF 和LAP 算法下的融合图像或多或少丢失了偏振图像所体现的部分特征；在DTCWT、MSVD和WPT 算法下对红框内目标融合效果明显，有较为清晰的轮廓，结合3 种算法的客观评价指标结果可知，MSVD 算法在客观评价指标上优于算法DTCWT 和WPT，由此本文方法所得结果是合理的。第二组实验图所得最优算法为算法DTCWT，由表3 和图10 可知算法DTCWT 在客观评价指标上有极佳的表现，并且能够综合红外双模态源图像的互补特征，在纹理、轮廓上最符合人眼视觉标准，为合理的最优算法。

图10 两组实验源图像以及对应融合算法的融合图像的融合效果Fig.10 The fusion effect of two groups of experimental images and corresponding fusion algorithm

表3 2 组实验图各融合算法的评价指标结果及算法排序结果Table 3 The evaluation index results and algorithm sorting results of each fusion algorithm are shown in the experimental figure

4 结论

本文提出了一种面向双模态红外图像融合算法选取的联合可能性落影构造方法，突破单一互补特征在选择算法上局限性，通过研究不同算法下差异特征融合有效度的分布，构造融合有效度的可能性分布函数，研究可能性合成方法，确定分布间的联合落影系数，合成联合可能性落影分布，为进一步研究异类差异特征融合有效度与融合算法间的深度关系奠定基础。