基于鲁棒主成分分析法的红外可见光图像融合

杨 彬，黄润才，王从澳

（上海工程技术大学 电子电气工程学院，上海 201620)

0 引言

随着传感器技术的发展,图像融合技术也随之发展。由于其工作原理的性质,单个传感器捕获的图像信息不足而造成图像不完整、模糊不清等问题,而图像融合就是结合多个传感器的工作特性,在同一场景获得的多幅图像根据其特性进行优势互补,剔除冗余信息结合为一副对该场景描述更清晰、更完整的图像[1]。在图像融合范围内红外可见光图像融合也是占据不小地位。红外传感器主要根据热量辐射的工作原理来得到图像,对目标场景中与背景温度差别比较大的物体特别敏感,不易受到干扰。相比可见光传感器依据光反射原理所得到的图像在视觉和图像信息方面明显较好,但易受到外界因素所影响[2]。则根据这两者的优缺点可以将红外和可见光图像融合而得到视觉效果好、信息更完整的图像。

根据融合层次不同,图像融合可分为像素级融合、特征级融合和决策级融合[3]。像素级融合得到的图像细节信息更丰富,但数据量较大实时性差。特征级融合处于中间层次,在提取特征信息基础上,数据量较少过程会损失细节信息。决策级融合为最高级,具有很高灵活性和容错性,但也会损失细节信息。近年来随着图像融合技术的发展,相继出现了小波变换[4]、Contourlet变换[5]、非下采样Contourlet变换[6]和主成分分析法[7],这些方法虽然都能够很好的表达图像的信息,但是较容易导致源图像细节信息丢失。

脉冲耦合神经网络PCNN（pulse coupled neural network）因其耦合与同步脉冲的特性而在图像融合领域广受应用。近些年,关于PCNN的图像融合方法也是成为热点,其中Wang[8]等人提出的基于Curvelet域自适应PCNN的图像融合方法也是明显增强了PCNN的自适应能力。模糊逻辑主要思想是使用隶属度函数等变量去处理那些界限不清晰的问题[9],对于问题归宿给出隶属程度,在处理非确定性问题上有着传统方法所没有的优越性和高效性,所以可以采用模糊逻辑来解决低频系数图像融合过程的不确定问题。在稀疏分量,选用自适应PCNN对稀疏分量融合。最后将融合后的低秩分量和稀疏分量叠加起来得到融合后的图像。

1 相关背景

1.1 RPCA

鲁棒主成分分析法（Robust Principal Component Analysis,RPCA）是一种新的低秩矩阵恢复模型[10],RPCA将数据矩阵分解为低秩矩阵和稀疏矩阵的叠加,低秩分量拥有源图像的背景信息,稀疏分量拥有源图像的显著信息。相比于PCA（Principal component analysis）主要目的也是想找出一个低秩矩阵A,使得A与D矩阵之间的差异最小[12],约束模型如下：

式中,s.t.表示约束条件,r表示子空间的目标维数,r≤min(m,n),E矩阵是D与A矩阵的差。RPCA主要思想是想将数据矩阵分解为低秩矩阵和稀疏矩阵在一个最优化准则下的叠加,给定一个数据矩阵M∈Rm×n,可表达为：

其中L为低秩矩阵,S为稀疏矩阵。鲁棒主成分分析约束模型可表示为：

图1 本文融合算法流程图

其中L为低秩矩阵,S为稀疏矩阵,M表示原数据矩阵,||·||*表示核范数,||·||1表示L1-范数,一般λ取值

1.2 模糊逻辑

模糊逻辑是一种利用隶属度函数等清晰的数学语言来描述模糊概念的方法,方法简便且灵活。在图像融合过程中,对于不同目标场景来说,想要确定像素区域是属于目标或者背景,这是一个典型的不确定事件。对于这种不确定性我们可以通过定义模糊隶属度函数来进行定量描述,模糊隶属度函数定义可表示为：

其中U为论域（即所有研究对象构成的集合）,A为U中的模糊集合,μA(A)是x对A集合的隶属度,取值为0～1之间。

本文使用的是在高斯函数基础上构造的隶属度函数,高斯隶属度函数表达式为：

其中μ为该函数的中心,σ决定了该函数的宽度,通常为正。

1.3 PCNN简化模型

PCNN与传统神经网络相比不同的是不需要经过训练即可从复杂的背景下提取出有效信息[13],是受动物大脑皮层细胞处理视觉信号启发而产生的。PCNN由多个神经元连接而成,每个神经元由接受域、耦合调制域和脉冲发生器三部分组成,简化PCNN模型如下所示：

式中：(i,j)表示像素坐标；Sij为外部输入刺激；n为迭代次数；Wijkl为连接权系数矩阵元；kl为神经元与周围链接的范围；Fij、Lij、θij和Uij分别为神经元的反馈输入、链接输入、动态阈值和内部活动项；VL、Vθ分别为链接输入和变阈值函数的放大系数；αL、αθ为时间衰减常数；β为链接强度；Yij为PCNN的脉冲输出,当Yij(n)输出为1、0时表示点火状态和未点火状态,点火输出幅度总和为：

2 融合规则

在图像融合中融合规则的选取也是占据不小地位,RPCA将源图像分解为低秩分量和稀疏分量。低秩分量主要拥有源图像的背景信息,选择局部区域能量和模糊逻辑隶属度函数相结合的方法；稀疏分量主要拥有源图像的显著信息,选用自适应PCNN对稀疏分量融合。本文算法的主要过程如下：

1）对源图像X1和X2分别进行预增强得到I1和I2。

2）采用RPCA分别对I1和I2分解,得到相应的低秩矩阵和,稀疏矩阵S1和S2。

3）对低秩分量L1和L2选择局部区域能量和模糊逻辑相结合的方法,通过高斯隶属度函数计算局部区域能量得到模糊函数中的权重系数,进而得到融合后的低频系数。

4）对于稀疏分量S1和S2,主要表达了源图像的显著信息,选用自适应PCNN对稀疏分量融合,以信息熵作为反馈输入来调节自适应PCNN参数。

5）通过叠加融合后的低秩分量和稀疏分量来得到融合后的图像。

2.1 红外可见光图像的预增强

在图像融合中,图像的预处理能较为有效地提高图像的显著信息,而有着更好的融合效果。调节图像的对比度,红外可见光图像分别可以更好的表现纹理信息和更好的提升图像的清晰度。本文使用Q函数[14]来调节图像的对比度,可以看到大于的像素会被放大,而小于的像素则被减小,其定义为：

式(13)中：A(i,j)为源图像的像素灰度值；μ为图像的平均像素值；Q(i,j)为对比度拉伸后的像素灰度值；kA为拐点参数。

2.2 低频融合规则

低频系数主要拥有源图像的背景信息,通过高斯隶属度函数计算局部区域能量得到模糊函数中的权重系数,这里选择3×3的窗口,得到红外图像的局部区域能量变换矩阵EA：

其中,

CA(i,j)是红外图像的像素值；sign(i,j)是局部区域能量的符号参数；Wg(a,b)为高斯加权矩阵。

计算局部能量变换矩阵EA(i,j)的均值Eμ及Eθ方差,利用高斯模糊函数来计算权重系数：

其中k∈(1,3),根据经验,通常选择1.5。

最后,得出低频系数融合图像如下所示：

2.3 高频融合规则

稀疏分量主要表达了源图像的显著信息,我们可以选择自适应参数脉冲耦合神经网络对稀疏分量进行融合。由于信息熵代表着图像信息量的丰富程度,所以我们可以选择用信息熵作为PCNN的外部输入。局部信息熵的表达式如下：

其中PE(i)表示点对应的像素值在Rx所占比例,Rx是x为中心的局部区域。同理得到红外可见光稀疏子带各自的信息熵HA(i,j),HB(i,j),将两者归一化到[0,1]之间,作为PCNN的输入。

接着设定PCNN初始值Lij[0]=Uij[0]=θij[0]=Yij[0]=0,由式(7)～式(10)得出自适应PCNN的值,由式(11)得到点火输出幅度总和,根据迭代次数运行式(6)、式(7)直到结束,则可得到为红外可见光子带的点火次数,则可得最终融合结果为：

3 实验结果及分析

为了验证本文算法的可用性,在这里我们使用两组红外和可见光图像进行实验,实验使用的图像来自于标准图像数据集,选取基于小波变换的图像融合（WT）[4]、基于NSCT变换的图像融合[6]、基于PCA的图像融合[7]这三种经典融合算法作为对比。测试平台：Inter(R) Core(TM) i5-5200U CPU,2.20GHz,NVIDIA GeForce 820M显卡,Windows10系统,在Matlab R2016a软件上进行仿真实验。

3.1 主观评价

主观评价是直接通过人眼来观察融合图像的边缘、轮廓信息。图2是夜晚的街道一角,可以看到,图2(c)～图2(f)在图像融合都有一定的效果,不过明显观察到图2(e)整体场景较暗,难以观察到街道处的整体信息；在图2(e)基础上图2(c)和图2(d)对于整体亮度有一定的提升,但是在行人、广告牌和汽车细节方面处理还不够好,而本文算法在此方面明显整体图片亮度有了提升,在图片整体细节和视觉效果都比较好。图3是白天海面上的游船,可以看出,图3(e)也是整体场景较暗,很难观测出整个船体信息；而图3(c)和图3(d)相较于图3(e)在整体亮度上有了不小提升,但是目标信息还是不够明显,周围的海平面也比较模糊,而该算法在整体亮度上表现较好,在海平面和船体方面也更加清晰。图4是白天的户外一角,可以看到图4(e)也是整体较暗,图4(c)图4(d)在亮度方面有了部分提升,但在人、树木和房子处也是比较模糊,相比之下本文算法在整体亮度和人、树木和房子处清晰度都比较好,有着较好的视觉效果。

图2 第一组融合图像

图3 第二组融合图像

图4 第三组融合图像

3.2 客观评价

由人眼直接观察得出的结果由于个人或环境因素影响往往会导致图像效果评价的不准确,为了避免这种情况,一般会进一步对融合结果图像进行客观的定量分析,这里选用的客观评价指标有信息熵（Information Entropy,IE）、平均梯度（Average Gradient,AG）、标准差（Standard Deviation,SD）和空间频率（Spatial Frequency,SF）。IE表示图像的信息量,AG表示图像清晰度,SD表示图像像素灰度值与平均灰度值的差距大小,SF反映了融合图像空域的总体活跃度。这四种图像指标都是值越大说明图像效果越好。由表1、表2和表3可以知道本文融合图像在信息熵、平均梯度、标准差和空间频率这四种指标上和传统融合算法相比都比较好,由此可以印证本文算法的可用性。

表1 第一组图像融合指标比较

表2 第二组融合图像客观评价

表3 第三组融合图像客观评价

4 结语

为了更好的将红外图像的目标信息与可见光图像的背景信息结合起来,提出一种基于RPCA和模糊逻辑的红外可见光图像融合算法。首先使用RPCA将红外可见光图像分解为低秩分量和稀疏分量,低秩分量主要拥有源图像的背景信息,所以我们利用区域能量和模糊逻辑隶属度函数得出权重系数,从而得到融合的低秩分量；稀疏分量主要拥有表达了源图像的显著信息,选用自适应PCNN对稀疏分量融合,以信息熵作为反馈输入来调节自适应PCNN参数。最后由融合后的低秩分量和稀疏分量叠加得到融合后的图像。实验结果表明,与其他经典算法相比,本文的融合算法在融合指标和视觉效果上性能都更好。