NSST域改进NMF的红外与可见光图像融合

葛 雯，姬鹏冲，赵天臣



NSST域改进NMF的红外与可见光图像融合

葛 雯，姬鹏冲，赵天臣

( 沈阳航空航天大学电子信息工程学院，沈阳110136 )

针对红外与可见光图像融合时细节信息提取不充分、算法复杂度高等缺点，本文提出一种降低算法复杂度、丰富细节信息的基于非降采样剪切波变换(NSST)和非负矩阵分解(NMF)的红外与可见光图像融合算法。该方法根据NSST算法对源图像分别进行多尺度、多方向稀疏分解，分别得到低频部分和高频部分。对低频部分采用基于改进的NMF融合规则；对高频部分采用拉普拉斯能量和视觉敏感度系数相结合的融合规则。最后，对低频融合部分和高频融合部分执行NSST逆变换得到最终的融合图像。实验结果表明，该融合方法不仅可以保证融合图像的清晰度，同时还可以缩短算法的运行时间。

图像融合；NSST；NMF；SML

0 引 言

对单一的传感器受环境影响造成成像不完全，不准确等方面，随着科技的不断发展，人们通过探寻互补的成像信息进行信息融合，来达到消除单一传感器成像弊端，此种技术被应用在很多技术领域，比如红外与可见光图像的融合，高光谱图像的融合，多聚焦图像的融合等[1]。由图像信息提取的特征层次的不同，可以把图像融合分为像素级图像融合，特征级图像融合，决策级图像融合这三个层次[1-2]。传统图像融合算法复杂度高边缘细节提取不全，只能在有限的方向上分解，为此K. Guo和G.Easley等提出了基于非降采样剪切波变换(Non-subsampled Shearlet Transform，NSST)。此理论让标准的剪切波滤波器从伪极向坐标系统映射到Cartesian坐标系统，通过快速逆傅里叶变换FFT，进行二维卷积完成，避免了下采样操作，使其具有平移不变性克服了伪Gibbs现象[3-4]。

非负矩阵分解(Non-negative Matrix Factorization，NMF)是D. D. Lee和H. S. Seung在《Nature》期刊上提出的一种新的多元非负数据分析方法，把原始矩阵分解成一个非负基矩阵和非负系数矩阵，从而达到降维的作用[5-6]。随后在标准的NMF算法基础上提出了CNMF算法，LNMF算法，WNMF算法等[2,4]。本文在NMF算法基础上提出了改进的加权NMF算法，使融合图像更进一步的符合人眼视觉效果。

1 图像的NSST变换理论

K.Guo和G.Easley等人利用合成小波理论通过把几何和多尺度分析结合起来提出了Shearlet变换理论，但是Shearlet变换理论不具有平移不变性[7-9]。在此基础上提出了NSST变换，它由基于非下采样金字塔(Non-subsampled Pyramid，NSP)滤波组和基于改进的剪切波滤波器组(Shearlet Filter, SF)组成[2,10]。当图像空间维数=2时，合成膨胀的仿射系统表达式：

其中：；和是22的可逆矩阵，表示膨胀矩阵分解层数，表示剪切的方向，表示图像分解层数，表示图像的剪切方向，表示图像的平移量参数。=[4 0, 02]，=[1 1, 0 1]，此时称为剪切波[5-10]。NSST的分解结构示意图如图1所示，NSST梯形支撑区间如图2所示。

图1 NSST 的分解示意

图 2 NSST 的梯形支撑区间

2 非负矩阵分解理论

非负矩阵分解理论(Non-negative Matrix Factorization，NMF)可以用下面的公式表示：

其中：表示非负原始矩阵，表示分解之后的非负基矩阵，表示分解之后的非负权重系数矩阵，表示噪声或者误差，表示矩阵分解的维数，满足约束条件。当=1时反应全部图像特征。

在乘性迭代规则上对和迭代因子改进使近似于[6-9]。改进的标准迭代规则：

其中表示加权系数矩阵。

3 图像融合的规则和步骤

对红外图像和可见光图像分别进行NSST算法分解后，得到各自的低频分量和高频子带分量。图像的低频分量包含了图像的大部分背景能量和光谱信息；高频子带分量包含图像的纹理，亮暗梯度变化，区域边界等的细节信息[10-17]。

加强酸性气田安全文化建设的探索与思考…………………………………………………………………………陆 博（2.91）

3.1 图像融合的步骤

1) 对经过严格配准的红外图像和可见光图像用NSST算法分别进行分解，得到各自的NSST分解系数和，其中为低频子带系数，为层下方向的高频子带系数，I为红外图像，V为可见光图像。

2) 对红外与可见光图像的低频子带和用基于改进的加权NMF方法进行融合得到低频子带融合图像。

3) 采用SML和视觉敏感度系数相结合的方法，对高频子带系数和进行融合，得到NSST域的高频子带融合系数。

4) 对低频子带融合系数和高频子带融合系数进行NSST逆变换，得到最终的融合图像M。

3.2 低频子带图像融合规则

低频子带部分包含了图像的主要能量信息[2-10]。使用NMF方法进行融合，得到的低频融合系数使图像的轮廓信息最大程度地保留了下来。使用改进的加权方法对和的迭代规则进行改善，如下所示：

低频系数融合步骤如下所示：

1) 把分解得到的低频系数矩阵和按照行优先的形式将像素值依次整理成列向量的形式存入到观测矩阵中，构造原始矩阵。

2) 根据式(6)分别计算源图像低频系数的灰度突变度，值，两者取大作为目标突变度。

3) 设定=1，初始化和的值；初始化´2加权系数矩阵，其元素均取0.5。

4) 根据式(4)进行一次迭代，如果达到最大迭代次数，则对中的元素做重置变换到低频系数范围，把此结果作为低频融合系数；否则转向5)。

5) 计算迭代后矩阵的突变度，如果大于目标突变度，则执行4)，如果小于目标突变度则把加权系数用式(5)代替。

3.3 高频子带图像融合规则

图像的高频子带部分代表图像的边缘，纹理等细节信息，拉普拉斯能量和(SML，用SML表示)表征了图像领域内细节信息的丰富程度[6]。人眼视觉对图像的局部变化比较敏感，视觉敏感度系数更好地反映了人眼视觉的这个特征[10]，综合SML和视觉敏感度系数，采用它们各自的优势进行互补。SML和视觉敏感度系数(VCS，用VCS表示)表达式如式(7)和式(8)所示。

高频子带图像的融合规则：

4 图像融合评价指标及实验结果分析

为验证本文融合算法可行性，选择两组不同的256´256的红外与可见光源图像，本文用MATLAB R2015a分别进行融合仿真实验。为保证良好的融合效果，本文分解层数为4层。图3(c)采用Contourlet分解低频取平均，高频绝对值取大；图3(d)用NSCT分解低频采用改进的加权平均，高频的最高层采用方差选大，其余层采用能量选大；图3(e)用NMF算法进行融合；图3(f)采用本文的NSST和改进的NMF融合算法；图4的融合算法和图3的一样。

图3 实验图像1

图4 实验图像2

上面两组实验图像中可以直观得出每种算法下的融合图像都有各自的特点[18]，通过本文融合算法进行的源图像与融合图像的差分图像的细节更丰富；比较融合图像评价指标信息熵(IE)，标准差(SD)，平均梯度(AG)和运行时间()都得到一定的优化。综合这几个融合评价指标可以看出NSCT融合算法虽然细节信息丰富，但是算法运行时间长；本文方法融合图像较清晰，图像比较柔和具有良好的视觉感。

表1 图3 对应的融合质量评价指标

Table 1 Fusion quality evaluation index of figure 3

表2 图4 对应的融合质量评价指标

Table 2 Fusion quality evaluation index of figure 4

结束语

本文利用红外图像与可见光图像的信息互补和冗余，提出了基于NSST变换和改进的NMF变换相结合的图像融合规则，通过大量实验表明此融合算法可以很好地缩短算法运行时间，能够有效地提取边缘、纹理等细节信息，目标亮度适中，并且能够表现出较好的融合性能。

[1] 李俊山，杨威，张雄美. 红外图像处理、分析与融合 [M]. 北京：科学出版社，2009：174-182.

LI Junshan，YANG Wei，ZHANG Xiongmei. Infrared Image Processing，Analysis and Fusion [M]. Beijing：Science Press，2009：174-182.

[2] 邢笑雪. 基于NSST的图像融合算法研究 [D]. 长春：吉林大学，2014：69-77.

XING Xiaoxue. Research an the Image Fusion Algorithm Based on Non-sumsampled Shearlet Transform [D]. Changchun：Jilin University，2014：69-77.

[3] 谢彦浩. 基于改进的Shearlet变换的多聚焦图像融合 [D]. 西安：西安电子科技大学，2013：37-43.

XIE Yanhao. Multi-focus Image Fusion by Improved Shearlet Transform [D]. Xi¢an：Xidian University，2013：37-43.

[4] 冯鑫，王晓明. 基于shearlet变换的红外与可见光图像融合 [J]. 光电子×激光，2013，24(2)：384-390.

FENG Xin，WANG Xiaoming. Fusion of infrared and visible images based on Shearlet transform [J]. Journal of Optoelectronics×Laser，2013，24(2)：384-390.

[5] 朱明，杨粤涛. 基于非采样Contourlet变换的图像融合 [D]. 北京：中国科学院大学，2012：61-75.

ZHU Ming，YANG Yuetao. Research on Image Fusion Based on Nonsubsampled Contourlet Transform [D]. Beijing：University of Chinese Academy of Sciences，2012：61-75.

[6] 吴一全，殷骏，曹照清. 基于非下采样Shearlet和WNMF的红外热波图像融合 [J]. 光子学报，2014，43(10)：1-9.

WU Yiquan，YIN Jun，CAO Zhaoqing. Fusion of Infrared Thermal Wave Image Based on Nonsubsampled Shearlet Transform and Weighted Non-negative Matrix Factorization [J]. Acta Photonica Sinica，2014，43(10)：1-9.

[7] KONG Weiwei，YANG Lei，ZHAO Huaixun. Adaptive fusion method of visible light and infrared images based on non-subsampled shearlet transform and fast non-negative matrix factorization [J]. Infrared Physics & Technology(S1350-4495)，2014，67(3)：161–172.

[8] 吴一全，陶飞翔. 改进投影梯度NMF的NSST域多光谱与全色图像融合 [J]. 光学学报，2015，35(4)：1-10.

WU Yiquan，TAO Feixiang. Multispectral and Panchromatic Image Fusion Based on Improved Projected Gradient NMF in NSST Domain [J]. Acta Photonica Sinica，2015，35(4)：1-10.

[9] 刘少鹏，郝群，宋勇. 动态WNMF及在图像融合中的应用研究 [J]. 传感技术学报，2010，23(9)：1266-1271.

LIU Shaopeng，HE Qun，SONG Yong. Dynamic Weighted Non-Negative Matrix Factorization and Its Using Research in Image Fusion [J]. Chineae Journal of Sen Sors and Actuators，2010，23(9)：1266-1271.

[10] 孔韦韦，雷英杰. 基于NSST域人眼视觉特性的图像融合方法 [J]. 哈尔滨工程大学学报，2013，34(6)：777-782.

KONG Weiwei，LEI Yingjie. Technique for image fusion based on NSST domain and human visual characteristics [J]. Journal of Harbin Engineerin University，2013，34(6)：777-782.

[11] EASLEY G，LABATE D，LIM W Q. Sparse directional image representation using the discrete shearlet transform [J]. Applied and Computational Harmonic Analysis(S1063-5203)，2008，25(1)：25-46.

[12] JIAO Mou，GAO Wei，SONG Zongxi. Image Fusion Based on Non-negative Matrix Factorization and Infrared Feature Extraction [C]// International Congress on Image and Signal Processing，Xi'an，China，Dec 16-18，2013，2：1046-1050.

[13] 李美丽，李言俊，王红梅，等. NSCT和非负矩阵分解的图像融合方法 [J]. 计算机工程与应用，2010，46(8)：21-24.

LI Meili，LI Yanjun，WANG Hongmei，Image fusion algorithm based on NSCT and non-negative matrix factorization [J]. Computer Engineering and Applications，2010，46(8)：21-24.

[14] 王志社，杨风暴，彭智浩. 基于NSST和稀疏表示的多源异类图像融合方法 [J]. 红外技术，2015，37(3)：210-217.

WANG Zhishe，YANG Fengbao，PENG Zhihao. Multi-source Heterogeneous Image Fusion Based on NSST and Sparse Presentation [J]. Infrared Technology，2015，37(3)：210-217.

[15] 江平，张强，李静，等. 基于NSST和自适应PCNN的图像融合算法 [J]. 激光与红外，2014，44(1)：108-113.

JIANG Ping，ZHANG Qiang，LI Jing，. Fusion algorithm for infrared and visible image based on NSST and adaptive PCNN [J]. Laser & Infrared，2014，44(1)：108-113.

[16] 张余宽，张弓. 基于剪切波的SAR/红外图像融合研究 [D]. 南京：南京航空航天大学，2011：28-41.

ZHANG Yukuan，ZHANG Gong. Research on Shearlet-Based SAR/IR Image Fusion [D]. Nanjing：Nanjing University of Aeronautics and Astronautics，2011：28-41.

[17] YE Youshi，ZHAO Baojun，TANG Linbo. SAR and Visible Image Fusion based on Local non-negative Matrix Factorization [C]// The Ninth IEEE International Conference on Electronic Measurement & Instruments，Beijing，China，Aug 16-19，2009，9：263-266.

[18] YUAN Yihui，ZHANG Junju，CHANG Benkang，. Objective quality evalution of visible and infrared color fusion image [J]. Optical Engineering(S0091-3286)，2011，50(3)：33-45.

Infrared and Visible Light Images Fusion of Improved NMF on NSST Domain

GE Wen，JI Pengchong，ZHAO Tianchen

( School of Electronics and Information Engineering, Shenyang Aerospace University, Shenyang 110136, China)

Aiming at insufficient details information extraction and higher complexity algorithm when the infrared and visible light image fusion is processed, an infrared and visible image fusion algorithm based on the Non-subsampled Shearlet Transform (NSST) and the improved Non-negative Matrix Factorization (NMF) is proposed. Making use of NSST to decompose source images on multi-direction and multi-scale sparse,low-frequency components and high frequency components are obtained. The fusion method of the improved NMF is adopted in the low frequency subband. The fusion rule for the combination of the Laplace energy and visual sensitivity coefficient is used to the high frequency components. Finally, the fusion image is obtained after executing the NSST inverse transformation. Experimental results show that the fusion method can not only guarantee the definition of the fused image, but also shorten the running time of the algorithm.

image fusion; NSST; NMF; SML

TP391

A

10.3969/j.issn.1003-501X.2016.04.012

2015-07-07；

2015-07-28

辽宁省科技厅工业攻关项目(2012216027)；沈阳市科技计划项目(F13-096-2-00)

葛雯(1972-)，女(汉族)，辽宁沈阳人。副教授，博士，主要研究工作是图像处理，航空电子信息。

姬鹏冲(1988-)，男(汉族)，陕西汉中人。硕士研究生，主要研究图像融合。E-mail: 727256301@qq.com。