基于稀疏表示的SAR/红外图像彩色融合*

张文国　李向东　刘存超

(93498部队　石家庄　050073)



基于稀疏表示的SAR/红外图像彩色融合*

张文国李向东刘存超

(93498部队石家庄050073)

摘要针对多孔径雷达(SAR)图像和红外图像的特点,提出一种基于稀疏表示的SAR/红外图像彩色融合方法。该方法首先采用稀疏表示获得SAR图像和红外图像的灰度融合图像;其次在YCbCr空间采用基于颜色传递的彩色融合方法,生成两幅图像的初始彩色融合图像;最后在YCbCr空间利用两幅图像的灰度融合图像代替其初始彩色融合图像的Y分量,得到最终的近自然彩色融合图像。实验表明该方法获得的彩色融合图像具有较好的亮度对比和细节信息,图像色彩更易于人眼观察,同时增强了对场景的理解和目标探测。

关键词图像融合; 稀疏表示; SAR/红外图像; 颜色传递

SAR and Infrared Image Color Fusion Method Based on Sparse Representation

ZHANG WenguoLI XiangdongLIU Cunchao

(No. 93498 Troops of PLA, Shijiazhuang050073)

AbstractConsidering the features of SAR image and infrared image, an image fusion and colorization method based on sparse representation and color transfer is proposed in this paper. Firstly, the grayscale fused image of SAR image and infrared image is gained based on sparse representation. Secondly, the initial color fused image is gained by matching the statistics of target image and the reference image in the YCbCr color space. Finally, the final color fusion image is obtained by replacing the luminance component with the grayscale fused image during the color transfer process. The experimental results show that the proposed algorithm can obtain the perfect contrast and detail information, and the color of the fusion image is comfortable for human eyes. The situation awareness and target detectability can be enhanced by the method.

Key Wordsimage fusion, sparse representation, SAR and infrared image, color transfer

Class NumberTP391

1引言

合成孔径雷达(SAR)作为一种主动式的对地观测系统,具有全天时、全天候、远距离和宽测绘带等特点[1],其所获取的图像场景较为清晰,但存在目标、细节缺失等缺点;红外热像仪是依靠目标(背景)本身红外辐射分布不同而成像,它可以提供温度梯度较大或与背景有较大热对比的低可视目标的红外图像,但其对场景的亮度变化不敏感。由于SAR图像和红外图像具有互补性及冗余性,通过融合取长补短可以有效增强场景理解和目标的探测,从而提高作战效能。然而这两种传感器获得的是表征场景空间信息的灰度图像,缺少场景的彩色信息,不利于人眼对目标的识别与场景理解。基于人类视觉系统研究表明,人眼对彩色图像的分辨率要远高于灰度图像。因此,图像的彩色融合更利于人眼对目标观察与场景理解。

由于传统的基于彩色空间映射的MIT法和Toet方法得到的伪彩色图像,与真实自然场景的颜色差别较大,不能达到期望的自然彩色效果,影响对目标的准确识别。2003年,Toet[2]利用Reinhard等[3]提出的颜色传递理论,把白天自然场景的颜色特征传递给多波段图像,得到一幅符合人眼视觉的近自然彩色图像,该算法简单、实时性强,得到了广泛的应用和研究。

基于此,提出一种基于稀疏表示的SAR/红外图像彩色融合方法,该方法首先基于稀疏表示采用显著性融合准则,生成一幅灰度融合图像;其次在YCbCr空间用颜色传递公式得到一幅初始彩色融合图像;然后在YCbCr空间,用灰度融合图像代替初始彩色融合图像的Y分量,进而增强图像细节,获得最佳的图像色彩;最后将其从YCbCr空间变换到RGB空间,即得到最终彩色融合图像,如图1所示。

图1　SAR图像与红外图像的融合方案

2图像稀疏表示

稀疏表示指用稀疏逼近取代原始数据表示,用较少的系数捕获感兴趣目标重要信息,从实质上降低信号处理的成本,提高压缩效率[4]。稀疏表示的基本思想是用过完备字典取代传统信号表示中的正交基。由于过完备字典的冗余性,信号能够表示为过完备字典中少数原子的线性组合,其中利用原子最少(即最稀疏)的表示称为稀疏表示。稀疏表示的数学模型为

(1)

在实际应用中允许存在一定的误差,所以上式优化求解问题转换为如下形式:

(2)

其中,式(1)称为稀疏表示,而式(2)称为稀疏逼近,式(1)和式(2)隐含稀疏优化求解过程。在稀疏优化求解过程中,字典D={α1,α2,…,αJ}中的列向量称为原子,D∈RT×J(T

图2给出了过完备稀疏表示的示意图,图2中系数α只有少数非零元素是稀疏的[5]。

图2　过完备稀疏表示示意图

3基于稀疏表示的灰度融合算法

结合稀疏表示理论,利用K-SVD算法[6]生成过完备字典D,使用贪婪追踪算法中的OMP算法[7]进行稀疏表示。假设待融合的SAR图像和红外图像分别记为fSAR和fIR大小都为M×N,并且已经配准,融合后的图像记为g(x,y)。当图像比较大时,对整幅图像进行稀疏表示计算量大、复杂度高,因此采用对图像的局部块进行稀疏表示。采用的灰度融合算法具体步骤如下[8]:

1) 将输出图像g(x,y)初始化为零,并将运算次数count、循环变量i,j置零;

3) 将得到的分块图像按顺序转换为长度为T的向量v1和v2,再利用贪婪追踪算法中的OMP算法分别对其稀疏表示,得到各自的稀疏表示系数α1和α2;

4) 因为在同一字典下图像的稀疏系数一定程度地反映了字典中的原子,稀疏系数的绝对值越大,其对应的原子显著性的程度越高,因此图像融合准则采用显著性融合准则:

(3)

其中,αF为融合得到的稀疏系数;

g⟸g+fF,countx,y⟸countx,y+1

(4)

8) 最后计算输出图像中每个像素位置处的灰度值与相应的运算次数的比值,最终的图像融合结果:

g(x,y)⟸g(x,y)/countx,y

(5)

为了验证所提出方法的有效性,选择三种图像融合领域里广泛使用的图像融合技术—小波融合方法、梯度融合方法、Laplacian金字塔融合方法和与本文的方法进行对比。实验采用一组源图像大小为360*270大小的SAR图像与红外图像。实验结果如图3所示。

图3　灰度融合实验

图3中由融合结果可以看出,与小波融合方法、梯度融合和Laplacian塔型融合方法得到的灰度融合图像相比,本文得到的融合结果较前两种方法要好,既继承了SAR图像中的场景信息又较好地保留了红外图像中的目标信息,图像的信息量更多。

4基于YCbCr空间的颜色传递算法

图像的彩色信息可以表示在不同的颜色空间中,如RGB、HSI、lαβ、YIQ、YUV及YCbCr等。通过对不同的颜色空间进行分析比较,最终选择在YCbCr颜色空间进行颜色传递。之所以如此是因为相比RGB、HSI及YIQ空间,YCbCr空间的亮度分量(Y)与色度分量(Cb、Cr)相互独立,且Y分量与RGB各分量具有相同动态范围;RGB与YCbCr空间之间的变换是一种线性变换,相比包含反三角变换的HSI色彩空间及包含对数运算的lαβ彩色空间具有更高的计算效率和信息保真度;YCbCr空间的相关性要小于YUC空间,之所以如此是因为YCbCr空间是YUV空间通过修改系数和偏离量衍变而来。同时李光鑫[9]研究表明,基于YCbCr空间的颜色传递生成的彩色融合图像的效果更好。

仿照Toet伪彩色融合结构,本文在YCbCr空间的伪彩色融合方案为[10]

(6)

采用的伪彩色融合可获得较自然的色彩效果,算法简单、计算量小,可实现实时处理,但在细节方面稍显劣势。为了获得更佳的自然感彩色融合图像,进一步采用颜色传递的方式对伪彩色融合图像进行色彩增强。算法的基本思想是通过选取参考图像的颜色特征(均值和标准差),利用统计学计算来确定一个线性变换,使得伪彩色图像和参考图像在YCbCr空间具有相同的均值与方差。该算法具体步骤如下:

1) 将参考图像从RGB空间变换到YCbCr空间,YCbCr空间和RGB空间之间变换关系如下:

(7)

2) 计算参考图像在Y通道、Cb通道和Cr通道的均值与方差,计算公式如下:

(8)

3) 利用颜色传递方法把参考图像的颜色特征(均值与标准差)传递给伪彩色融合图像:

(9)

其中,下标R、S、F分别表示参考图像、伪彩色图像和生成的初始彩色融合图像。

4) 将得到灰度融合图像代替初始彩色融合图像的分量[11],然后将其从YCbCr空间变换到RGB空间显示。

(10)

5实验结果与分析

实验样本采用两组源图像进行仿真实验,大小均为360×270。为了验证算法的有效性,与Toet[2]及文献[9]方法进行对比。

实验1:在图4中,(a)和(b)分别表示第一组SAR图像和红外图像,(c)表示颜色传递所选择彩色参考图像,(d)表示Toet方法生成的彩色融合图像,(e)表示文献[6]生成的彩色融合图像,(f)表示本文彩色融合图像。从图中可以清晰的看到本文彩色融合图像(f)相较于Toet融合图像[2](d)和文献[6](e)融合图像更接近于自然色,更利于人眼观察与目标识别。

图4　实验1彩色融合结果

实验2:为了进一步验证本文算法的有效性和可行性,采用第二组图像进行验证,如图5。在图5中,图(a)和(b)分别表示输入的第二组SAR图像和红外图像;(c)选择的彩色参考图像,(d)表示Toet方法生成的彩色融合图像,(e)表示文献[9]生成的彩色融合图像,(f)表示本文彩色融合图像。(d)和(e)彩色融合图像与场景实际颜色相悖(如道路),而本文彩色融合图像(f)中场景颜色与自然色接近更利于人眼的观察。

图5　实验2彩色融合结果

6结语

提出一种基于稀疏表示的SAR/红外图像融合方法。该方法首先采用基于稀疏表示对SAR图像与红外图像进行灰度融合,得到一幅灰度融合图像;然后运用Toet全局颜色传递方法在YCbCr颜色空间,对输入的SAR图像与红外图像进行颜色传递,得到一幅初始彩色融合图像;最后在YCbCr空间,利用灰度融合图像代替初始彩色融合图像的Y分量,得到最终的热目标突出、场景清晰的彩色融合图像。实验结果表明该方法既能突出红外目标,又能保持丰富的背景细节,提高目标识别和探测效率,减少判断时间,增强操作者对总体形势的意识能力,提高了作战能力。

参 考 文 献

[1] 何邦昱.基于快速稀疏贝叶斯学习算法的雷达数据融合技术研究[D].南京:南京理工大学,2014:1-3.

[2] Alexander Toet. Natural colour mapping for multiband nightvision imagery[J]. Information Fusion,2003,4(3):155-166.

[3] Reinhard E, Ashikhmin M, Gooch B, et al. Color transfer between images[J]. IEEE Computer Graphics and Applications,2001,21(5):34-41.

[4] 王伟伟,廖桂生,张磊,等.一种基于压缩感知的稀疏孔径SAR成像方法[J].电子学报,2012,40(12):2487-2494.

[5] 薛模根,刘存超,袁宏武,等.基于多尺度字典的红外与微光图像融合[J].红外技术,2013,35(11):696-701.

[6] Aharon M, Elad M, Bruckstein A. The K-SVD: an algorithm for designing of over complete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing,2006,54(11):4311-4322.

[7] Y. C. Pati, R. Rezaiifar, P. S. Krishnaprasad. Orthogonal matching pursuit: recursive function approximation with applications to wavelet decomposition[J]. SIAM Journal on Computing,2003,41(12):297-305.

[8] 刘存超,薛模根.一种基于稀疏表示的红外与微光图像融合方法[J].红外,2013,34(8):21-24.

[9] 李光鑫,徐抒岩,赵运隆,等.颜色传递技术的快速彩色图像融合[J].光学精密工程,2010,18(7):1637-1647.

[10] 徐铭蔚,李郁峰,陈念年,等.多尺度融合与非线性颜色传递的微光与红外图像染色[J].红外技术,2012,34(12):722-728.

[11] 何卫华,郭永彩,高潮,等.利用NSCT实现夜视图像彩色化增强[J].计算机辅助设计与图形学学报,2011,23(5):884-890.

中图分类号TP391

DOI:10.3969/j.issn.1672-9730.2016.03.010

作者简介:张文国,男,硕士,研究方向:雷达组网和图像融合。

收稿日期:2015年9月4日,修回日期:2015年10月26日