基于像素级的图像融合

赵 娟,孙澎涛,吴粉侠,冯延琴

(1.咸阳师范学院信息工程学院,咸阳 712000;2.吉林专用通信局,长春 130021)

0 引言

对于信息融合技术的研究始于20世纪70年代的美国国防部,20世纪80年代后期信息融合技术逐渐应用于遥感图像的合成中,20世纪90年代后期,遥感图像的融合处理便成为图像融合的研究热点。图像融合主要研究如何加工、处理以及协同利用多源图像数据信息,使得不同形式的信息相互补充,消除信息之间存在的冗余和矛盾。与单源图像数据相比,多源图像数据所提供的信息具有冗余性、互补性及合作性[1—2]。到目前为止,对于图像融合技术被广泛应用于可见光图像处理、江外图像处理、医学图像处理等领域。

1 图像融合

根据融合处理所处的阶段不同,图像融合通常可以在3个不同层次上进行:像素级图像融合、特征级图像融合、决策级图像融合[3]。像素级图像融合是图像融合最基础的层次,它主要处理的是图像的像素值;特征级图像融合是中间层次上的融合,其思想主要是对源图像进行特征提取后,对这些特征综合分析和处理;决策级图像融合是更高层次上的融合,它主要处理根据一定准则以及每一个决策可信度做出最优决策的一种融合的方法。图像融合系统框图如图1所示。

图1 图像融合系统框图

简单的图像融合的主要思想是对要融合的源图像不进行任何变换,不考虑像素之间的相关性,直接对源图像中的各像素分别进行选择、平均或加权等简单处理后,得到新的融合的图像。该方法是一种典型的图像融合方法,应用也十分广泛。对源图像进行融合处理时要尽量做到[4]:(1)尽可能多地加入图像互补信息;

(2)应尽可能多地包含源图像中的原有信息,保留源图像的色彩信息、纹理信息,以便获得一个既有光谱信息又有空间信息的图像。

(3)融合图像时应限制引入人为和不相容信息;

(4)所选择的融合算法对误差和噪声具有一定的鲁棒性。

1.1 像素灰度值选大法

像素灰度值选大法的主要思想是在融合时,比较源图像A和源图像B中对应位置处像素灰度值的大小,以其中灰度值大的像素作为融合后图像在该位置处的像素值。其数学表达式如式(1)为:

1.2 像素灰度值选小法

像素灰度值选小法与像素灰度值选大法的基本思想正好相反,它是在图像进行融合时,比较源图像A和B中对应位置处像素灰度值的大小,以其中灰度值小的像素作为融合后图像在该位置处的像素值。它的数学表达式如式(2)为:

1.3 加权平均法

加权平均法的基本理论是对多幅图像的对应像素值进行加权处理,其数学表达式如式(3)、式(4)、式(5)所示。设A(m,n)为源图像A中的一个像素点,B(m,n)为源图像B中与之对应的像素点,则融合图像F的相应像素点值为F(m,n),式中ω1和ω2为加权系数。

1.4 客观评价标准

互信息量(M utual Information)用来评价源图像与融合图像之间的相似程度。由于多源图像的灰度分布具有一定的相似性,互信息由于能够测度两幅图像的灰度统计信息,所以其具有十分广泛的应用[5—7]。互信息量的值越大,表示融合图像从源图像中获取的信息越丰富,融合效果越好,该度量具有很强的抗干扰性和鲁棒性。数学模型如式(6)所示:

其中:I(a,f)——指a与 f之间的互信息;

H(a)——代表的是工的信息熵,其计算结果在[0,1]之间。

2 实验结果

本文主要研究的是像素级图像融合,实验中用到的图像有医学图像和左右聚焦的模糊图像。

(1)医学图像融合

图2和图3分别给出了源图像—CT图像和MR图像。

图2 CT图像

图3 MRI图像

图4为采用不同方法融合后的图像,表1为3种不同方法的互信息对比。实验结果表明,从视觉上观看,可以看出M axim al pixel方法和Weighted average方法无论从亮度还是细节上来说,其效果都较好,其中Minimal pixel方法融合的效果最差。从客观评价标准,可以看出Weighted average方法的效果最好,Maximal pixel方法的效果应该是最差的。

图4 图像融合结果

表1 实验对比

(2)多聚焦模糊图像

多聚焦图像融合属于像素级图像融合。多聚焦图像是指对于相同景物,在成像的过程中因各种原因使不同对象呈现出不同的清晰度。如图5所示,景物中前后有2个目标,Clock A前面的目标清晰,后面的目标模糊,而Clock B前面的目标模糊,后面的图像清晰。多聚焦图像融合的目的就是通过某种融合方法,最终得到一个所有目标都清晰的图像。

图6 3种不同算法对两幅图像融合的结果,从视觉上观看,可以看出Minimal pixel融合的效果最好,Maximal pixel与Weighted average方法融合的结果都有不同程度的模糊。由M I的评价标准可以看出,Minimal pixel方法的效果最好,Weighted average方法的效果应该是最差的。实验对比结果见表2。

图6 图像融合结果

表2 实验对比

从以上实验分析可以看出,不同的融合算法,融合的效果会大大不同,即使是相同的融合算法,对于不同的图像进行融合时,其效果也会不同;其二,视觉效果好的结果,其客观评价不一定是最好的。

3 结语

本文首先介绍了图像融合的基本概念及发展状况,基于此进行了像素级图像融合算法的研究,它属于最基础层次上的图像融合。融合时使用了灰度值选大法、灰度值选小法、加权平均法,并进行了实验仿真。对实验结果的分析,不但从视觉感观上给予了描述,而且用互信息M I值的大小从客观上给予了评价。

[1]Hui Li,B SManjunath,Sanjit K,etc.Multi-sensor Image Fusion Using the W avelet T ransform[M].IEEE,1994:51-55.

[2]Tao Wan,Nishan Canagarajah,A lin achim.Com pressive Image Fusion[M].ICIP,2008:1308-1311.

[3]潘泉,于听,程咏梅,等.信息融合理论的基本方法与进展[J].自动化党报.2003,29(4):599-615.

[4]Te-M ing Tu,Shun-Chi Su,Hsuen-Chyun Shyu,etc.A new look at IHS-like image fusionmethods[J].Information Fusion,2001(2):177-186.

[5]Guihong Qu,Dalizhang,Pingfan Yan.In firmationmeasure for performance of image fusion[J].Electronics Letters,2002,38(7):313-315.

[6]G Piella.New qualitymeasures for image fusion[J].Proceedings of The 7th International Conference on Information Fusion,Stockholm,Sweden,2004(5):542-546.

[7]林善明,朱小艳,周建华,等.一种结合互信息和模板匹配的配准方法[J].计算机工程,2010,36(14):198-200.