图像融合算法的性能评价

王宇庆

(中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033)

图像融合算法的性能评价

王宇庆

(中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033)

图像融合算法的性能评价需要考虑在融合图像中传递的信息是否满足人眼视觉特性，而传统的基于信息论的方法并没有考虑人眼视觉特性。针对此提出了一种综合考虑多种图像结构信息的信息合并方法，将局部方差和梯度等信息作为反映图像结构的重要特征,将结构特征矩阵进行分块奇异值分解，从而设计了相应的评价算法。实验结果表明，该方法能够准确度量融合图像中的信息增量,评价结果与人眼视觉特性的一致性优于传统方法。

图像融合；梯度；局部方差

0 引言

图像融合的最终目的是为了增加融合图像中的信息量，这与信息融合的研究目的是类似的，所不同的是，融合图像中的信息分布形式必须符合人眼的视觉特性。事实上，人类视觉系统并不能实现图像融合功能，图像融合仅仅是借鉴了信息论中的类似概念而已，因此，图像融合的关键步骤无法引入人类视觉系统的生理学模型，仅能凭借信息论中的一些基本概念完成图像处理过程。

与各种图像处理过程类似，图像融合同样需要进行质量评价。客观评价是目前几乎所有图像质量评价算法的研究重点，根据对参考图像的依赖程度可以分为无参考图像质量评价、半参考图像质量评价以及全参考图像质量评价3种。对于图像融合这样的图像处理过程，评价算法则更加特殊。图像融合的优劣不仅要考虑图像的画质，还要考虑信息量的增量，这就需要与源图像进行比对才能实现，因此，图像融合的评价过程更加复杂，要考虑多方面因素，并且要引入信息论中的一些基本理论才能实现。

传统的图像融合性能评价指标[1-2]主要从信息论的角度评价融合图像中信息量的增量值，通过度量信息传递的数量实现对融合图像的质量评价,从而实现对相应融合算法的评价。这一机制所存在的问题在于所评价的信息量增量没有考虑人眼视觉特性的需要，无用的噪声甚至失真的图像信息都可以被认为是融合过程中传递的信息，从而给融合算法的评价结果带来严重的误差。因此，融合算法的评价不应该仅仅考虑信息传递的数量，还应该考虑信息传递的类型，将符合人眼视觉特性的图像信息作为评价的主要内容。针对传统融合评价算法的不足，本文设计了一种能够反映图像中人眼敏感结构信息的融合算法评价指标,从而使得评价结果更加接近于相应融合算法的真实性能。

1 基于人眼敏感图像结构信息的融合算法性能评价

人眼对图像中各种信息的敏感程度不同，对各类信息的正确区分是关系到评价算法是否合理的关键。图像的梯度和局部方差都能较为全面地刻画图像的轮廓信息，图像的轮廓信息描述了图像中人眼敏感的主要信息。根据文献[3]的描述，对于二维灰度图像矩阵，位于二维矩阵中(x,y)像素点的图像梯度可以表示为：

(1)

根据文献[4]，图像的局部方差可以表示为：

(2)

图像的梯度侧重于描述图像的轮廓，所得到的梯度矩阵具有较好的可视效果，局部方差能够较好地体现图像的细节变化。但是，细节并不是图像的全部，因此，这里将细节和轮廓两种信息进行合并处理。合并的方法采用四元数信息合并的方法，即：

(3)

公式(3)是一种简化的四元数表示方法。根据Hamilton等人于1843年提出的四元数理论[5]，将四元数的3个虚部表示为梯度、局部方差和0，从而得到了一种新的图像结构信息表示方法。

信息论中的互信息与人眼敏感的视觉信息并没有直接的联系，这里需要将由公式(3)组成的矩阵变换为可度量的实数矩阵，矩阵中还应包含图像中人眼敏感的视觉信息。根据文献[6-7]给出的复数伴随矩阵的定义，四元数矩阵仍然可以进行奇异值分解。对图像进行分块奇异值分解[8]，从而得到每一分块的奇异值特征向量，这样，对于相应的灰度图像，就可以得到一个实数矩阵，表征该图像的视觉特征信息。假设分块大小为k×k，对于N×M大小的彩色图像，相应的奇异值分解后的奇异值特征向量矩阵大小为：(N/k)×(M/k)。这样得到的实数矩阵包含了四元数运算过程中的一些新的数学特征，矩阵中的每一个元素都是实数，接下来的运算可以采用实数域的一些方法进行。

令F为融合图像的四元数奇异值矩阵，A和B为源图像的四元数奇异值矩阵，F与A、B之间的交互信息量分别表示为MIFA和MIFB，根据文献[1]有：

(4)

(5)

其中：pA、pB和pF分别为矩阵A、B和F的灰度直方图分布；pFA(k,i)和pFB(k,j)分别为矩阵F与A和矩阵F与B的归一化联合灰度直方图分布。将MIFA和MIFB之和作为融合图像与源图像A、B的交互信息量总和：

(6)

式(6)给出的指标QMI可以作为对该融合图像以及相应融合算法的性能评价结果，其度量的是图像局部方差和梯度的合并互信息，与文献[1]、[2]有所不同。文献[2]的互信息方法仅仅度量了两图像像素分布的互信息，而文献[1]的方法度量的是两图像经过边缘提取之后的结构差异，并没有考虑图像的细节信息。

2 实验结果

图像融合的质量评价不仅要考虑图像的主观感知质量，还要考虑图像信息的增量。图像融合的质量评价已经不是一个简单的下意识感知过程，而是需要详细分析图像的融合过程以及图像内容的具体变化。实验中采用了经典的CAMP图像验证本文算法的性能，该系列的图像已经在拍摄过程中进行了配准，直接进行融合处理就可以得到融合图像。为了使得实验结果尽可能清晰明确，并且与主观观察效果具有较好的一致性，采用了常用的4种经典融合算法(小波方法、金字塔分解方法、均值方法以及PCA方法)针对实验图像进行相应的图像融合实验。为了验证所提算法的性能，对于融合图像的质量以及相应的融合算法的性能还采用了传统的互信息方法以及文献[1]的融合评价方法对相应的融合算法进行了评价。融合图像质量测试见图1，评价结果见表1。

从图1的实验结果中可以看到，小波和金字塔方法算法复杂,图像处理过程与人眼的视觉感知过程有类似，融合图像的细节丰富，效果较好。而PCA方法和均值方法效果较差。均值方法的成像质量和源图像相比有较大差距，PCA方法得到的融合图像没有实现多源的信息传递。实验的最终目的是为了验证所提的融合算法评价指标的合理性。由表1可知，根据QMI方法的评价结果，图1(e)和图1(f)的融合效果最好，图1(c)和图1(d)的融合效果较差，这与我们人眼的主观观测也是一致的。对于效果接近的金字塔方法和小波方法，QMI也给出了明显的区分度，这说明算法对图像的细节变化具有较好的区分能力。而文献[1]的边缘比较方法和文献[2]的简单互信息方法给出的结果都与相应的融合算法的输出结果不符，其原因在于：文献[1]的方法仅仅考虑了图像的边缘信息，丢失了部分结构信息；而文献[2]的互信息方法没有考虑图像中人眼敏感的结构信息，所以评价结果与人眼的主观感知一致性较差。

图1融合图像质量测试

方法图1(c)图1(d)图1(e)图1(f)文献[1]的方法0.36590.51270.47860.4312文献[2]的互信息法1.37554.05391.68941.5818QMI1.71321.66902.56222.7166

3 结论

在本文的研究中，采用信息合并的方法实现了对融合图像的质量评价，既考虑了图像的细节信息，又考虑了多种未知因素对图像质量的影响；结合人眼视觉特性与信息论的基本概念实现了对多种融合算法的性能评价，实验证明，所提的方法与人眼视觉特性的一致程度优于传统方法。

[1] Xydaes C,Petrovi V.Objective image fusion performance Measure[J]. Electronic Letters,2000, 36(4): 308-309.

[2] Qu Guihong, Zhang Dali, Yan Pingfan. Information measure for performance of image fusion[J]. Electronics Letters,2002,37(7):313-315.

[3] Valdimir S Petrovic', Costas S Xydeas. Gradient-based multiresolution image fusion[J].IEEE Transactions on Image Processing,2004,13:228-237.

[4] Zhou Wang, Bovik A C, Sheikh H R, et a1.Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004,13(4):600-612.

[5] Hamilton W R. On quaternions[G]//Proceeding of the Royal Irish Academy.[s.l.]:[s.n.],1844.

[6] Zhang F.Quaternion and matrices of quaternion[J].Lin Alge Appl,1997,215:21-57.

[7] Nicolas Le Bihan,Jerome Mars.Singular value decomposition of quatemion matrices:a new tool for vector-sensor signal processing[J]. Signal Processing,2004,84(7):1177-1199.

[8] Aleksandr Shnayderman, Alexander Gusev, Ahmet M Eskicioglu. An SVD-based grayscale image quality mea-sure for local and global assessment[J]. IEEE Transactions on Image Processing, 2006,15(2):422-429.

(英文摘要Assessment of Image Fusion Method

WANG Yu-qing

(Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China)

The information increment in fusion image should be assessed in order to assess the performance of the fusion method. Image perception is performed by human visual system in order to perceive significant information in an image, so the properties of the human visual system should also be considered. In order to improve the performance of assessment method, information combination method is used to perform the task. Gradient information and local variance are used to combine the matrix. Then singular value decomposition is performed on the combination matrix. Results from experiments show that the proposed method can assess the performance of the fusion method properly. It is more consistent with human visual system than traditional methods.

image fusion; gradient; local variance

1672- 6413(2015)06- 0003- 02

国家自然科学基金青年基金资助项目(61201368)

2015- 07- 06；

2015- 11- 01

王宇庆(1979-)，男，吉林长春人，副研究员，博士，主要研究方向：图像质量评价、图像增强、图像融合、FPGA设计、群体智能。

TN911.73

A