红外与可见光融合图像的质量评价

王宇庆，王索建

(1.中国科学院长春光学精密机械与物理研究所，

航空光学成像与测量中国科学院重点实验室，吉林长春130033;

2.南京电子技术研究所，江苏 南京210039)

1 引言

图像融合的核心思想就是采用某种算法，把由工作于不同波长范围或具有不同成像机理的各种图像传感器获取的同一个场景的多种图像信息“融合”生成一幅新的图像，融合后的图像将包含有更多的人类视觉系统 (Human Visual System，HVS)敏感信息，从而更适合于人眼观测或者计算机检测、分类、识别等处理［1］。图像融合技术是提高各种图像处理装置性能的重要手段，尤其在目标检测等领域，图像融合技术可以增加图像的有效信息量，从而提高检测效果。红外热像仪和可见光CCD摄像机是目标检测领域两种最常用的成像传感器，其中，红外热像仪得到的红外图像反映了目标和背景不可见红外辐射的空间分布情况，其辐射亮度分布主要取决于被观测物体的温度和发射率，在红外图像中很容易看到低可视红外热目标。与红外图像相比，可见光图像则提供了更多的目标或者场景的细节信息，有利于人眼观察。可见光图像与红外图像因其具有良好的互补性而得到了广泛的应用，二者的融合图像综合利用了两个波段图像的优势信息，从而可以获得更全面、准确的场景描述，有利于实现对目标的精确识别、分析、理解或者判决。

图像融合的最终目的是增加图像的信息量，但是与人脑获取信息的方式不同，各种图像传感器得到的信息存在冗余和相关。这不仅影响了融合效果也影响了对融合图像质量的判别。融合图像质量评价研究的最终目的就是讨论如何分析融合后图像的信息量增加的数量和类型。这里，信息量的增加需要从两个角度分析:

(1)信息量的类型变化。

图像信息的信息量与一般意义上的统计信息量不同，要以人眼敏感的图像内容为评价标准，因此，信息量类型的变化是评价的前提，所生成的图像信息要以人眼敏感的图像内容为评价质量。

(2)信息量的数量变化。

从多源传感器得到的图像信息生成的融合图像在满足图像中增加的内容满足人眼可感知的前提下，评价信息量增加的数量，从而得到最终的量化评价结果。

图像融合质量评价的难点在于目前并不存在能给各种融合图像质量评价方法提供数据源的理想融合算法。因此，很难采用全参考的方法对融合图像的质量进行评价。而融合图像又很难脱离源图像(红外源图像和可见光源图像)。目前的融合图像质量评价方法［2-3］大多抓住了信息量的数量增加这一重要指标，但是并没有估计信息类型的变化，即仅从统计意义上信息分布的角度评价融合图像的信息量数量变化。这样的评价结果没有考虑人眼视觉特性，从而造成了评价结果的不准确。本文研究了传统的融合图像质量评价方法，结合已有的研究工作，提出了基于图像结构信息复数表示的融合图像质量评价方法，通过实验验证了算法，取得了较好的效果。

2 图像结构信息的复数表示

文献［4］提出了一种图像结构信息的复数表示方法，旨在度量两图像的结构相似程度。该算法首先需要计算图像的梯度信息，对于二维灰度图像矩阵，可以分解计算其水平梯度和垂直梯度:

由式(1)可以得到对应于图像I的梯度矩阵，该矩阵包含了图像中某些HVS敏感的重要结构信息，例如图像的边缘信息［5］。图像梯度的变化对于图像模糊失真的敏感程度较高，但是并不能全面解释所有失真类型对图像质量的影响。这里采用复数的方法表示图像的结构信息［4］:

式中，Yx，y是位于(x，y)处的灰度值，Gx，y是该点的全局梯度值。对于彩色图像，考虑到彩色图像中的大多数信息包含在其亮度分量中，将RGB彩色图像分解为YUV分量，将其亮度分量Y作为评价数据。这样就得到了对应于该图像的复数矩阵，这样的复数矩阵可以认为是结合了图像的各种结构信息，并且突出了图像的梯度信息所描述的HVS敏感结构信息内容。

3 评价算法

图像融合技术的特殊性使其在实际应用中具有重要意义。因此，对于融合算法的性能评价无论在理论研究还是工程应用中也逐渐得到了更多的重视［2-3］。目前已有的各种融合图像评价方法以及各种改进方法大多数无法脱离信息论中的一个重要概念:互信息。以下给出了基于互信息的融合图像质量评价方法:A和B为两幅源图像，融合后得到的图像为F，F与A、B之间的交互信息量分别表示为MIFA和MIFB［2］:

式(3)中，pA，pB和pF分别是图像 A，图像 B和图像F的灰度直方图分布，pFA(k，i)和pFB(k，j)分别代表两组图像的归一化联合灰度直方图分布。将MIFA和MIFB之和作为融合图像与源图像A、B的交互信息量总和［44］:

式(4)的问题在于两点:

(1)直接以图像的像素灰度值作为评价数据源。

(2)评价过程采用传统的统计学方法，没有考虑人眼视觉特性。

在本文的研究中，为了进一步提高图像结构信息的载体所包含的信息量和信息的类型，将式(2)得到的复数矩阵作为度量矩阵。但是考虑到复数矩阵无法计算其灰度直方图分布，将其分块奇异值分解得到的矩阵为评价数据源，计算方法为:对于任意一个秩为r的矩阵A∈RN×M(实数或者复数矩阵)，则存在两个酉矩阵U，V，使得:

式中，“◁”表示共轭转置;Σr=diag(s1，s2，…，sr)，x=(s1，s2，…，sr，0，…，0)T称为矩阵 A 的奇异值特征向量，奇异值si(1≤i≤r)为实数。

图像的奇异值向量能够反映图像的本质能量特征，在图像质量评价中的应用取得了良好的效果［6-10］。根据式(5)，可以得到表示该图像结构信息的矩阵，然后采用文献［2］和文献［3］的方法评价源图像与融合图像的互信息，从而得到最终的评价结果，相应的评价方法称为复数奇异值分解(QCSVD)和基于互信息的复数奇异值分解方法(QCSVD_mi)。

4 实验结果

为了验证本文所提的评价算法的性能，针对两组融合图像，采用常用的4种融合算法，分别为:均值方法，PCA方法，金字塔方法，小波方法得到了相应的融合图像。采用本文所提的方法，传统的互信息方法，以及文献［2］的方法对输出的融合图像质量分别进行了评价。由于本文采用的融合算法均为灰度图像融合算法，没有考虑颜色信息，因此图1给出的彩色融合图像均经过色彩空间变换得到。各种方法的评价结果由表1给出。

表1 融合图像评价结果Tab.1 Assessment results of several fusion methods

图1 用于测试的融合图像Fig.1 Fusion images for test

本文所提方法的计算结果的数值越高，表示其评价的图像的质量越好。测试图像分为两组，分别为:图1(a)～图1(f)和图1(a')～图1(f')。其中，可见光图像图1(a)和红外图像图1(b)为对应于图1(c)～图1(f)的原始图像，可见光图像图1(a')和红外图像图1(b')为对应于图1(c')～图1(f')的原始图像。在一般意义的全参考、半参考以及无参考图像质量评价中，通常采用有数百张图像数据库规模的测试图像验证评价方法［11-12］，但是本文所研究的融合图像质量评价并不存在这种数据库，即融合图像质量评价目前尚不存在一般图像质量评价中通常采用的类似LIVE数据库［13］的由数百张照片组成的测试数据库，通常仅有几张能够使用的经典图像，如可见光图像图1(a)和红外图像图1(b)，以及可见光图像图1(a')和红外图像图1(b')。本文的实验同样无法找到类似于LIVE数据库中的数百张DMOS数据库验证所提的方法，采用了经典图像研究所提的方法与人眼视觉特性的一致性。通过对图1(c)～图1(f)以及图1(c')～图1(f')融合图像的主观观测可以看到，4种常见的图像融合算法中，小波和金字塔方法得到融合图像质量最好，信息量丰富，并且能够满足人眼视觉特性的需要。事实上，由于小波分析的方法考虑到了多分辨率的特性，无论从算法的合理性以及与人眼视觉特性的一致性等方面都要好于简单的均值方法和PCA方法。均值方法和PCA方法仅仅采用了简单的统计学分析手段，因此采用此类得到的融合图像体现出不同的缺点。均值方法得到的融合图像的视觉感知质量较差。根据人眼的主观观测，PCA方法几乎没有得到任何传递的有意义的增加信息量。因此，根据以上分析和人眼的主观观测，小波和金字塔方法融合效果最好，而均值和PCA方法的融合效果最差，因此，评价结果也应该是图1(e)和图1(f)好于图1(c)和图1(d)，以及图1(e')和图1(f')好于图1(c')和图1(d')。各种评价方法的量化评价结果在表1中给出，由表1给出的数据可以看到，传统的评价方法，例如互信息和文献［2］方法对于均值或者PCA方法得到的融合图像给出了较高的评价结果，这显然与前面的分析不符。但是当采用了式(6)后，所给出的评价结果明显比传统方法更加合理，评价效果与主观观测效果的一致性好于传统方法。

融合图像的质量评价需要考虑两方面因素:

(1)信息量传递的数量;

(2)融合图像的图像质量。

在大多数研究中，上述因素很难兼顾，其原因在于图像质量是人眼的主观感知过程，与人眼的视觉生理学和视觉心理学特性直接相关;信息传递的数量涉及到统计意义上的信息分布问题，而这里所提及的统计意义上的信息分布实际上也指的是与人眼视觉特性相关的统计信息分布特征。所传递的信息、所感知的信息必需紧紧围绕人眼感知信息的统计学特征，即不能以简单的信息量统计方法分析融合图像的信息变化，必须考虑人眼敏感信息的类型、数量以及质量。在本文的研究中，将能够反映图像敏感信息结构特征的梯度作为一个重要的统计特征，采用复数表示方法将该特征与传统方法结合。该方法取得较好实验结果的关键在于考虑了人眼敏感结构，从而使得评价结果与人眼视觉特性的一致性明显好于传统方法。

5 结论

本文提出了一种基于图像结构信息复数表示的融合图像质量评价方法。用复数表示图像的结构信息，增加了图像矩阵所描述的图像结构信息与HVS的相关程度，避免了传统的仅以传递统计信息量为评价标准的各种方法的不足。该方法充分利用了图像中人眼较为敏感的图像边缘信息，将其作为信息传递的重要内容，同时兼顾了对未知信息的预测。计算机仿真实验证明了该方法的优越性，评价结果优于传统的互信息等方法，而且算法对两组图像的评价结果比较接近，说明算法具有良好的稳定性，与HVS的一致性较理想。另外，根据算法原理，该评价方法所给出的框架可以推广到其他类型的融合图像质量领域。

［1］ 杨云，岳柱.基于融合图像轮廓矩和Harris角点方法的遮挡人体目标识别研究［J］.液晶与显示，2013，28(2):273-277.

YANG Y，YUE ZH.Human body target recognition under occlusion based on fusion of image contour moment and harris angular points［J］.Chinese J.Liquid Crystals and Displays，2013，28(2):273-277.(in Chinese)

［2］ XYDAES C，PETROVI V.Objective image fusion performance measure［J］.Electronic Letters，2000，36(4):308-309.

［3］ QU G H，ZHANG D L，YAN P F.Information measure for performance of image fusion［J］.Electronics Letters，2002，37(7):313-315.

［4］ 王宇庆.基于梯度复数矩阵的图像质量评价方法［J］.计算机技术与发展，2013(1):63-66.

WANG Y Q.Image quality assessment based on gradient complex matrix［J］.Computer Technology and Development，2013(1):63-66.(in Chinese)

［5］ PETROVIC'V S，XYDEAS C S.Gradient-based multiresolution image fusion［J］.IEEE T.Image Processing，2004，13:28-237.

［6］ 王宇庆.局部方差在图像质量评价中的应用［J］.中国光学，2011，4(5):531-536.

WANG Y Q.Application of local variance in image quality assessment［J］.Chinese Optics，2011，4(5):531-536.(in Chinese)

［7］ 骞森，朱剑英.基于奇异值分解的图像质量评价［J］.东南大学学报(自然科学版)，2006，36(4):643-646.

QIAN S，ZHU J Y.Image quality measure using singular value decomposition［J］.J.Southeast University(Natural Science Edition)，2006，36(4):643-646.(in Chinese)

［8］ SHNAYDERMAN A，GUSEV A，ESKICIOGLU A M.An SVD-based grayscale image quality measure for local and global assessment［J］.IEEE T.Image Processing，2006，15(2):422-429.

［9］ NARWARIA M，LIN W S.Objective image quality assessment based on support vector regression［J］.IEEE T.Neural Networks，2010，21(3):515-519.

［10］ NARWARIA M，LIN W S.Scalable image quality assessment based on structural vectors［J］.IEEE，2009:1-6.

［11］ 王宇庆，朱明.评价彩色图像质量的四元数矩阵最大奇异值方法［J］.光学 精密工程，2013，21(2):469-478.

WANG Y Q，ZHU M.Max singular value method of quaternion matrix for evaluating color image quality［J］.Opt.Precision Eng.，2013，21(2):469-478.(in Chinese)

［12］ 姚军财.基于人眼对比度敏感视觉特性的图像质量评价方法［J］.液晶与显示，2011，26(3):390-396.YAO J C.Image quality assessment method based on contrast sensitivity characteristics of human vision system［J］.Chinese J.Liquid Crystals and Displays，2011，26(3):390-396.(in Chinese)

［13］ SHEIKH H R，WANG Z，CORMACK L，et al..LIVE image quality assessment database release［EB/OL］.［2013-7-18］.http://live.ece.utexas.edu/research/quality.