图像融合算法的综合性能评价指标

陈立伟,蒋 勇

(1.西南交通大学信息科学与技术学院,成都610031;2.西南科技大学计算机科学与技术学院,四川绵阳621010)

图像融合算法的综合性能评价指标

陈立伟1,2,蒋 勇2

(1.西南交通大学信息科学与技术学院,成都610031;2.西南科技大学计算机科学与技术学院,四川绵阳621010)

图像融合算法性能评价是图像融合工程的重要组成部分,现有的融合评价指标从不同方面评价融合图像质量,这些指标在评价图像融合算法性能时存在片面性,难以对融合算法的综合性能作出评价。为此,运用多指标决策技术,提出一种加权总分指标,将多个指标评价值综合为单一值,从而对图像融合算法进行综合性能评价。将加权总分指标的评价结果同逼近理想解排序指标以及秩和比指标的结果相比较,实验结果表明,该指标的评价结果和主观评价结果一致,其综合评价能力与其他2种指标相近,提高了融合算法综合性能评价结果的可靠性和准确性。

图像融合;加权总分指标;融合性能;多指标决策;逼近理想解排序法;秩和比

1 概述

图像融合算法性能评价以融合图像的主观质量或(和)客观质量的评价结果为依据,若评价结果好,则认为融合算法性能好。由于主观评价方法易受评价者个体差异的影响、成本高、不易实施,在实际应用中通常采用客观评价方式。目前,图像融合质量的研究者已开发出大量的客观评价指标[1-3],这些指标从不同方面评价融合图像质量,如平均梯度通过衡量融合图像的细节变化评价融合图像的清晰度,而互信息以信息论的观点,通过度量从源图像中获取的信息量评价融合图像对源图像的忠实度,因此,融合图像的单个指标值仅反映融合算法某一方面的融合性能。在评估新的融合算法性能或者在工程实践中选用融合算法时,需要采用多个评价指标比较不同算法的融合性能。如果被比较的算法在多个指标上互有高低、各有优势,则难以判定算法之间的优劣。目前,关于图像融合算法的文献同其他融合算法进行比较时采用表格或者直方图形式,说明其算法在某个指标上的排名,如果在多数指标上排名靠前则认为该算法优于其他算法。这种评价方法未能定量描述融合算法的综合性能,其评价结果的可靠性和准确性值得商榷。为此,本文将多指标决策技术引入到融合算法的综合性能评价中,将多个评价指标值综合为单一值以提高评价结果的准确性和可靠性,提出加权总分(Weighted Total Score,WTS)指标,根据多个融合算法在加权总分指标值上的排名情况,确定融合算法的优劣。为验证加权总分指标的可靠性和准确性,将其评价结果同逼近理想解排序(Technique for Order Preference by Similarity to Ideal Solution,TOPSIS)[4]指标以及秩和比(Ranksum Ratio,RSR)[5]指标的评价结果进行比较。

2 综合性能评价指标

用多个指标对多个对象进行评价时,多指标决策技术可以对这些被评价对象进行排序和优选,其步骤包括:转化,综合,决策。其中,转化的目的是为了消除不同量纲指标值之间的异质性,将其变换为无量纲的指标值,提供对被评价对象的等价描述;综合的目的是为了整体评价被评价对象,将多个指标值合成为一个综合评价值;决策对所有被评价对象的综合评价值进行排序和优选。

2.1 加权总分指标

当采用多个客观评价指标对融合算法进行性能评价时,利用多指标决策技术可以遴选出综合性能好的算法,结合融合算法比较的实际需求,提出一种综合性能评价指标:加权总分指标。当采用n个指标对m个融合算法进行综合性能评价时,加权总分指标先根据下式在每个指标上计算算法的相对得分:

其中,Mij(i=1,2,…,m;j=1,2,…,n)为算法i在指标上的评价值,计算时先将这些评价值按照高优形式进行转换。然后按下式计算算法i的WTS值:

其中,wj为第个指标的相对得分在总分中的权重,在工程应用中选择融合算法时,可根据具体需求调整各指标的权重,增大权重以突出重要性能,降低权重以淡化次要性能。

2.2 逼近理想解排序指标

逼近理想解排序[4]指标是一种常用的多指标决策指标。当采用多个指标评价多个对象时,各指标在多个被评价对象上的最优值形成最优解,最差值形成最劣解。TOPSIS指标在度量被评价对象与最优解的距离D+时,同时也度量其与最劣解的距离D-,当D+越小且D-越大时,则认为被评价对象最好,否则最差。当采用n个评价指标对m个算法进行综合性能评价时,将所有算法的评价指标值记为(Yij)m×n,按照以下步骤计算算法i(1≤i≤m)的TOPSIS值:

(1)趋势同化:如果评价指标是高优指标,则先将其转化为低优指标,然后,按照下式进行趋势同化:

(2)归一化处理:

(3)确定最优解和最劣解:低优方式下的最优解为:

最劣值解为:

(5)计算融合算法i(1≤i≤·m)的TOPSIS值:

2.3 秩和比指标

秩和比指标[5]作为一种多指标决策指标,在工业生产、医疗卫生等领域得到广泛应用。若用n个融合质量评价指标对m个融合算法进行综合性能评价,则将所有算法的所有指标值组织为m×n的数据表,按照以下步骤计算各融合算法的RSR值:

(1)编秩:确定算法i在指标j上的秩Rij,编秩规则为:1)指标越优秩越大;2)多个算法在同一指标上评价值相等,则平均编秩。

(2)计算融合算法i的RSR值:

上述的WTS、TOPSIS、RSR指标为高优指标。

3 实验验证

为验证加权总分指标的有效性,将加权总分指标评价结果与逼近理想解排序指标和秩和比指标的评价结果进行比较。采用9种融合方法(形态金字塔(Morphological Pyramid,MP)[6]、平稳小波变换(Stationary Wavelet Transform,SWT)[7]、梯度金字塔(Gradient Pyramid,GP)[8]、曲波变换(Curvelet Transform,CVT)[9]、拉普拉斯金字塔(Laplacian Pyramid,LP)[10]、双树复小波变换(Dual-tree Complex Wavelet Transform,DTCWT)[11]、移不变小波变换(Shift-Invariant Discrete Wavelet Transform, SIDWT)[12]、离散小波变换(DiscreteWavelet Transform,DWT)[13]以及非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)[14])对多聚焦图像“Lab”以及可见光和红外图像“Uncamp”进行融合,利用常用的9个客观评价指标(平均梯度、互信息、空间频率、边缘信息保持量[15]、结构相似度[16]、边缘图像质量评价指标、加权融合质量指标、通用融合质量指标[17],视觉信息保真度[18])作为客观评价指标,分别计算各融合算法的WTS、RSR、TOPSIS值并排序。由于计算RSR和TOPSIS时未考虑各指标的权重,式(2)中wj=1以保证实验结果的可比性。

图1给出了Lab图像的融合结果。

通过对各融合图像的整体清晰度进行比较,可以看到,除MP方法外,其他方法的融合图像清晰地描述了整个场景,但DTCWT方法的融合图像对钟面上的数字的显示更为清晰,最接近源图像图1(a)中的钟面图像,从而呈现出最好的融合质量;而MP方法的融合图像对钟面数字显示模糊,在人头周围还产生了伪影,从而表现出最差的融合质量。表1给出了WTS、TOPSIS和RSR指标的综合评价结果,比较表中的排名情况发现:(1)主观视觉质量最好的DTCWT方法在WTS、TOPSIS和RSR指标上都排在第1位,而视觉质量最差的MP方法则居末位; (2)DTCWT、DWT和MP方法在WTS、TOPSIS和RSR指标上排在相同位置,其他方法在WTS、 TOPSIS和RSR指标上的排名位置差小于等于2。

表1 Lab图像融合评价结果及排名

图2给出了Uncamp图像的融合结果。可见光图像和红外图像的最佳融合结果是将红外目标直接嵌入到可见光图像,观察所有的融合图像可以发现, GP方法的融合图像最接近最佳融合效果,在人体周围没有DWT、NSCT方法所产生的伪影,其山丘部分最接近可见光图像;而MP方法的融合图像的灰度范围更接近红外图像,在一定程度上丢失了可见光图像的细节信息,尽管其融合图像的红外目标周围没有伪影,但整体视觉效果与最佳融合结果相去甚远,明显不及其他方法的融合图像。

图2 Uncamp图像融合结果

表2给出了所有融合方法在WTS、TOPSIS和RSR指标上的评价结果及排名,比较排名情况发现: (1)在3个综合指标上都排在第1位是主观视觉质量最好的GP方法,而都排在最后一位则是主观视觉质量最差的MP方法;(2)DTCWT、DWT、GP和MP方法在WTS、TOPSIS和RSR指标上排名相同。

表2 Uncamp图像融合评价结果及排名

综合上述实验结果,本文提出的WTS指标具有以下优点:

(1)评价结果可靠:实验结果表明融合图像的主观评价结果最好的融合算法在WTS指标上排在首位,而融合图像的主观评价结果最差的融合算法在WTS指标上排在末位,说明WTS指标的评价结果与主观视觉质量评价一致,具有一定的可靠性。

(2)评价结果准确:实验数据表明同一融合算法在WTS、TOPSIS和RSR指标上的排名非常接近,说明WTS指标的评价结果和TOPSIS指标、RSR指标的评价结果基本一致,其综合评价能力与OPSIS指标、RSR指标相近。由于TOPSIS指标和RSR指标已成功应用于其他领域的多指标综合评价,说明WTS指标能准确评价图像融合算法的综合性能。

4 结束语

为了更可靠、更准确地评价融合图像算法的综合性能,本文借鉴多指标决策技术,设计加权总分指标,该指标能将多个指标值综合为单一指标值。实验结果表明,加权总分指标的评价结果既与主观评价结果吻合又与TOPSIS指标、RSR指标的评价结果相近。与单纯采用多个指标评价方法相比,当加权总分指标用于图像融合算法的综合性能评价时,可以在一定程度上提高评价结果的可靠性和准确性。在实际工程应用中,在进行融合算法评价时,可以将重要指标的权重设置为1.0～1.3,次要指标的权重设置为0.6～0.9,以达到兼顾重要性能和次要性能的目的。在今后的研究工作中,可改进单个指标相对得分的计算方法,从而进一步提高加权总分指标的可靠性。

[1] 王文杰,唐 娉,朱重光.一种基于小波变换的图象融合算法[J].中国图象图形学报,2001,6(11): 1130-1135.

[2] Qu Guihong,ZhangDali,YanPingfan.Information MeasureforPerformanceofImageFusion[J]. Electronics Letters,2002,38(7):313-315.

[3] Eskicioglu A M,Fisher P S.Image Quality Measures and Their Performance[J].IEEE Transactions on Communications,1995,43(12):2959-2965.

[4] Hshiung T G,Huang J J.Multiple Attribute Decision Making:Methods and Applications[M].New York, USA:Springer Berlin Heidelberg,1981.

[5] 田凤调.秩和比法及其应用[M].北京:中国统计出版社,1993.

[6] Toet A.A Morphological Pyramidal Image Decomposition[J].Pattern Recognition Letters,1989,9(4):255-261.

[7] Beaulieu M,Foucher S,Gagnon L.Multi-spectral Image ResolutionRefinementUsingStationaryWavelet Transform[C]//ProceedingsofIEEEInternational ConferenceonGeoscienceandRemoteSensing. Barcelona,Spain:IEEE Press,2003:4032-4034.

[8] Burt P J.A Gradient Pyramid Basis for Pattern Selective Image Fusion[C]//Proceedings of the Society for Information Display Conference.Boston,USA:Society for Information Display,1992:467-470.

[9] Nencini F,Garzelli A,Baronti S.Remote Sensing Image Fusion Using the Curvelet Transform[J].Information Fusion,2007,8(2):143-156.

[10] Burt P J,Adelson E H.The Laplacian Pyramid as a Compact ImageCode[J].IEEETransactionson Communications,1983,31(4):532-540.

[11] Singh R,Srivastava R,Prakash O.Mixed Scheme Based Multimodal Medical Image Fusion Using Daubechies Complex WaveletTransform[C]//Proceedingsof International Conference on Informatics,Electronics& Vision.Dhaka,Bangladesh:IEEE Press,2012:304-309.

[12] Rockinger O.Image Sequence Fusion Using a ShiftinvariantWaveletTransform[C]//Proceedingsof International Conference on Image Processing.[S.l.]: IEEE Press,1997:288-291.

[13] Li Hui,Manjunath B,Mitra S.Multisensor Image Fusion Using the Wavelet Transform[J].Graphical Models and Image Processing,1995,57(3):235-245.

[14] Yang Xiaohui,JiaoLicheng.FusionAlgorithmfor RemoteSensingImagesBasedonNonsubsampled Contourlet Transform[J].Acta Automatica Sinica, 2008,34(3):274-281.

[15] Xydeas C S,PetrovicV.ObjectiveImageFusion Performance Measure[J].Electronics Letters,2000, 36(4):308-309.

[16] Wang Zhou,Bovik A C,Sheikh H R.Image Quality Assessment:FromErrorVisibilitytoStructural Similarity[J].IEEE Transactions on Image Processing, 2004,13(4):600-612.

[17] Piella G,Heijmans H.A New Quality Metric for Image Fusion[C]//Proceedings of International Conference on Image Processing.Barcelona,Spain:IEEE Press,2003: 173-176.

[18] Sheikh H R,Bovik A C.Image Information and Visual Quality[J].IEEE Transactions on Image Processing, 2006,15(2):430-444.

编辑 刘 冰

Comprehensive Performance Evaluation Index of Image Fusion Algorithm

CHEN Liwei1,2,JIANG Yong2
(1.School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China;
2.School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang 621010,China)

Evaluating the overall performance of the image fusion algorithm is an important part of the image fusion project.The existing evaluation indexes of the fused image often evaluate the quality of the fused image from different aspects and thus have some one-sidednesses when they are used to evaluate the performance of the the fusion algorithm; it is difficult to evaluate the overall performance of the fusion algorithm.This paper,by employing the multi-index decision technique,proposes a Weighted Total Score(WTS)index.This index can synthesize multiple evaluation values into a single value and measure the overall performance of image fusion algorithm.It also compares the evaluation results of WTS with those of Technique for Order Preference by Similarity to Ideal Solution(TOPSIS)and Rank-sum Ratio (RSR).Experimental results show that WTS index can achieve the same results as those of the subjective evaluation and has the overall evaluation ability close to the other two indexes.The proposed index can improve the reliability and the accuracy of the evaluation of the overall performance of the different fusion algorithms.

image fusion;Weighted Total Score(WTS)index;fusion performance;multi-index decision;Technique for Order Preference by Similarity to Ideal Solution(TOPSIS);Rank-sum Ratio(RSR)

陈立伟,蒋 勇.图像融合算法的综合性能评价指标[J].计算机工程,2015,41(2):219-223.

英文引用格式:Chen Liwei,Jiang Yong.Comprehensive Performance Evaluation Index of Image Fusion Algorithm[J]. Computer Engineering,2015,41(2):219-223.

1000-3428(2015)02-0219-05

:A

:TP391.4

10.3969/j.issn.1000-3428.2015.02.042

国家自然科学基金资助项目(10676029,10776028);人工智能四川省重点实验室开放基金资助项目(2014RYY03)。

陈立伟(1974-),男,副教授、博士研究生,主研方向:图形图像处理,光学模式匹配,智能信息化处理;蒋 勇,副教授、博士。

2014-01-15

:2014-03-21E-mail:clwswust@163.com