三种图像融合算法的比较与应用探讨

孙铭吾，毛一梦

（1.南京审计大学实验中心，江苏南京 211800；2.厦门大学电子科学与技术学院，福建厦门 361005）

图像融合技术在军事、医学、遥感、自然资源的勘探以及管理等领域得到了广泛的应用，同时也引起了世界范围内的研究热潮[1]。马翰飞等人融合了飞机导航的可见光图像与红外图像，提高了飞机导航的精度与清晰度[2]。穆伟斌等人利用图像融合改进算法，提高了医学图像的融合质量，降低医生对疾病诊断的误诊率[3]。现有的被广泛使用的图像融合方法主要有IHS 变换法、主成分变换法、加权平均法和小波变换法等。白鑫等人通过IHS 变换与自适应区域特征构建高频子带的融合模型提高遥感图像的空间特性[4]。辛亚楠等人利用小波变换法提取光谱图像强度分量，建立融合光谱图像并宏观化细节信息[5]。主要对IHS变换法、主成分变换法以及加权融合法进行研究，利用MATLAB 平台编写程序，并对通过这3种方法融合后的图像作综合对比并得出结果。

1 三种方法性能比较

1.1 三种方法概述

（1）加权平均融合法

假设有两个图像A和B，大小都为M*N，参与融合后得到一个新的图像P,则对A和B两个图像通过加权平均法得到图像P的过程可表示为：

式中i表示原图像素的行，i=1,2,…,M；

j表示原图像素的列，j=1,2,…,N；

ω1、ω2表示加权系数，且ω1+ω2=1。

（2）IHS图像融合法

IHS 图像融合方法的原理是将IHS 空间中的低分辨率元素I0转换为高分辨率灰度图像中的元素I。IHS变换流程图如图1所示。

图1 IHS图像融合方法流程图

（3）主成分分析法

主成分分析又叫主分量分析、K-L变换等，是一种把多分量简化为少数综合分量的融合方法。要对图像数据中的主成分进行变换，主成分变换的流程图如图2所示。

图2 主成分融合流程图

1.2 三种方法的优缺点

（1）加权融合法的优缺点

加权融合法的优点是简单易懂，适用于图像的实时处理。对于一些应用需求较低的图像能够提取出其中的有效信息，但融合效果不佳，还有可能出现明显的图像拼接痕迹，影响视觉效果。

（2）IHS变换算法的优缺点

IHS 融合法简单易行，主要是通过变换其中的分量I，提高了融合后图片的清晰度。使得融合后的图像既保留了原图中的光谱数据，又拥有比原图更高的分辨率。从另一方面来说，通过IHS融合法只能优化原图3 个波段的光谱，当某一图像的光谱多于3 个时，则需要将原图分割为多个拥有3个波段光谱的图像，分别用IHS 融合法对分割后的图像进行融合，这样不仅过程繁琐，而且在对原图进行划分以及最后合成时，都有可能造成融合后图像的失真。

（3）主成分变换法的优缺点

主成分变换法的优点是能够用于多个波段之间的变换，克服了IHS 只能对3 种波段进行变换的弊端。经主成分变换之后，图像的光谱性能能够保持较好，且分辨率较高便于读取其中的有效信息。缺点是由于每次变换都要计算其主成分矩阵的特征值及其相应的特征向量，计算量十分庞大，实施起来比较麻烦。

2 图像融合实验及其对比分析

2.1 高分辨率图像与低分辨率图像之间的融合

通过MATLAB 平台对高低分辨率图像，所采集到的高分辨率图像和低分辨率图像分别如图3a和图3b所示，两张图片的原始尺寸均为973×605，水平分辨率及垂直分辨率都为96 dpi。分别采用IHS 变换法、主成分变换法和加权融合法对图像进行融合处理后，所得到的图片如下，其中图3c为通过加权融合后得到的图像，图3d为经主成分变换后得到的图像，图3e为IHS变换法作用下得到的图像。

图3a 高分辨率图像

图3b 低分辨率图像

图3c 加权RGB融合图像

图3d PCA-RGB融合图像

图3e IHS-RGB融合图像

由于衡量图像融合效果的指标有多个，计算融合后图像中R，G，B的清晰度，结果如表1所示。

表1 融合图像各分量的清晰度

从目测结果可以看出，经加权融合法变换后的图像虽然清晰度比原来低分辨率图像略高，但其在光谱上有明显的失真；而主成分变换法在提高原图分辨率的基础上，对低分辨率图像中的光谱有小部分的保留；其中融合效果最好的为IHS 交换法，较前两种方法而言，经IHS 变换法融合后，不仅图片中的字样比较清晰，而且对原图的色彩保留得较好，整体融合效果较佳。从客观评价角度来讲，通过比较表1中各个融合图像与原图之间的R，G，B 清晰度，可以看出原来低分辨率图像的清晰度经3 种方法融合之后都得到了有效的提高，其中加权融合的效果较差。主成分变换法主要是通过替换高分辨率图像中B 分量来进行融合的，但同时也降低了R 和G 的清晰度，导致融合后图像的光谱信息存在失真现象。由表中数据可得，图像经IHS融合方法融合后，3个变量的清晰度均高于原来高分辨率图像。

综合主观和客观评价，加权融合法对高低分辨率图像之间的融合效果不是非常明显，而IHS变换和主成分变换法都达到了令人比较满意的效果，提高了原图像的分辨率，使图像中的信息更容易被人眼识别与利用。IHS 变换对光谱的保留程度优于主成分变换，融合效果最佳，因此主观评价与客观评价效果相符。

2.2 采用不同加权系数的图像融合结果

简单的加权融合算法是将原图像的灰度值进行加权平均，分别取加权系数为0.5，但是这种方法会削弱图像之间的对比度，尤其对于只出现在其中一张图像上的有效信息。因此为了不同的应用需求，对加权融合算法的加权系数做出了调整并使用高低分辨率图像进行实验，将融合后生成的新图像与图3c加权RGB 融合图像进行对比分析。表2 为采用不同加权系数进行融合后生成的新图像中各分量的清晰度。

表2 调整后融合图像各分量的清晰度

从融合后图像的效果来看，对高分辨率图像的提取比例越高，融合后图像的清晰度越高；而对低分辨率图像的提取比例越高，融合后的新图像对原图的光谱保留得较为完整。

2.3 两重融合图像实验

将经加权系数1∶9 融合后的图像与原高分辨率图像采用IHS 方法进行融合，将经加权系数9∶1 融合后的图像与原低分辨率图像采用同样的方法进行融合，得到的结果如表3和图4a以及图4b所示，并将结果与图3eIHS-RGB融合图像进行对比。

表3 两重融合图像各分量的清晰度

图4a 加权系数1：9图像融合后的图像

图4b 加权系数9：1图像融合后的图像

综合3张图像的视觉效果及数据，直接使用原高分辨率图像与低分辨率图像融合后的图像对光谱保留得比较好，而经加权系数1∶9融合后的图像与原高分辨率图像经过IHS融合后清晰度较高，因此可以根据不同的应用需求对加权系数作出调整，再利用IHS等方法进行融合，得到符合要求的图像。

3 结语

图像融合是一种将不同来源的图像中的有效信息经过数据处理等技术，综合到另一张图像中的高新技术，广泛应用于医学、军事、遥感及自然资源勘探方面。在MATLAB 平台上使用3 种方法对其进行实验，并结合主观评价和客观评价法对融合后的图像进行对比分析，融合时IHS 变换效果最好，不仅保持了原图的分辨率，而且对原有光谱保留较好，而加权融合法融合后的图片效果不是很理想；在对多聚焦图像进行融合时，3 种方法都没有达到令人满意的效果。最后对加权融合法的权重系数做了调整并使用高低分辨率图像进行实验，通过两重融合实验得出应根据不同的需求改变加权系数来得到满足条件的图像。