基于多尺度分析的图像融合技术研究进展∗

孙商文 杨 桄 刘 宇

（空军航空大学 长春 130000）

1 引言

随着卫星的发射数量的不断增加，以及传感器技术的快速发展，提升高空间、高时间、高光谱分辨率成为重要研究发展方向，与此同时系统获取数据的多源性和信息量不断增加，使得传统的信息处理方法无法满足现有技术的发展。在这种需求形势下，图像融合技术得到迅猛发展与提升。图像融合是将两个或两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息加以综合，以生成新的有关此场景解释的信息处理过程［1］。图像融合技术在军事领域广泛应用，如目标解译、目标识别以及多源情报融合等，在自然资源勘探、医学成像与诊断、地理信息管理等民用领域也应用广泛。

早期的图像融合方法大多选择在图像的空间域上进行处理，如加权平均法、主成分分析法［2］、HIS空间融合算法［3］等，仅在单一层面上进行融合，不对源图像的分解变换，没有发挥多分辨率遥感图像的优势。从20 世纪80 年代中期，学者们开始研究基于多尺度分解的图像融合技术，基于金字塔分解的融合方法开始出现，Burt等首先提出了拉普拉斯金字塔变换（Laplacian Pyramid Transform，LP）［4］，Toet A 考虑了人类视觉系统对局部对比度敏感这一特性，提出基于对比度金字塔变换的图像融合算法［5］；Matsopoulos G.k.采用基于形态学金字塔变换进行了CT 和MRI 图像进行融合［6］，在医学图像上取得良好的进展；为了提升融合图像稳定性和抗噪性，获得图像的边缘信息，Burt P.J 提出基于梯度金字塔的融合方法［7］；到了90 年代中期，小波理论的开始应用于图像融合，并得到很好的发展，Ranchin T 等将离散小波良好的时频特性用于图像融合［8］，Rockinger O 在多传感器动态图像的融合处理过程中使用了离散小波框架［9］；当图像在小波包空间融合时，使用不同的处理方式应对不同的频率范围，Wang等提出了基于离散小波包变换和多小波变换的图像融合算法［10～11］；Lewis J J 等提出对偶数复小波模型［12］，具有方向选择性和平移不变性等优点。近些年，为了提高对图像空间结构更好的表达，新的多尺度几何分析理论（MGA）开始应用于图像融合，一些典型多尺度几何分析理论有梳状波（Brushlet）变 换、脊 波（Ridgelet）变 换、曲 线 波（Curvelet）变换、轮廓波（Contourlet）变换，非下采样轮廓波变换（Nonsubsampled Contourlet Transform，NSCT）和非下采样剪切波变换（Non-Subsampled Shearlet Transform，NSST）［13］等，这些变换相较于小波变换能更好地描述图像的方向和边缘特征，解决了小波变换不能最优地逼近高维空间的信号的问题［14］，给予处理图像数据新的思路和解决方案，也有学者在基于两种或两种以上的算法进行多尺度图像融合，来获得质量效果更好的融合图像。基于多尺度分析的融合方法解决了传统空间域融合算法的对比度减少、光谱失真问题，最大程度地保留了源图像的有效信息，保证了算法的可靠性和实用性，已经成为图像融合领域的研究热点并应用于图像的噪声抑制［15］、图像的边缘检测以及图像融合等众多领域。

2 多尺度分析的图像融合方法

多尺度分析的图像融合方法的基本思想是对输入图像进行多个尺度分解变换，然后依据不同的融合规则对分解得到的高低频子带系数融合进行，构成一个新的图像的多尺度组合，然后运用逆变换，得到最终的融合图像。目前多尺度变换的方法主要有基于金字塔变换的融合方法、基于小波变换的融合方法和基于多尺度几何理论的融合方法等。

2.1 基于金字塔变换的图像融合方法

金字塔变换是常用的多尺度分解方法之一，金字塔变换的最高层是由低分辨率表示，其他层是由每一尺度图像的高分辨率表示。金字塔变换的基本思想是对数据源进行多次滤波，形成金字塔式的分解结构，分析每一层的信息特点，采用不同的融合算法，得到金字塔的融合算法结构，最后逆变换得到最终的融合图像［16］。常见的金字塔式变换有拉普拉斯金字塔、形态学金字塔、梯度金字塔、对比度金字塔和比率低通金字塔。

金字塔变换奠定了多分辨率图像分解的理论基础，处理图像过程更加符合人类视觉特性。进行金字塔变换时，由于不同层次图像间的数据具有较强的相关性，又很难确定这种相关性是图像自身造成还是来源于冗余性，所以这种变换并不能保证不同层之间信息损失率降到最小，而且，当数据之间的差异性较大时，图像会产生斑块效应。虽然金字塔变换开辟了多尺度图像融合研究基本思路，但是无方向性、不能更好地提取特征、对噪声敏感等［17］缺陷也很明显，同时，对复杂地物的特征不能很好地表现，也不是最优的表达方式，某种程度上限制了其应用，因此在20 世纪80 年代后期诞生的小波多尺度变换理论，成为了多尺度分析的重要理论，得到了广泛应用。

2.2 基于小波变换的图像融合方法

小波变换与金字塔变换的图像处理方法原理相似，某种意义上也可以称之为广义的金字塔变换方法［1］。基于小波变换的图像融合，就是对源图像进行小波变换，将其分解在不同频段的不同特征域上，然后在不同的特征域内进行融合，构成新的小波金字塔结构，再用小波逆变换得到合成图像的过程［18］。传统小波变换一般有金字塔形小波融合技术和树状小波融合技术，融合规则主要有两类，一类是基于单个像素的融合规则，另一类是基于区域特征的融合规则［19］，其中，基于像素规则的方法缺少对单像素细节部分的考虑，如边界线、纹路；而基于区域规则的方法则降低图像的对比度，不能有效地消除影像源中的边缘振荡效应和噪声干扰的现象。

小波变换是一种多尺度、多方向变换，具有方向选择性、时频域分辨率可变以及分析数据量小等特性，适合非线性非平稳信号处理与传统的平稳和线性信号处理。传统小波变换存在两个明显的缺点，一是融合效果会有明显的分块效应，二是简单地利用低分辨率图像的低频部分去替换高分辨率图像的低频部分，会使大量高分辨率图像的细节信息缺失。多小波、小波包、双树复等［20］变换对高频部分进行细化与具体化，提取出重要细节信息，保留边缘和纹理信息，提升融合效果和效率。小波变换仍有自身的局限性，即未能充分利用数据本身的几何特性，实现对呈奇异特征的线或面进行“最优”的表达，或者说表达能力有限，为了弥补不足，学者们提出了多尺度几何分析理论来提高对图像的表达能力。

2.3 基于多尺度几何理论的图像融合方法

多尺度几何变换理论是在计算机视觉、数学逼近以及统计学等计算调和分析领域中发展起来的高维分析方法，它不但拥有小波变换优良的时频特性，还弥补了小波变换无法进行稀疏表示的缺陷。多尺度几何分析理论（Multiscale Geometric Analysis，MGA）是一种具有非常灵活的局部特性和方向特性的多尺度图像表示方法，能对图像的高维奇异性和稀疏性进行很好的逼近和描述［13］。常见的多尺度几何分析方法主要有脊波变换、曲线波变换、楔形波、条带波、轮廓波和剪切波等。

Candes E J和Donoho D L在小波理论的基础上提出了Curvelet 变换理论，Curvelet 目前经历了两代的变换［21］，Curvelet 变换具有任意角度的方向特性，在表达图像的边缘特征信息上效果更加突出的优势，但是其也有较难离散化、冗余度大的问题；为了减轻变换冗余度，更好地表征二维图像各向异性特征，M.N.Do和M.Vetterli提出了Contourlet变换［22］；K.Guo和G.Kutyniok利用合成小波理论提出了一种Shearle变换［23］，继承了Curvelet和Contourlet变换优点并且解决了部分缺陷，Cunha A.L.等又提出了一种具有平移不变特性的Contourlet变换－非下采样Contourlet 变 换（Nonsubsampled Contourlet Transform，NSCT），在图像去噪和图像增强领域中得到应用［24］。

多尺度几何分析研究目前仍是在探索发展的阶段，也是各国学者研究的热点，仍然存在急需解决的难点。

3 融合规则

融合规则的确定是多尺度图像融合技术的一个关键步骤，选择合适的融合规则对图像融合效果和质量有着重要的影响。多尺度分解的图像融合的规则一般分为基于像素的融合和基于区域的融合，其中基于像素融合的规则，操作简单，容易实现，但是缺少对单个像素与周围像素间的信息关联的考虑，区域内或高空间分辨率的信息有所丢失，基于区域的融合规则考虑相邻像素之间的相关性，减少系数的错误选取，但是此类融合规则也存在局限性，如局部方差取大值法，当方差较少时，会使图像的细节信息丢失，影响融合质量。以下对两种图像融合规则进行讨论。

3.1 基于像素融合规则

两幅待融合图像IA和IB经过多尺度分解后，令(x，y)和(x，y)表示两图像经分解后的最低频子带系数，N 为多尺度分解的层数，(x，y)表示系数坐标；令(x，y)和(x，y)表示两图像经分解后的各高频子带系数，i=1，2，…NH（NH为图像经分解后的高频子带的个数）。令(x，y)（i=1，2，…NH）、(x，y)表示经融合和处理后的图像变换系数。

对于低频子带图像系数的组合，常用以下方法:

1）选取图像A 或B 的分解后的低频系数作为融合后的系数，即

2）选取图像A、B 经分解后的低频系数的平均值作为融合后的系数，即

3）高斯模糊逻辑融合

滤波公式:

μ，ρ对应高斯函数均值和标准偏差，t为常数。

对于高频子带系数的组合，常用以下方法:

1）选取对应位置上系数绝对值大的系数作为融合后的系数，即

2）窗口邻域内绝对值最大的系数作为融合后的系数［25］，如中心位置的融合系数选取自源图像A变换选取后的系数，而其周围邻域内的融合系数绝大多数选取自图像B 变换后的系数，那么中心位置的融合系数将改为图像B 变换后的系数，反之亦然。

3.2 基于区域图像融合规则

图像中区域内的各像素间具有较强的相关性，局部特征可以由局部区域内多个像素变换系数来表示的，Zhang Z、Piella G等提出了基于区域的融合规则［26～27］，把每个像素都看作区域内或者边缘上的一部分，并利用区域内和边界上的信息来指导融合的过程。基于区域融合规则的常用方法有区域方差法、区域平均梯度法、区域能量法［28］以及区域匹配度法等。这些方法的基本思路都相似，下面以区域方差准则法为例介绍其过程:

设图像为I（i，j），某像素的空间位置为（i，j），在其周围截取一个M*N 窗口区域，则区域方差公式为

其中μ表示窗口区域内像素的均值，M*N 表示窗口区域的大小。

当方差较小时，我们可以考虑进行方差加权平均法:

其中，α和β分别代表图像A 和B 的融合权值，计算方式如下:

4 图像融合质量评价

国内外对于图像融合评价没有完善统一的理论模型与方法［29］，大多数图像融合评价方法是针对具体的应用提出的。例如同一种方法对不同的类型的图像，融合效果差异加大；对于同一幅图像，由于观察者感兴趣的区域不同，其融合效果的评价也不相同［30］。目前图像融合质量评价主要分为主观评价和客观评价，主观评价由图像专家人员根据既定的评价尺度、经验和主观偏好或者参照一副标准图像进行直接对图像进行评判，评价标准一般分为非常好、好、一般、差、非常差，客观评价由各项指标组成，一般分为以下三类:

1）第一类是反应融合图像的整体信息保留的丰富程度，主要有信息熵、平均互信息、交叉熵［31］等参数，通过与源图像相比较，判断融合图像的融合效果。

2）第二类是反应融合图像的光谱信息保留程度，主要有光谱扭曲程度、偏差指数和相关系数等。

3）第三类是反应融合中空间细节信息加注的效果，具体指标包括标准差、空间频率、平均梯度等，该方法简单，只需要比较与源图像的统计特征就可以判断不同融合方法的优劣。

5 结语

遥感数据的大时代，图像融合技术是重要的研究方向，具有很高的应用价值。目前学者在图像融合技术上取得了一系列的进展和成果，但是涉及到具体应用实例上，对于复杂的融合算法、融合规则选择和融合图像评价以及快速数据处理等问题上仍是面临一系列难题。笔者认为下一步研究重点方向如下。

1）目前多尺度分析的融合算法复杂、计算量大，降低了时效性，尤其在军事应用方面，战场态势紧张，情报信息获取分秒必争，除了提升硬件设备的性能，高效实用的融合算法将是赢得主动权的关键一步。

2）根据源图像类型、尺寸、内容的不同，如何对融合算法中的各种参数进行设定需要研讨。如多尺度变换所使用的滤波器类型、进行分解的层数、各层的方向数；融合规则中区域窗口的大小、阈值的选取等都缺少既定规则与现成的标准。

3）图像处理技术的快速发展，如图像配准、特征提取、目标识别等技术的提升，将各个处理模块整合成一套智能处理系统，增强自动化程度，减少人为主观因素的干扰，真正实现智能融合、自适应融合。

4）增加对于视频图像［32］及3D 彩色图像融合技术［33］的研究，随着传感器及硬件设备的提升，将获取的大量数据进行合理有效的应用，以满足实时性、需求性要求性更高的场合。