基于显著性检测和多尺度分解的图像融合算法

马文娟，许 峰

(安徽理工大学数学与大数据学院，安徽 淮南 232001)

多聚焦图像融合就是综合多幅源图像的信息, 形成一幅画面更清晰、信息更全面的新图像, 这幅新图像降低了模糊度，增加了信息量和置信度，更加适用于计算机的后续处理和人眼的观察。图像融合是信息融合的一种有效技术途径, 已经在机器视觉、遥感、军事和医疗诊断等领域中得到广泛地应用。

近年来，多聚焦图像融合算法通常分为空间域融合和多尺度融合两大类。 常用的空间域融合方法有主成分分析法(PCA)、加权平均法(Average)、基于双边梯度的清晰度评价函数(BGS)等[1]，但是对于不同的场景，由于相机运动或物体运动，会造成同一场景包含的内容不同，因此很难精准地判断一个像素或区域模糊还是清晰。 此外，对于复杂的源图像，传统的基于空间域的方法往往很难得到较好的融合图像。 而基于多尺度变换的融合方法，通常分为下列3 步: 首先对源图像作变换以得到相应的变换系数; 然后按照所给的融合规则合并变换系数; 最后，利用融合系数进行逆变换，重构融合图像。 传统的多尺度融合算法包括具有方差计算的离散余弦变换(DCT+ var)[2]、具有方差计算和一致性验证的离散余弦变换(DCT +var + cv)、离散余弦谐波小波变换(DCHWT)[3]、小波与自适应块(DWT + AB)、交叉双边滤波(CBF)和图像引导滤波器(GFF)[4]等。 由于多尺度分解的程度不同，融合系数也会不相同，所以融合过程中会因此丢失信息，以致于融合图像中的信息产生缺失。 近年来，还提出了其他一些用于多聚焦图像融合的实施方法[5]，取得了一定的进展。

当某一区域和周边区域存在明显差异时，人眼就会主观地去关注该区域，这种人类特性称作视觉注意机制。目前图像分析的领域引入了这种机制，即图像的显著性检测[6-7]。 这种显著性检测给多聚焦图像融合带来了便利，因为它极大地缓解了图像底层特征和内容理解之间的隔阂。 而在增强显著目标区域视觉特性的同时，又能保证不同分解尺度下图像可以精细地融合，逐渐变成学者们研究的热点。

1 算法框架

本文利用MSSS显著性检测机制改进基于多尺度分解的图像融合准则，具体方法是：首先对利用均值滤波器对源图像进行多尺度分解，得到不同尺度的基础层图像和细节层图像。 然后，用MSS显著性检测算法计算各尺度基础层图像的视觉显著性，得到它们的显著图。接着，将显著图归一化至[0,1]区间，得到显著度权重图。再将各细节层图像与对应尺度的显著度权重图加权相乘，累加得到最终的细节层图像。 随后，计算出所有基础图像的平均值，把平均基础图像作为最终的基础图像。 将最终的基础融合图像和最终细节图像简单相加，即可得到最终的融合图像。 图1为本文系统框架。 下面简单介绍其中的关键步骤，以增强对本文算法的理解。

图1 多聚焦图像融合算法框架图

1.1 多尺度图像分解

根据文献[8]提出的多尺度分解理论，使用均值滤波器对源图像做多次滤波，便实现了对多聚焦图像的多尺度分解。 使用这种多尺度分解方法，可以将多聚焦图像分解成一系列的基础图像和细节图像，其中基础图像记录原始图像的轮廓等整体结构信息，细节图像则记录不同尺度的纹理等局部结构信息。具体的多尺度分解过程如下，使用尺寸为5×5的窗口对原始图像做平滑操作，特别值得注意的是，后面的平滑操作并不是在原始图像的基础上进行的，而是将上一次平滑操作的输出结果作为下一次平滑操作的输入，使得基础图像也具有多尺度特点。 通过上述的平滑操作，多聚焦图像被逐渐地平滑成多个不同尺度的基础图像，然后将相邻平滑尺度的基础图像进行相减，即可得到不同尺度的细节图像。

令A表示使用的均值滤波器，其中k表示平滑尺度等级，k越大意味着该尺度的图像模糊程度越小。如果I表示源图像，那么多尺度分解的基础图像，即图像I的不同平滑尺度的模糊图像可以表示为下列公式

Bk=Bk-1*A,k=1,2,…，K和B0=I

式中：B1，B2，…，Bk表示源图像I的不同平滑尺度的模糊图像。多尺度分解对应的细节图像可以由不同尺度的基础图像相减得到，即不同尺度的细节图像可以表示为以下公式

Dk=Bk-Bk-1,k=1,2,…,K

式中：Dk表示多尺度分解的不同尺度的细节图像。 在这里，最终将源图像分解成三幅尺度不同的细节图像和基础图像，即取K=3。其中，三个尺度的细节图像分别是较小尺度，中等尺度和较大尺度的细节图像，如图2 所示。

(a)图像“Flower”的左聚焦图 (b)基础图像B1 (c)基础图像B2 (d)基础图像B3

(e)细节图像D1 (f)细节图像D2 (g)细节图像D3

(h)图像“Flower”的右聚焦图像 (i)基础图像B1 (j)基础图像B2 (k)基础图像B3

(l)细节图像D1 (m)细节图像D2 (n)细节图像D3图2 多尺度分解的基础层和细节层

从图中可看出，平滑尺度越大，基础图像的模糊程度也随之增大，该层对应的细节图像的尺度也越来越大，因此不仅获取了不同尺度的基础信息，同时也记录了不同尺度的细节信息。

1.2 基于MSS的显著性检测

显著性检测算法中，IT、SR[9]和GB[10]算法取得的显著图分辨率比较低；IT 和GB算法显著图边界模糊；CA、ADM 和SR方法显著目标的边界很明显，但是整体并不均匀。 鉴于上述方法存在的问题，因此直接利用视觉显著性算法构造权重图组建融合图像存在局限性。为此，文献[11]于2009 年提出了基于图像频域分析的一种新的显著性算法，即频率调谐(frequency-tuned，FT)算法。 其主要思想是用多个带通滤波器对图像按照从低频到高频的连续频带进行滤波，合并所有的输出，得到全分辨率的显著图，以此作为最终的显著图，该组合滤波器为

G(x,y,σ1)-G(x,y,σ2)

式中：σ1，σ2为高斯滤波器的标准差，且σ1>σ2，(x,y)为像素点坐标。

最终，FT方法用CIELab 颜色空间，则图像像素的显著值计算公式表达如下

S(x,y)=‖Iu-If(x,y)‖

其中：Iu是图像的平均特征矢量，If(x,y)是对源图像高斯模糊滤波后的对应像素，即在CIELab空间中，把源图像的平均向量和高斯滤波后的向量之间的欧式距离视为显著图。 此算法能够均匀地突出显著区域，边界清晰，分辨率与源图像相同，计算速度非常快，同时能够得到显著目标的整体轮廓，从而能突出最大的显著目标，但是背景和显著区域的差异并不大。

因此在2010 年，文献[12]改进了FT算法，提出了最大对称环绕 (maximum symmetric surround，MSS)算法，该算法依据像素点与图像边缘间的距离，来改变中央周边的带宽，从而把FT算法中源图像的平均特征矢量均值用给定像素点的最大可能对此环绕区域均值代替。对于宽为w,高为h的图像，在(x,y)处，对称环绕区域的显著值Sss(x,y)表示为

Sss(x,y)=‖Iu(x,y)-If(x,y)‖，

Iμ(x,y)是以点(x,y)为中心的邻域的平均矢量值，其邻域范围如下，宽度(x-x0):(x+x0),高度为(y-y0):(y+y0)。 其中,x0=min(x,w-x),y0=min(y,h-y),A=(2x0+1)(2y0+1)，MSS方法从而降低了背景的显著性。图3为源图像Flower三层分解尺度的显著图示例，第一行和第二行分别为MSS检测算法在左聚焦和右聚焦图像三幅不同尺度的基础图像获取的显著图。从图中可以看出，本文方法边界清晰，整体突出且分辨率高，能够检测出显著物体的整体轮廓。

(a)图像“Flower”的左聚焦图 (b)1层分解显著图 (c) 2层分解显著图 (d)3层分解显著图

(e)图像“Flower”的左聚焦图 (f)1层分解显著图 (g)2层分解显著图 (h)3层分解显著图图3 显著图提取

1.3 显著度权重图

多聚焦图像融合即提取并融合多幅源图像的清晰区域，用以精确地描述场景中的所有目标. 因此，在应用融合策略时，若要使最终增强结果具有较好的清晰度，必须选取合适的权重图来识别输入图像的聚焦和模糊区域。这里计算各个分解尺度上显著图的归一化值，即为每一层源图像的显著度权重图，定义如下

(a)图像“Flower”的左聚焦图(b)第一层的权重图(c)第二层的权重图(d)第三层的权重图

(e)图像“Flower”的右聚焦图(f)第一层的权重图(g)第二层的权重图(h)第三层的权重图图4 图像“Flower”多尺度分解的显著度权重图

1.4 重建融合图像

最终的细节图像由每一层的细节图像乘以该层的显著度权重图，然后加总求和得到，公式如下

计算不同尺度所有基础图像的算术平均值，将平均基础图像作为最终的基础层，定义如下

将最终的细节图像和基础图像进行相加，便可得到最终的融合图像. 最后的融合图像如下定义

图5 图像“Flower”的融合图像

2 实验结果及分析

为了验证本文算法对多聚焦图像融合的实用性和有效性， 选用了三种应用广泛的多聚焦图像进行实验， 分别为Flower、 Aircraft和Book， 所用图像都取自于互联网下载的标准图库。依次用另外7种图像融合算法和本文方法作比较，包括基于具有方 差计算的离散余弦变换(DCT+var)、基于具有方差计算和一致性验证的离散余弦变换(DCT +var+cv)[13]、基于离散余弦谐波小波变换(DCHWT)、基于小波与自适应块(DWT + AB)[14]、基于交叉双边滤波(CBF)[15]和基于引导滤波器(GFF)。采用均值滤波器进行滤波，滑动窗口大小为5×5，多尺度分解层数为3层，此外无其他参数调整。 实验环境为Inter酷睿3.8GHz,内存为8G，编程工具为Matlab2012b。

图6～图8给出了各种融合算法得到的融合结果。图中红色方框区域为融合图像的部分背景信息。依据图像的整体融合效果，各融合算法基本上都能够提取了源图像中的目标信息，提高了视觉效果，但是基于CBF的融合效果不理想，融合图像中的目标亮度低，比较模糊，因此图像中的背景对比度也低 (如图6～图8的(c))。为了更好地比较融合结果在细节上的差异，放大显示了红色方框部分，如图6～图8的的(i)～(p)所示，通过比较可以看出，本文算法融合图像纹理清晰，边缘过渡平滑，细节丰富，对比度强，而且有效地提取了聚焦区域，综上所述，本文融合方法具有很好的主观视觉效果。

为了更客观地衡量各算法的融合效果，采用空间频率(SF)[16]、互信息(MI)、信息熵(H)[17]、融合对称性(FS)、归一化相关系数(NC)[18]、结构相似度(SSIM)[19]和峰值信噪比(PSNR)[20]七种客观评价标准进行分析评测。SF显示了融合结果对源图像信息的保持程度，数值越大，融合图像就越清晰、越活跃；MI用来衡量源图像与融合图像的交互信息量，从而评价融合的效果。它的值越大，融合效果越好，即融合图像从输入图像中取得的信息量越丰富；H描述图像所含内容的丰富程度,数值越大，表明图像所含的信息量越多，效果越好。 FS用于表示源图像对融合图像的贡献程度，如果两个源图像对融合图像的贡献相等，则FS的值接近于2， 因此，融合图像将具有更好的质量；NC能反映源图像和融合图像之间光谱特征的相似程度，数值越大，融合图像和两幅源图像之间的光谱特征相关性越大，融合质量越好。SSIM是从原始图像的对比度、结构信息和亮度角度出发，对两幅图像相似度的指标进行比较衡量，结构相似度的范围从0到1，如果有两张图像完全相同时，SSIM的值为1。PSNR是基于对应像素点间误差的一种图像客观评价指标，即基于误差敏感的图像质量评价，数值越大表示失真越小。

表1为图6～图8这三组图中各类算法融合结果的客观性能指标。从表中的各项客观质量评价指标看，本文方法的融合效果最佳，3组图像的各项评价指标都高于其他融合算法，说明了融合结果细节及边缘描述最好，清晰度最高。

(a)本文方法 (b) GFF方法 (c) CBF方法 (d)DCHWT方法

(e)DWT+AB方法 (f)BGS方法 (g)DCT+var+cv方法 (h)DCT+var方法

(i) (j) (k) (l)

(m) (n) (o) (p)图6 Flower图像不同算法融合效果

(a)本文方法 (b)GFF方法 (c)CBF方法 (d)DCHWT方法

(e)DWT+AB方法 (f)BGS方法 (g)DCT+var+cv方法 (h)DCT+var方法

(i)(j)(k)(l)

(m)(n) (o)(p)图7 Aircraft图像不同算法融合效果

(a)本文方法 (b) GFF方法 (c) CBF方法 (d) DCHWT方法

(e)DWT+AB方法 (f)BGS方法 (g)DCT+var+cv方法 (h)DCT+var方法

(1) (j)(k) (l)

(m)(n) (o) (p)图8 Book图像不同算法融合效果

表1 三组融合图像客观质量评价

3 结论

基于MSS显著性检测机制和多尺度分解，提出了一种新型的多聚焦图像融合算法。算法的主要框架在于：(1)利用均值滤波器对源图像分别进行不同尺度的滤波，使用尺寸为5×5的窗口对原始图像做平滑操作，后面是把上一次平滑操作的输出图像作为下一次操作的输入，按照上述平滑过程，得到一系列不同尺度的基础图像，再将各相邻层的基础图像进行相减，即可得到不同尺度的细节图像；(2)引入MSS显著性检测机制，提取了不同尺度基础图像的显著性区域；(3)在各尺度层依据一定的融合法则，并利用加权重建思想，实现了对融合图像的重构。多组对比试验结果表明，本文算法同时具有很好的主观评价结果和客观评价结果，保留了源图像的细节信息，还增强了融合结果的有效信息，是一种有效且实用的多聚焦图像融合算法。

本文的融合实验都是在两幅源图像的基础上进行的，在实际应用中，只要对它作简单的扩展，就可以应用于多幅源图像的融合。而且本文研究的多聚焦图像融合算法也适用于其他类型图像的融合。在未来的研究工作中，还要进一步探索算法的性能，提高多尺度分解方法的精细程度和运行效率，能够自适应选取不同融合图像的算法参数，大大改善算法的适用性和鲁棒性。