一种基于特征分解的图像融合方法

常莉红

(宁夏师范学院 数学与信息科学学院, 宁夏 固原 756000)

图像融合是图像处理研究的一大分支，广泛应用于医学、军事和目标探测等领域[1-3].常见的图像融合方法有变换域中的多尺度方法和稀疏表示方法. 最流行的多尺度方法有离散小波变换法 (discrete wavelet transform, DWT)[4]、对偶树复小波变换(dual-tree complex wavelet transform, DTCWT)[5]、四元数小波变换法[6]等. 常见的稀疏表示方法有DCT字典融合方法[7]和多字典自适应稀疏表示方法[8]. 迄今为止，稀疏理论在图像融合中已经取得了丰硕成果[9-10]，研究表明，传统的多尺度方法在图像融合中易减弱图像的对比度，而稀疏理论方法可以很好地解决这一问题.

现有的基于稀疏表示的图像融合模型中所学习的大多是通用字典，并没有明确的几何意义. 笔者认为，如果字典有明确的几何意义，则会进一步提升融合效果. 因此，本文利用图像可以表示成卡通特征和纹理特征的特点，通过学习得到卡通字典和纹理字典，利用几何意义明确的2个字典提出了一种图像融合方法. 主要过程分3步： 首先，利用先进的图像分解方法(fast cartoon + texture image decomposition, FCTD)[11]将训练集和测试集中的图像分解成卡通和纹理两大部分；接着，利用在训练集上学习好的卡通字典和纹理字典分别对测试集中源图像的卡通部分和纹理部分进行融合；最后，将融合好的卡通部分和纹理部分相加得到最终的融合图像.

1 基于特征分解的图像融合方法

1.1 FCTD图像分解方法

BUADES等[11]提出的FCTD分解方法主要是利用一对低-高通滤波器简单并快速地实现卡通纹理的分解.由于篇幅所限，本文只给出FCTD分解效果图的一个示例，具体算法可参见文献[11]. 一张512×512的‘Lena’ 图，用FCTD分解大约需要2 s. 图1给出了 ‘Lena’图分解后的卡通部分和纹理部分(原图减去卡通部分).

图1 ‘Lena’的特征分解图Fig.1 Feature decomposition image for ‘Lena’

从图1中可以看到，图像的两大特征是完全不同的，因此如果用在此2种特征下学习得到的2种字典来分别表示卡通部分和纹理部分，不仅可知其几何意义，而且还可以提供融合效果，这和以往的稀疏表示模型是完全不同的.

1.2 特征字典

在训练数据集上选取8张高质量的自然图像，利用FCTD进行分解，分别得到卡通部分和纹理部分，利用K-SVD[12]算法分别进行训练，得到2个表示不同几何意义的卡通字典Dc和纹理字典Dt. 图2给出了本文得到的2个字典和文献[10]通过40幅高质量图像学习得到的通用字典.

图2 稀疏字典Fig.2 The sparse dictionaries

1.3 基于特征分解的图像融合方法

利用系数的“L1-范数”最大进行融合：

通过系数稀疏表示融合图像块：

其中，

图3给出了本文方法的融合流程图.

图3 基于特征分解的图像融合方法流程图Fig.3 The feature decomposition-based fusion algorithm

2 数值实验

2.1 测试图

测试图来源于图像融合方法常用的标准数据库http://imagefusion.org.

图4 测试图集Fig.4 Testing images

2.2 客观指标

利用常用的熵(entropy,EN)、标准偏差(standard deviation,SD)、互信息(mutual information,MI)[13]、梯度QG指标[14]和相位一致性度量指标QP[15]来测试本文算法和比较算法，其值越大说明融合效果越好.

2.3 实验结果及讨论

本文学习了2种大小的字典，为表述方便，用记号FD128和FD256指代本文方法，其中128和256表示融合字典的大小.将2种稀疏融合比较方法记为SR[7]和ASR[10]. 将本文方法与DWT[5]、DTCWT[6]、SR、ASR融合方法进行比较. DWT和DTCWT方法分解层数为4，SR 和ASR采用原文献提供的代码和参数.

图5～图7分别给出了不同方法对3种图像融合的效果. 图5给出了几种不同方法对多聚焦图像融合的效果.显然，稀疏表示方法较DWT、DTCWT方法要好，而本文方法对此类图像的融合效果与SR、ASR方法区别不明显.

图5 一组多聚焦图像的融合效果Fig.5 The effects for multi-focus image

图6给出了各方法对医学图像的融合效果.显然，DWT出现了严重的块效应，DTCWT对骨骼(图中亮的部分)的提取明显弱于其他几种稀疏表示方法，本文方法能很好地保护医学图像中的软组织和骨骼结构，图像融合纹路更清晰.

图6 一组医学图像的融合效果Fig.6 The effects for medical image

图7给出了一组红外线-可见光的图像融合例子. DWT的块效应仍然存在，DWT对比度损失较为严重，如广告牌的亮度明显不及其他几种稀疏表示方法.在几种稀疏表示方法中，本文的FD256方法最好，这也表明了字典越大融合效果越好.

图7 一组红外线-可见光图像的融合效果Fig.7 The effects for visible-infrared image

表1～表3给出了不同方法在3组不同测试图像集上融合效果的平均指标值，最好的用粗黑体表示，次好的用斜粗黑体表示. 从表中可以得到： 1)基于稀疏表示的方法： SR、ASR、FD128和 FD 256，基本上都优于传统的多尺度分析方法DWT 和DTCWT . 对于多聚焦图像，各方法差异不大，但对于医学图像和红外线-可见光图像，本文方法在各指标上都较其他方法要好，且随着字典尺寸的增大，融合效果未见增好，对红外线-可见光图像的融合尤其明显.

表1 不同方法对多聚焦图像融合的平均指标值

注融合效果最好的用黑正体表示，次好的用黑斜体表示.表2、表3同.

表2 不同方法对医学图像融合的平均指标值

表3 不同方法对红外线-可见光图像融合的平均指标值

3 结 论

利用几何意义明确的结构字典和纹理字典，分别对源图像的结构和纹理部分进行融合，通过叠加得到了最终的融合效果. 实验结果表明，本文方法大大改善了医学图像和红外线-可见光图像的融合效果.