基于小波变换的多模态医学图像的融合方法

詹玲超　闵芳　郭慧敏

摘 要： 针对单一模态的图像不能提供足够的信息，可以将互补的图像进行融合。提出一种基于小波变换的医学图像融合方法。首先对待融合的医学图像进行小波变换，分别得到低频和高频分量。对于低频分量，采用基于局部区域能量的方法进行融合；对于高频分量，采用基于局部区域系数之差的加权和方法进行融合；最后通过小波逆变换得到融合图像。实验结果表明，相比同类研究方法，该算法在保证图像质量的同时可增强图像的空间细节表现能力。

关键词： 图像融合； 医学图像； DWT； 区域能量； 相邻系数

中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2016）24?0096?04

Multimodal medical image fusion method based on discrete wavelet transform

ZHAN Lingchao， MIN Fang， GUO Huimin

（Department of Information Engineering， Nanhang Jincheng College， Nanjing 211156， China）

Abstract： Since the single modal image can′t provide enough information， it is necessary to fuse the complementary images. A medical image fusion method based on discrete wavelet transform （DWT） is proposed. DWT is performed for the multimodal medical images under fusion to obtain the low?frequency and high?frequency components respectively. A method based on the local regional energy is adopted to fuse low?frequency components. The weighted sum method based on difference of the local regions coefficients is used to fuse the high?frequency components. The fusion image is obtained by means of the inverse DWT. The experimental results prove that， in comparison with the similar research methods， the method can enhance the spatial detail expressive ability of the image while ensuring the image quality.

Keywords： image fusion； medical image； DWT； regional energy； adjacent coefficient

0 引 言

随着医学影像工程和计算机技术的不断发展，出现了很多成像设备，这样就有多模态的医学图像，这些图像对人体脏器和病变组织的分析有不同的作用，比如CT图像有较强的空间分辨率和几何特性，对骨骼成像非常清晰，但对软组织的对比度则较低；MR图像可清晰反映软组织等解剖结构，但对钙化点不敏感，并且受到磁干扰会发生几何失真。这样可以看出对于人体同一解剖结构所得到的不同图像，在形态和功能信息上是互补的。单一模态的图像往往不能提供足够的信息，可以将互补的图像进行融合。

图像融合技术[1?5]就是将来自多个传感器的多幅源图像融合成一幅新的图像，这幅融合图像具有更多的信息和更高的可信度。图像融合技术应用在很多领域，医学图像融合就是其中的一个。图像融合可以分为像素级融合、特征级融合和决策级融合。目前的融合方法大多为像素级融合，常用的有PCA[6]、金字塔变换[7]、小波变换[8?11]等融合方法。其中PCA是一种选取最优像素权值的方法，缺点是无法突出光谱特性，不适用于相关性弱的图像融合。金字塔变换的缺点是层间具有相关性，导致融合结果不够理想。

小波变换对保留图像信息具有相当好的性能，通过不同的融合规则可以得到不同的结果。本文提出了一种基于小波变换的医学图像的融合方法。先将待融合的两幅图像进行小波变换，分别得到一个低频和若干个高频分量，然后分别对低频和高频分量进行融合。对于低频分量，采用局部区域能量取大的方法进行融合；对于高频分量，采用局部区域系数之差的加权和的方法进行融合；最后通过小波逆变换得到融合结果。

本文算法的融合结果与几种算法的融合结果作对比，采用熵、平均梯度和互信息三种客观评价标准进行评价，结果表明本文算法有不错的效果，融合结果更加清晰。

1 IVIFDWT算法

本文提出IVIFDWT融合算法，即一种基于小波变换多模态医学图像的融合方法（Multimodal Medical Image Fusion Based on Discrete Wavelet Transform）。

1.1 IVIFDWT算法规则的设计

小波变换的层数越多，融合结果的细节信息就越丰富，但随着分解层数的增加，图像的结构信息量损失变大，这些信息在小波逆变换后都是不能恢复的，所以小波分解的层数不能过高，一般在2～5层之间。通过实验证明且考虑到运行时间，本文里选2层小波分解。

定义1：设待融合的两幅图像分别为A和B，将这两幅图像分别进行两层小波变换。两层小波变换后，它们的低频分量分别表示为[LA（x，y）]和[LB（x，y）]，高频分量分别表示为[Hh1A（x，y）]，[Hv1A（x，y）]，[Hd1A（x，y）]，[Hh2A（x，y）]，[Hv2A（x，y）]，[Hd2A（x，y）]，[Hh1B（x，y）]，[Hv1B（x，y）]，[Hd1B（x，y）]，[Hh2B（x，y）]，[Hv2B（x，y）]，[Hd2B（x，y）]，分别为两层小波变换后A图像第一层和第二层水平、垂直、对角高频分量和B图像第一层和第二层水平、垂直、对角高频分量。

这样对图像A和B的低频和高频分量，分别以不同的融合规则进行融合。本文算法规则如下：

（1） 低频分量融合规则是将两幅图像低频分量按照系数的区域能量来决定。需要计算低频分量的区域能量，之后根据区域能量的大小来得到低频系数的融合结果。

（2） 高频分量融合规则是先计算高频系数局部区域系数之差，再求出这些差的加权和，如果图像A的加权和大于图像B的加权和，选取图像A的高频系数，否则选取图像B的高频系数。

1.2 IVIFDWT算法的原理图

已知待融合的两幅图像分别为图像A和图像B，IVIFDWT算法的原理图如图1所示。

1.3 IVIFDWT算法的描述

本文设计的IVIFDWT算法先对待融合的两幅图像分别进行小波变换，然后使用不同的融合规则分别对低频系数和高频系数进行融合。具体算法描述如下：

1.3.1 低频系数融合方法

将[A]，[B]两幅图像的低频系数的分别划分成[N×N]的区域窗口（尝试将图像划分为[3×3]和[5×5]区域窗口分别计算，实验证明[3×3]的效果相对较好，以下都划分为[3×3]大小的区域窗口），然后计算每个窗口的能量。假设用[EA]和[EB]分别表示图像[A]和图像[B]低通子带系数每个窗口的能量，能量公式为[8]：[EA（x，y）=i，j=-N2N2（LA（x+i，y+j））2log（（LA（x+i，y+j））2）] （1）

[EB（x，y）=i，j=-N2N2（LB（x+i，y+j））2log（（LB（x+i，y+j））2）] （2）

据以上的能量公式就可以得到一个初步的融合图（Initial Fusion Decision Map），其公式为：

[iL_map（x，y）=1，EA（x，y）≥EB（x，y）0，EA（x，y）

融合规则是，如果图像[A]的区域窗口能量大于图像[B]的区域窗口能量，则对应的融合图里的值就是1，否则就是0。

最终的融合图[fL_map（x，y）]（Final Fusion Decision Map）是通过滤波运算的一致性验证得到的。对于之前得到的初步融合图，如果在一个[3×3]大小的窗口区域内，中间的是0，其他大部分是0，这时中间的值不变；如果中间的为0，其他大部分是1，这时将中间的值改为1。

可以根据最终的融合图来得到低频系数的融合结果，其结果为：

[L（x，y）=LA（x，y）， fL_map（x，y）=1LB（x，y）， fL_map（x，y）=0] （4）

如果在最终的融合图中值为1，表示这个位置取图像[A]的低频系数，如果值为0，则取图像[B]的低频系数。

1.3.2 高频系数融合方法

高频系数反映图像的边缘和细节信息，这里充分考虑了相邻系数，采用相邻系数之差加权和的融合方法。首先计算每个系数和其相邻系数之差，以两幅图像的第一层水平系数为例，其公式为[4]：

[Mh1A（x，y）=2Hh1A（x，y）-Hh1A（x-1，y）-Hh1A（x+1，y）+ 2Hh1A（x，y）-Hh1A（x，y-1）-Hh1A（x，y+1）+ 2Hh1A（x，y）-Hh1A（x-1，y-1）-Hh1A（x+1，y+1）+ 2Hh1A（x，y）-Hh1A（x-1，y+1）-Hh1A（x+1，y-1）] （5）

[Mh1B（x，y）=2Hh1B（x，y）-Hh1B（x-1，y）-Hh1B（x+1，y）+2Hh1B（x，y）-Hh1B（x，y-1）-Hh1B（x，y+1）+2Hh1B（x，y）-Hh1B（x-1，y-1）-Hh1B（x+1，y+1）+2Hh1B（x，y）-Hh1B（x-1，y+1）-Hh1B（x+1，y-1）] （6）

则其相邻系数之差加权和的公式[4]为：

[WMh1A（x，y）=i，j=-N2N2ω（i+1，j+1）Mh1A（x+i，y+j）] （7）

[WMh1B（x，y）=i，j=-N2N2ω（i+1，j+1）Mh1B（x+i，y+j）] （8）

式中，[N=3]，[ω]为[4]：

[ω=116121242121] （9）

根据式（7）和式（8）计算出的局部区域系数之差加权和，得到一个初步的高频系数融合图，其公式为：

[ih1H_map（x，y）=1，WMh1A（x，y）≥WMh1B（x，y）0，WMh1A（x，y）

融合规则是，如果图像[A]的局部区域系数之差加权和大于图像[B]的局部区域系数之差加权和，则对应的融合图里的值就是1，否则就是0。

最终的融合图[fh1H_map（x，y）]同样是通过滤波运算的一致性验证得到的。对于之前得到的初步融合图，如果在一个[3×3]大小的窗口区域内，中间的是0，其他大部分是0，这时中间的值不变；如果中间的为0，其他大部分是1，这时将中间的值改为1。

得到最终的融合图之后，可以根据最终的融合图来得到高频系数的融合结果，其结果为：

[Hh1（x，y）=Hh1A（x，y），fh1H_map（x，y）=1Hh1B（x，y），fh1H_map（x，y）=0] （11）

如果在最终的融合图中值为1，表示这个位置取图像[A]的高频系数，如果值为0，则取图像[B]的高频系数。高频的其他分量依次类推。

对融合后的低频系数和高频系数进行小波逆变换，得到最终的融合结果。

2 实验及结果分析

2.1 融合结果

本文算法在Matlab环境中进行实验。实验中的图像来自http：//www.med.harvard.edu/aanlib/home.html。本文算法应用于CT和MR的融合，MR?T1和MR?T2的融合。

2.1.1 CT和MR的融合

图2列出了其中两组CT和MR图像，其中图2（a），图2（c）是CT图像，图2（b），图2（d）是MR图像。

<实验结果如图3所示。实验里有三组对比实验分别是像素取平均值法（P_avg），如图3（a），图3（e）所示；小波变换低频分量取平均，高频分量取大值法（DWT_avg_max），如图3（b），图3（f）所示；NSCT变换低通子带系数取平均，带通子带系数取大值法（NSCT_avg_max），如图3（c），图3（g）所示；本文算法如图3（d），图3（h）所示。

2.1.2 MR?T1和MR?T2的融合

图4列出了其中两组MR?T1和MR?T2图像，其中图4（a），图4（c）是MR?T1 images，图4（b），图4（d）是MR?T2 images。

实验结果如图5所示。对比实验同样分别是像素取平均值法（P_avg），如图5（a），图5（e）所示；小波变换低频分量取平均，高频分量取大值法（DWT_avg_max），如图5（b），图5（f）所示；NSCT变换低通子带系数取平均，带通子带系数取大值法（NSCT_avg_max），如图5（c），图5（g）所示；本文算法如图5（d），图5（h）所示。

2.2 结果分析

将实验结果用信息熵、平均梯度和互信息三种评价标准进行评价。信息熵是衡量图像信息丰富程度的一个重要指标，熵值越大说明信息量越大。平均梯度反映了图像中的微小细节方差、纹理变化特征和图像的清晰度，平均梯度越大表示图像清晰度越好。互信息是对两幅图像共享信息的测量，互信息的值越大，图像的融合效果越好。表1是对CT和MR的融合结果的评价，表2为MR?T1和MR?T2的融合结果的评价。

从表1和表2中可以看出，将本文提出的融合方法和另外三种融合方法相比，本文方法效果比较好。表1是CT和MR融合结果的评价，除了第一组数据DWT_avg_max中的信息熵，本文方法都是最优的。表2是MR?T1和MR?T2融合结果的评价，除了第二组数据DWT_avg_max中的信息熵，本文方法都是最优的。

3 结 语

本文提出了一种基于小波变换的红外和可见光图像的融合方法。对于低频系数，采用基于局部区域能量的方法进行融合；对于高频系数，采用基于局部区域系数之差加权和的方法进行融合。结果表明不管是从视觉效果方面来看，还是从融合结果的客观评价来看，相对同类研究方法，本文方法获得的图像都更好，更为清晰，达到较为满意的效果。

参考文献

[1] 段先华，操佳佳，刘佳.改进的PCNN模型在多光谱与全色图像融合中的应用研究[J].现代电子技术，2014，37（3）：55?60.

[2] 许良凤，林辉，胡敏.基于差分进化算法的多模态医学图像融合[J].电子测量与仪器学报，2013，27（2）：110?114.

[3] 康晨，曾丹，沈洁，等.图像融合中的彩色图像颜色校正[J].电子测量技术，2014，37（3）：54?57.

[4] GANASALA P， KUMAR V. CT and MR image fusion scheme in nonsubsampled contourlet transform domain [J]. Journal of digit imaging， 2014， 27（3）： 407?418.

[5] BHATNAGAR G， WU Q M J， LIU Z. Directive contrast based multimodal medical image fusion in NSCT domain [J]. IEEE transactions on multimedia， 2013， 15（5）： 1014?1024.

[6] KUMAR M， DASS S. A total variation?based algorithm for pixel?level image fusion [J]. IEEE transactions on image processing， 2009， 18（9）： 2137?2143.

[7] BURT P J. A gradient pyramid basis for pattern selective image fusion [C]// Proceedings of 1992 Society for Information Display Conference. San Jose： SID Press， 1992： 467?470.

[8] 王健，郑少锋.基于YUV与小波变换的可见光与红外图像融合[J].西北工业大学学报，2013，33（3）：208?211.

[9] 徐小军，王友仁，陈帅.基于下采样分数阶小波变换的图像融合新方法[J].仪器仪表学报，2014，35（9）：2061?2069.

[10] SINGH R， KHARE A. Fusion of multimodal medical images using Daubechies complex wavelet transform： a multi resolution approach [J]. Information fusion， 2012， 19（3）： 49?60.

[11] ROY S， HOWLADER T， RAHMAN S M M. Image fusion technique using multivariate statistical model for wavelet coefficients [J]. Signal， image and video processing， 2013， 7（2）： 355?365.