基于内容的医学图像小波融合算法

2014-12-01林雯福建江夏学院电子信息科学学院福建福州350108

长江大学学报(自科版) 2014年28期

林雯（福建江夏学院电子信息科学学院，福建福州350108）

近年来，由于科学技术的发展，图像传感器的种类越来越多。这些传感器适用于不同的工作环境，具有不同的功能，成像原理各不相同。为了更充分的利用多样化的数据来源，需要对不同传感器采集到的图像信息进行有效结合，获取更加完整详细的信息。医学数字图像融合就是指将2幅（或2幅以上）已配准图像，采用某种算法，把各个图像的优点或互补性有机地结合起来，将不同传感器在同一时间或不同时间获取的关于某个场景的图像或图像序列加以综合，获得信息量更丰富的新图像的技术［1］。比较典型的医学图像融合是将CT图与MR图融合产生综合2种图像优势（CT图像显示骨骼效果好，MR图像显示软组织效果好）的融合图像。

目前，图像融合主要有多尺度图像融合，基于金字塔变换的图像融合，基于小波变换的图像融合。基于小波变换的图像融合方法在医学图像融合领域应用较广泛。近年来，国内众多学者对基于小波变换的医学图像融合算法进行了研究与改进。王卫星等提出了冗余提升不可分离小波的图像融合方法［2］，戴峻峰提出了基于小波变换的多模态图像融合算法的改进［3］，程塨等提出了一种基于小波变换的多聚焦图像融合方法［4］，王昕等提出了小波域CT／MR医学图像融合新方法［5］，李云红等提出了基于小波融合技术的医学图像增强新方法［6］，刘海涛等提出了基于小波分析的图像融合新方法［7］。下面，笔者主要研究基于小波变换的CT图与MR图在配准前提下的融合技术。在设置图像融合规则时低频子带引入边缘保护多张图像的边缘信息，高频子带引入二值图像保护细节信息，使得合成图像更加清晰完整。

1 边缘检测

边缘检测是图像处理中一个重要的特征提取问题，目的是找出图像亮度变化明显的点，强调图像的对比度，也就是亮度的阶梯变化，阶梯变化的位置就是边缘位置。亮度变化可通过对相邻点进行差分处理来增强，常用一阶导数和二阶导数找出边缘位置。

1.1 经典的边缘检测算子

经典的一阶边缘检测算子有Sobel、Prewitt、Roberts、Canny算子。当信号发生变化时，一阶导数使得信号增强，因此认为最大值对应图像边缘处。

Sobel、Prewitt和Roberts边缘检测算子一阶导数值Gx和Gy用2个模板来数字化地近似，用差分代替一阶偏导，找出水平方向的边缘和垂直方向的边缘。先用一个模板对图像进行滤波，再用另一个模板对图像进行滤波，然后计算每个滤波后的图像中的像素值的平方，并将两幅图像的结果相加，最后计算相加结果的平方根［8］。

Canny边缘检测算子先对图像进行高斯平滑处理，消除噪声，然后用一阶差分卷积模板，进行边缘增强，再用非极大值抑制保留梯度方向上的最大值，最后用双线性阈值消除脊现象，判断8领域像素有无边缘点，进行连接。

经典的二阶边缘检测算子有Laplacian、Marr－Hildreth、Zero Crossings算子。

Laplacian边缘检测算子对二维函数进行二阶导数运算，用模板的两个点阵之一作为卷积核，与原图像进行卷积运算。Marr－Hildreth边缘检测算子将高斯平滑滤波器和拉普拉斯锐化滤波器相结合，算子的曲面图是墨西哥帽子形状，也称为Log（拉普拉斯－高斯）边缘检测器或墨西哥帽子算子。Zero Crossings边缘检测算子概念与Marr－Hildreth边缘检测器方法相同，但使用指定的滤波函数进行卷积。

1.2 边缘检测图像的获取

将待融合图像依次用不同的边缘检测算子进行边缘检测比对，结果如图1与图2所示。

结果分析比对发现，用Canny边缘检测算子检测出的边缘图像，对弱边缘的检测性更强，边缘连续，最能够在图像融合过程中实现显著信息的保护，因此，边缘检测采用Canny算子。

图1 CT图边缘检测比对

2 二值化

图像二值化是指根据某一个灰度或阈值，将图像进行黑白划分，也就是将图像上的点的灰度设置为0或者255，图像能呈现出明显的黑白效果。图像保留信息的多少主要由阈值决定，不同的图像灰度差，应选择不同的阈值。笔者选择了0.1、0.3、0.5这3个阈值参数进行试验，结果如图3与图4所示。

结果分析比对发现，当阈值为0.1时保留的信息最多，阈值增大后，图像中间区域的细节信息丢失，为此二值化处理选用阈值0.1。

图2 MR图边缘检测比对

图3 CT二值图

3 小波融合

小波变换是将信号投影到一族小波函数上，并最终将信号分解为这一系列小波函数的叠加［8］。将原始图像分解成一系列具有不同空间分辨率和频域特性的子图像，针对不同频带子图像的小波系数进行组合，形成融合图像的小波系数［9］。小波变换的图像融合方法具有时频局部化、多分辨分析的优势［10］。

小波变换主要包含一维小波变换和二维小波变换，一维小波总体上是离散串行的，二维小波总体上是非离散并行的。在计算机计算能力许可前提下，后者速度高于前者，效果优于前者。笔者以二维小波变换作为图像融合的基础理论。

基于小波分解的图像融合的本质是采用不同的滤波器将源图像分解到一系列的频率通道中，然后针对系数特性采用不同的融合策略［2］进行图像融合处理。具体的步骤主要有分解、融合与重构，二维小波分解融合的过程如图5所示。

图4 MR二值图

3.1 分解

选择合适的小波基，对每一张待融合图像进行小波分解，得到每幅图像在不同分辨率下不同频带上的小波系数。图像的二维小波分解算法可表示为：

图5 小波分解融合过程图

式中，j为分解层数；H与G是2个一维镜像滤波算子，H表示低通，G表示高通；下标r和c分别为图像的行数和列数；Cj＋1、Dv，j＋1、Dh，j＋1、Dd，j＋1分别表示图像经二维小波变换分解后得到的4个不同的频带；Cj＋1为低频成分，用LL表示，保留了原图的轮廓信息；Dv，j＋1为垂直方向高频成分，用LH 表示，保留了原图垂直方向的高频信息；Dh，j＋1为水平方向高频成分，用HL表示，保留了原图水平方向的高频信息；Dd，j＋1为对角方向高频成分，用HH 表示，保留了原图对角方向的高频信息。然后再对子图像分解得到LL2、LH2、HL2、HH2，依次进行多层分解，N层小波分解后可得到（3 N＋1）个频带。其中包含3 N个高频带和1个低频带［11］。

小波分解的层数越多，融合结果的细节越丰富，但图像的结构信息量损失变大，而这些信息量均是小波逆变换所不能回复的，因此小波分解的层数不宜过高［11］。

3.2 融合

针对小波分解系数的特点，设置不同的融合规则，对各个不同分辨率上的小波分解得到的频率分量进行融合处理。融合规则的设置是基于小波变换图像融合的关键。主要包含了低频子带融合规则和高频子带融合规则。低频系数反映了源图像在该分辨率上的概貌，都是正的变换值。一般根据具体图像融合的目的取源图像对应系数的均值或较大值作为融合规则。高频系数是小波分解得到的3个高频子带，包含了一些在零附近的变换值。较大的变换值对应着图像中的显著特征，如边缘、填充轮廓、亮线等。从数字表示上就是亮度直接变化的点。这些细节信息反映了局部的视觉敏感对比度，应该进行特殊的选择［1］。

3.3 重构

对融合后的系数进行小波逆变换，得到最终的融合图像。对应式（1）的重构算法表达式为：

式中，H＊与G＊分别表示H与G的共轭转置矩阵。

4 改进的融合规则

图像的融合策略是图像融合的核心，其方法的优劣直接影响了融合的速度与质量［12］。笔者主要针对传统小波变换的融合规则进行改进。

4.1 低频融合规则

传统的图像低频融合规则，一般是取源图像对应系数的均值或较大值，对低频系数的所有内容采用相同的融合方法，既没有考虑图像内容上的区别，也没有考虑图像边缘等非常重要的特征信息［13］，因此融合的图像在特征点位置不突出，图像不够清晰。

低频子带主要包含源图像的近似特性［14］，保留源图的轮廓信息［1］。为了突出图像中的显著信息，在低频融合规则中引入边缘检测，在图像融合前对待融合图像进行边缘检测，将边缘像素保护起来，对边缘与非边缘像素采用不同的融合规则：①当像素点为待融合图像中一张图的边缘像素时，选择边缘像素所在的图像尺度系数作为融合图像的尺度系数。②当像素点同时为待融合图像中2张甚至多张图的边缘像素时，选择该像素尺度绝对值更大的图像尺度系数作为融合图像的尺度系数。③当像素点不是任何一张待融合图像中的边缘像素时，选择平均法作为融合图像的尺度系数。

对边缘与非边缘像素采用不同的融合规则，尽可能地保留边缘像素中大的尺度系数，能够更好地保留图像的边缘信息，在融合图像中凸现物体的轮廓。在医学上将CT图与MR图融合，进行肿瘤诊断与治疗中显得尤为重要。

4.2 高频融合规则

高频子带主要保留源图的细节信息［1］。为了保护待融合图像中的细节信息，笔者在高频融合规则中引入二值化图像，在图像融合前对待融合图像进行二值化处理，在融合时将二值化图像中的白色区域看做细节信息保护起来：①当像素点为待融合图像中一张图的细节像素时，选择细节像素所在的图像尺度系数作为融合图像的尺度系数。②当像素点同时为待融合图像中2张甚至多张图的细节像素时，用0.7与0.3作为权值进行加权平均作为融合图像的尺度系数，其中尺度绝对值更大的图像尺度系数权值为0.7。③当像素点不是任何一张待融合图像中的细节像素时，选择均值法作为融合图像的尺度系数。

融合规则中增加了对细节像素的保护机制，尽可能地保留细节像素中大的尺度系数，能够更好地保留图像的细节信息。这在医学上将CT图与MR图融合时，能更加清晰地显示颅内软组织影像，更好地帮助医生进行临床诊断与治疗。

5 基于内容的小波融合算法流程

基于内容的小波融合算法流程如图6所示。该算法具体步骤如下：

Step 1 对CT图与MR图进行边缘提取，得到边缘图像，作为低频融合时的边缘保护依据。

Step 2 对CT图与 MR图进行二值化处理，得到黑白图像，作为高频融合时的细节保护依据。

Step 3 对待融合图像进行小波分解。

Step 4 根据设置好的改进的融合规则对分解后的信号进行融合。

Step 5 小波逆变换，得到最终融合图像。

图6 基于内容的小波融合算法流程图

6 融合试验及结果评价

试验在Matlab开发环境下，以CT图与MR图作为原始图，进行图像融合试验。针对源CT图与MR图，试验过程中各项参数设置如下：边缘检测采用Canny算子，二值化阈值设置为0.1，小波分解层数设置为3，融合规则采用对低频段和高频段均做了改进后的融合规则。

用6种图像融合算法对待融合图像进行融合处理，试验结果如图7所示。

为了进一步对试验结果进行评价，笔者选择了熵和交互信息量作为客观评价指标。熵值的大小表示图像包含平均信息量的多少。熵值越大，表示融合图像包含的信息越丰富，融合效果越好。交互信息量是2幅图像相关性的量度，也就是一幅图像包含另一幅图像的信息量的量度。这里用来衡量图像融合效果的交互信息量由源CT图与融合图的互信息值与源MR图与融合图的互信息值相加计算。交互信息量越大，表示从源图获取的信息越丰富，融合效果越好。

从图7和表1中不同融合算法熵与交互信息量的数值可以看出，笔者提出的改进算法效果明显优于其他算法。表2为试验平均数据。

图7 试验结果

表1 试验数据

表2 试验数据平均值

7 结语

医学图像融合算法的优劣评价主要看是否有效地保留了满足医学意义的显著特征。笔者对传统小波融合过程中的融合规则进行了改进，基于图像内容，在低频段融合规则中添加边缘保护机制，在高频段融合规则中添加细节保护机制，有效解决了传统小波融合中部分边缘失真和细节丢失的问题。试验结果表明，笔者提出的基于内容的医学图像小波融合算法能较好地保留待融合图像的边缘和细节信息，实现了满足医学意义上的医学图像融合。

［1］邱建峰，聂生东 .医学影像图像处理实践教程［M］.北京：清华大学出版社，2013：108－118.

［2］王卫星，曾基兵 .冗余提升不可分离小波的图像融合方法［J］.电子科技大学学报，2009，38（1）：13－16.

［3］戴峻峰 .基于小波变换的多模态图像融合算法的改进［J］.计算机工程与设计，2010，31（19）：4250－4252.

［4］程塨，郭雷，赵天云 .一种基于小波变换的多聚焦图像融合方法［J］.计算机工程与应用，2012，48（1）：194－196.

［5］王昕，李玮琳，刘富 .小波域CT／MRI医学图像融合新方法［J］.吉林大学学报（工学版），2013，43（增刊）：25－28.

［6］李云红，梁高鸣，伊欣，等 .基于小波融合技术的医学图像增强新方法［J］.激光与红外，2013，43（10）：1188－1191.

［7］刘海涛，石跃祥，康蕴 .基于小波分析的图像融合新方法［J］.计算机工程与应用，2013，49（6）：205－208.

［8］ Rafael C G，Richard E W，Steven L E.数字图像处理［M］.阮秋琦译 .北京：电子工业出版社，2011.

［9］才溪 .多尺度图像融合理论与方法［M］.北京：电子工业出版社，2014.

［10］杨艳春，党建武，王阳萍，等 .基于提升小波变换的医学图像融合方法［J］.计算机科学，2011，38（12）：266－268.

［11］高颖，王阿敏，王凤华，等 .改进的小波变换算法在图像融合中的作用［J］.激光技术，2013，37（5）：690－694.

［12］杨艳春，王晓明，党建武 .一种小波加权局部对比度的医学图像融合算法［J］.兰州大学学报（自然科学版），2013，49（1）：122－125.