基于多尺度分解和改进稀疏表示的脑部图像融合

张亚加, 邱啟蒙, 刘 恒, 邵建龙*

1.云南开放大学, 云南 昆明 650500;2.昆明理工大学 信息工程与自动化学院, 云南 昆明 650504

随着经济社会的发展,脑部疾病年轻化趋势越发明显,其高发病率、高致残率、多并发症不仅给患者身心造成巨大痛苦,而且加大了社会负担。在临床应用中,影像学检查对脑部疾病的预防治疗具有极大的医学意义。成像技术的蓬勃发展为临床医学提供了不同模态的脑部图像[1]。因成像原理的差异,不同模态的脑部图像存在信息互补和冗余[2]。因此,准确地为临床分析提供多模态下的互补医疗信息成为当下的研究热点[3]。

融合后的脑部图像既要最大限度保留原图像的骨骼和软组织信息,又要准确展现病灶的细节特征。相比傅里叶变换,小波变换能对信号进行自适应时频分析。离散小波变换(Discrete Wavelet Transform,DWT)对图像的点奇异特性有很强的描述性,但对含线面奇异特性的二维甚至更高维信号表征能力很弱。相比非下采样轮廓波变换(Non-Subsampled Contourlet Transform,NSCT),非下采样剪切波变换(Non-Subsampled Shearlet transform,NSST)可根据待处理图像复杂度的不同,按需选择分解方向的数量,且不存在逆向合成方向滤波的操作,计算量小,降低了对设备的依赖性。NSST能较好地描述图像的线面奇异性,适合处理高维信号,但对具有点奇异性的信号却无能为力[4]。

YIN等[5]基于联合字典的稀疏表示算法,从源图像中截取图像块作为训练数据,得到自适应的联合字典,但在稀疏表示阶段计算复杂度很高。MINGAE等[6]基于联合块聚类的字典学习根据结构相似性进行聚类,尽管该字典能保留源图像大部分特征,但依然存在损失的问题。SHIBU等[7]提出NSCT结合稀疏表示处理低频子带的方法,增强了集成细节,但边缘信息明显丢失。脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)同时具有全局耦合及同步脉冲发放等特性,并且其处理机制和信号形式都符合人的视觉神经系统特性。当神经元受到图像信号刺激时,通过能量传播的方式以相似性集群,产生同步脉冲发放,脉冲序列中就包含了图像的特征,因此能更容易地对图像做出判断。这样的处理机制优于传统的机器学习方法,在医学图像处理中得到广泛运用。戴文战等[2]对PCNN进行了优化和改进,能够自适应地进行调节,但轮廓波变换又降低了执行效率。黄陈建等[8]提出一种NSST域下结合DWT和PCNN的方法,保留了源图像大量的细节信息,但是边缘抗噪性能较差,丢失了相应的细节特征。朱宏伟[9]提出稀疏表示处理低频子带的方法,使用引导滤波和Sobel算子对训练集进行预处理,虽然提高了融合效率但抗噪性能变差。

传统的NSST方法难以描述图像的点奇异特性,DWT变换表征二维及其以上信号能力有限,难以全面刻画脑部图像的细节特征,给临床诊断和辅助医疗带来不便。为了能够有效地保留图像的细节信息,提高抗噪性能,对NSST和DWT进行组合,利用其互补优势实现最优的表示,在稀疏表示过程中,本文提出一种多范数加权度量的方法对稀疏系数进行灵活选择,同时兼顾图像信息量的多少和集中程度。

1 基本原理

1.1 非下采样剪切波变换(NSST)

作为一种先进的多尺度分析方法,NSST以其平移不变性、多方向性和计算复杂度低的优势得到广泛应用[10]。其过程是对图像通过金字塔滤波(NSP)来实现,确保了平移不变性;由剪切波(SF)实现方向局部化。经k次迭代分解以后,获得一个低频子带和k个尺度不同而大小相同的高频子带,2层分解过程如图1所示。

图1 NSST分解框架

1.2 离散小波变换(DWT)

离散小波变换(DWT)是对基本小波的平移和尺度进行离散化。在图像融合运用中,需要将连续的小波及其变换离散化。计算机在实现中使用二进制离散处理,将经过这种离散化的小波及其相应的变换称为离散小波变换。实际上,离散小波变换是对连续小波变换的尺度、位移按照2的幂次进行离散化得到的,所以也称其为二进制小波变换。

以图像I为例,其过程是在水平方向上执行的小波,得到低频系数矩阵IL及高频系数矩阵IH;依次在竖直方向上展开,获得3个方向不同的高频系数IHL、IHH、ILH和一个低频系数ILL。依此方法对ILL进行k次迭代即可满足k层分解的需要。

1.3 改进稀疏表示(ISR)

传统的稀疏表示方法是从源图像中减去均值图像进行处理。受文献[9]启发,首先选取20对脑部图像作为训练数据,使用结合引导滤波的Soble算子对训练子集进行预处理,以K-SVD[11]学习源图像的字典,最终结合起来形成一个过完备训练集。以图像I为例,简述创建过程：

1)用Soble算子对图像I进行8个方向上的信息提取。

2)通过引导滤波器的计算引导图像,

F=awI+bw,

其中F表示I的线性变换;I表示引导图像;aw、bw表示线性系数,为常数。

3)引导后的图像使用均值滤波进行处理：

其中m和n表示窗口大小,取3,g(x,y)表示原始图像的像素。

1.4 脉冲耦合神经网络(PCNN)

PCNN在图像处理领域应用广泛。融合的时候,图像的像素特征与神经元一一对应,使神经元的个数和图像的像素个数相等。如图2所示。

图2 简化的神经元网络模型

图3 图像融合过程

显而易见,传统的PCNN模型需设置较多参数,而且这些参数都是基于算法的固定值,不能够灵活地考虑到每一幅图像的灰度值,增大了处理的难度,限制了算法的效果。文献[12]提出一种基于SCM的模型,使PCNN得到简化。文献[13]在此基础上再次对PCNN进行简化,并将SPCNN用于参数的自动设置。为提高融合效率,进一步体现算法的灵活性,本文使馈送通道F仅输入外界激励Sij,通道L仅接受输出的Yij(n)。

2 融合方法

多尺度分析方法在描述图像时所擅长处理的特征不尽相同,因此利用其互补性可实现更优的表示。因此,结合NSST变换与DWT变换的互补特性,进而提出一种NSST域下结合DWT和改进稀疏表示的算法。以源图像1和源图像2为例,对其先后使用NSST和DWT处理,得到对应的低频层分量和高频层分量,因事制宜选择最优的融合规则,获取最终融合图像IF,过程如3所示。

2.1 低频融合策略

由于低频子带稀疏性较差[13],为获取稀疏系数,使用如下规则处理：

(1)

3)根据式(1),计算加权多范数活跃度

(2)

4)根据步骤3)的结果,甄选稀疏系数如下：

6)循环以上步骤,直至所有图像块被融合,得到最终的低频子带。

2.2 高频融合策略

本文用空间频率(SF)来激励神经元,融合过程如下：

1)用高频分量I1,L、I2,L计算两幅源图像的空间频率SF,然后把每一个像素的空间频率作为SPCNN的外部输入,产生神经元脉冲,计算公式为

其中M、N分别表示高频分量的行向量和列向量。

2)初始值的设定：初始状态SPCNN未点火,因此,

Li,j[0]=Ui,j[0]=Yi,j[0]=θi,j[0]。

3)求解参数,判定迭代次数最大时的点火次数,假定起初点火次数Ti,j[0]为0,

Ti,j[n]=Ti,j[n-1]+Yi,j[n],

其中Ti,j[n]表示神经元的点火次数。用n表示迭代次数,设为150次,链接输入Li,j(n)的突触权值

4)对于每一个像素,比较两个高频分量在该处的点火次数,选择点火次数多的像素点作为融合后的像素点。

3 实验结果与分析

3.1 实验设置

本文在实验过程中,对参数进行了设置,其中NSST变换的分解层数k取3,每一层系数分量的方向数均为{4,4,8};所使用的小波基为“db4”,分解次数为2,每一层系数分量的方向数均为3;加权范数度量时,比例系数设为0.8。

为突出本算法的可比性,选用Win10操作系统、Matlab 2019b。分别用2组MRI-CT联合成像和2组MRI-SPECT联合成像作为测试数据,大小均为256×256 pixel,深度8 bit,已配准,数据源自哈佛大学医学图像数据库(http：//www.med.harvard.edu/AANLIB)。与文献[7-9]进行比较,融合结果如图4—图7所示。取信息熵(Entropy,EN)、空间频率(Spatial Frequency,SF)、互信息(Mutual Information,MI)、峰值信噪比(Peak Signal Noise Ratio,PSNR)、融合时间(Fusion time)5个宽度影响指标对结果进行综合评价。

(a) CT (b) MRI (c) 文献[7]

此外,控制本文方法其他参数不变,使用当前最为先进的4种方法计算稀疏活跃度水平,验证本文提出度量方法的先进性和可行性。上述实验分别执行10次后得到的客观指标平均值记录于表1—表3,最优值用粗体标出。

表1 MRI-CT联合成像融合结果评价指标

3.2 MRI-CT融合实验

在本组实验中,使用不同方法对脑萎缩患者的CT和MRI图像进行融合。脑中风MRI-CT联合成像融合结果和脑梗MRI-CT联合成像融合结果如图4、图5所示。由图4和图5的(a)、(b)可以看出,CT提供致密的骨组织结构信息,但获得的软组织信息却极为有限。MRI可提供软组织信息,但MRI对骨骼等密度较大区域成像较为模糊。MRI-CT联合成像有助于诊断同一器官的软硬组织信息。

(a) CT (b) MRI (c) 文献[7]

脑中风患者的MRI-CT融合结果显示(见图4),文献[8]与文献[9]图像整体偏暗,丢失了大量信息,亮度较优的文献[7]图像在保留大量信息的同时也存在软组织细节损失的问题,并且这3种方法对细节信息的保留效果不好,影响医学诊断的准确性。而本文算法能够有效地保留软组织信息,细节信息明显,整体清晰度较高,且5个指标中有4个最优。综合考量结果,本文采用算法分析效果最优。

脑梗患者的MRI-CT融合结果显示(见图5),文献[7]骨骼信息保留较好,但软组织信息有所丢失,局部偏暗,而文献[8]提高了对比度,但暴露出细节丢失的问题,虽然文献[9]边缘轮廓清晰度得到了保证,但软组织信息整体较为模糊,影响医学诊断的准确性。本文算法骨骼信息保留较好,边缘轮廓清晰,软组织细节保留较好,耗时最少,且5个指标均是最优。综合考量结果,本文采用算法分析效果最优。

3.3 MRI-SPECT融合实验

在本组实验中,使用不同的方法对正常大脑的MRI和SPECT图像进行融合。支气管癌MRI-SPECT联合成像融合结果和血管瘤MRI-SPECT联合成像融合结果如图6、图7所示。由图6和图7的(a)、(b)可以看出,SPECT能提供人体组织和器官的血液流动状况及新陈代谢功能信息,但其时空分辨率较低。MRI-SPECT图像能同时呈现软组织信息和脑血流。

(a) MRI (b) SPECT (c) 文献[7]

(a) MRI (b) SPECT (c) 文献[7]

支气管癌患者MRI-SPECT的融合结果显示(见图6),文献[7]能很好地保存大部分MRI和SPECT结构信息,视觉效果相对较好。文献[8]对MRI形态结构信息的保存效果较差,对比度较低。文献[9]融合图像虽然保留了MRI图像的大部分结构信息,但是出现了伪影。这3种方法对细节信息的保留效果均不好,影响医学诊断的准确性。本文算法不仅在图像亮度、纹理清晰度、局部对比度方面均优于其他方法,还保留了轮廓细节信息,消除了伪影,体现了病灶的细节特征,能够提高临床医学诊断的准确性,且5个指标均最优。参考表2的支气管癌患者和血管瘤患者MRI和SPECT的融合结果评价指标,综合考量结果,本文采用算法分析效果最优。

表2 MRI-SPECT联合成像融合结果评价指标

血管瘤患者MRI-SPECT的融合结果显示(见图7),文献[7]边缘区域出现的大量暗区影响了融合图像的性能。文献[8]降低了局部图像的对比度,MRI的形态结构信息保存较差。文献[9]没有保持SPECT图像的理想对比度,融合的色彩对比较差,出现了伪影。这3种方法刻画细节信息不够准确,不能突出病灶特征。本文算法的图像对比度和锐度更优,而且在结构信息和细节信息的提取方面均是最佳,没有出现伪影,且5个指标均是最优(数据见表2)。综合考量结果,本文采用算法分析效果最优。

3.4 活跃度水平实验

在稀疏编码过程中,活跃度水平的计算决定了稀疏系数选择的灵活度。L0范数[14]表示稀疏系数中非零项的数量,反应图像信息集中度,L0范数越大,说明细节信息越集中。但是L0范数会面临NP问题,使用L1范数对非凸的L0范数进行替换,实现NP问题向凸优化问题的转换,降低计算复杂度。L2范数表示稀疏系数中各项的绝对值之和,它反映细节信息量的多少,L2范数越大,表明细节信息越多[15]。

对稀疏活跃度水平的度量有两类方法,一是单一范数取极大,如文献[16]中的L1范数求极大,这种方法运用比较广泛,但不能很好地反应信息量的多少。另一类是多范数综合度量的方法,如文献[17]使用L0和L2的均值来度量;文献[18]使用“多范数”活跃度测量,结合“自适应加权平均”与“选择最大”两种规则,当相似度超过阈值,使用“自适应加权平均”,反之使用“选择最大”;文献[19]提出对L0范数和L2范数选取两个线性相关权重系数w1、w2进行加权计算,对加权计算的结果进行取大。为比较本文提出的加权多范数度量方法的优势及可行性,控制本文方法其他参数不变,对比上述4种方法,记录结果如表3。

表3 脑部图像在不同度量方法下的评价指标

由表3可以看出,5种方法中,文献[17]采用L0和L2取均值的方法效果最差,因为单纯地取均值操作不能考虑到信息量的多少和集中程度。其次是L1范数求极大的方法,4组实验中,信息熵(EN)均是最大,这也验证了L1范数在稀疏活跃度水平度量过程中描述的是信息量的集中程度。此外,文献[18]比文献[17]的方法略好,因为一定程度上这两种方法也考虑了信息量多少和集中程度的问题。但总体上看,本文提出的方法,除信息熵外其他指标均是最优,且对信息集中程度的描述(信息熵)仅次于L1范数求极大,同时兼顾了信息量的分布和数量,对活跃度水平地度量更为准确和有效。

4 讨论

在融合规则方面,考虑到低频子带携带了大量边缘信号,使用稀疏表示对其进行处理,高频子带反映图像的亮度信息,采用SPCNN进行处理。避免了融合后出现失真、伪影问题,同时兼顾到了结构信息的和细节信息的提取,突出病灶的细节信息。此外,本文新提出了一种多范数加权度量的方法,取得了较好地实验效果。实验结果表明本文方法比单一多尺度分析工具效果更好。

综上所述,本文算法实现了多尺度分析方法的优势互补,较传统的NSST分解,效果有了很大提升,突出了病灶信息,提高了融合效率,降低了时间成本,在视觉效果和客观指标上均有显著优势。