一种适用于多模态医学图像融合的自适应脉冲耦合神经网络改进算法

于 淼，宁春玉，石乐民，吕冰垚

(长春理工大学生命科学技术学院,长春 130022)

多模医学图像融合目的是将不同图像的互补信息综合到一幅图像中,以克服单个模态医学图像信息存在局限性的问题[1]。目前的研究热点是基于多尺度分解(multiscale decomposition,MSD)的融合方法,主要研究方向有多尺度分解工具的选择和融合规则的选择。传统的离散小波变换[2]虽然有多分辨率和时频局部等特性,但因其具有采样操作导致不能完整表达图像的方向、边缘等信息。对此,多位学者提出了Contourlet变换[3]、非下采样Contourlet变换(non-subsampled contourcet transform,NSCT)[4]等。文献[5-6]利用NSCT分解提取边缘和细节信息,提高了融合效果。NSCT不仅承袭了Contourlet变换具备的多尺度性、多方向性和各向异性,而且具有平移不变性,克服了伪吉布斯现象。

PCNN[7]符合人类视觉系统神经元运行机制,具备全局耦合性和脉冲同步性,在图像融合[8]领域得以应用。研究方向主要有二:一是PCNN模型的理论研究。Kinser[9]提出的PCNN简化模型在保持原模型重要特性的基础上减少了模型参数,适应于图像处理应用要求。二是PCNN模型参数的自适应设置。考虑到人眼视觉神经系统对不同特征区域响应程度存在差异,PCNN模型的参数不应该设置成定值[10]。对此,许多学者采用空间频率(spatial frequency,SF)[11]、改进的拉普拉斯能量和(sum-modified Laplacian,SML)[12]或局部对比度[13]等设置连接强度。融合结果整体虽得到改善,但不能完善地反映出图像的方向特性。另外,许多学者用SML[14]、改进空间频率(modified spatial frequency,MSF)[15]或直接采用子带系数[16]设置外部激励。这些方法在各评价指标上均有提高,但没有考虑低通和带通子带包含源图像的不同特性。

针对上述问题,主要研究在NSCT变换下,根据图像的全局特征和子带图像的不同区域特性来自适应调整PCNN多个重要参数。提出分别以区域标准差(regional standard deviation,RSD)和MSF中最显著的方向分量来自适应地调整连接范围和连接强度,并针对低通、带通子带的特性采用不同的方式调整外部激励。期望设计一种包含源图像信息丰富、边缘及纹理清晰,并且适用于多种模态医学图像的融合算法。

1 PCNN简化模型

PCNN是由多个神经元彼此连接而组成,其中每一个神经元都由三部分构成:接收域、耦合调制域和脉冲发生器[17]。图1为单个神经元的简化模型。对于(i,j)位置的神经元,在时刻n受到外界刺激信息Sij和邻域k×l(连接范围)内其他神经元n-1时刻脉冲信息{Ykl}影响后,其反馈输入Fij、线性连接输入Lij、内部活动项Uij、脉冲发生器中输出Yij和膜电位动态阈值θij的离散数学表达式如下:

Fij(n)=Sij

(1)

(2)

Uij(n)=Fij(n)[1+βijLij(n)]

(3)

(4)

θij(n)=e-αθθij(n-1)+VθYij(n)

(5)

式中:βij为连接强度；αL和αθ分别为Lij和θij的衰减时间常数；VL和Vθ分别为连接放大系数和阈值放大系数；Wijkl为Lij中{Ykl}的加权系数；当Uij超过阈值时,产生脉冲。θij随着该神经元输出状态而变化。PCNN神经元接收到输入信号后根据上述原理判定并输出点火情况。每个(i,j)位置的神经元在n次迭代后将点火总次数统计输出,映射成点火映射图，表达式为

Tij(n)=Tij(n-1)+Yij(n)

(6)

图1 PCNN单个神经元的简化模型Fig.1 PCNN single neuron simplified model

2 本文算法

2.1 融合算法步骤

如图2所示为本文的图像融合算法流程,具体步骤如下。

首先,对源图像A和B进行NSCT分解,最终分别获得一个低通子带和多个不同尺度不同方向下的带通子带。

然后,设置PCNN的各个参数。分别计算各个子带系数对应的连接范围、突触权重矩阵和连接强度，以及低通、带通子带的外部激励。

接着,将PCNN模型按照式(1)～式(5)迭代运行,直至每个神经元都被激活,然后统计出子带系数的点火次数获得点火映射图,边缘和纹理信息的多少与点火次数正相关。采用每个位置上最大点火次数对应的子带系数作为融合子带的系数,记为取大原则。

最后,对融合子带系数进行NSCT逆变换,即重构出融合图像F。

图2 本文算法框图Fig.2 Block diagram of the proposed algorithm

2.2 融合规则

本文算法设计的融合规则结合自适应PCNN。其中,用RSD自适应调整连接范围,进而调整突触权重矩阵,进一步调整加权系数。用MSF中方向特征最显著的分量自适应调整连接强度。考虑到低通和带通子带包含源图像的概貌、边缘和纹理等特征的不同,分别使用不同的外部激励调整方式。

2.2.1 连接范围

连接范围设置3×3和5×5两种网络连接模式，计算式为

(7)

(8)

突触权重矩阵计算式为

(9)

2.2.2 连接强度

SF通常只表述为水平与垂直两个方向FR和FC[式(10)、式(11)]。文献[18]提出增加两个对角方向FMD和FSD的梯度能量[式(12)、式(13)],通过4个方向的梯度能量来衡量整个活动窗口系数,如式(14)。考虑到医学图像亮度偏低,为了突出方向特征,提取更多细节信息,使得图像特征信息的提取更为全面,提出式(15)来调整连接强度。

(10)

(11)

(12)

(13)

(14)

βMSF=max{FR,FC,FMD,FSD}

(15)

式中:M和N为子带图像尺寸；A(i,j)为(i,j)处的子带系数值；FR、FC、FMD和FSD分别表示行频率、列频率、主对角频率和副对角频率。

2.2.3 低通子带的外部激励

局部区域内的多个像素之间存在相关性,基于区域的融合规则能更好地体现出图像局部特征。低通子带齐集了源图像主体信息,包含多数轮廓和能量信息。考虑到医学图像灰度范围窄且分布不均,为了保证图像的基本信息不丢失,并优先选择出边缘细节丰富的区域信息,提出如式(18)将区域能量(regional energy,REN)和区域方差(regional variance,RVA)线性组合作为外部激励。

(16)

(17)

MED(i,j)=E(i,j)+D(i,j)

(18)

2.2.4 带通子带的外部激励

带通子带集中了边缘和纹理等细节信息,分布呈现出方向特性。文献[19]提出SML能反映出图像梯度信息,采用式(20)计算外部激励。考虑到医学图像中病灶点多由细节信息表达,对疾病的诊断尤其重要。经过多组实验,提出如式(22)来设置外部激励。

MLP(i,j)=|2A(i,j)-A(i-1,j)-A(i+1,j)|+|2A(i,j)-A(i,j-1)-A(i,j+1)|

(19)

(20)

ML(i,j)=|2A(i,j)-A(i-1,j)-A(i+1,j)|+|2A(i,j)-A(i,j-1)-A(i,j+1)|+|1.5A(i,j)-0.75A(i-1,j+1)-0.75A(i+1,j-1)|+|1.5A(i,j)-0.75(i-1,j-1)-0.75A(i+1,j+1)|

(21)

(22)

式中:ML、SML分别为改进的拉普拉斯及其能量和；A(i,j)为(i,j)处的系数值。测度窗口大小取3×3。

3 实验结果及分析

为了验证本文算法的有效性,在MATLAB R2017b平台上选择3组经过严格配准并且来自同一部位的不同模态医学图像进行融合实验,分别为:①CT和MRI；②MRI-PD和MRI-T2；③MRI和PET。图像的尺寸大小均为256×256,具有256个灰阶。各组实验均基于NSCT变换,NSPFB为“pyrexc”,NSDFB为“vk”,分解层数均为4,多尺度分解中的方向分解级数按尺度由细到粗为[1,2,3,4]。PCNN模型参数设置为:n=200,αL=0.069 31,αθ=0.2,VL=1,Vθ=20。

图3～图5分别给出了不同模态医学图像及其融合结果。其中,(a)、(b)为源图像,(c)～(h)为不同融合算法的结果图。(c)的融合规则采用低通系数取平均,带通系数绝对值取大法,记为NSCT-AVE-MAX；(d)的低通和带通均采用PCNN融合规则,连接范围取3×3,βij=0.2,外部激励为MSF,记为NSCT-PCNN；(e)～(g)分别为文献[14-16]所提方法。文献[14]算法为低通采用SML取最大,带通子带外部激励为SML；文献[15]算法为低通和带通子带的外部激励分别为SML和MSF,βij为平均梯度；文献[16]算法为低通采用区域能量加权,外部激励为带通子带系数,βij为SF；(h)为本文算法。

图3 CT和MRI的融合结果Fig.3 Fusion results of CT and MRI

图4 MRI-PD和MRI-T2的融合结果Fig.4 Fusion results of MRI-PD and MRI-T2

图5 MRI和PET的融合结果Fig.5 Fusion results of MRI and PET

对比分析实验结果可知,图3(c)、图4(c)和图5(c)的整体亮度偏低,对比度差,存在伪影现象,边缘和细节模糊,视觉效果略差；图3(d)、图4(d)和图5(d)对比度增强,但纹理有缺失；图3(e)、图3(f)整体亮度均有所提高,且无伪影,但边缘和细节信息不如图3(h)完整；图3(h)较为完整地保留了CT图像的骨骼信息和MRI图像的软组织信息。图4和图5(e)～图5(g)边缘清晰,对比度较高,融合图像信息丰富。但图3(h)、图4(h)和图5(h)质量更高,不仅纹理明显,还选择出了边缘细节丰富的区域信息,视觉效果更佳。图4(h)在边界处轮廓清晰,边缘保持更完整,图5(h)的PET图像功能信息保留更丰富,MRI图像软组织对比度更高。

由于主观评价很难区分融合图像之间的细微差别,为保证结论具有客观性和说服力,本文用信息熵(information entropy,IE)、标准差(standard deviation,SD)、互信息(mutual information,MI)和边缘保持度QAB/F等4个指标对图像融合算法的优劣进行客观评价。表1～表3分别对应图3～图5中融合图像的客观评价指标,由各个指标对比可知,NSCT-AVE-MAX在保留细节能力方面效果略差。与之相比NSCT-PCNN算法更能保留源图像的有用信息。与其他算法对比可见,本文算法的4个指标均指明显偏大,表明本文算法对源图像边缘、细节信息的提取和保留能力更强,对比度更高,灰度级分布分散,包含源图像的信息更丰富,融合效果最优,结论与主观评价一致。

表1 CT和MRI融合结果客观评价指标

表2 MRI-PD和MRI-T2融合结果客观评价指标

表3 MRI和PET融合结果客观评价指标

4 结论

针对NSCT变换下低通和带通子带特性的不同,设计了不同的基于PCNN的融合规则。通过多组实验可以得出如下结论。

(1)本文算法依据图像自身特征自适应调整PCNN模型连接范围、连接强度等参数,对于外部激励,低通子带设计为REN与RVA的线性组合,可以更好地描述低频的轮廓等区域特性。带通子带设计为SML,可以更好地模拟人眼视觉神经系统对边缘、纹理等重要特征的敏感性。在医学图像融合领域,很好地表征了图像细节特征信息,得到的融合图像纹理清晰,没有伪影现象,很好地保留了源图像的特征信息,并且对比度高,视觉效果佳。

(2)从客观指标上能看出,本文算法反映图像各方面信息的能力强,在MI和QAB/F方面优势尤为明显。综合源图像有用信息的能力比其他方法强,提取和保持源图像边缘信息的能力强,包含的细节信息更多,融合图像信息丰富,准确可靠。

(3)通过多组不同源图像的实验可证明本文方法的有效性,适用于多种模态的医学图像之间的融合。