结合多尺度局部极值分解和SCM模型的医学图像融合方法

丁斋生 周冬明 聂仁灿 侯瑞超 刘琰煜 帅新芳

(云南大学信息学院 云南 昆明 650504)

0 引 言

医学图像融合技术，是一种通过融合多种模态传感器所生成的图像实现信息互补，增强人眼的可视性来实现图像融合的技术[1]，在现代医学中的应用越来越广泛。以电子计算机断层扫描(CT)图像和磁共振成像(MRI)图像相融合的技术也越来越受到重视[2]。CT图像以不同的灰度来表示器官和组织，是一种较为理想的观察骨关节信息的方式；MRI图像利用磁共振现象从人体中获得电磁信号并重建出人体信息，能够较清楚地显示软组织及有关脉管[3]。CT图像和MRI图像的融合，能够有效地结合两者的互补信息，清楚地显示出骨骼和软组织病变情况，为医生在医疗诊断和肿瘤治疗中提供更准确的参考。

医学图像融合的结果要求保留源图像的信息，同时准确地展现细节特征，使其更符合人眼的视觉特性并且更容易被机器识别[4]。近年来，基于多尺度变换的医学图像融合方法被广泛使用，例如：将非下采样轮廓波变换与脉冲耦合神经网络(Pulse Coupled Neural Networks，PCNN)相结合的医学图像融合方法[5]；文献[6]利用Ripplet和非下采样剪切波变换(Non-downsampled shear wave transform，NSST)相结合的级联框架进行CT-MRI融合算法；文献[7]提出的NSST和下参数自适应脉冲耦合神经网络融合医学图像；文献[8]提出的基于曲波变换(Curvelet，CVT)的CT-MRI融合算法；传统的基于拉普拉斯金字塔(Laplacian pyramid，LAP)的方法[9]；用低秩稀疏表示改进的曲波变换(CVT-SR)[10]等。PCNN在图像融合领域取得了广泛的应用和良好的融合效果，但是因其复杂的结构和大量的参数设置问题，在实际研究中，人们更多地使用一些改进的模型，例如脉冲发放皮层模型(Spiking Cortical Model，SCM)。大量的实验研究表明：SCM比PCNN模型更加简洁且更易取得良好的融合效果[11]。

1 相关工作

1.1 局部极值方法

局部极值分解方法是一种边缘保持平滑算子，通过求取图像的局部极小值和极大值的均值得到平滑图像[12]。输入源图像I被分解为平滑图像S和细节图像D，源图像的主干部分和基础信息被包含在平滑图像S，源图像的纹理、亮度和边缘信息包含在细节图像D[13]。通过计算源图像的局部极值，得到平滑图像S，再通过将源图像减去平滑图像得到细节图像D。多尺度局部极值分解方法就是通过K级递归平滑操作算子，输入图像{A，B}被分解为一系列的平滑图像{SA，SB}和细节图像{DA，DB}，定义为:

(1)

式中:K为最大级数；I为源图像A或者B。LES的计算可分为三个步骤：计算源图像的局部极值；计算最小值和最大值包络线；计算平滑图像S局部最大和最小包络线的中间平面。本实验将k定义为k=3，5，7，通过式(2)-式(3)求出在ω×ω(ω=2k-1)的移动区域，源图像的局部极值。

(2)

(3)

式中：m(p)、n(p)为插值，Ω(p)为像素p的邻域；mmax(q)和mmin(q)为图像q的极大值和极小值；ω(q,p)为权重。ω(q,p)计算公式如下：

(4)

图像的多尺度局部极值分解流程如图1所示。对图中细节图像系列作直方图分析，可以看出随着分解级数K增大，相应的细节图像中包含的信息占源图像的比例就越高，细节信息越丰富。

图1 LES分解流程图及细节图像直方图

1.2 双通道脉冲发放皮层模型

SCM是一种简化的PCNN模型，简化了PCNN的结构，大幅度减少了待定参数的数量。而且，SCM模型不需要学习和训练，可以直接从复杂的背景中提取有用的信息[14]。将传统的SCM模型改进为双通道SCM(dual-channel SCM，DCSCM)，可以有效地节约计算成本[15]。SCM模型的数学表达式如下：

(5)

(6)

(7)

Ep,q(n)=gEp,q(n-1)+VθEp,q(n-1)

(8)

(9)

(10)

DCSCM模型的神经元结构如图2所示。

图2 DCSCM模型的神经元结构图

1.3 稀疏表示

稀疏表示是一种符合人类视觉系统生理特性的图像表示的方式[16]，其核心思想是将某图像的向量X∈Rn由过完备字典D∈Rn×k(n

(11)

式中：‖α‖0为稀疏系数向量α的稀疏度量项，用来度量α中的非零项的个数。

式(11)是一个NP优化问题，可以通过正交匹配追踪算法(Orthogonal Matching Pursuit，OMP)求解其稀疏解。OMP算法是在只有非零解的情况下，D的第m列与Y最匹配时，求解其稀疏系数。用OMP算法对稀疏矩阵计算可以得到该矩阵的稀疏表示稀疏矩阵，公式如下：

(12)

2 融合算法

2.1 平滑层融合

运用已训练的过完备字典D=[D1,D2,…,D9]结合OMP算法对平滑层图像{SA，SB}进行稀疏分解，得到各个尺度的稀疏矩阵V=[V1,V2,…,V9]。采用能量值取大的融合规则融合求得的各稀疏矩阵，得到融合系数，根据融合系数重构得到融合的平滑图像S。具体的融合规则如下：

(13)

(14)

式中：RSX,i表示的是稀疏系数RSX的第i列向量；ESX,i是RSX,i的能量。根据RS实现图像块向量的重构，公式如下：

SX=DRSXX=A或B

(15)

2.2 细节层融合

细节图像融合规则有最大绝对值、区域能量、方差和梯度等方法，但这些方法并不能充分地提取图像的细节信息。利用单个像素的灰度值作为神经网络的激励，可能会导致图像边缘和纹理特征的丢失。DCSCM在传统方法的基础上，增加了两种对角梯度变化，能够较好地解决上述两个问题。设D(p,q)是图像在(p,q)处的系数，利用3×3的滑动窗口测量修正的平均梯度(Modified Average Gradient，MAG)，然后利用得到的MAG激励神经元。MAG定义为：

▽Dmd(p,q)+▽Dvd(p,q))1/2

(16)

▽Dh(p,q)=[D(p,q)-D(p,q-1)]2

(17)

▽Dv(p,q)=[D(p,q)-D(p-1,q)]2

(18)

▽Dmd(p,q)=[D(p,q)-D(p-1,q-1)]2

(19)

▽Dvd(p,q)=[D(p,q)-D(p-1,q+1)]2

(20)

式中：▽Dh(p,q)、▽Dv(p,q)、▽Dmd(p,q)、▽Dvd(p,q)分别表示水平、垂直、主对角线和斜对角线方向的梯度变化值。M×N为滑动窗口的大小。

根据式(16)分别计算出细节图像{DA，DB}的修正平均梯度{MAGDA，MAGDB}，将其作为DCSCM的输入激励，定义初始状态Apq(0)=Tpq(0)=Epq(0)=0，通过式(21)可以得出融合的细节图像D。

(21)

(22)

式中：N为最大迭代次数；Tpq为神经元点火次数。

本文实验所用到的DCSCM模型的参数设置为：

f=0.2g=0.6Vθ=20,

(23)

2.3 融合步骤

假设输入的CT-MRI图像为{A，B}，具体的融合流程图如图3所示，具体的融合步骤如下：

输入：源图像{A，B}。

Step2对得到的一系列平滑图像取最大值得到平滑图像{SA，SB}，对细节图像系列取均值得到细节图像{DA，DB}。

Step3使用稀疏表示的方法，对平滑图像进行融合得到融合的平滑图像S。基于DCSCM模型，得到融合后的细节图像D。

Step4根据平滑图像S和细节图像D，重构出最终的融合图像F，F=S+D。

输出：融合图像F。

图3 算法的融合框架图

3 仿真结果与分析

从图4的实验结果可以直观地看出，本文所提出的融合算法在对CT图像的基础骨结构信息和MRI图像的细节软组织结构信息的保留方面都优于其余七种对比方法。相较于GTF、DTCWT和LP算法，本文算法的融合图像对比度强，骨结构信息突出，软组织信息保留度高，具有很优良的融合效果。对比其他CVT-SR、NSCT-PCNN、NSCT-SF-PCNN和NSST-PAPCNN四种算法，本文算法细节信息丰富，边缘信息保留度高，既突出了骨结构信息的基础部分，也保留软组织信息的细节部分，融合效果从直观视觉感受上也优于对比算法。从表1的客观评价指标的定量数值分析也能得出上述结论。该算法在所选取的五项评价指标中，都处于最优或者略低于最优的状态，验证了其可行性和优越性。

图4 实验中各算法的融合结果图

表1 实验中各算法的客观评价指标值

续表2

4 结 语

本文提出一种基于多尺度局部极值分解方法和DCSCM的图像融合方法。首先，利用多尺度局部极值分解方法将源图像分解为一系列不同尺度的平滑图像和细节图像。然后，使用最大值法提取平滑图像的最大值，使用稀疏表示方法进行平滑图像的融合，对细节图像取均值，作为DCSCM模型的激励，融合细节图像部分。最后，通过融合后的平滑图像和细节图像重构出最终的融合图像。对多组医学图像进行实验仿真和主客观分析，结果表明：该方法在主观视觉方面和客观评价指标的多种信息保留方面都取得了优异的效果。但是，本文使用的基于区域能量的稀疏表示字典融合方法会导致算法运行复杂度上升，运行时间略长，有待日后提升改进。