基于非下采样Shearlet变换耦合能量关联度的医学图像融合算法

毛建芳

(陕西工业职业技术学院 美育部，陕西 咸阳 712000)

0 引言

随着科技的飞速发展，图像处理技术也被应用于越来越多的生活领域中，其中图像处理技术在医疗诊断中的应用就是一个典型的代表。在现代医疗诊断技术中，科技为医疗诊断的方法赋予了先进了手段，通过仪器设备的检查，医生就可以根据仪器设备输出的图像，来为患者诊断病情等，使得医疗诊断过程更为准确和便捷，由此可见，数字图像在医疗诊断中发挥了较为重要的作用[1-3]。由于在医疗诊断中，不同仪器设备生成的检测图像各有优缺点。为了弥补检测图像的缺点，促使诊断结果更为精准，就需要对不同仪器设备生成的检测图像进行融合，在保留原始图像优点的情况下，通过医学图像融合方法，利用诊断图像各自的优点，对图像存在的缺点进行互补，以获取能表达不同诊断特征的清晰图像，为医疗诊断过程提供更多的参考信息[4-5]。由此可见，医学图像的融合具有一定的实际意义，是一个具备重要价值的研究方向。

在专家学者近年来的研究下，依据医学图像的特点，产出了种类多样的医学图像融合方法。如Wei 等人[6]在最小二乘法的基础上，利用金字塔变换和稀疏表示方法，来融合医学图像，该方法通过加权最小二乘法将医学图像分解为低频层和高频层。采用拉普拉斯金字塔和稀疏表示相结合的规则对低频层进行融合。采用最大绝对融合规则对高频层进行融合。虽然该方法实现了医学图像的融合，但由于最大绝对融合规则在融合关联度较强的图像时，易造成图像信息的丢失，使得图像存在块现象。Ming等人[7]将神经网络方法和图像的能量信息相结合，设计了自适应脉冲耦合神经网络的医学图像融合方法，该方法通过NSST变换获取图像的低频与高频内容后，将图像的能量信息引入到参数自适应脉冲耦合神经网络模型中，对图像进行融合。该方法获取的融合医学图像中，保留了大量的原始图像信息，提高了融合图像的可视效果，但由于该方法在使用图像能量信息时，未考虑不同图像能量间关联度，使得融合图像易出现细节丢失的现象。Devanna等人[8]利用角度一致性特征和图像能量特征相结合，提出了基于角度一致性和能量特征维度下的医学图像融合方法，该方法采用非下采样轮廓波变换分解图像后，利用基于角度一致性的准则融合得到的低频子图像，以图像的能量信息为依据，融合得到的高频子图像。虽然该方法融合的医学图像细节能力表达较好，但由于该方法以能量信息为依据融合高频子图时，忽略了不同高频子图间的关联度，使得融合图像易出现模糊现象。Wang等人[9]通过卷积稀疏和图像分割的方法，来求取融合医学图像，首先采用平均滤波得到基本层，将原始图像减去基本层得到细节层。然后为了保留融合后图像的细节，通过卷积稀疏的方法对细节层图像进行融合，得到融合后的细节层图像，最后将底层图像分割成多个图像块，利用密度峰值聚类对这些图像块进行聚类，得到若干簇，并对每一类簇进行训练，得到一个子字典，对所有子字典进行融合，得到一个自适应字典。通过学习自适应字典对稀疏系数进行融合，重构得到融合后的底层图像，进而形成最终的融合图像。虽然该方法考虑了图像块之间的聚类特征，提高了融合图像整体上的视觉效果，但由于该方法中对字典的依赖性较重，易出现因字典完备性不足而导致融合结果出现空间不连续现象。

为了改善医学图像的融合效果，本文在考虑图像能量关联度的情况下，设计了NSST变换联合能量关联度的医学图像融合算法。利用NSST变换获取医学图像的不同子带，并在区域能量函数的基础上，利用图像的能量信息构建能量关联度函数，以区别不同图像的间的关联度，根据不同图像间的关联度结果，区别性的对低频子带进行融合。利用图像的对角信息对现有空间频率函数进行优化，构造多元空间频率函数，度量图像的清晰度信息。借助标准差函数，度量图像的对比度信息。利用图像的清晰度信息和对比度信息，作为高频子带的融合依据，进而求取融合图像。实验中采用主观和客观测试的方法，对所提方法融合图像的视觉效果，以及融合图像的客观数据进行测试，以验证所其有效性。

1 所提医学图像融合算法整体设计

所提医学图像融合算法的架构设计如图1所示。从图1可见看出，所提医学图像融合算法包含了NSST变换下的图像分解和子带融合规则设计两个部分。

图1 所提医学图像融合算法的过程

1)NSST变换下的图像分解。对于输入的医学图像，通过NSST变换，采用改进的Shearlet滤波器(ISF，improved shearlet transform)从多方向上分解图像，和采用非下采样金字塔(NSP，non-subsampled pyramid)从多尺度上分解图像，以得出对输入医学图像具有保真效果的低频和高频上的子带。

2)子带融合规则设计。在该部分需要设计低频子带和高频子带的融合规则。对于低频子带，本文借助了区域能量函数，计算了图像的区域能量信息，构造了能量关联度函数，测量不同图像间的能量关联度。根据图像能量的关联程度，对低频子带从加权融合和取大融合两种方法中，制定适宜的融合规则，用以求取信息含量丰富，且流畅度较高的融合低频子带。对于高频子带，本文在传统空间频率函数的基础上，加入图像的对角信息，形成多元空间频率函数，多方位的对图像的清晰度进行测量。同时引入标准差函数，测量图像的对比度。联合测量的清晰度和对比度，进行不同高频子带的融合。

2 所提医学图像融合算法细节设计

2.1 NSST变换下的图像分解

NSST变换是一种使用较为广泛的图像分解方法，其对图像的方向变化和尺度变化以及平移变化都具有较好的适应性。通过NSST变换分解所得的不同子带，能够较为完整的保留源图的信息，为获取高质量的医学融合图像提供良好的基础。NSST变换是对Shearlet变换的改进。NSST变换在Shearlet变换的基础规避了下采样操作，使得其在保持Shearlet变换具备的多尺度分解能力时，同时还能够在多方向上对图像分解，并适应图像的平移性。从而使得NSST变换不仅具有更强的鲁棒性，而且还使得NSST变换分解所得的子带图像含有更丰富的源图内容[10-11]。

NSST变换依靠ISF和NSP来完成，ISF和NSP分别实现了对图像在方向和尺度上的计算。NSST变换分解输入图像过程的示意图如图2所示。在图2中ISF是笛卡尔坐标系下的Shearlet变换结果。Shearlet变换是在以膨胀矩阵A和剪切矩阵B为基础的仿射函数MAB(φ)上计算而来[12]。

图2 NSST变换分解输入图像过程的示意图

l，d∈Z，b∈Z2}

(1)

式中，l、d和b各为图像的尺度、方向和平移量，φ为仿射系统L2(R2)中的元素，且A和B为2×2矩阵。

若L2(R2)中还存在一个元素δ，可以使得下式成立时，仿射函数MAB(φ)即可被视为合成小波：

(2)

在式(2)成立的基础上，再将A和B的矩阵值设置为下式时，仿射函数MAB(φ)即被视为Shearlet变换。

(3)

(4)

利用NSST变换对图3(a)所示的MRI图像，和图3(b)所示的CT图像进行分解所得的结果，分别如图3(c)和图3(d)所示。

图3 NSST变换对输入图像的分解结果

2.2 图像子带的融合规则设计

图像的低频和高频子带分别代表了图像的不同特征，这也就意味着，需要采用不同的融合规则来实现低频子带和高频子带的融合，以获取更为优良的不同融合子带。低频子带代表的是图像的整体特征，其包含了图像的亮度等主要内容。当低频子带反应的图像特征越多越丰富时，其含有的能量信息也就越高。对此，本文将通过图像的能量信息来融合低频子带。

图像的能量信息可以通过区域能量函数来求取。对于图像I(x，y)，其区域能量函数的表达式为[13]：

(5)

式中，M和N分别为I(x，y)中所选区域的行、列值，E(x，y)为图像的能量值。

当下通过图像的能量信息融合图像时，主要从加权融合或取大融合两种方法中，选择一种方法来完成图像的融合。这两种方法各有利弊，当不同图像间能量差异度较大时，则可认为图像间的关联度不大，此时若采用取大融合方法获取融合低频子带，可使得图像更为平滑。但此时若采用加权融合方法获取融合低频子带，会使得图像出现间断现象。当不同图像间能量差异度较小时，则可认为图像间的关联度较大，此时若采用加权融合方法获取融合低频子带，可使得图像包含更为丰富的信息内容，且不易出现间断的现象。但此时若采用取大融合方法获取融合低频子带，会出现图像信息丢失的现象。

对此，本文将利用图像的能量信息，构建能量关联度函数，用以判断不同图像间的关联度，并根据图像间的关联情况，选择性的采用加权融合或取大融合的方法，融合低频子带。

采用式(5)分别计算出不同低频子带D1(x，y)和D2(x，y)的区域能量值E1(x，y)和E2(x，y)。在此，可借助E1(x，y)和E2(x，y)构造能量关联度函数G，用以判别D1(x，y)和D2(x，y)的能量关联度。通过E1(x，y)和E2(x，y)构造的能量关联度函数G如下所示：

(6)

利用能量关联度函数G来度量图像间关联度，并根据度量的关联度情况，设计不同低频子带融合规则的过程为如下：

首先，设置关联度阈值η，其代表了能量关联的自小程度。利用式(6)求出不同低频子带D1(x，y)和D2(x，y)的能量关联度G。

然后，将D1(x，y)和D2(x，y)的能量关联度G与关联度阈值η进行比较，以判别D1(x，y)和D2(x，y)的关联度情况。若G≤η，则说明D1(x，y)和D2(x，y)的关联度较低。此时为了保证图像的平滑性，即可采用取大融合规则获取融合低频子带D12(x，y)。采用取大融合规则，求取融合低频子带的过程如下：

(7)

最后，若G>η，则说明D1(x，y)和D2(x，y)的能量差异较小，D1(x，y)和D2(x，y)的关联度较高。此时为了使得图像包含更为丰富的信息内容，且不易出现间断的现象，即可采用加权融合规则获取融合低频子带D12(x，y)。采用加权融合规则，求取融合低频子带的过程如下：

D12(x，y)=D1(x，y)α1+D2(x，y)α2

(8)

式中，α1和α2为关于D1(x，y)和D2(x，y)能量关联度G的自适应调节权重因子。α1和α2的表述如下：

(9)

α2=1-α1

(10)

通过以上根据能量关联度设计的低频子带融合规则，即可求取融合低频子带D12(x，y)。

高频子带代表了图像纹理等内容，主要体现的是图像的清晰度。空间频率函数从图像行、列上灰度变化的活跃度，度量了图像的清晰度信息。但由于空间频率函数忽略了图像的对角信息，从而使得其不能较为准确的描述图像的清晰度信息。对此，本文在空间频率函数的基础上，融入图像的对角信息，构造多元空间频率函数，使得其能从图像的行、列、对角的多元维度，来度量图像的清晰度信息。同时为了能够让图像的纹理等内容得到更好的凸显，本文还引入了标准差函数，对图像的对比度信息进行度量，将其与图像的清晰度信息联合，制定高频子带融合规则，以获取清晰度和对比度都较好的融合高频子带。

图像I(x，y)的空间频率函数的表达式为[14]：

(11)

式中，H、L分别代表I(x，y)的行、列频率，其表达式分别为：

(12)

(13)

从式(11)至式(13)可以看出，空间频率函数只是从I(x，y)的行、列信息变化上度量了图像的清晰度，而没有考虑I(x，y)对角上的信息变化情况。为了更为准确的度量图像的清晰度信息，需要将I(x，y)对角上的信息变化情况也考虑到清晰度信息的度量过程。对此，需要对式(11)进行改进。

与式(12)和式(13)类似，I(x，y)的对角频率可表述为：

(14)

(15)

(16)

式(16)是对式(11)的改进，通过式(16)即可实现对图像进行多元化的清晰度度量，更好的获取图像的清晰度信息。

标准差函数利用图像的均值，度量了图像的对比度信息，其表述为[15-16]：

(17)

图像的对比度较好时，更能表达图像的纹理等特征，从而更好地体现图像的清晰度。因此，可采用式式(16)求取不同高频子带G1(x，y)和G2(x，y)的清晰度信息Q1(x，y)和Q2(x，y)，采用式(17)求取G1(x，y)和G2(x，y)的对比度信息U1(x，y)和U2(x，y)。联合G1(x，y)和G2(x，y)的清晰度信息和对比度信息，制定高频子带的融合规则，获取清晰度和对比度都较为突出的融合高频子带G12(x，y)：

(18)

式中，Ei(i=1，2)为联合因子，其表述为：

Ei=Qi(x，y)+Ui(x，y)，i=1，2

(19)

将D12(x，y)和G12(x，y)通过逆NSST变换的重构，即可获取融合结果。

所提方法对图3所示MRI图像和CT图像的融合结果如图4所示。观察图4可见，所提方法融合的图像不仅没有间断现象，而且图像的清晰度和对比度都较好，具有较为优良的视觉效果。

图4 融合结果

3 实验结果

在Intel i7-4790K处理器、8 GB内存的PC上，利用Matlab 2014软件搭建仿真环境，对所提方法进行医学图像融合性能的测试。实验中引入了文献[17]、文献[18]算法进行对照。采用了CT图像和MRI图像、MR-T1图像和MR-T2图像、MR图像和SPECT图像三组医学图像来进行主观视觉实验。另外，为了更为直观的分析所提方法和文献[17]、文献[18]算法的融合效果，实验中还进行了客观数据实验，从三种算法融合图像对应的客观数据值出发，来分析其融合效果。

3.1 主观视觉实验

利用所提算法和文献[17]、文献[18]算法分别对CT图像和MRI图像、MR-T1图像和MR-T2图像两组医学图像进行了融合实验。图5显示了三种算法对CT图像和MRI图像的融合结果。通过观察图5可见，图5(c)所示文献[17]算法对CT图像和MRI图像的融合结果中，图像较为暗淡且MRI图像的部分细节内容有所丢失，除此之外，图5(c)中还存在块现象。图5(d)中图像过亮，且CT图像的内容较为模糊，另外图5(c)中还存在MRI图像细节内容丢失的现象。图5(e)中CT图像的内容清晰可见，图像的亮度较为适中，且MRI图像的内容也较为完整，没有丢失细节内容的现象，同时图5(e)中不存在块现象和模糊现象。可见，所提算法对CT图像和MRI图像具有较好的融合效果。三种算法对MR-T1图像和MR-T2图像的融合结果如图6所示。对比图6可以发现，图6(c)中整体亮度偏暗，图像中存在间断现象，且丢失了MR-T1图像和MR-T2图像的部分细节信息。图6(d)中MR-T2图像部分的内容对比度较差，且MR-T1图像部分的内容存在局部模糊现象，同时还缺失了部分MR-T2图像的内容。图6(e)中亮度和对比度都较好，且包含了较为完整的MR-T1图像和MR-T2图像内容，图像中不存在间断和块现象。三种算法对MR图像和SPECT图像的融合结果如图7所示。观察图7可以发现，图7(c)中整体较为模糊，且丢失了MR图像的部分细节信息和SPECT图像的部分脑部边缘信息。图7(d)中MR图像的眼部边缘存在局部模糊现象，同时还缺失了部分SPECT图像的内容。图7(e)中清晰度较高，且较为完整的保留了MR图像和SPECT图像的内容。由此说明，所提算法融合医学图像的清晰度和对比度都较为理想，图像的纹理信息显著，视觉效果佳。因为所提算法借助NSST变换取得了对源图信息保真度较好的低频和高频子带，同时所提算法还利用图像的能量信息，构造了能量关联度函数，从图像能量关联的情况出发，制定了适宜的低频子带融合规则，进而获取了高质量的融合图像。

图5 三种算法对CT图像和MRI图像的融合结果

图7 三种算法对MR图像和SPECT图像的融合结果

3.2 客观数据实验

为了更为直观的验证三种算法对医学图像的融合性能，从哈佛大学建立的The Whole Brain Atlas医学图像集中，任选10组医学图像作为样本，利用三种算法对其进行融合。选用信息熵(information entropy，IE)和平均梯度(average gradient，AG)，作为三种算法对所选10组医学图像融合结果的数据评判指标，用以分析三种算法的融合特性。

IE和AG常被用来评判融合医学图像的质量，其中IE评判了融合医学图像所含信息量的大小，IE值越大，就判定融合医学图像的质量越好。AG评判了融合医学图像的清晰度，AG值越大，就判定融合医学图像的清晰度越好。图像I(x，y)的IE和AG的计算过程如下。

(20)

(21)

式中，L为的灰度级，p(i)为灰度值i的频率。M×N为I(x，y)I(x，y)的大小，ΔIk(k=x，y)为I(x，y)在k上的导数。

三种算法融合医学图像的IE和AG值如图8所示。对比图8中三种算法融合医学图像的IE和AG值可以发现，所提算法融合医学图像的IE和AG数据最为理想。取第5组融合医学图像观察可见，文献[17]、文献[18]算法和所提算法融合医学图像的IE数据各为8.13、8.58和9.08。文献[17]、文献[18]算法和所提算法融合医学图像的AG数据各为13.49、13.98和14.33。说明所提算法融合的图像不仅含有丰富的信息，而且图像的清晰度较好。因为所提算法在图像能量的基础上，设计了能量关联度函数，利用其判断不同图像的关联度，并根据关联结果构造加权和取大两种规则，获取了连续效果好，信息含量高的低频子带融合。同时，所提算法还在空间频率函数的基础上，联合图像的对角信息，构造了多元空间频率函数，利用其和标准差函数分别计算了图像的清晰度和对比度信息，进而构造了高频子带融合规则，获取了高清晰度和对比度的高频子带的融合，从而提高了所提算法的融合性能。文献[17]算法是一种通过自适应神经网络模型和log-Gabor能量特征对医学图像融合的方法，该方法使用了NSST变换提取图像的低频和高频分量，设计了基于局部可见性的自适应神经网络模型和基于log-Gabor能量的规则分别用于低频和高频分量融合，进而获取融合结果。由于局部可见性的自适应神经网络模型没有关注图像的全局性，易使得融合图像出现不连续现象，而且基于log-Gabor能量的融合规则，没有考虑不同图像能量的关联性，易使得融合图像出现细节内容丢失的现象，从而使得文献[17]算法融合的医学图像效果较差。文献[18]算法是一种基于小波变换和图像显著特征的医学图像融合方法，该方法在离散分数阶小波变换的作用下对图像进行分解，接着采用非下采样方向滤波器组的对偶技术，提取图像中的显著元素，利用灰太狼优化算法对奇偶校验算子进行优化，实现分解子图的融合。由于离散分数阶小波变换缺乏发散方向的适应性，分解图像时不能较好保真源图信息，而且灰太狼优化算法在融合子图时，没有考虑图像的对比度特征，从而使得文献[18]算法融合图像的质量有所降低。

图8 融合图像的客观数据结果

4 结束语

本文以图像的能量信息和清晰度信息为依据，提出了一种新颖有效的医学图像融合方法。在NSST变换的基础上，获取了对源图信息保真度较高的低频和高频子带。通过图像的能量信息，构造了能量关联度函数，用以计算图像间能量的关联度，并以该关联度信息，设计了加权融合和取大融合两种低频子带融合规则，获取了连贯性较好、信息丰富的融合低频子带。利用图像的对角信息，将传统空间频率函数改进为多元空间频率函数，更好的获取了图像的清晰度信息，借助标准差函数，获取了图像的对比度信息，并以清晰度和对比度信息为依据，构造了高频子带融合规则，获取了细节突出的融合高频子带。实验结果显示，所提算法融合图像的细节突出、对比度较好，视觉效果较为理想，且具有较好的IE和AG值。