APP下载

基于非下采样Shearlet变换耦合能量关联度的医学图像融合算法

2023-09-27毛建芳

计算机测量与控制 2023年9期
关键词:子带清晰度关联度

毛建芳

(陕西工业职业技术学院 美育部,陕西 咸阳 712000)

0 引言

随着科技的飞速发展,图像处理技术也被应用于越来越多的生活领域中,其中图像处理技术在医疗诊断中的应用就是一个典型的代表。在现代医疗诊断技术中,科技为医疗诊断的方法赋予了先进了手段,通过仪器设备的检查,医生就可以根据仪器设备输出的图像,来为患者诊断病情等,使得医疗诊断过程更为准确和便捷,由此可见,数字图像在医疗诊断中发挥了较为重要的作用[1-3]。由于在医疗诊断中,不同仪器设备生成的检测图像各有优缺点。为了弥补检测图像的缺点,促使诊断结果更为精准,就需要对不同仪器设备生成的检测图像进行融合,在保留原始图像优点的情况下,通过医学图像融合方法,利用诊断图像各自的优点,对图像存在的缺点进行互补,以获取能表达不同诊断特征的清晰图像,为医疗诊断过程提供更多的参考信息[4-5]。由此可见,医学图像的融合具有一定的实际意义,是一个具备重要价值的研究方向。

在专家学者近年来的研究下,依据医学图像的特点,产出了种类多样的医学图像融合方法。如Wei 等人[6]在最小二乘法的基础上,利用金字塔变换和稀疏表示方法,来融合医学图像,该方法通过加权最小二乘法将医学图像分解为低频层和高频层。采用拉普拉斯金字塔和稀疏表示相结合的规则对低频层进行融合。采用最大绝对融合规则对高频层进行融合。虽然该方法实现了医学图像的融合,但由于最大绝对融合规则在融合关联度较强的图像时,易造成图像信息的丢失,使得图像存在块现象。Ming等人[7]将神经网络方法和图像的能量信息相结合,设计了自适应脉冲耦合神经网络的医学图像融合方法,该方法通过NSST变换获取图像的低频与高频内容后,将图像的能量信息引入到参数自适应脉冲耦合神经网络模型中,对图像进行融合。该方法获取的融合医学图像中,保留了大量的原始图像信息,提高了融合图像的可视效果,但由于该方法在使用图像能量信息时,未考虑不同图像能量间关联度,使得融合图像易出现细节丢失的现象。Devanna等人[8]利用角度一致性特征和图像能量特征相结合,提出了基于角度一致性和能量特征维度下的医学图像融合方法,该方法采用非下采样轮廓波变换分解图像后,利用基于角度一致性的准则融合得到的低频子图像,以图像的能量信息为依据,融合得到的高频子图像。虽然该方法融合的医学图像细节能力表达较好,但由于该方法以能量信息为依据融合高频子图时,忽略了不同高频子图间的关联度,使得融合图像易出现模糊现象。Wang等人[9]通过卷积稀疏和图像分割的方法,来求取融合医学图像,首先采用平均滤波得到基本层,将原始图像减去基本层得到细节层。然后为了保留融合后图像的细节,通过卷积稀疏的方法对细节层图像进行融合,得到融合后的细节层图像,最后将底层图像分割成多个图像块,利用密度峰值聚类对这些图像块进行聚类,得到若干簇,并对每一类簇进行训练,得到一个子字典,对所有子字典进行融合,得到一个自适应字典。通过学习自适应字典对稀疏系数进行融合,重构得到融合后的底层图像,进而形成最终的融合图像。虽然该方法考虑了图像块之间的聚类特征,提高了融合图像整体上的视觉效果,但由于该方法中对字典的依赖性较重,易出现因字典完备性不足而导致融合结果出现空间不连续现象。

为了改善医学图像的融合效果,本文在考虑图像能量关联度的情况下,设计了NSST变换联合能量关联度的医学图像融合算法。利用NSST变换获取医学图像的不同子带,并在区域能量函数的基础上,利用图像的能量信息构建能量关联度函数,以区别不同图像的间的关联度,根据不同图像间的关联度结果,区别性的对低频子带进行融合。利用图像的对角信息对现有空间频率函数进行优化,构造多元空间频率函数,度量图像的清晰度信息。借助标准差函数,度量图像的对比度信息。利用图像的清晰度信息和对比度信息,作为高频子带的融合依据,进而求取融合图像。实验中采用主观和客观测试的方法,对所提方法融合图像的视觉效果,以及融合图像的客观数据进行测试,以验证所其有效性。

1 所提医学图像融合算法整体设计

所提医学图像融合算法的架构设计如图1所示。从图1可见看出,所提医学图像融合算法包含了NSST变换下的图像分解和子带融合规则设计两个部分。

图1 所提医学图像融合算法的过程

1)NSST变换下的图像分解。对于输入的医学图像,通过NSST变换,采用改进的Shearlet滤波器(ISF,improved shearlet transform)从多方向上分解图像,和采用非下采样金字塔(NSP,non-subsampled pyramid)从多尺度上分解图像,以得出对输入医学图像具有保真效果的低频和高频上的子带。

2)子带融合规则设计。在该部分需要设计低频子带和高频子带的融合规则。对于低频子带,本文借助了区域能量函数,计算了图像的区域能量信息,构造了能量关联度函数,测量不同图像间的能量关联度。根据图像能量的关联程度,对低频子带从加权融合和取大融合两种方法中,制定适宜的融合规则,用以求取信息含量丰富,且流畅度较高的融合低频子带。对于高频子带,本文在传统空间频率函数的基础上,加入图像的对角信息,形成多元空间频率函数,多方位的对图像的清晰度进行测量。同时引入标准差函数,测量图像的对比度。联合测量的清晰度和对比度,进行不同高频子带的融合。

2 所提医学图像融合算法细节设计

2.1 NSST变换下的图像分解

NSST变换是一种使用较为广泛的图像分解方法,其对图像的方向变化和尺度变化以及平移变化都具有较好的适应性。通过NSST变换分解所得的不同子带,能够较为完整的保留源图的信息,为获取高质量的医学融合图像提供良好的基础。NSST变换是对Shearlet变换的改进。NSST变换在Shearlet变换的基础规避了下采样操作,使得其在保持Shearlet变换具备的多尺度分解能力时,同时还能够在多方向上对图像分解,并适应图像的平移性。从而使得NSST变换不仅具有更强的鲁棒性,而且还使得NSST变换分解所得的子带图像含有更丰富的源图内容[10-11]。

NSST变换依靠ISF和NSP来完成,ISF和NSP分别实现了对图像在方向和尺度上的计算。NSST变换分解输入图像过程的示意图如图2所示。在图2中ISF是笛卡尔坐标系下的Shearlet变换结果。Shearlet变换是在以膨胀矩阵A和剪切矩阵B为基础的仿射函数MAB(φ)上计算而来[12]。

图2 NSST变换分解输入图像过程的示意图

l,d∈Z,b∈Z2}

(1)

式中,l、d和b各为图像的尺度、方向和平移量,φ为仿射系统L2(R2)中的元素,且A和B为2×2矩阵。

若L2(R2)中还存在一个元素δ,可以使得下式成立时,仿射函数MAB(φ)即可被视为合成小波:

(2)

在式(2)成立的基础上,再将A和B的矩阵值设置为下式时,仿射函数MAB(φ)即被视为Shearlet变换。

(3)

(4)

利用NSST变换对图3(a)所示的MRI图像,和图3(b)所示的CT图像进行分解所得的结果,分别如图3(c)和图3(d)所示。

图3 NSST变换对输入图像的分解结果

2.2 图像子带的融合规则设计

图像的低频和高频子带分别代表了图像的不同特征,这也就意味着,需要采用不同的融合规则来实现低频子带和高频子带的融合,以获取更为优良的不同融合子带。低频子带代表的是图像的整体特征,其包含了图像的亮度等主要内容。当低频子带反应的图像特征越多越丰富时,其含有的能量信息也就越高。对此,本文将通过图像的能量信息来融合低频子带。

图像的能量信息可以通过区域能量函数来求取。对于图像I(x,y),其区域能量函数的表达式为[13]:

(5)

式中,M和N分别为I(x,y)中所选区域的行、列值,E(x,y)为图像的能量值。

当下通过图像的能量信息融合图像时,主要从加权融合或取大融合两种方法中,选择一种方法来完成图像的融合。这两种方法各有利弊,当不同图像间能量差异度较大时,则可认为图像间的关联度不大,此时若采用取大融合方法获取融合低频子带,可使得图像更为平滑。但此时若采用加权融合方法获取融合低频子带,会使得图像出现间断现象。当不同图像间能量差异度较小时,则可认为图像间的关联度较大,此时若采用加权融合方法获取融合低频子带,可使得图像包含更为丰富的信息内容,且不易出现间断的现象。但此时若采用取大融合方法获取融合低频子带,会出现图像信息丢失的现象。

对此,本文将利用图像的能量信息,构建能量关联度函数,用以判断不同图像间的关联度,并根据图像间的关联情况,选择性的采用加权融合或取大融合的方法,融合低频子带。

采用式(5)分别计算出不同低频子带D1(x,y)和D2(x,y)的区域能量值E1(x,y)和E2(x,y)。在此,可借助E1(x,y)和E2(x,y)构造能量关联度函数G,用以判别D1(x,y)和D2(x,y)的能量关联度。通过E1(x,y)和E2(x,y)构造的能量关联度函数G如下所示:

(6)

利用能量关联度函数G来度量图像间关联度,并根据度量的关联度情况,设计不同低频子带融合规则的过程为如下:

首先,设置关联度阈值η,其代表了能量关联的自小程度。利用式(6)求出不同低频子带D1(x,y)和D2(x,y)的能量关联度G。

然后,将D1(x,y)和D2(x,y)的能量关联度G与关联度阈值η进行比较,以判别D1(x,y)和D2(x,y)的关联度情况。若G≤η,则说明D1(x,y)和D2(x,y)的关联度较低。此时为了保证图像的平滑性,即可采用取大融合规则获取融合低频子带D12(x,y)。采用取大融合规则,求取融合低频子带的过程如下:

(7)

最后,若G>η,则说明D1(x,y)和D2(x,y)的能量差异较小,D1(x,y)和D2(x,y)的关联度较高。此时为了使得图像包含更为丰富的信息内容,且不易出现间断的现象,即可采用加权融合规则获取融合低频子带D12(x,y)。采用加权融合规则,求取融合低频子带的过程如下:

D12(x,y)=D1(x,y)α1+D2(x,y)α2

(8)

式中,α1和α2为关于D1(x,y)和D2(x,y)能量关联度G的自适应调节权重因子。α1和α2的表述如下:

(9)

α2=1-α1

(10)

通过以上根据能量关联度设计的低频子带融合规则,即可求取融合低频子带D12(x,y)。

高频子带代表了图像纹理等内容,主要体现的是图像的清晰度。空间频率函数从图像行、列上灰度变化的活跃度,度量了图像的清晰度信息。但由于空间频率函数忽略了图像的对角信息,从而使得其不能较为准确的描述图像的清晰度信息。对此,本文在空间频率函数的基础上,融入图像的对角信息,构造多元空间频率函数,使得其能从图像的行、列、对角的多元维度,来度量图像的清晰度信息。同时为了能够让图像的纹理等内容得到更好的凸显,本文还引入了标准差函数,对图像的对比度信息进行度量,将其与图像的清晰度信息联合,制定高频子带融合规则,以获取清晰度和对比度都较好的融合高频子带。

图像I(x,y)的空间频率函数的表达式为[14]:

(11)

式中,H、L分别代表I(x,y)的行、列频率,其表达式分别为:

(12)

(13)

从式(11)至式(13)可以看出,空间频率函数只是从I(x,y)的行、列信息变化上度量了图像的清晰度,而没有考虑I(x,y)对角上的信息变化情况。为了更为准确的度量图像的清晰度信息,需要将I(x,y)对角上的信息变化情况也考虑到清晰度信息的度量过程。对此,需要对式(11)进行改进。

与式(12)和式(13)类似,I(x,y)的对角频率可表述为:

(14)

(15)

(16)

式(16)是对式(11)的改进,通过式(16)即可实现对图像进行多元化的清晰度度量,更好的获取图像的清晰度信息。

标准差函数利用图像的均值,度量了图像的对比度信息,其表述为[15-16]:

(17)

图像的对比度较好时,更能表达图像的纹理等特征,从而更好地体现图像的清晰度。因此,可采用式式(16)求取不同高频子带G1(x,y)和G2(x,y)的清晰度信息Q1(x,y)和Q2(x,y),采用式(17)求取G1(x,y)和G2(x,y)的对比度信息U1(x,y)和U2(x,y)。联合G1(x,y)和G2(x,y)的清晰度信息和对比度信息,制定高频子带的融合规则,获取清晰度和对比度都较为突出的融合高频子带G12(x,y):

(18)

式中,Ei(i=1,2)为联合因子,其表述为:

Ei=Qi(x,y)+Ui(x,y),i=1,2

(19)

将D12(x,y)和G12(x,y)通过逆NSST变换的重构,即可获取融合结果。

所提方法对图3所示MRI图像和CT图像的融合结果如图4所示。观察图4可见,所提方法融合的图像不仅没有间断现象,而且图像的清晰度和对比度都较好,具有较为优良的视觉效果。

图4 融合结果

3 实验结果

在Intel i7-4790K处理器、8 GB内存的PC上,利用Matlab 2014软件搭建仿真环境,对所提方法进行医学图像融合性能的测试。实验中引入了文献[17]、文献[18]算法进行对照。采用了CT图像和MRI图像、MR-T1图像和MR-T2图像、MR图像和SPECT图像三组医学图像来进行主观视觉实验。另外,为了更为直观的分析所提方法和文献[17]、文献[18]算法的融合效果,实验中还进行了客观数据实验,从三种算法融合图像对应的客观数据值出发,来分析其融合效果。

3.1 主观视觉实验

利用所提算法和文献[17]、文献[18]算法分别对CT图像和MRI图像、MR-T1图像和MR-T2图像两组医学图像进行了融合实验。图5显示了三种算法对CT图像和MRI图像的融合结果。通过观察图5可见,图5(c)所示文献[17]算法对CT图像和MRI图像的融合结果中,图像较为暗淡且MRI图像的部分细节内容有所丢失,除此之外,图5(c)中还存在块现象。图5(d)中图像过亮,且CT图像的内容较为模糊,另外图5(c)中还存在MRI图像细节内容丢失的现象。图5(e)中CT图像的内容清晰可见,图像的亮度较为适中,且MRI图像的内容也较为完整,没有丢失细节内容的现象,同时图5(e)中不存在块现象和模糊现象。可见,所提算法对CT图像和MRI图像具有较好的融合效果。三种算法对MR-T1图像和MR-T2图像的融合结果如图6所示。对比图6可以发现,图6(c)中整体亮度偏暗,图像中存在间断现象,且丢失了MR-T1图像和MR-T2图像的部分细节信息。图6(d)中MR-T2图像部分的内容对比度较差,且MR-T1图像部分的内容存在局部模糊现象,同时还缺失了部分MR-T2图像的内容。图6(e)中亮度和对比度都较好,且包含了较为完整的MR-T1图像和MR-T2图像内容,图像中不存在间断和块现象。三种算法对MR图像和SPECT图像的融合结果如图7所示。观察图7可以发现,图7(c)中整体较为模糊,且丢失了MR图像的部分细节信息和SPECT图像的部分脑部边缘信息。图7(d)中MR图像的眼部边缘存在局部模糊现象,同时还缺失了部分SPECT图像的内容。图7(e)中清晰度较高,且较为完整的保留了MR图像和SPECT图像的内容。由此说明,所提算法融合医学图像的清晰度和对比度都较为理想,图像的纹理信息显著,视觉效果佳。因为所提算法借助NSST变换取得了对源图信息保真度较好的低频和高频子带,同时所提算法还利用图像的能量信息,构造了能量关联度函数,从图像能量关联的情况出发,制定了适宜的低频子带融合规则,进而获取了高质量的融合图像。

图5 三种算法对CT图像和MRI图像的融合结果

图7 三种算法对MR图像和SPECT图像的融合结果

3.2 客观数据实验

为了更为直观的验证三种算法对医学图像的融合性能,从哈佛大学建立的The Whole Brain Atlas医学图像集中,任选10组医学图像作为样本,利用三种算法对其进行融合。选用信息熵(information entropy,IE)和平均梯度(average gradient,AG),作为三种算法对所选10组医学图像融合结果的数据评判指标,用以分析三种算法的融合特性。

IE和AG常被用来评判融合医学图像的质量,其中IE评判了融合医学图像所含信息量的大小,IE值越大,就判定融合医学图像的质量越好。AG评判了融合医学图像的清晰度,AG值越大,就判定融合医学图像的清晰度越好。图像I(x,y)的IE和AG的计算过程如下。

(20)

(21)

式中,L为的灰度级,p(i)为灰度值i的频率。M×N为I(x,y)I(x,y)的大小,ΔIk(k=x,y)为I(x,y)在k上的导数。

三种算法融合医学图像的IE和AG值如图8所示。对比图8中三种算法融合医学图像的IE和AG值可以发现,所提算法融合医学图像的IE和AG数据最为理想。取第5组融合医学图像观察可见,文献[17]、文献[18]算法和所提算法融合医学图像的IE数据各为8.13、8.58和9.08。文献[17]、文献[18]算法和所提算法融合医学图像的AG数据各为13.49、13.98和14.33。说明所提算法融合的图像不仅含有丰富的信息,而且图像的清晰度较好。因为所提算法在图像能量的基础上,设计了能量关联度函数,利用其判断不同图像的关联度,并根据关联结果构造加权和取大两种规则,获取了连续效果好,信息含量高的低频子带融合。同时,所提算法还在空间频率函数的基础上,联合图像的对角信息,构造了多元空间频率函数,利用其和标准差函数分别计算了图像的清晰度和对比度信息,进而构造了高频子带融合规则,获取了高清晰度和对比度的高频子带的融合,从而提高了所提算法的融合性能。文献[17]算法是一种通过自适应神经网络模型和log-Gabor能量特征对医学图像融合的方法,该方法使用了NSST变换提取图像的低频和高频分量,设计了基于局部可见性的自适应神经网络模型和基于log-Gabor能量的规则分别用于低频和高频分量融合,进而获取融合结果。由于局部可见性的自适应神经网络模型没有关注图像的全局性,易使得融合图像出现不连续现象,而且基于log-Gabor能量的融合规则,没有考虑不同图像能量的关联性,易使得融合图像出现细节内容丢失的现象,从而使得文献[17]算法融合的医学图像效果较差。文献[18]算法是一种基于小波变换和图像显著特征的医学图像融合方法,该方法在离散分数阶小波变换的作用下对图像进行分解,接着采用非下采样方向滤波器组的对偶技术,提取图像中的显著元素,利用灰太狼优化算法对奇偶校验算子进行优化,实现分解子图的融合。由于离散分数阶小波变换缺乏发散方向的适应性,分解图像时不能较好保真源图信息,而且灰太狼优化算法在融合子图时,没有考虑图像的对比度特征,从而使得文献[18]算法融合图像的质量有所降低。

图8 融合图像的客观数据结果

4 结束语

本文以图像的能量信息和清晰度信息为依据,提出了一种新颖有效的医学图像融合方法。在NSST变换的基础上,获取了对源图信息保真度较高的低频和高频子带。通过图像的能量信息,构造了能量关联度函数,用以计算图像间能量的关联度,并以该关联度信息,设计了加权融合和取大融合两种低频子带融合规则,获取了连贯性较好、信息丰富的融合低频子带。利用图像的对角信息,将传统空间频率函数改进为多元空间频率函数,更好的获取了图像的清晰度信息,借助标准差函数,获取了图像的对比度信息,并以清晰度和对比度信息为依据,构造了高频子带融合规则,获取了细节突出的融合高频子带。实验结果显示,所提算法融合图像的细节突出、对比度较好,视觉效果较为理想,且具有较好的IE和AG值。

猜你喜欢

子带清晰度关联度
一种基于奇偶判断WPT的多音干扰抑制方法*
鲜明细腻,拥有更好的清晰度 Ascendo Immersive Audio CCRM-12 MKII/CCRM-6P/SMS-15
子带编码在图像压缩编码中的应用
基于灰色关联度的水质评价分析
基于多尺度快速清晰度估计的多聚焦图像超分辨融合技术研究
基于虚拟孔径扩展的子带信息融合宽带DOA估计
基于灰关联度的锂电池组SOH评价方法研究
听音训练对汉语单音节听感清晰度的影响
基于灰色关联度的公交线网模糊评价
一种无参考监控视频图像清晰度评价方法