基于NSCT及人眼视觉特性的医学图像融合

蒋媛

摘要：针对多模态医学图像融合问题，提出一种基于非下采样Contourlet （NSCT）变换与人眼视觉特性（HVC）的图像融合方法。NSCT变换对源图像的分解后，低频部分基于可见性测度的选择，高频部分基于纹理信息的选择，然后采用NSCT逆变换获得最终融合图像。实验结果表明：所提出的融合方法可以提高空间分辨率，同时保持光谱信息，并有改善。无论是在视觉效果和定量分析与传统的方法相比较，有好的优越性。

关键词： 医学图像融合； NSCT；人眼视觉特性（HVC）

中国分类号：TP391 文献标识码：A 文章编号：1009-3044（2014）14-3360-03

Abstract： Fusion problem for multi- modality medical images， presents an image fusion method based on Nonsubsampled Contourlet （NSCT） transform and human visual system （HVC） is . After transformation of the source image NSCT decomposition visibility measure low frequency based on the selection ， the high frequency portion of the texture information based on the selection ， and then using the inverse transform to obtain a final blend NSCT image . Experimental results show that ： the proposed fusion method can improve the spatial resolution ， while maintaining spectral information and improved. Both visual and quantitative analysis in comparison with the conventional method ， a good advantage.

Key words： Medical image fusion； NSCT. The human visual characteristics （HVC）

随着高科技和先进的检测仪器的快速发展，医疗成像已成为诊断，研究和治疗的重要组成部分。这样的发展更容易让医生获得有效分辨率的人体内部结构的图像。这些多模图像有X光、计算机断层摄影（CT）、磁共振图像（MRI）、磁共振血管造影（MRA）、正电子发射断层摄影[1]。

图像融合[2]是通过组合两个或更多个从不同设备或仪器的源图像转换成更多信息一个单一的形象的过程。无关的特征和噪声应被抑制到最大程度。到目前为止，最简单的方法是逐个像素，灰度平均值或选择源图像，但这些方法导致降低对比度。近些年来，多尺度几何分析（MGA）的出现，虽然它来源于小波的多尺度，但是它又超越了小波。该MGA可以利用图像内在结构的几何规律性充分利用并获得渐近最优表示。作为一个MGA工具，非下采样Contourlet变换（Non-subsampled Contourlet transform， NSCT）作为一种过完备的变换形式，具有移不变、多尺度和多方向展开，对图像中的边缘等结构信息都能给出良好的表示，更适合于图像融合。文中针对CT/MRI医学图像，给出一种基于NSCT及人眼视觉特性（HVC）的医学图像融合新算法。

1 基于NSCT的图像分析

为了摆脱Contourlet的频率混叠并加强定向选择性和平移不变性，Cunha， Zhou， and Do提出了非下采样轮廓波基于非下采样金字塔分解变换和非下采样滤波器（NSFB）。与Contourlet不同，NSCT的多分辨率分解步骤被由移不变滤波器组实现满足Bozout恒等式（完美的重构，PR）。由于金字塔分解无下采样，低通子带无频率混叠，即使低通滤波器带的宽度大于[π2]。图1是非下采样Contourlet变换，其中图（a）非下采样滤波器组结构实现非下采样Contourlet变换，图（b）提出结构获得的理想频率划分。

图（a）显示了一个NSCT的概况。NSCT的结构是由一组滤波器组成的，滤波器组将二维频率平面分成若干子带来，由上图（b）来说明。

2 视觉敏感的数学表示

人眼视觉特性[4]被用于图像处理领域，逐渐受人关注。为此，人类视觉系统提供了有关人的眼睛究竟对图像的哪些区域感兴趣的数学模型。用数学描述的公式如下：

[V（F）=1m×nx=1my=1n（1μF）α?F（x，y）-μFμF] （1）

上式[m×n]是像素总数，[μF]是图像F的灰度平均值，[α]是可视常数从0.6到0.7。

最小单值片段吸收核（SUSAN）作为人眼视觉激发的特征提取算法被Smith and Brady 在1997年提出。SUSAN通过选择的亮度不同的阈值，区域在面罩内选择其中包括在类似像素亮度到细胞核。为了更加精确，把输入的图像F和圆面具有的半径，然后用最简单的USAN有下面的表示形式：

[d（r，r0）=1， F（r）-F（r0）≤T0， F（r）-F（r0）>T] （2）

2） 式中表示中心像素的在圆面中的位置，表示其他像素在面罩中的位置。表示的光强，T表示光强不同的阈值。该特征相应的计算公式为

[FR（r0）=τ-n（r0）， n（r0）<τ0， otherwise] （3）endprint

3） 式中是大量的属于USAN的像素。如：[n（r0）=rd（r，r0）] （4）

[τ]是几何门槛，这里[τ=3nmax/4]，[nmax]是n的最大值。

在SUSAN特征检测器， T常常决定将被检测的特征的最小对比度以及最大被忽略的噪音量。因此，有时候提取特征对T的选择很敏感，为了使特征提取对T不太敏感，SUSAN公式不仅考虑到亮度的相似程度还考虑了像素之间的距离

[d（r，r0）=exp（-（r-r0）22η2）exp（-（F（r）-F（r0）T）6）] （5）

式（5）中是距离比例因素。

3 图像融合算法

针对以往文献中NSCT图像融合中出现的不足，该文拟采用HVC方法对NSCT融合算法加以改进。该文将经NSCT分解后的低频子带是图像的近似分量，也是人眼对图像内容进行感知的主要内容；而高频子带则包含图像大量的细节信息，用SUSAN算法可以很好地刻画图像的纹理信息，包含了图像绝大部分的信息。该文以2幅源图像的情形为例，提出了基于NSCT域人眼视觉特性的图像融合算法。

输入：己经过严格配准的2幅源图像A和B；

输出：经NSCT与人眼视觉特性机理处理后的融合图像F。

步骤：

1）采用NSCT对A和B分别进行k层的多尺度和多方向分解，并得到各自的低频子带系数和高频子带系数。

2）利用VSC的公式（1）对源图像A和B的低频子带系数加以选择，在第k层低频带以n为中心的[p×p]区域里得到

[VfLLl，A（x，y）=V（fLLl，A（n））]

[VfLLl，B（x，y）=V（fLLl，B（n））]

其中（x，y）是当前系数的位置。融合后的低频子带为

[fLLl，fused（x，y）=fLLl，A（x，y）， if VfLLl，A（x，y）≥VfLLl，B（x，y）fLLl，B（x，y）， if VfLLl，A（x，y）

3）利用纹理信息对源图像A和B的高频子带系数加以选择：

首先，图像特征是在高频带提取时，利用SUSAN公式（2）、（3）、（4）、（5）特征提取各尺度和方向，被表示成[FRfθl，j]，然后融合了高频段的

[fθl，fused（x，y）=fθl，A（x，y）， if FRfLLl.A（x，y）≤FRfLLl，，B（x，y） fθl，B（x，y）， if FRfLLl.A（x，y）>FRfLLl，，B（x，y） ]

4）对2） ，3）中的融合系数进行NSCT逆变换获得最终融合图像F。

4 实验结果与分析

为了验证文中提出HVC在NSCT域算法的有效性，试验分别通过对比以下算法小波变换，Contourlet变换，NSCT变换实现，对比其合理性。

5 结论

从融合结果可以看到，与其他融合方法相比，本算法具有更好的效果。表1不同算法的评价结果的客观数据统计也说明了这一点，说明算法较好地提高了图像的质量。统计评估与视觉评估一致。

参考文献：

[1] Bhatnagar G，Raman B.A new Image Fusion Technique based on Directive Contrast[J].Electronic Letter on Computer Vision and Image Analysis，2009，8（2）：18-38.

[2] Bhatnagar G，Wu Q. M. J.An Image Fusion Framework based on Human Visual System in Framelet Domain[J].International Journal of Wavelets， Multiresolution and Information Processing， 2012，10（1）：12500021-12500030.

[3] Boussion， N，Hatt， M.， Lamare， F.， Rest， C. C. L.， & Visvikis， D.Contrast enhancement in emission tomography by way of synergistic PET/CT image combination[J].Computer Methods and Programs in Biomedicine， 2008，90（3）：191-201.

[4] 孔韦韦.雷英杰.基于NSST域人眼视觉特性的图像融合方法[J].哈尔滨工程大学学报，2013（6）：777-782.

3） 式中是大量的属于USAN的像素。如：[n（r0）=rd（r，r0）] （4）

[τ]是几何门槛，这里[τ=3nmax/4]，[nmax]是n的最大值。

在SUSAN特征检测器， T常常决定将被检测的特征的最小对比度以及最大被忽略的噪音量。因此，有时候提取特征对T的选择很敏感，为了使特征提取对T不太敏感，SUSAN公式不仅考虑到亮度的相似程度还考虑了像素之间的距离

[d（r，r0）=exp（-（r-r0）22η2）exp（-（F（r）-F（r0）T）6）] （5）

式（5）中是距离比例因素。

3 图像融合算法

针对以往文献中NSCT图像融合中出现的不足，该文拟采用HVC方法对NSCT融合算法加以改进。该文将经NSCT分解后的低频子带是图像的近似分量，也是人眼对图像内容进行感知的主要内容；而高频子带则包含图像大量的细节信息，用SUSAN算法可以很好地刻画图像的纹理信息，包含了图像绝大部分的信息。该文以2幅源图像的情形为例，提出了基于NSCT域人眼视觉特性的图像融合算法。

输入：己经过严格配准的2幅源图像A和B；

输出：经NSCT与人眼视觉特性机理处理后的融合图像F。

步骤：

1）采用NSCT对A和B分别进行k层的多尺度和多方向分解，并得到各自的低频子带系数和高频子带系数。

2）利用VSC的公式（1）对源图像A和B的低频子带系数加以选择，在第k层低频带以n为中心的[p×p]区域里得到

[VfLLl，A（x，y）=V（fLLl，A（n））]

[VfLLl，B（x，y）=V（fLLl，B（n））]

其中（x，y）是当前系数的位置。融合后的低频子带为

[fLLl，fused（x，y）=fLLl，A（x，y）， if VfLLl，A（x，y）≥VfLLl，B（x，y）fLLl，B（x，y）， if VfLLl，A（x，y）

3）利用纹理信息对源图像A和B的高频子带系数加以选择：

首先，图像特征是在高频带提取时，利用SUSAN公式（2）、（3）、（4）、（5）特征提取各尺度和方向，被表示成[FRfθl，j]，然后融合了高频段的

[fθl，fused（x，y）=fθl，A（x，y）， if FRfLLl.A（x，y）≤FRfLLl，，B（x，y） fθl，B（x，y）， if FRfLLl.A（x，y）>FRfLLl，，B（x，y） ]

4）对2） ，3）中的融合系数进行NSCT逆变换获得最终融合图像F。

4 实验结果与分析

为了验证文中提出HVC在NSCT域算法的有效性，试验分别通过对比以下算法小波变换，Contourlet变换，NSCT变换实现，对比其合理性。

5 结论

从融合结果可以看到，与其他融合方法相比，本算法具有更好的效果。表1不同算法的评价结果的客观数据统计也说明了这一点，说明算法较好地提高了图像的质量。统计评估与视觉评估一致。

参考文献：

[1] Bhatnagar G，Raman B.A new Image Fusion Technique based on Directive Contrast[J].Electronic Letter on Computer Vision and Image Analysis，2009，8（2）：18-38.

[2] Bhatnagar G，Wu Q. M. J.An Image Fusion Framework based on Human Visual System in Framelet Domain[J].International Journal of Wavelets， Multiresolution and Information Processing， 2012，10（1）：12500021-12500030.

[3] Boussion， N，Hatt， M.， Lamare， F.， Rest， C. C. L.， & Visvikis， D.Contrast enhancement in emission tomography by way of synergistic PET/CT image combination[J].Computer Methods and Programs in Biomedicine， 2008，90（3）：191-201.

[4] 孔韦韦.雷英杰.基于NSST域人眼视觉特性的图像融合方法[J].哈尔滨工程大学学报，2013（6）：777-782.

3） 式中是大量的属于USAN的像素。如：[n（r0）=rd（r，r0）] （4）

[τ]是几何门槛，这里[τ=3nmax/4]，[nmax]是n的最大值。

在SUSAN特征检测器， T常常决定将被检测的特征的最小对比度以及最大被忽略的噪音量。因此，有时候提取特征对T的选择很敏感，为了使特征提取对T不太敏感，SUSAN公式不仅考虑到亮度的相似程度还考虑了像素之间的距离

[d（r，r0）=exp（-（r-r0）22η2）exp（-（F（r）-F（r0）T）6）] （5）

式（5）中是距离比例因素。

3 图像融合算法

针对以往文献中NSCT图像融合中出现的不足，该文拟采用HVC方法对NSCT融合算法加以改进。该文将经NSCT分解后的低频子带是图像的近似分量，也是人眼对图像内容进行感知的主要内容；而高频子带则包含图像大量的细节信息，用SUSAN算法可以很好地刻画图像的纹理信息，包含了图像绝大部分的信息。该文以2幅源图像的情形为例，提出了基于NSCT域人眼视觉特性的图像融合算法。

输入：己经过严格配准的2幅源图像A和B；

输出：经NSCT与人眼视觉特性机理处理后的融合图像F。

步骤：

1）采用NSCT对A和B分别进行k层的多尺度和多方向分解，并得到各自的低频子带系数和高频子带系数。

2）利用VSC的公式（1）对源图像A和B的低频子带系数加以选择，在第k层低频带以n为中心的[p×p]区域里得到

[VfLLl，A（x，y）=V（fLLl，A（n））]

[VfLLl，B（x，y）=V（fLLl，B（n））]

其中（x，y）是当前系数的位置。融合后的低频子带为

[fLLl，fused（x，y）=fLLl，A（x，y）， if VfLLl，A（x，y）≥VfLLl，B（x，y）fLLl，B（x，y）， if VfLLl，A（x，y）

3）利用纹理信息对源图像A和B的高频子带系数加以选择：

首先，图像特征是在高频带提取时，利用SUSAN公式（2）、（3）、（4）、（5）特征提取各尺度和方向，被表示成[FRfθl，j]，然后融合了高频段的

[fθl，fused（x，y）=fθl，A（x，y）， if FRfLLl.A（x，y）≤FRfLLl，，B（x，y） fθl，B（x，y）， if FRfLLl.A（x，y）>FRfLLl，，B（x，y） ]

4）对2） ，3）中的融合系数进行NSCT逆变换获得最终融合图像F。

4 实验结果与分析

为了验证文中提出HVC在NSCT域算法的有效性，试验分别通过对比以下算法小波变换，Contourlet变换，NSCT变换实现，对比其合理性。

5 结论

从融合结果可以看到，与其他融合方法相比，本算法具有更好的效果。表1不同算法的评价结果的客观数据统计也说明了这一点，说明算法较好地提高了图像的质量。统计评估与视觉评估一致。

参考文献：

[1] Bhatnagar G，Raman B.A new Image Fusion Technique based on Directive Contrast[J].Electronic Letter on Computer Vision and Image Analysis，2009，8（2）：18-38.

[2] Bhatnagar G，Wu Q. M. J.An Image Fusion Framework based on Human Visual System in Framelet Domain[J].International Journal of Wavelets， Multiresolution and Information Processing， 2012，10（1）：12500021-12500030.

[3] Boussion， N，Hatt， M.， Lamare， F.， Rest， C. C. L.， & Visvikis， D.Contrast enhancement in emission tomography by way of synergistic PET/CT image combination[J].Computer Methods and Programs in Biomedicine， 2008，90（3）：191-201.

[4] 孔韦韦.雷英杰.基于NSST域人眼视觉特性的图像融合方法[J].哈尔滨工程大学学报，2013（6）：777-782.