基于NSCT和PCNN的医学图像伪彩色处理技术研究*

李 江

（北京工业大学计算机学院 北京 100124）

1 引言

由于成像原理及人体器官结构的复杂性，现有的单一模态的医学图像仅能提供有限的信息，不同模态的医学图像之间既有冗余性又有独立性。比如电子计算机断层扫描（CT）能清晰呈现高密度的骨骼结构，而磁共振成像（MRI）可以较好地显示软组织信息。近年来医学图像融合技术的研究得到了广泛重视，医学图像融合对于临床诊断具有重要的应用价值，它在病症诊断及治疗时为医生提供更多、更准确的信息［1～2］。

目前，在医学图像融合中一类研究较多的方法是将非下采样 contourlet 变换（NSCT）［3～4］与脉冲耦合神经网络（PCNN）［5～6］相结合［7］，通过发挥 NSCT具有的平移不变性、多尺度、多方向特性以及PCNN 更符合人类视觉神经系统处理机制的特点进行图像融合，既保持了图像的边缘信息和轮廓结构也提取了有效的细节信息。由于CT 图像和MRI图像都是灰度图像，通过NSCT 和PCNN 得到的融合图像也是灰度图像。但是人眼对灰度图像的识别能力远远低于对彩色图像的识别能力［8～10］，且无法根据灰度融合图像判断特征点来源，导致融合图像携带信息量变少，所以需要对图像进行伪彩色处理。

本文提出了一种基于NSCT 和PCNN 的医学图像伪彩色处理方法，首先，根据源图像的灰度信息，计算源图像公共区域。然后，使用NSCT 和PCNN对源图像进行处理得到灰度融合图像，并根据NSCT 分解生成的低频子带和方向子带进行处理，得到融合图像来源信息。最后，根据人类视觉特性，使用源图像公共区域和融合图像来源信息，对灰度融合图像进行伪彩色处理得到伪彩色融合图像。并通过对比灰度融合图像和伪彩色融合图像，证明了本文算法得到的伪彩色融合图像突出了源图像的公共区域和来源信息，有利于发现病灶。

2 相关工作

2.1 NSCT

NSCT 由非下采样的塔式分解（NSPFB）和非下采样的方向滤波器组（NSDFB）构成。NSCT变换的图像分解框架如图1 所示，从中可以看出在NSCT变换中，NSPFB 完成了图像的多分辨率分解，得到了图像的频率子带、NSDFB 完成了图像的多方向分解，得到了图像的方向子带。

图1 NSCT分解原理框架

图像的低频子带集中了大部分源图像能量信息和轮廓信息［11］。灰度图像的能量主要体现在像素点灰度值，灰度值越大，则代表图像的能量越多。图像的轮廓信息代表源图像部分区域与其他区域之间的对比度，即两个区域之间的差值越大，代表它们之间的轮廓越清晰。选择能量较大和轮廓明显的点，有利于获得源图像的更多低频信息。图像的高频子带集中了源图像细节信息［11］。由于人眼对图像对比度及边缘、纹理的高敏感度，高频子带多方向分解生成的方向子带使用更符合人类视觉神经系统处理机制的PCNN处理。

图2 二维频谱划分

2.2 PCNN

脉冲耦合神经网络（PCNN）具备同步脉冲发放、捕获特性，使其对信号的处理更符合人类视觉特征，使用PCNN 对方向子带进行融合，可以得到更符合人眼特性的融合方向子带。PCNN 模型如图3所示，数学表达式详见参考文献［12］。

图3 PCNN简化模型

2.3 图像的伪彩色处理

不同模态的医学图像之间既有冗余性又有独立性，CT 图像能清晰反映物质的密度，即CT 值越高，密度越高。而人体的高密度区域除骨骼外，还可能有钙化、出血、实体肿瘤等［13］。MRI 图像软组织分辨率高，显示肿瘤的范围、软组织肿块及相应骨髓水肿有明显优势［13］。图像的来源信息代表了图像不同的特点，而在灰度融合图像中，无法判断图像的来源信息，如图4 所示。因此，图像的伪彩色处理至关重要。

在图 4 中，（a）、（b）、（e）、（f）为源图像，（c）为通过融合（a）和（b）得到的灰度融合图像，（d）为通过融合（a）和（b）得到的伪彩色融合图像，（g）为通过融合（e）和（f）得到的灰度融合图像，（h）为通过融合（e）和（f）得到的伪彩色融合图像。可以看出灰度融合图像无法保留来源信息，同时无法突出源图像的重叠区域，不同源图像可能得到同样的灰度融合图像。相较于灰度融合图像，伪彩色融合图像保留了来源信息，同时可以看出重叠区域。

图4 图像伪彩色处理示意图

3 基于NSCT 和PCNN 的医学图像伪彩色处理方法

在本节中，论文介绍一种基于NSCT 和PCNN的医学图像伪彩色处理的方法。首先，根据源图像的灰度信息，计算两幅源图像中灰度均较大的区域，即源图像的公共区域。然后，使用NSCT对源图像进行分解，根据图像的低频子带和高频字带，得到图像的来源信息和灰度融合图像。最后，根据人类视觉特性，使用源图像公共区域和融合图像来源信息，对灰度融合图像进行伪彩色处理得到伪彩色融合图像。

3.1 计算源图像公共区域

在灰度图像中，灰度值值越高的点，特征越明显。源图像的公共区域，由两幅源图像中特征均明显的点组成，需要选择两幅图像灰度值均较高的区域。选择高亮区域时，首先，忽略较暗区域的像素点，当灰度值之和较低时，认为源图像灰度值均较低或某一副源图像的灰度值过低。然后，选择两幅源图像中均为较亮区域的像素点，即源图像特征均较明显。最后，针对两幅图像均存在特征的像素点，选择灰度值比率在一定范围内的像素点，即源图像的灰度值均较高，同时不存在一副图像的像素点远远大于另一幅的情况。最终得到的重叠区域如图6所示。

在图6 中，黑色区域代表了源图像的重叠区域，从图5 中可以看出，当图像灰度较高或较低时，人眼对灰度分辨率差［14］。所以选择灰度值从0～64的区域作为源图像的较暗区域，灰度值从192～255的区域作为源图像的高亮区域。而在灰度值从64～192 的区域中，存在单独某一副源图像中特征不明显，但在融合图像中特征明显的情况，由于源图像经过归一化处理，所以选择斜率为1 的直线及其周围区域。

酒款亮点：科波拉酒庄庄主就是电影《教父》的导演弗朗西斯·福特·科波拉（Francis Ford Coppola），2006年他收购了这个位于美国索诺玛县（Sonoma）33公顷的葡萄园，将其更名为科波拉酒庄（Francis Ford Coppola Winery），建立起一个庞大的葡萄酒帝国。柯波拉酒庄的酿酒团队由5位世界级酿酒大师和60位技术员工组成。酒庄所酿造的葡萄酒诠释了加州的风土特色。这款酒在美国和法国橡木桶里陈酿了14个月，并加入小西拉进行混酿，增强口感，结构良好，余味留有辛香气息。

图5 人眼对灰度的分辨能力

图6 源图像的公共区域

3.2 计算灰度融合图像来源信息

多模态图像中，不同的图像来源代表不同的信息，比如CT图像能清晰呈现密度的变化，所以其灰度较高区域代表骨骼等信息，而MRI图像表示软组织信息，其灰度值较高区域代表血管等信息。灰度融合图像中，无法判断图像的来源，只能依靠医生的经验，因此图像的来源信息可以帮助医生更好地分析组织结构和诊断病情。

由于图像的低频子带和高频子带表征不同的信息，低频子带代表了能量信息和轮廓信息，所以我们使用像素灰度值选大融合方法［15］对低频子带进行融合，得到图像的融合低频子带，并记录其来源信息。融合低频子带来源信息计算公式如下：

式（1）中，FL表示融合低频子带的来源信息，(i，j)代表像素点的当前位置，X1代表第一幅源图像的低频子带灰度值，X2代表第二幅源图像的低频子带灰度值。

由于图像的高频子带集中了细节信息，使用具有的同步脉冲发放、捕获特性的PCNN 对高频子带分解生成的方向子带进行处理，得到点火映射图，根据点火映射图生成融合方向子带，并记录融合方向子带信息来源。融合方向子带来源信息计算公式如下：

式（2）中，FD代表融合方向子带的来源信息，k代表当前频率子带，l代表当前方向子带，Y1代表第一幅源图像当前方向子带的点火次数，Y2代表第二幅源图像当前方向子带的点火次数。

针对相同频率的方向子带，使用来源信息求和的方式得到来自于某一副图像所占的比值。得到了当前频率的来源信息占比。高频子带来源信息计算公式如下：

式（3）中，FHS表示频率子带的来源信息，n代表频率子带分解得到的方向子带数目。

针对高频子带，将高频来源信息进行累加，然后根据累加和判断融合高频子带的来源信息。融合高频子带来源信息计算公式如下：

式（4）中，SFH表示频率子带来源信息的累加和，m代表频率子带数目。

式（5）中，FH表示高频子带的来源信息。

最后，对融合低频子带来源信息和融合高频子带来源信息进行融合，当来源相同时，设置为共同来源，当来源不同时，根据源图像的灰度值判断，选择灰度值较大的来源。

式（6）中，F表示融合图像的来源信息，S1代表第一幅源图像灰度值，S2代表第二幅源图像灰度值。

3.3 灰度融合图像的伪彩色处理

根据人眼对不同颜色的分辨率［8］，选择分辨率较高的颜色，所以使用黑色表示源图像的底色，白色表示源图像的公共区域，红色表示信息来源于第一副源图像的区域，青色表示信息来源于第二副源图像的区域。计算公式如下所示：

式（7）中，Color代表所选取颜色的 RGB 值，Gray代表灰度融合图像中的灰度值，Img代表伪彩色融合图像的RGB 值。伪彩色显示中白色RGB值为［255，255，255］，红色RGB 值为［255，0，0］，青色RGB值为［0，128，128］。

3.4 伪彩色处理过程

目前，在医学图像融合中研究较多的方法是NSCT 和 PCNN 的方法，本文基于 NSCT 和 PCNN 对图像进行处理得到伪彩色融合图像，大致流程如图7所示。

图7 基于NSCT和PCNN的融合图像伪彩色处理方法框架

首先，根据源图像的灰度值计算得到源图像公共区域，即两幅源图像中灰度均较高的区域。其次，对源图像进行NSCT分解，得到源图像的各个频率子带。对高频子带进行方向分解，得到高频子带的各个方向子带，因为不同的频率子带代表图像不同部分的信息，所以不同的频率子带应使用不同的融合规则。针对低频子带使用低频融合方法，同时记录融合低频子带的图像来源信息。针对方向子带，使用PCNN 生成点火映射图，根据点火映射图计算得到图像的融合方向子带，同时记录融合方向子带的图像来源信息。然后，对融合低频子带来源信息和融合方向子带来源信息进行计算得到灰度融合图像的来源信息。最后，对融合低频字带和融合方向子带使用NSCT 重构得到灰度融合图像，同时根据人类视觉特性，对源图像公共区域和灰度融合图像的来源信息进行伪彩色处理，得到伪彩色融合图像。

4 实验结果

为了验证本文算法的有效性，本文进行了比较实验。使用经配准后的医学图像作为源图像，分别是骨肿瘤CT 图像和MRI 图像。对比效果如图8 所示。从中可以看出灰度融合图像很好地保留了源图像的轮廓信息和细节信息，但是灰度融合图像中，MRI 图像（图8（b））中的特征被CT 图像（图8（a））中的特征覆盖，而伪彩色融合图像（图8（d））与灰度融合图像（图8（c））相比，突出了公共区域和来源信息，保留了更丰富的信息。

图8 骨肿瘤CT/MRI图像及不同融合图像

图9 图8中局部区域对比

图 8 中，（a）为骨肿瘤 CT 图像，（b）为骨肿瘤MRI 图像，（c）为骨肿瘤灰度融合图像，（d）为骨肿瘤伪彩色融合图像。

为了更清楚地说明伪彩色融合图像保留更丰富的信息，本文将图8 中的部分区域取出并放大。比较图9 中的图像，伪彩色融合图像的信息来源明显，同时突出了灰度融合图像中忽略的病灶。

图9 中，（a）为骨肿瘤 CT 局部图像，（b）为骨肿瘤MRI局部图像，（c）为骨肿瘤灰度融合局部图像，（d）为骨肿瘤伪彩色融合局部图像。

5 结语

医学图像融合一方面要求融合后的图像尽可能准确、丰富地体现源图像的所含有的信息；另一方面要求融合图像应适应人类视觉特性。基于此，本文在基于NSCT 和PCNN 的图像融合基础上，计算融合图像的公共区域和来源信息，对图像进行伪彩色处理，得到信息更丰富，更符合人类视觉特性的伪彩色融合图像。本文进一步的处理工作主要体现在以下几个方面。

1）目前实验数据较为单一，由于配准图像的获取较难，目前论文所使用的图像都是精度较低的图像，需要已配准的高精度图像对算法进行更好的验证。

2）目前缺少对彩色图像的客观评价准则，所以需要使用客观的伪彩色图像评价准则进行评价。

3）目前处理的源图像是骨肿瘤CT 和MRI 图像，针对其他医学图像的伪彩色处理需要进一步优化。