改进的拉普拉斯金字塔多光谱术中引导快速融合算法

董琰彪，陈春晓，李杰

(南京航空航天大学生物医学工程系，南京 211106)

1 引 言

多光谱术中引导技术能够辅助医生精确定位肿瘤[1]。近红外图像可以反映肿瘤大小、轮廓等信息，但难以判断肿瘤精确位置；彩色图像可以反映肿瘤位置、重要组织等信息。两者融合可以为肿瘤的辨别提供更为全面的判断依据。彩色与近红外融合技术已广泛应用于医疗成像、航空导航等领域[2-3]。

拉普拉斯金字塔作为多尺度融合方法[4-5]，常用于可见光与近红外图像融合。Paris等[6]采用拉普拉斯金字塔进行图像模糊、边界调整等处理，但速度较慢。尽管Paris通过限制层数来提高效率，但融合质量明显降低。Do等[7]为去除噪声影响，提出基于广义伪逆的拉普拉斯重构算法，该方法在去噪的同时会模糊图像。为提高运算效率，邵靖凯等[8]对不同失焦程度的图像采用并行优化的拉普拉斯金字塔算法，有效增强了图像的细节；张绍良等[9]结合中值滤波和边缘增强算法对图像进行预处理，并釆用拉普拉斯金字塔算法进行融合，保留边界轮廓的同时，去除了噪声的干扰，但该方法应用于术中肿瘤边缘的精确识别仍存在一定问题。

为了精确切除肿瘤，需要将其从正常组织中区分。因此，本研究采用彩色图像绿色通道与近红外图像进行融合；同时，利用图像分割、边缘强度最大及GPU技术有效去除背景、增强肿瘤轮廓并提高运算速度。

2 拉普拉斯金字塔融合方法

拉普拉斯金字塔融合算法能够处理不同频率信息，步骤如下：

(1)通过原始图像构造高斯金字塔。图像Gi由前一层图像Gi-1经过5×5高斯内核卷积并去除偶数行与列后重组得到：

Gi=pyrDown(Gi-1)

(1)

(2)

(3)融合图像由各层图像Li分别融合，并向上重构获得。

3 改进的拉普拉斯金字塔融合方法

3.1 多光谱术中引导系统

多光谱术中引导系统由荧光示踪剂、近红外光源、相机及图像处理模块组成(见图1)。本研究采用ICG作为荧光示踪剂，该试剂与血清蛋白集合后，在近红外光的照射下能够发出穿透能力较强的荧光。通过AD-080GE相机采集可见光与荧光图像。

图1 多光谱硬件系统

3.2 基于绿色通道的金字塔融合改进方法

缺少了色彩信息，近红外图像难以精确判别肿瘤在正常组织中的边界及位置。将近红外图像与彩色图像进行融合可以解决上述问题。为此，本研究提出了改进的拉普拉斯金字塔图像快速融合算法(见图2)。

图2 多光谱图像处理流程

3.2.1肿瘤色彩标记 本研究利用近红外图像对彩色图像中的肿瘤进行色彩标记与增强。彩色图像[R,G,B]由三通道组成。人体组织存在大量红色信息；与蓝色相比，人眼对于绿色具有较高敏感性。本研究采用绿色通道与近红外图像通过改进的拉普拉斯金字塔进行分解与融合。将绿色通道融合图像G′与原始红、蓝通道重组，得到目标图像[R,G′,B]。结果图像中的肿瘤将被标记为绿色。

3.2.2肿瘤区域融合 逐层融合过程中，每层图像包含的肿瘤信息不同，因此，需要采用不同的融合方法。本研究将金字塔图像分为两个部分：顶层图像与非顶层图像。融合规则如下：

(1)非顶层图像包含原始数据在不同尺度下的高频分量信息，如肿瘤边缘。非顶层图像融合规则参考边缘强度最大算法，按公式(3)计算单个像素点的判断系数。

Pi,j=abs(N(i,j))-abs(V(i,j))

(3)

N为近红外拉普拉斯图像，V为绿色通道拉普拉斯图像，Pi,j为(i,j)坐标像素点的判断系数。对于图像任意坐标(i,j)都有：

(4)

F为融合图像，k为边缘细节增强系数。k值通过增强不同尺度高频信息像素值来调整肿瘤边界亮度。

(2)顶层近红外图像由于其激发与检测波段较为接近，背景中包含大量非肿瘤信息。图像分割技术能够有效提取目标。

本研究利用Canny算子提取肿瘤边缘，利用形态学方法对边缘图像进行闭运算以连接断点，并进行孔洞填充操作，最后与原始顶层近红外图像相乘，得到目标肿瘤图像。

3.2.3CUDA并行化 为提高速度，本研究利用CUDA编程模型，将图像处理放置在GPU端运行。每个像素分配一个线程，同时将图像分为16×16像素大小的模块，每个模块对应一个线程块。CPU与GPU之间通过函数调用和数据传输相互连接，见图3。该模型可以提高本研究算法的运算速度。

图3 并行计算结构

4 实验结果与讨论

4.1 实验设计

实验一：为验证算法性能，本研究设计了ICG荧光试剂体外实验，流程如下：

(1)利用ICG与人体血清配置荧光试剂。

(2)利用多光谱成像系统观察荧光试剂。

ICG结果见图4。试剂产生的荧光信息记录在近红外图像中。此外，图像还记录了重影、噪声以及激发光等无关信息。结果表明：本研究提出的算法可有效抑制上述干扰，提高了融合质量。

图4 荧光试剂融合结果

实验二：为验证实际肿瘤处理效果，本研究设计了小鼠实验，流程如下：

(1)选取体重约20 g的肿瘤小鼠，深度麻醉。

(2)注射ICG试剂。

(3)腹部脱毛后，手术切开组织，利用多光谱成像系统观察肿瘤，见图5。

图5 小鼠实验

与基于阈值的融合方法相比，本研究方法能够体现低亮度值的肿瘤细节，展示更多细节信息。

4.2 融合评价指标

本研究通过五种方法进行评估：均值、信息熵、标准差、SSIM及平均梯度。均值可以体现图像的可感知程度；信息熵与标准差能够反映图像包含信息的丰富程度[10]；平均梯度可以反映边界的清晰程度[11]；SSIM值则反映了融合图像与原图的相似度[12]，公式如下：

SSIM(X，F)=[l(X，F)]α×[c(X，F)]β×[s(X，F)]γ

(5)

X为融合前的图像，F为融合图像，α、β、γ为非零系数，l(X，F)、c(X，F)、s(X，F)分别为亮度失真、对比度失真和结构畸变函数。融合图像与近红外、彩色图像之间的SSIM定义为：

SSIM(N，C，F)=tSSIM(N，F)+(1-t)SSIM(C，F)

(6)

N为近红外图像，C为彩色图像,t为加权系数。

4.3 融合效果评价

非顶层图像处理过程中，公式(4)系数k的取值将直接影响融合质量。图7显示了小鼠彩色、近红外、顶层融合图像及非顶层融合图像在不同增强系数下的融合效果。图6显示了k值对肿瘤中心亮度的影响。当k超过2.6后，增强效果不再明显，同时还会产生大量噪声。k=2.6时，融合效果最佳。

针对荧光标记肿瘤图像，本研究采用低通比率金字塔(RP)[13]、双树复小波变换(DTCWT)[14]、曲波变换(CVT)[15]以及非下采样轮廓波变换(NSCT)[16]算法，分别对图像进行融合。各算法性能指标见表1。综合比较发现，本研究方法能够反映更多的肿瘤信息，具有更好的融合效果。

图6肿瘤中心区域亮度均值

Fig6Meanluminanceoftumorcenterregion

图7 细节增强

Table 1 Fusion index

4.4 融合速度评价

本研究在Matlab环境下，对荧光标记肿瘤图像不同融合方法速度进行测试，见表2。

表2融合效率比较

Table 2 Fusion efficiency comparison

为保证视频流畅，处理间隔应在33 ms以下。本研究通过C环境，分别在CPU与GPU端对拉普拉斯金字塔下采样函数及程序整体运算速度进行比较。表3显示，利用GPU将图像处理并行化，能够提升运算速度。

表3CPU与GPU处理速度比较

Table 3 Comparison of processing speed between CPU and GPU

5 结论

本研究算法对肿瘤的切除率及复发率具有较大影响。通过基于GPU的拉普拉斯金字塔快速融合算法对图像进行多尺度融合，并将包含肿瘤细节的非顶层近红外图像进行强化处理，从而在融合图像中标记并区分肿瘤；对顶层近红外图像的分割可以去除背景、重影等非肿瘤信息。该算法具有运算速度快，边界清晰等优点，可以帮助医生准确辨别肿瘤与健康组织，并精准切除肿瘤。当近红外图像噪声、环境干扰较为明显时，融合效果将受到影响。因此，本文方法主要适用于手术环境下，荧光标记的多光谱肿瘤检测与处理等方面。