结肠息肉的虚拟可视化检查系统

【作 者】钟灿，赵俊＊，张丹枫

上海交通大学生物医学工程系，上海市，200240

结肠癌是一种全球性的疾病，发病率和死亡率位列所有恶性肿瘤前三[1]。多数结肠癌发展自结肠息肉始，如能及早诊断出结肠息肉并进行切除，可以大大减小结肠癌的发病率[2]。传统的结肠息肉检查主要使用直、结肠内窥镜，这种检查方法，对检查设备的操作技术要求较高，过程复杂且耗费时间，会给病人带来较大的痛苦，不便进行多次重复检查。

基于腹腔CT扫描数据的虚拟内窥镜、虚拟展平和虚拟外翻等虚拟现实技术的出现[3-7]，克服了传统内窥镜常见的视角盲区，可以重复进行检查，大大提高了检查的效率，减轻了受检者的痛苦。

大部分虚拟现实技术，都是通过建立物体的三维模型提供快速的图形渲染，本文有别于此类方式，采用了一系列基于GPGPU[8]加速的虚拟可视化技术。利用GPU强大的并行计算能力，使用CT扫描数据直接进行体绘制，由此实现的可视化技术也就具备了良好的实时性、内壁阈值动态可调等特点。设计的虚拟可视化检查系统可提供多种检查方式，包括虚拟内窥镜、虚拟展平、虚拟外翻、虚拟切开和虚拟旋转等，具有广泛的临床应用价值。

1 系统概述

在临床诊断中，使用直、结肠内窥镜的检查效率低下，检查之前必须进行较长时间的准备，检查过程缓慢，并给病人造成一定的痛苦。而只依赖于虚拟内窥镜的息肉检查，由于其属于对真实内窥镜的模拟，会出现视角狭小、需要沿结肠往返检查的缺点，效率仍旧不高。为了在临床中提高息肉检查的效率以及准确性，本文提出了一套集合多种新颖、快速的检查方法的系统。该系统中除了常用的虚拟内窥镜方式外，还加入了虚拟展平、虚拟外翻和虚拟切开等新技术。

(1) 虚拟展平技术是一种通过模拟对结肠进行沿内壁剪开并展开为一个平面的虚拟现实技术[4]，可以克服虚拟内窥镜视角狭小、容易受内壁皱褶妨碍视线的缺点，能够有效提高检查效率以及准确性。

(2) 虚拟外翻技术也是一种虚拟现实技术，通过在计算机中模拟将结肠内壁翻到结肠的外部，提供一种与虚拟内窥镜截然不同的视角，可以直接在结肠外部观察到内壁的情况[5]。

(3) 虚拟切开模拟将结肠沿其中心路径切开成两半，从切开面上方俯视结肠内壁，相比虚拟内窥镜视角广阔，不受皱褶遮挡，可以动态改变切开面，对结肠内壁进行全面的检查[6]。

(4) 虚拟旋转技术主要是对虚拟外翻技术的一种补充和提高[7]。内壁外翻的结果在结肠弯曲程度较大处的内侧容易出现粘连或变形，虚拟旋转通过将外翻后的结肠以中心路径为轴进行旋转，使得内侧的数据被旋转到外侧，使得内侧的结肠内壁也能进行完整的检查。

2 系统架构

系统分3个主要部分：交互界面、管理模块和控制模块，如图1所示。交互界面包括两种渲染模块，一种是基于GPGPU的实时渲染模块，另一种是基于VTK几何面绘制方式的渲染模块。

图1 系统框架图Fig.1 Framework of the system

GPGPU模块利用GPU的高速并行计算能力，对体绘制过程中耗时的光线投射算法和光照计算进行加速，达到实时体绘制的效果，能够动态调整结肠内壁的CT阈值，从而得到对应的结肠内壁图像。GPGPU模块主要用于实现虚拟内窥镜、虚拟展平和虚拟切开模式的交互显示。

几何渲染模块通过将分割得到的二值化的结肠内壁数据进行处理，得到结肠的三维模型，使用OpenGL进行渲染。几何渲染模块主要用于实现虚拟外翻和虚拟旋转模式的交互现实，将外翻所得的二值化结果转换成三维模型，并进行渲染显示。

管理模块负责管理系统中的数据以及控制各个模块的初始化和相互之间的逻辑关系，包括：

(1) 系统启动时，对各个模块进行初始化；

(2) 管理系统中的数据，并通知其他模块该数据是否可用；

(3) 监视各个模块对数据的处理，并将数据的变化通知其他模块。

控制模块包含数据预处理和各种交互模式的控制面板。用户通过预处理面板对数据进行预处理操作，如分割内壁和提取中心路径等。交互面板负责为用户提供操作界面和控制交互模块，以响应用户的操作进行交互显示。

3 基于GPGPU的交互模块设计

系统大部分交互模式都依赖于GPGPU模块实现。GPGPU模块封装了加速的图形渲染和渲染界面的交互实现功能。

3.1 GPGPU原理

GPGPU的原理是利用GPU上大量的计算单元实现大数据量的并行计算。图2为CPU和GPU架构的区别，可以看出GPU相对CPU在流控制和缓存能力上要弱，但是却拥有几十倍于CPU的计算单元。通过将体绘制过程中大量的光线投射计算交给GPU来完成，由CPU来控制渲染过程，可以实现实时的体绘制功能。

图2 GPU将更多晶体管用于数据处理Fig.2 GPU spends more transistors on data processing.

3.2 光线投射模型

通过GPGPU实现虚拟内窥镜、虚拟展平和虚拟切开模式，它们在体绘制过程中使用不同的光线投射模型，如图3所示。

图3 光线投射模型。Fig.3 Ray-casting model.

虚拟内窥镜以一个与CT扫描三维体数据对齐的正方体作为代理几何，根据摄像机的位置和方向，计算进入摄像机取景窗口的正方体的空间坐标，通过这些坐标计算出从摄像机投射出的光线的方向，如图3a。

虚拟展平的光线投射模型通过结肠的中心路径计算得到。视点的位置沿结肠的中心路径移动，计算当前点所在中心路径的切线方向，以当前点为中心前后取长度为N个像素点的线段构成切线段（一般N取25，可以动态调节），以该切线段为光线投射源向四周投射光线。图2b为该线性光源的切面示意图。

虚拟切开沿结肠中心路径的走向计算得到结肠内壁的切开面。以该切开面为代理几何，摄像机在垂直于切开面的上方移动，根据摄像头与切面的相对位置计算投射光线的方向，如图3c。

3.3 GPGPU模块的实现

渲染图像上每个像素对应一条光线的投射结果。GPGPU模块中针对每种光线投射模型定义了不同的片段渲染器代码。通过GPU上大量的计算单元并行执行多个像素的片段渲染器代码，可以达到几十倍于CPU的渲染速度，实现实时的渲染速度。

GPGPU模块的实现流程如图4所示。系统启动的同时会对GPGPU模块进行初始化，创建交互窗口，并加载3种模式的片段渲染器。用户在控制面板中读取数据后，GPGPU模块会将数据读入，并转化成3维纹理数据，传输到显卡的显存中。在完成纹理的加载后，用户便可以自由切换渲染模式，在交互窗口上控制摄像头的移动实时地对结肠进行观察检查。

图4 GPGPU模块流程Fig.4 Flow of GPGPU module

4 基于VTK的几何渲染模块设计

4.1 虚拟外翻

虚拟外翻技术主要基于中心路径电场线的方法进行外翻[7]。对腹腔CT扫描所得的体数据进行分割得到结肠的内壁，并对内壁使用膨胀腐蚀算法得到结肠的外壁。根据中心路径的电场线分布，得到在每条电场线上内壁相对于外壁的外翻结果，最终得到整段结肠的外翻结果，如图5所示。

图5 基于电场线外翻Fig .5 Eversion based on electric fi eld line

4.2 虚拟旋转

虚拟旋转技术属于对虚拟外翻技术的一种补充。虚拟外翻按照中心路径的电场线进行外翻，在得到内壁上的点相对于外壁的外翻位置后，以该点所处电场线对应的中心路径点为中心转动指定的角度，即可得到旋转后的外翻结果。

4.3 几何渲染模块的设计

几何渲染模块是基于VTK工具包开发的3维显示模块，主要用于显示虚拟外翻和虚拟旋转结果。结肠外翻的结果保存为二值化的体数据格式，按照二值化数据的边界生成结肠内壁表面的三维模型，并通过OpenGL进行显示。

几何渲染模块首先获得3维体数据，将数据存入vtkUnsignedCharArray，然后通过vtkImageData设置数据的类型和空间大小。vtkContourFilter根据指定的内壁阈值从体数据中生成较粗糙的内壁模型，再用vtkSmoothPolyDataFilter对粗糙模型进行平滑处理；最后用vtkPolyDataMapper将3维模型封装起来，并赋予一个vtkActor对象。生成3维模型的流程如图6所示。

图6 三维模型生成流程Fig .6 Flow of the generating of 3D model

几何渲染模块使用vtkRenderWindow绑定一个窗口，使用OpenGL绘制三维模型，并且响应用户的交互操作，包括对三维模型和对摄像机的操作。

5 系统检查结果

该系统可以在较高端的个人PC实现。本文实现该系统使用的计算机硬件配置为：Intel Core Duo CPU E7400，内存4G，显卡NVIDIA GTS250 (显存1G)。

本文使用来自美国NCIA(http://ncia.nci.nih.gov/)真实病例数据库的腹部螺旋CT数据，数据大小为512×512×450。

该系统中使用了两种渲染模块，GPGPU模块用于渲染虚拟内窥镜、虚拟展平和虚拟切开图像；几何渲染模块用于渲染虚拟外翻、虚拟旋转后的图像。

图7为系统中使用GPGPU模块实现的虚拟图像。由于GPGPU具有实时渲染的特点，因此可以动态调整结肠内壁的CT阈值，使渲染图像达到完整、光滑的效果。

GPGPU模块使用了GPU加速的方法，渲染每一帧的速度仅为CPU的1/30。对于渲染画面最大的虚拟展平模式(分辨率为1024×512)，渲染一帧图像仅需要20 ms，完全达到了实时性的要求，而且检查过程流畅，效果良好。

虚拟外翻和虚拟旋转结果是基于分割后的二值化结肠内壁计算所得，结果同样是二值化的结果，因此需要采用几何渲染模块计算外翻结果的几何模型，并进行平滑处理。使用OpenGL进行三维渲染同样得到了GPU的硬件加速支持，检查过程同样达到了实时性的要求。图8为系统中使用几何渲染模块实现的虚拟外翻图像。

图7 GPGPU模块渲染图像Fig .7 Images of GPGPU rendering module

图8 几何渲染模块虚拟外翻图像Fig .8 Virtual eversion image of geometry rendering module

6 未来工作

虚拟可视化技术具有灵活性和高效性，在医学领域越来越受到重视。系统中的部分功能可以进一步提高和完善，例如直接使用3维CT扫描数据进行外翻，通过GPGPU体绘制技术对外翻结果进行渲染。

此外，还可更多地注重与临床应用的结合，对系统功能进行补充。如提供自动辅助检查的功能，提供可靠的自动定位和标识息肉位置与尺寸信息等，为临床应用提供更简单有效的检查方法，提高诊断的效率和准确性。

[1] A Jemal, R Siegel, E Ward, et al. Cancer statistics, 2008[J]. CA Cancer J Clin, 2008, 58(2): 71–96.

[2] C D Johnson, A H Dachman. CT colonography: The next colon screening examination? [J]. Radiology, 2000, 216(2): 331-341.

[3] L Hong, S Muraki, A Kaufman, et al. Virtual voyage: Interactive navigation in the human colon[C]. Computer Graphics Proceedings,Annual Conference Series, ACM SIGGRAPH. New York, 1997，27-34.

[4] A V Bartrol, R Wegenkittl, A Konig, et al. Virtual colon flattening[C]. Proceedings of In VisSym' 01 Joint Eurographics- IEEE TCVG Symposium on Visualization. Washington D C,2001，127-136.

[5] J Zhao, L. Cao, T. Zhuang, et al. Digital eversion of a hollow structure: an application in virtual colonography[J]. Int J Biomed Imaging, 2008, No. 763028.

[6] Hassouna, M. A Farag,R Falk. Virtual Fly-Over: A new visualization technique for virtual colonoscopy[C]. Medical Image Computing and Computer-Assisted Intervention (MICCAI 2006).Copenhagen, Denmark, 2006，381-388.

[7] D Zhang, J Zhao, L Lu, et al. Virtual eversion and rotation of colon based on outer surface centerline[J]. Medical Physics, 2010,37(10): 5518-5529.

[8] D Luebke, M Harris, N Govindaraju, et al. GPGPU: generalpurpose computation on graphics hardware[C]. Proceedings of the 2006 ACM/IEEE conference on Supercomputing. New York, 2006,N.208.