基于真三维显示的脑外科微创手术规划

夏 雪，田 丰，王 鹤

（1.上海大学 影视艺术技术学院 影视工程系，上海 200072;2.通用电气医疗集团应用科学实验室，上海 201203）

基于真三维显示的脑外科微创手术规划

夏 雪1，田 丰1，王 鹤2

（1.上海大学 影视艺术技术学院 影视工程系，上海 200072;2.通用电气医疗集团应用科学实验室，上海 201203）

针对平面显示器在脑外科手术规划上的局限，提出了基于真三维显示的手术规划方法。通过建立基于多屏转动的真三维互动成像系统，呈现无视觉死区且与脑组织空间结构一致的立体影像。实验结果证明，真三维显示技术在脑外科手术规划领域有应用前景，它可为手术规划提供物理尺寸一致的模拟平台。

真三维；多屏转动；脑外科手术规划

真三维显示中的立体影像存在于真实三维空间，提供几乎所有的视觉深度信息和全角度立体影像，符合人们观察世界的真实感受，满足所有生理和心理的深度暗示[1]。

按成像机制，真三维可以分为两类：1）静态体显示；2）扫描体显示[2-4]。在一个固定静止的空间中成像称为静态体显示。红外上转换技术与Lightspace公司的“DepthCube”都是静态显示的典型示例：红外上转换技术是用两组不同频率的红外光激发显示体中的晶体材料，光能量转换效率较低，显示亮度低、显示体积小[5]，大部分光束穿过晶体可能对眼睛造成伤害；“DepthCube”[6]包含20块液晶散射快门面板，系统运行时，仅有一块面板处于散射模式，其余面板都设定在透明模式，此显示器仅提供20层深度信息。

真三维显示技术历经10年发展仍没有可以规模化应用的产品，其根本原因是没有找到真三维显示技术的细分应用领域。在上海的多个课题的支持下，真三维技术仅仅作为一件科普展品参与中小学生的科普活动[7]，其产业价值仍未体现。为进一步拓展真三维技术的细分领域，本文探索了真三维显示技术在脑外科微创手术中的应用。

CT和MRI数据本是体三维数据，2D平面屏幕缺乏重要的深度线索且存在景深失真，这从根本上限制了脑外科微创手术规划过程中的准确性。手术的核心问题是规划、配置和导航[8]，而真三维技术使病人拥有透明皮肤，可视化的三维内部结构在一个真实的三维物理空间揭示了周围健康器官与病灶间的复杂空间关系，为医生提供了直观的观察方式。

1 真三维互动脑外科微创治疗规划框架

1.1 显示系统结构

大多真三维系统采用柱空间扫描方式[9]，也有部分采用螺旋扫描方式[10]。基于柱空间的真三维显示器通过渲染3DMAX模型获得三维面数据，存在中心轴视觉死区等问题。图像信息的丢失限制了真三维显示技术在医学影像中的应用。

本文提出了一种基于多屏转动扫描的真三维显示系统，避免了中心轴死区现象。显示系统包括：支架、投影幕布组、投影机、电机、电机驱动、同步控制器、电机连轴器、风叶、红外光发射器、红外光接收器、微机、VGA视频线、USB电缆。基于此真三维显示器的脑外科微创手术规划模拟系统如图1所示，包括：真三维显示器、龙门、探针模拟器。龙门为半圆形，探针模拟器通过左右旋转可调整其角度位置，从而实现两个自由度的定位能力，这能够模拟在脑外科微创治疗规划中的探针进入位置。

图1 脑外科微创治疗规划框架模拟图（截图）

1.2 体数据生成

实验针对单个病例获取256张MRI断层图像，在分割及预处理后对病灶位置进行人工标记。随后对断层图像进行重采样，向真三维显示器传送体数据。

本文所用基于多屏转动扫描的真三维显示器采用成像组相继循环显示连续影像，其成像空间是一个不规则体空间，如图2所示。三维显示的主要处理步骤如下：1）MRI图像序列经过预处理后组成长方体空间内的点云，如图3；2）依照不规则体空间特性对点云进行均匀采样，即将点云映射到二维平面；3）将映射有点云的二维平面图直接投射到真三维显示器，由此呈现出三维影像。其中关键的步骤是通过二维映射的均匀采样来完成真实三维空间到不规则真三维显示器空间的映射。

根据真三维显示器本身的特性建立空间坐标系。使旋转轴R位于点云长方体的底面下方（图4所示的位置），且与底面相距D；旋转成像的角度范围在-θ°至θ°；点云长方体的长宽高分别为L，W，H。以长方体底面某边中点为原点O建立三维坐标。三维空间向二维空间映射模拟图如图5所示。

图2 真三维显示器成像空间（截图）

图3 笛卡尔坐标系点云空间（截图）

图4 三维空间向二维空间映射示意图

图5 三维空间向二维空间映射模拟图（截图）

点云长方体中的像素坐标范围A（即点云A）为

成像弧形体空间中的像素坐标范围B（即成像空间B）为

三维空间向二维的映射过程有以下两种方法：方法一：

1）生成采样面C

2）令C围绕自身底边l1旋转，旋转角度范围为[-θ,θ]

3）在C旋转过程中与A求与，判断采样面C上哪些点超出A，消隐超出范围的点，只显示在A边界上及边界内的点。

方法二：

1）生成采样面C

2）令C以其某条竖边同侧上下顶点为动点，分别沿着弧线l1与l2同步运动

3）在运动的过程中对C和A求与，只显示A边界上及边界内的点，消隐外部点。

对以上两种方法进行分析比较：方法一的原理是生成采样面后使其按照成像空间的弧度特性进行旋转，在每一次旋转后对点云进行一次采样；方法二的原理是让采样面沿着两条弧线平动，在每一次移动后对点云进行一次采样。由于两种方法中采样面与点云相交的有效面积是一样的，因此两种方法在采样时的计算量是相同的；但方法一是沿轴旋转，变量是旋转角θ，而方法二是沿两条弧线平动，每次移动后都要通过计算采样面的两顶点在弧线上的位置进行采样面定位。由此综合分析可知方法一实现较简单，故选用方法一进行实验，取θ=60°，代码结构如下：

1.3 手术应用

使用真三维显示技术可以提供互动脑外科微创治疗过程。病人的CT、MRI等解剖图片能够提供解剖结构、病灶和癌症器官的三维数字模型，这些数据通过影像预处理和分割后被发送到真三维显示器。医师规划手术过程时，在真三维显示器上可直接看到三维影像，可以通过透明的皮肤或骨架查看病人；医师可以指定探针模拟器配置，直接投射模拟激光束到解剖结构的病灶或肿瘤位置，即医师可以完全控制模拟光束的空间位置和进入方向。

一旦手术规划医师选定了探针模拟器的配置参数，对应这束配置的计算结果将被发送到真三维显示器上。真三维影像模拟病人的器官位置，使得病人解剖结构的三维立体影像和肿瘤部位都能呈现在立体显示器上。医师控制安装在龙门结构上的探针模拟器，使此探针模拟器发射红色激光。手术规划医师可根据可视化的结果，全方位观察探针与正常组织、纤维束的位置关系，确认手术对正常组织的破坏程度，不断修改探针模拟器的配置。

立体三维图像和模拟激光束相结合，使医师能够调整和选择交互式配置和参数，以获得最佳参数配置，避免光束代表的探针对邻近的健康组织和纤维束造成潜在的损害。

在确定探针模拟器配置后，计算机测量出已确定的最佳角度和进入量，供医师进一步审查、修改治疗计划。整个规划过程非常直观，便于学习和掌握，医师甚至可以将最终确认的计划直接讲述给病员和家属，使病员和家属能够直观且充分地了解手术过程和风险，减少医疗纠纷。基于真三维显示互动的手术治疗流程如图6所示。

图6 基于真三维显示互动的手术治疗流程

解剖图与肿瘤器官的三维影像漂浮在真正的三维空间，如同真实的物体，有正确的三维空间关系。医师无需任何特殊的眼镜便可以从各个方向观看影像。这些功能为手术规划医师提供了直观的视觉信息并帮助医生更好地理解病人的具体解剖情况。

2 实验

在真三维显示器上显示的三维影像拥有“透视”功能，这意味着器官的外部图像不会遮挡其内部图像。“透明度”功能允许医师看到肿瘤和其周围的健康器官与探针之间的详细空间位置关系，从而大大提高医师对这些元素间的空间位置理解。交互式可视化解剖结治疗装置如图7所示。

本实验针对单个病例，获取256张MRI断层图像，在分割及预处理后对病灶位置进行人工标记，并对断层图像构成的三维点云进行重采样，最终向真三维显示器传送体数据。

在互动规划中，位置跟踪传感器安装在龙门激光束处，激光束代表的探针可自由移动到病人组织周围，因此规划者可以操控病人的解剖三维影像。图7展示了一套交互式可视化解剖治疗装置。规划医师控制激光束，直接与同真人等大的病人三维解剖结构进行影像互动，从而选择探针模拟器的最佳配置。

3 结论

在手术中，良好的治疗计划要求对正常组织的损伤尽可能少。脑内的功能组织和重要的纤维束错综复杂，医师若想通过传统的2D显示屏幕制定最好的治疗计划是很困难的。作为一种可视化工具，真三维显示技术超出了现有的基于平面显示的立体技术，真三维显示器能以1∶1的3D线索让医师更迅速和容易地了解病灶、组织和探针的空间关系。真三维显示技术在很大程度上克服了常规CT或MRI显示的弊端，使医师能够以真正的3D形式感知和操纵探针，确保了治疗规划过程的安全性和有效性。真三维显示能提供独特的“直接互动”，这使其成为脑外科微创手术治疗规划的理想工具。相信真三维显示技术有潜力改变当前基于临床实践的治疗规划方式，可以建立更有效的信息平台，从而帮助医师进行脑瘤、血管疾病和功能疾病治疗规划。

[1] COSSAIRT O S，NAPOLI J，Hill S L，et al.Occlusion-capable multiview volumetric three dimensional display[J].Applied Op⁃tics，2007，46（8）:1244-1250.

[2] GATELY M，ZHAI Y，YEARY M，et al.A three-dimensional swept-volume display based on LED arrays[J].IEEE Journal of Display Technology，2011，7（9）:503-513.

[3]MIYAZAKID，HONDA T，OHNO K，et al.Volumetric display system using a digital micromirror device based on in⁃clined-plane scanning[J].IEEE Journal of Display Technology，2010，6（10）:548-552.

[4] 田丰，徐劼敏，刘锦高.低成本真三维显示器的构建[J].华东师范大学学报，2009（4）:115-123.

[5] REFAI H H.Static volumetric Three-Dimensional display[J]. IEEE Journal of Display Technology，2009，5（10）:391-397.

[6] SULLIVAN A.3-Deep:New displays render images you can al⁃most reach out and touch[J].IEEE Spectrum，2005，42（4）: 30-35.

[7] 田丰，潘浩，张文俊.真三维显示在未来教学中的应用展望[J].电视技术，2012，36（12）:35-38.

[8]丑武胜，王田苗.面向脑外科微创手术的医疗机器人系统[J].机器人技术与应用，2003（4）:18-21.

[9] 杨忠，李莉，鄂龙慧，等.基于数字微镜的旋转体扫描3维显示系统[J].中国图象图形学报，2010，15（1）:149-154.

[10] 岳键，樊琼剑，沈春林.体扫描显示系统中螺旋旋转屏及螺旋切片生成算法[J].中国图象图形学报，2011，16（8）:1466-1473.

M inimally Invasive Brain Surgical Plan Based on Volumetric 3D Disp lay

XIA Xue1，TIAN Feng1，WANG He2
（1.Department of Film and Television Engineering，Institute of Film&TV Arts and Technology，Shanghai University，Shanghai 200072; 2.Applied Science Lab.，GE Healthcare，Shanghai 201203）

A method of surgery planning based on volumetric 3D display is proposed to break the limitation of 2D display.3D images in accordance to brain spatial structure without dead vision are demonstrated by the volumetric 3D interactive display based on rotating multi-screen.Demonstrated in the experiments,volumetric 3D display technique has an extensive future on brain surgery planning,and it is able to provide simulation platform that is identical to the physical size for surgery planning.

volumetric three-dimensional；rotating multi-screen；brain surgery planning

TN873.2；G434

A

��雨博

2013-06-10

【本文献信息】夏雪，田丰，王鹤.基于真三维显示的脑外科微创手术规划[J].电视技术，2014，38（4）.

上海市教育委员会科研创新项目（12YZ008）；上海大学创新基金项目（sdcx2012045）