虚拟显微白内障手术系统人机交互接口设计

戴 莎，司伟鑫，钱银玲，郑 睿，王 琼，徐东亮，彭延军，王平安3,

虚拟显微白内障手术系统人机交互接口设计

戴 莎1,2，司伟鑫2,3，钱银玲2，郑 睿2，王 琼2，徐东亮1，彭延军4，王平安3,2

(1. 武汉理工大学机电工程学院，湖北 武汉 430070；2.中国科学院深圳先进技术研究院深圳市虚拟现实与人机交互技术重点实验室，广东 深圳 518055；3. 香港中文大学计算机科学与工程系，香港 999077；4. 山东科技大学信息科学与工程学院，山东 青岛 266590)

基于虚拟现实技术的显微白内障手术仿真训练系统对显微环境下眼科手术操作培训具有重要的意义。为此，设计并搭建了一套具有高度沉浸感的虚拟显微白内障手术训练系统的软硬件环境。硬件部分系统以HTC Vive，Geomagic Touch X为硬件基础，设计手术器械转换接口以搭建高保真手术操作环境；软件部分采用基于位置动力学方法(position-based dynamics)模拟手术过程中眼角膜软组织的变形、穿刺及缝合操作，并采用GPU并行计算对手术仿真过程进行加速。最后，实验结果表明该系统可以实现自然的显微眼科手术人机交互环境，使年轻医师获得高沉浸感的真实手术训练体验，从而达到一定的培训效果。

显微白内障手术；虚拟训练系统；交互式仿真；人机交互接口

白内障是我国首要致盲眼病，约占盲人总数的一半。据统计，目前我国至少有400万因白内障致盲的患者，而且因白内障致盲的人数还在以40万例/年的速度逐年增长。随着老龄化人口的不断增加，更是促进了白内障发病率的升高。目前，通过显微眼科手术摘除浑浊晶状体再植入人工晶状体是治疗白内障最有效的方法[1-2]。但与白内障发病率不断增加相对应的却是我国眼科医师短缺和教育培训方法的滞后，2013年全国白内障手术160万例只有印度的四分之一，与发达国家的白内障手术率相比更是相差甚远[3]。造成这种状况的原因，除了眼部结构的复杂、精细，大多处结构不可修复外，还因为手术过程需要在显微镜下操作，视野较小操作空间局限性大，需要医生手眼协调才能较为精准的实施手术。所以眼科手术往往面临操作难度大，手术培训周期长以及培训成本较高等问题。而且实习医生在培训期间手术操作机会较少，像白内障摘除术和青光眼小梁切除术等内眼手术的操作机会几乎为零，缺乏经验。所以如何高效、快速、精准的培训医生熟练掌握显微白内障摘除术等内眼手术成为解决我国眼科医师短缺问题的一个关键。

传统的眼科手术培训一般是在上级医师的指导下在临床实践中学习，利用动物眼和人造眼球进行手术训练[4]。该方法除了显微环境的局限性限制了手术的指导外，更由于动物和人造眼球与人眼材质的差异性大大降低了手术培训的有效性，还需耗费大量的成本和培训周期。而基于虚拟现实与计算机仿真技术的虚拟手术培训系统的不断发展对显微眼科手术的培训带来了新的机遇[5]。有学者对基于虚拟手术模拟器培训显微白内障手术的效果进行了研究，通过手术模拟器对医生群体进行培训，实验表明了手术模拟器在医生培训中的有效性[6]。而且基于虚拟现实技术的手术培训系统还可以有效的降低医生训练成本和节省训练周期，实现了最大限度的医生培训，加上其逼真的虚拟场景和真实的手术体验成为培训医生手术操作的有利训练工具。

本文设计了一套具有高度沉浸感的显微眼科手术训练系统，包括软硬件环境2个部分，硬件部分以HTC Vive，Geomagic Touch X为硬件基础，配合相应的硬件装置搭建了一套低成本、实用性强的人机交互接口装置；软件部分环境采用基于位置动力学方法(position-based dynamics)实现了统一的物理仿真框架，模拟手术过程中的软组织变形、穿刺及缝合操作，较好的整合了3个模块的仿真。并采用层次包围盒(bounding volume hierarchies, BVH)来实现操作过程中的碰撞检测，采用GPU并行计算对手术仿真过程进行快速计算。不仅提高了手术培训系统的逼真度，还可以获得如现实手术一般的沉浸感和自然、真实的手术体验，对我国显微环境下眼科手术操作培训系统具有重要的意义。

1 相关工作

国外对虚拟现实技术研究较早，基于眼科手术训练系统方面的研究相对成熟，目前已实现较多白内障手术训练模块并可以成功用于医学培训的主要是以下3款系统。德国VR magic公司研发的Eyesi眼科手术训练系统，该系统可以应用于玻璃体视网膜和白内障手术的训练，包括的模块有：夹持、撕囊、超声乳化和人工晶体植入等。而且研究表明可以对白内障手术过程中的关键步骤进行有效训练，是目前市面上唯一通过同行评议可以用来练习玻璃体视网膜和白内障眼科手术的仿真系统[7]。国际非营利组织开发的HelpMeSee白内障手术训练平台是一套专门用于小切口白内障手术(manual small incision cataract surgery，MSICS)的训练平台，该系统模拟了上百种难易程度不同的手术场景来帮助医生针对不同的病情诊断和手术方案的制定工作。MicroVisTouch系统是唯一一款支持触觉感应回馈的眼科手术仿真模拟器，该系统实现了全面视觉体验的仿真机，包括了手术设备、头部和眼睛，相比前2个系统具有更高的逼真度。在仿真功能上与Eyesi类似，主要用于白内障手术和玻璃体视网膜手术的训练。

国内，目前还没有一套市面上公认可用于实际眼科手术训练的系统，因为手术过程的复杂性和部分技术的难度较高等原因，进行此方向的研究还较少。浙江大学现代教育中心[3]研发的基于自然交互的白内障训练平台，利用Leap motion等算法实现了系统的人机交互功能，并模拟了手术过程中的撕囊、超声乳化玻璃体和晶状体植入的模拟功能。

此外部分研究人员对眼科手术仿真平台的部分模块进行了专项研究。LAM等[8]提出白内障手术中眼球和眼外肌的肌肉变形模型。COURTECUISSE等[9]提出一种用于白内障手术的碰撞检测方法。史双瑶等[10]提出了一种用于角膜模型软组织变形仿真的支撑球弹簧模型。

总之，目前国内外关于用于显微眼科手术训练系统的研究还尚有不足，主要是因为：①关于显微眼科手术训练系统的研究技术还不够成熟，真正可以投入市面用于实际显微手术训练的系统少之又少，尤其对于国内而言几乎没有，关于此方向的研究较少；②考虑到整套手术的复杂性，目前的研究虽然在部分模块上已见成效，比如针对碰撞检测、肌肉变形等，但是却不能将这些模块整合在一起；③针对交互方面的研究还有待提高，现有的例如通过Leap motion手势体感控制器来追踪虚拟手势器械的操作等，手术体验较差。

2 白内障手术训练系统

本系统旨在提供高保真的白内障手术训练系统，以虚拟现实技术为基础，模拟真实手术环境中眼科医生通过光学显微器械观察手术对象，使用多种手术器械，如开睑器、穿刺刀、缝线结扎镊等，完成白内障手术中的穿刺、缝合手术步骤。真实的交互方式和逼真实时的视觉反馈是保证训练系统有效性的关键要素。本系统可以分为软硬件2个模块，软件模块包括角膜变形模拟、角膜穿刺模拟和角膜缝合模拟，通过基于PBD的统一仿真框架实现白内障手术中眼角膜和手术器械的交互仿真，保证了仿真过程的真实感和实时性；硬件模块包括显微显示装置、显微控制装置和手术器械跟踪定位装置，以HTC Vive，Geomagic Touch X为硬件基础，从逼真的视觉反馈和交互方式2个方面保证了系统的体验感和真实度，具体的系统框图如图1所示。

图1 系统框图

2.1 基于PBD的统一物理仿真

本文采用基于位置动力学方法(position based dynamics，PBD)实现了统一的物理仿真模块。PBD提供了一种基于位置的动力学仿真框架[11]，其基于统一粒子的方法，通过约束连接的粒子作为整个系统的基本构建块，可以实现所有模块的数据统一。系统能够以统一的方式处理各模块间的接触和碰撞，自然地实现各模块和手术器械的交互仿真。相比其他仿真框架采用不同的方法实现各个模块的仿真，虽然单个模块的仿真效果较好，但是却不能避免模块间同步带来的各种问题，所以基于PBD的统一模块具有更高的稳定性和效率。

同时基于位置动力学方法可以忽略内力直接计算点的位置，通过粒子和粒子间的约束(如距离，角度等)对仿真对象的运动进行建模，在迭代求解过程中，不断通过约束纠正粒子位置，形变过程的可控性更强。而且算法较为简单，求解快，并行性好，适用于仿真过程交互性较强的环境[12-14]。此外为了支持高精度模型仿真过程中精确高效的碰撞检测，系统使用模型的层次包围盒(bounding volume hierarchies, BVH) [15-16]对碰撞检测进行加速。

2.1.1 角膜形变模拟

本系统中眼角膜使用三角网格进行表达，因此仿真算法直接以三角网格的顶点作为PBD的粒子集，并在此基础上设置粒子间的约束[17]。由于眼角膜自身具有一定的弹性和硬度，为模拟此属性，算法分别添加相邻顶点的距离约束和相邻三角面片非公用顶点的弯曲约束。

本文基于基本的PBD表达，可以实现与镊子的交互，例如按压和夹取等动作。在仿真过程中，当系统检测到碰撞事件，可以计算出镊子与眼角膜网格的相交点，当镊子继续向软体内移动时，软体表面局部范围内的PBD粒子会跟随镊子向内移动，产生按压的效果。同样进行夹取操作时，局部范围内的PBD粒子会跟随镊子向外移动，进行夹取。图2为软体按压和夹取时的变形效果，可以看到2种不同操作下，软体的变形均能展现逼真的角膜软体特性，网格变形稳定。

(a) 按压 (b) 夹取

2.1.2 角膜穿刺模拟

在穿刺过程中，穿刺刀会改变角膜表面网格的结构，而系统的物理模拟是建立在表面三角网格的基础上。因此为了实现穿刺仿真，首先需要根据穿刺操作更新表面网格，然后根据新生成的角膜表面网格更新PBD模拟的约束，以保持物理模拟的一致性。

在穿刺时系统通过碰撞检测记录手术刀开始穿刺时的位置。手术刀在穿刺时可以看做是一条线段，通过记录上一帧以及这一帧的2条线段构建出一个平面，判断模型哪些线段与此平面相交以及相交所产生的点，通过相交点重新生成三角面使平面两端分离，产生切口[18-19]。切口处会发生碰撞检测，通过BVH检测到表面网格与刀面相交的三角面及其交点，如图3(a)所示。然后对表面每一个相交的三角形进行重构，同时对交点做一次复制，以适应切面两端的三角化，如图3(b)所示。最后根据表面的拓扑结构，修改粒子与粒子之间的约束关系，使其与表面网格保持一致。

(a) 网格断裂 (b) 三角形重构

为了使系统的模拟更加真实，切口形成后需要重新构建PBD的约束。通过三角网格模型的更新，PBD约束会根据三角面更新而不断修改来维持粒子的拓扑结构，保持穿刺过程中的软体形变。具体穿刺仿真图如图4所示。

图4 穿刺过程

2.1.3 角膜缝合模拟

本文采用基于PBD框架实现统一的仿真模块，同样采用基于PBD表达的缝合线，并设计相应的约束模拟缝合线的运动。在缝合过程中，缝合线会影响穿孔周边的角膜PBD粒子位置，从而导致角膜的变形。在缝合结束时，缝合线缩短会导致起切口的相互靠近，完成缝合。

缝线结扎镊通过碰撞检测判定夹持缝合针，缝合针是刚性模型，当缝合针开始向软体移动进行缝合操作时，其与软体接触触发碰撞检测。针尖的第一个检测点的位置生成一个穿刺点并储存交点信息，附近一定范围内的PBD点与其绑定，当缝合针继续穿入时，绑定的PBD点会跟随穿刺点进行移动使软体表面产生一定幅度的变形效果。缝合针模型上均匀排列着无数检测点，当1号检测点的移动超出穿刺点一定范围时，穿刺点会滑向2号检测点。穿刺点记录的信息不断更新为之后检测点的交点信息，并依次向后面的检测点滑动直到完全穿过软体，如图5所示。图6是缝合过程示意图，缝合线由无数检测点以一定的间隔连接构成。相邻的粒子之间存在角度约束以及距离约束，缝合线的头部与缝合针的尾部相连。当缝合针完全穿过软体表面时，穿刺点开始滑向缝合线上的检测点，并随着拉线过程依次向后面的检测点移动。

图6 缝合过程

在具体的缝合过程中，通过缝线结扎镊夹持缝合针进行操作，针尖与角膜软体表面网格之间发生碰撞检测时出现如图7所示的红色小球标记点，以此来记录碰撞点的位置。当缝合完毕，用打夹器固定缝线一端，便于拉紧缝线如图7(d)所示，可以看到拉紧缝线后的软体出现重叠逐渐合拢切口，直到软体间的碰撞检测作用而停止运动。最后用剪线钳剪断缝线完成缝合，具体仿真画面如图7所示。在缝合过程中角膜软组织保持高逼真的变形，为高沉浸感的手术环境提供了良好的基础。

(a) 缝针进入端检测点 (b) 缝合第1针