支持力反馈的肝脏手术虚拟仿真及研究

范林龙，周新华，李 毅*

(1.温州大学 计算机与人工智能学院，浙江 温州 325035；2.宁波市医疗中心李惠利东部医院，浙江 宁波 315000)

0 引 言

虚拟现实(Virtual Reality)利用计算机图形学技术使用户能够真实地沉浸于虚拟构造的三维场景中，通过引入多模态感知，用户可以在视觉、听觉、触觉、嗅觉等虚拟仿真技术所构造的业务场景中进行漫游，成为仿真交互的计算机前沿科技。结合如HTC Vive、Microsoft Hololens等头盔式显示设备(Helmet Device)，用户能够轻便地置身于虚拟场景，实现与虚拟场景物体的动态交互，感受虚拟世界所带来的知识学习与视觉震撼。虚拟现实技术能够有效地应用于医学仿真、教育培训、影音娱乐、军事模拟等多个领域，为人类的生产生活提供智能化数字交互的便利，受到了研究人员的广泛关注。特别是在医疗培训仿真领域，引入虚拟现实技术能够有效提高实习医生的临床的理论知识学习与临床模拟手术的业务操作技能，避免了真实手术场景中技能不熟练所导致的医疗风险，缩短了培训周期，感受虚拟手术仿真所带来的可试错的优势。

1 相关工作

虚拟现实技术需要设计并重建逼近真实环境的应用场景，在实际的虚拟仿真应用中需要借助外部显示设备来进行高沉浸感的漫游体验。此外，由于硬件设备的视觉呈现处理效率与交互设备的制约，也直接关系到虚拟漫游的体验与实时交互的正确率与刷新率。如何快速有效地构建三维空间漫游场景与模型的真实构建、并克服空间场景模型的自然交互所获取的感官体验成为研究人员对虚拟现实技术关注的热点。为此，国内外相关学者对以上问题进行了深入的研究。由于虚拟现实应用场景非常广泛，此处仅对医学领域的仿真进行阐述。在医学场景模型构建领域，为了使手术模型能够真实地反映实际应用场景，研究人员早在二十世纪八十年代便提出了基于医学CT影像的三维重建方法。为了提高CT影像的三维重建效率，借助GPU并行计算的加速手段取得了良好的效果。一些研究人员也通过使用当今热门的深度神经网络进行CT影像的多分辨率特征提取，保留了更多的病理元素及病灶细节。文献[4]提出了一种基于局部线性变换的三维重建方法，能够将X射线成像所得的光学影像分割成多个能量区块，并在空间中对恒定的先验知识区块进行组合，其保留了大量的特征细节。在虚拟现实交互仿真领域，力反馈交互能够为漫游体验者带来真实的触觉反馈，因此广泛应用于医学虚拟仿真领域，如基于渗透深度计算的牙齿手术力触觉仿真、柔性血管接入的手术仿真、多通道协同的触觉交互手术仿真、触觉交互系统中的模型切割仿真与支持力反馈的沉浸式环境学习评价等技术的发展对于深度沉浸的手术仿真提供了大量的技术实现手段。目前针对图像的三维重建研究也逐渐趋向于采用机器学习提取图像特征从而对图像序列进行特征匹配的重建方法。基于力反馈的手术仿真系统及技术的研究成为广大科研工作者所关注的领域。

以上基于医学模型三维重建及触觉交互仿真技术的提出，为构建虚拟现实场景的手术交互提供了理论基础。为此，围绕头盔式虚拟手术漫游的应用场景，该文提出了一种基于力反馈的肝脏虚拟手术仿真系统，通过肝脏医学CT影像的三维重建获取人体肝脏模型，并引入头盔式虚拟漫游设备，构建了人体肝脏手术的虚拟仿真应用实现，为医学手术培训仿真提供了一种有效的应用场景解决方案。

2 支持力反馈的肝脏虚拟手术仿真构建

2.1 主要实现流程

该文设计的支持力反馈的肝脏虚拟手术仿真实现流程主要包括CT影像的肝脏三维重建、空间场景构建、实时动态交互设计、反馈力的手术操作仿真。虚拟仿真环境搭建完成后，用户能够通过头盔式显示设备HTC Vive Pro及其所配备力反馈手柄在虚拟手术场景中进行肝脏手术切割的沉浸式知识学习及实际操作训练，其总体框架如图1所示。

图1 总体框架流程

具体流程如下：

肝脏模型重建：为了增强虚拟手术的高度沉浸感，利用肝脏器官的CT影像进行手术模型的最大密度投影(MIP)三维重建，结合CT断层扫描的二维图像的预处理与特征匹配，获取VR场景所支持的肝脏三维模型文件格式。

空间场景构建：构建头盔式VR场景漫游的真实手术场景，包括场景环境、模型构建、纹理贴图等，灵活的可扩展性为后续仿真交互提供便利。对于待展示的空间模型进行建模，可以通过使用Unity 3D内嵌几何模型工具进行简单模型的生成，或者利用3D MAX、MAYA、BLENDER等第三方建模工具进行模型创建。

手术动态交互设计：主要是设计不同手术器具的交互方式及碰撞响应结果、手术操作过程、信息提示等，方便用户通过VR头盔设备进行手术仿真操作。

支持力反馈的手术仿真：基于支持力反馈的手柄震动响应，针对手术过程中不同器官的虚拟刚度设计不同的震动频率，以达到触觉交互的目的。

最后，通过Unity 3D及Steam VR所对应设备的空间位置设定，打包生成所对应VR头盔设备可运行的应用程序，实现支持力反馈的虚拟手术仿真系统。

2.2 肝脏CT影像三维重建

电子计算机断层扫描(Computed Tomography，CT)是一种利用精确准直的X线束、γ射线、超声波等，通过高灵敏度探测器围绕人体某一器官所在外部表面进行断面扫描的技术，具有扫描速度块、图像清晰等特点。医生通过利用CT影像能够准确地检查有关病灶特征，根据人体组织器官和病变部位的图像，为疾病的诊断提供依据。CT影像本质是一种平面结构，它通过每间隔1～2厘米，对器官部位进行每一个断面扫描，而CT的三维重建是在扫描断面的基础上进行图像处理，获得器官准确的三维模型的过程。通常，CT影像三维重建会根据扫描层图像的二维数据序列进行预处理，包括图像的滤波、增强、复原、插值等方法，接下来对于关键特征区域进行分割，从而确保所要重建器官与其他不相关组织器官的完全分离。然后对所分割区域进行特征点匹配的可视化映射操作；最后通过三维模型的三角网格化处理机型面绘制和体绘制得到重建的器官三维模型，具体流程如图2所示。

图2 CT三维重建算法流程

为了满足学习者能够体验真实手术沉浸感的要求，需要利用实际病例的CT三维重建肝脏模型进行仿真交互，临床病例CT影像的肝脏病灶模型三维重建结果如图3所示。

图3 临床肝脏病灶模型三维重建结果

2.3 空间场景构建与交互设计

构建头盔式VR场景漫游的真实手术场景，为了尽量避免由于VR头盔显示设备长时间佩戴给用户带来的眩晕感，交互空间场景的设计采用定点漫游方式，用户可以通过定点跳跃的方式进行交互场景的选择，包括三个场景：肝脏临床病例选择与信息查看、肝脏各组成部分的知识学习、实时动态交互的手术操作。场景漫游设计采用视角小于270度的平面环绕及垂直视角小于180度的视野区域，此设计使用户注意力集中于手术交互操作中，避免视角的大范围变化所导致眩晕等症状的产生，适宜长时间佩戴头盔进行手术仿真操作。场景设计可采用第三方三维软件进行建模及贴图设计，如Blender、3D Max、Maya等。本实验场景采用Unity 3D构建，因此，场景模型及空间元素的增加也能够为后续迭代设计提供灵活的可扩展性。

设计不同手术器具的交互方式及碰撞响应结果，针对不同的业务流程，选择不同虚拟手术设备的响应方式与碰撞响应结果。此过程中，系统设计初学者模式与专家模式，其中初学者模式具有空间文字信息提示，便于用户学习并熟练掌握手术的操作。具体手术场景操作构建如图4所示。

图4 构建的手术场景与手术交互信息提示

2.4 反馈力触觉交互

对于复杂场景下虚拟交互模型的触觉反馈系统，还存在诸多的技术难点和挑战。首先，需要高效的碰撞检测技术来满足虚拟交互的实时性要求。高复杂度不规则几何模型间的碰撞检测运算非常耗时，对于触觉渲染系统的高频率响应很难完美地达到实时的一致性响应；其次，触觉渲染系统包括图形渲染和触觉设备响应两个处理周期，如何高效统一渲染过程的算法刷新率，对于提高触觉反馈系统的稳定性至关重要。

设计动力学控制模型：根据数据特征采集并优化的结果，针对虚拟交互的动态特点，分析并设计具有自适应虚拟刚度、局部低速阻尼限制、加速冲量控制单元的动力学触觉渲染系统。通过采用基于位置的阻尼状态来构造局部接触点的动态力输出模型，以适应不同场景下触觉交互的动力学控制需求，如下式：

其中，

n

为[1,2]之间的一个无单位常量，用于反映不同材料和接触面的几何特性。从模型所得到的系数

K

,

B

并不是模型中的相似量，可以认为

Kx

和

Bx

是基于位置的弹性刚度和阻尼常量。针对交互模型设计不同的虚拟刚度及阻尼，并结合HTC Vive Pro手柄通过计算接触力以输出不同的震动频率。

3 实验结果与分析

为了测试本算法的适用性和有效性，选取不同类型的图片用文中算法进行处理，得到了目标图像的动态增强现实实验结果。除特别指出之外，该文涉及的全部实验所用软、硬件平台如下所示：

软件平台：Windows 10，64位操作系统，Unity 3D，编程语言C#；

硬件平台：Intel® Corei9-9900KS CPU @ 4.00 GHz，64 G内存，HTC Vive Pro。

支持力反馈的头盔式VR虚拟手术操作应用实现过程中，利用Unity 3D进行空间三维模型的创建，针对肝脏模型不同部位的反馈力计算并设定震动频率，结合Steam VR进行打包生成沉浸手术虚拟仿真应用。沉浸式手术交互的实际场景与手术实时交互场景如图5所示。

图5 实际场景与手术实时交互实验场景

其他实验场景如图6所示。包括肝脏临床病例选择与信息查看；肝脏各组成部分的知识学习；实时动态交互的手术操作。场景漫游设计采用视角小于270度的平面环绕及垂直视角小于180度的视野区域，此设计使用户注意力集中于手术交互操作中，避免视角的大范围变化所导致眩晕等症状的产生，适宜长时间佩戴头盔进行手术仿真操作。该算法的提出，为当下医学培训仿真提供了又一维度的信息呈现，在枯燥静态信息获取的同时，展示了其动态原理的展示结果，能够增强用户对于医学理论原理的理解，增强学习的探究性与趣味性。

图6 其他手术操作实验场景

实验结果与分析：实验过程中，可以通过调节力反馈设备的Trigger控件的时间来控制震动的频率，默认为0.5秒持续震动。实验结果表明，在力反馈手柄绑定手术器具，并与人体器官模型交互的过程中，能够感受真实的震动力反馈，使用户在视觉和触觉双通道下感受真实的手术操作流程，便于空间定位并避免交互过程中的穿透现象发生。尤其是在震动频率可调节的情况下，针对不同组织器官可以感受不同的震动频率。本实验在轻量的震动力反馈中提供了肝脏手术的虚拟仿真体验，相对于采用昂贵的力反馈设备，该系统能够在深度沉浸感的虚拟手术体验的同时带来良好的支持力反馈效果，不需要考虑虚拟刚度与阻尼等触觉反馈设备所带来的不稳定性影响。

4 结束语

该文提出了一种基于支持力反馈的肝脏虚拟手术仿真系统，针对临床病例的病灶特征，通过肝脏医学CT断层扫描影像的获取及处理，获得基于VR虚拟现实漫游系统所需三维重建人体肝脏模型；通过真实手术场景的设计与手术操作的模拟仿真，设计了一套包括肝脏病理知识学习与实际手术切割缝合的仿真系统，并引入头盔式虚拟漫游设备及力反馈的震动手柄，进行了人体肝脏手术的虚拟仿真应用系统实现，为医学手术培训仿真提供了一种有效的应用场景解决方案。实验结果表明，该方法能够有效应用于基于CT影像三维重建的虚拟漫游场景呈现，尤其是在医学手术培训仿真领域，具有很强的应用创新价值。然而，该方法还具有一定的局限性，未来将继续此领域的应用创新与算法研究，包括引入基于补偿力反馈的触觉设备的手术仿真、基于柔性体虚拟复合刚度的触觉交互算法。