虚拟和增强现实技术在肝脏外科中的应用

王壮雄 李林容 王芳元 杨涛 郑嘉玲 杨剑

南方医科大学珠江医院肝胆一科（广州 510282）

原发性肝癌（hepatocellular carcinoma，HCC）是危及我国人民健康的重大疾病，目前以肝癌切除术为代表的外科治疗仍是原发性肝癌的首选治疗方法［1⁃2］。以往，术者需要通过想象将患者术前的二维CT或MR等断层影像信息转化为三维立体图像，而医学图像处理技术的进步使得二维影像资料可以直接准确地重建成肝脏三维立体模型；同时术中显示技术的应用，可以实现三维重建模型术中指导。但是，将术前3D医学图像无缝衔接到实际手术过程当中是十分困难的，现阶段依然存在着空间和时间上的分离，这就导致了同步性不足，从而引起术者的手眼不协调［3］。近年来，虚拟和增强现实技术的应用为减少三维重建模型和实际操作空间之间的不确定性提供了新的方法，在肝脏外科术前规划、术中引导、外科教育、医患沟通等多个方面都有明显优势和广阔前景。本文将探讨虚拟和增强现实技术在肝脏外科应用的可行性、临床影响及发展趋势。

1 虚拟和增强现实技术概述

虚拟现实（virtual reality，VR），是指利用计算机对现实场景进行三维模拟仿真的虚拟环境，集成了计算机图形、三维建模仿真技术、传感技术、人工智能、显示技术等，可提供使用者关于各种感官的模拟，进行可视化操作与交互［4］。理想的VR技术将实现人、虚拟环境及现实环境三者之间的正常交互，使用户产生身临其境之感。其主要技术框架包括：（1）计算设备，实现虚拟现实场景的逻辑计算和图像渲染；（2）展示设备，依托高清屏显技术实现虚拟场景的清晰化输出，由立体光学成像实现三维立体化；（3）辅助设备，包括各种光学传感器智能化定位和手眼追踪等。增强现实（augmented reality，AR），发展于VR技术，是将虚拟的场景叠加到真实场景中，实现对现实的增强，是一种结合图像识别、虚实融合、人机交互、三维显示等关键技术实现对自然世界感知、交互、反映的混合技术。

VR、AR技术都属于数字感知技术，利用数字化手段捕获、再生或合成各种来自外部世界的感官输入，从而达到一种身临其境的沉浸感。它们的不同在于：VR技术是采用计算机图像技术对物理世界的实体信息进行模拟、仿真，即把现实世界变成虚拟世界；AR技术则是借助计算机图形技术和可视化技术产生物理世界中不存在的虚拟对象，并将虚拟对象准确“放置”在物理世界中，即把虚拟世界变成现实世界的组成部分［5］。由于单个技术无法应付各种复杂的应用场景，AR技术与VR技术作为数字感知技术的两个分支常常合用（合称VR/AR），在经过多年的技术储备和市场酝酿后，虚拟现实、增强现实产业逐渐形成。

VR技术最早出现于1962年［4］，然而在常规临床实践中的应用还处于起步阶段。许多VR模拟器已经被开发，大都利用三维重建、创建身临其境虚拟现实环境及3D打印技术等实现。（1）三维重建：首先需要获取虚拟模型数据源——高质量的图像，如薄层CT或磁共振（MR）扫描图像；然后进行图像分割、配准；最后使用图像处理软件进行映射［6］，得到个体化的3D可视化模型。（2）创建VR环境：将重建后的三维模型导入一个高质量的开发平台，平台支持头盔显示器的自由集成，以及安装了捕捉手和手指运动的传感器装置。所有三维重建操作以一种可视化虚拟现实环境的三维模型显示，用户通过头戴式显示器和VR眼镜融入一个3D VR环境［7］。（3）3D打印：该技术实现了虚拟物体向现实的转换，通过3D打印设备来真实还原3D场景细节。

2 VR/AR技术在肝脏外科中的应用

随着VR/AR技术的逐渐发展，VR/AR技术在医学领域中的应用越来越广泛。在教育方面，VR/AR技术已应用于虚拟实验室、临床技能培训、手术观摩学习等领域；在临床实践方面，VR/AR技术已应用于虚拟手术训练、手术规划及导航、康复治疗等临床工作；在基础研究方面，数字化虚拟人项目与虚拟现实技术结合可实现人体解剖信息的数字化。近年来虚拟和增强现实技术已逐渐应用于肝脏外科，主要包括以下三个方面：肝脏手术规划及术中引导、肝脏外科培训及教育、医患沟通。

2.1 肝脏手术规划及术中引导由于肝脏解剖结构复杂，肝内血管系统变异情况多，肝切除目前仍是一高风险手术，存在较高的并发症发生率与手术病死率［8］。基于患者薄层CT或MR数据的个性化肝脏、肿瘤及肝内管道三维重建模型，不但能够免去肝脏外科医生对CT或MR多帧二维图像复杂的图像综合、空间想象过程，而且能直观、清晰、多维度地显示肝脏病灶位置及其与肝内脉管的空间毗邻关系。在此基础上指导术前规划、手术模拟以及术中引导，可以缩短手术时间、提高手术的精确性和安全性。虚拟肝切除术已成为安全、精确肝切除不可缺少的工具［9］。

2.1.1 术前规划通过三维可视化软件，可对高质量肝脏肿瘤CT或MR图像数据进行三维重建。在三维可视化软件中，可充分了解肝脏脉管走行和变异情况，以及其与肝脏肿瘤的空间关系。通过三维可视化技术获取的3D图像模型，可根据需要进行肝脏、肿瘤与脉管的自由组合和适当透明化，进行放大、缩小、旋转，可多角度、全方位观察并分析肝脏脉管分型，了解其与肝脏肿瘤的空间关系，进行测量肝肿瘤与相关脉管的距离。同时，还可以进行自动化肝脏分段，观察肝脏肿瘤所属肝段、肝叶部位，进行虚拟肝切除，并计算虚拟切除肝体积和残肝体积［10］。张新俊等［11］对85例复杂性肝脏肿瘤患者进行三维可视化术前规划，通过研究证实了三维可视化模拟切除肝脏体积与实际切除肝脏体积统计学上具有相关性（P＜0.01）。华中科技大学同济医学院附属同济医院对28例大肝癌切除手术进行了回顾性分析，证实三维重建技术可以为复杂性肝脏肿瘤手术切除提供有力的支持［12］。在三维重建的基础上，还可以运用AR技术进行图像的呈现，如NTOURAKIS等［13］在AR技术的引导下进行结直肠肝转移癌病灶的定位，以方便精确手术方案的制定。

2.1.2 术中引导VR/AR技术应用于肝脏切除手术导航主要包括三维可视化、增强现实环境构建和3D打印三个方面。（1）三维可视化：肝脏外科医生可以将肝脏虚拟3D模型带入手术室，放置于主刀对面，在术中进行肝脏切除手术的间接实时引导。三维可视化技术辅助的肝切除术治疗原发性肝癌可减少手术损伤、降低术后并发症发生率、提高手术的有效性和安全性，使患者获得较好的预后［14］。（2）增强现实环境构建：相对于可透明化的虚拟肝脏3D模型，外科医生无法在真实肝脏术中实时了解即将遇到的脉管，将会增加意外出血的风险，AR技术的发展可以为肝脏外科医生提供一双穿透脏器的“透视眼”［15］。AR技术能够将术前肝脏3D模型和术中患者真实肝脏配准融合，无需医生在图像显示器和实际手术操作区域之间进行视野切换，改善了医生的手眼不协调的问题，真正实现肝脏切除手术实时三维导航，使医生提前预判即将遇到的重要血管或解剖结构，最大限度地保证手术安全。但是对于肝脏手术而言，由于术者的操作、患者呼吸运动等都会引起肝脏形变，这就需要精确的图像分割算法、合适的肝脏生物力学模型构建算法和导航注册配准算法等共同来解决。目前国内许多学者都在从事这些方面的研究，如笔者研究团队针对多模态图像肝脏肿瘤分割、肝脏生物力学建模等方面进行了初步研究和应用［16］。（3）3D打印：OSHIRO等［17］采用3D打印肝脏模型指导肝切除术，能够对关键部位快速识别和定位，通过精确定位病灶并确定手术切除平面，实时引导重要脉管的分离和肿瘤病灶的切除，实现了准确切除病灶和避免重要解剖结构的副损伤。

近年来，加速康复外科的发展使得腹腔镜肝切除术的应用越来越广泛。然而，外科医生对直接视觉和触觉反馈的丧失是目前腹腔镜手术的一大缺陷，将增强现实技术引入到腹腔镜手术可能是解决这一科学问题的可行方案［18］。在机器人肝脏手术中，机器人手术系统在术者及患者间增加了计算机界面，为虚拟增强技术创造了很好的平台［19］。我们可以通过在机器人身上安装光学影像追踪系统如内视镜照相机等仪器，在手术操作时可实时的获得虚拟模型和三维图像，以更加精确地指导手术的实施。PESSAUX等［20］发现VR技术可以叠映至达芬奇机器人的主操纵系统，从而实现最优的工具配位方案。在3台使用机器人的切除手术中，虚拟现实技术帮助实现了机器人对所有血管结构的精确快速识别，提高了使用机器人进行肝脏切除手术的成功率。将虚拟现实技术和机器人结合来实施手术将是未来医疗发展的一个趋势。随着显示传感技术、生物力学建模和目标识别算法的进步，虚拟和增强现实技术有望更加理想地应用于肝脏手术导航中。

2.2 肝脏外科培训及教学

2.2.1 解剖与教学解剖学的学习是外科教育的一个重要组成部分，了解肝脏分段、肝内门静脉和肝静脉之间的空间关系是安全实施肝脏手术的前提。传统尸体解剖是医学生解剖学习的金标准，但是其无法完全展示肝内血管的多发变异情况［21］。教学中应用虚拟现实技术能为学习者提供逼真的3D学习环境，使学习者更容易理解正常肝脏解剖及变异情况，打破了教学的时空限制，提升医学教学的水平［22］。第三军医大学第二附属医院肝胆外科在培训中使用三维重建软件进行肝脏解剖教学，试验组学员对培训的兴趣、知识的掌握以及解剖认知均优于对照组［23］。因此，采用虚拟现实技术进行肝脏外科学临床带教有助于提高学生学习效率，激发学习兴趣，加深对肝脏外科学的理解，值得在肝脏外科学临床实习带教中推广应用。

2.2.2 手术模拟良好的肝癌切除手术结果除了和精准的术前规划密不可分，还取决于肝脏外科医生精湛的手术操作技巧。然而传统的肝脏切除术的训练方法，如在塑料模型、实验动物上进行训练的方式都无法提供较为丰富、精细和个性化的案例供肝脏外科医生训练使用。因此，基于VR/AR技术的肝脏手术训练平台，一方面可以用来进行术前的诊断分析、方案设计、手术过程模拟和术后残肝体积预测分析，改变仅凭主观经验诊断、分析和设计手术方案的传统模式，提高手术的安全性；另一方面，可以在已确定的术前规划基础上，使医生能够在患者个性化的虚拟3D肝脏模型上进行安全、有效、反复的训练，提高技巧，确保术中操作的精度，同时避免在模型、动物或真实患者身上训练时手感的不真实和易引起医疗道德争议等问题。

另外，将触觉模拟技术引入到手术模拟过程中，一方面可以尽可能真实地模拟实际手术操作环境，让医生通过力反馈设备触摸并感知虚拟患者模型，在交互过程中锻炼手眼配合协调能力；另一方面还可以将有经验的医生操作手术工具时的视觉画面、手的运动和用力过程记录下来，作为训练教程，将真实的手术情景再现给年轻医生进行学习。在高仿真的虚拟肝脏手术训练环境中，学员可以与导师、同学进行实时交互，整个外科团队都可以参考相同的视觉信息进行学习和训练，最大限度地达到真实手术训练效果，缩短肝脏外科医生的培训周期［3］。

2.3 医患沟通医患沟通中的最大问题是医生和患者之间医学知识的不对等，在肝脏手术进行前，即使有医生的专业解答，患者及家属也很难从CT或MR图像中充分了解病情。使用忠实于患者的个体化肝脏3D模型和3D打印技术，可以让肝脏和相应的病变部位以1∶1比例的“实物”呈现在医生和患者及家属面前；同时医生还可以通过三维可视化仿真手术演示，在术前谈话中更直观、具体地向患者及家属说明临床病情、手术方案及可能的风险，让患者和家属对手术过程和手术风险有了充分“知情权”，进一步有助于患者积极配合后续治疗，和谐医患关系［24⁃26］。

3 展望

虚拟和增强现实技术作为一种高科技模拟技术已经被逐步开展并应用于肝脏外科中，它能够让我们获得更加精准全面的影像信息、更加直观具体的3D模型、更加通俗易懂的教学方式，进而更加精确地指导肝脏手术实施和教学训练。随着肝脏外科学、计算机科学、医学影像学等学科的进一步交叉发展，VR/AR技术将更好地融合应用于肝脏外科手术导航及虚拟手术系统构建中，必将给医疗界带来翻天覆地的革新与进步［3］。

［1］CHEN W，ZHENG R，BAADE P D，et al.Cancer statistics in China，2015［J］.CA Cancer J Clin，2016，66（2）：115⁃132.

［2］吴孟超，吴在德.黄家驷外科学［M］.7版.北京：人民卫生出版社，2010：1704.

［3］SAUER I M，QUEISNER M，TANG P，et al.Mixed reality in visceral surgery：development of a suitable workflow and evalua⁃tion of intraoperative use⁃cases［J］.Ann Surg，2017，266（5）：706⁃712.

［4］程凯，陈敏.虚拟现实技术在健康医疗领域的应用［J］.中国医院管理，2017，37（8）：45⁃47.

［5］郝英好.人机交互新模式，VR/AR/MR产业开始形成［J］.新型工业化，2016，6（8）：65⁃70.

［6］TANG J，XU L，HE L，et al.Virtual laparoscopic training sys⁃tem based on VCH model［J］.J Med Syst，2017，41（4）：58.

［7］SAMPOGNA G，PUGLIESE R，ELLI M，et al.Routine clinical application of virtual reality in abdominal surgery［J］.Minim In⁃vasive Ther Allied Technol，2017，26（3）：135⁃143.

［8］文天夫.规范原发性肝癌患者诊治，改善患者长期预后［J］.肿瘤预防与治疗，2017，30（1）：5⁃8.

［9］MISE Y，HASEGAWA K，SATOU S，et al.How has virtual hep⁃atectomy changed the practice of liver surgery？Experience of 1194 virtual hepatectomy before liver resection and living donor liver transplantation［J］.Ann Surg，2017.

［10］FANG C H，TAO H S，YANG J，et al.Impact of three⁃dimen⁃sional reconstruction technique in the operation planning of cen⁃trally located hepatocellular carcinoma［J］.J Am Coll Surg，2015，220（1）：28⁃37.

［11］张新俊，莫一我，王彦坤，等.三维手术模拟系统在复杂性肝脏肿瘤精准肝切除中的应用［J］.中国现代医学杂志，2016，26（4）：48⁃53.

［12］陈琳，罗鸿萍，董水林，等.三维重建技术在评估大肝癌手术安全性中的作用［J］. 中华外科杂志，2016，54（9）：669⁃674.

［13］NTOURAKIS D，MEMEO R，SOLER L，et al.Augmented reali⁃ty guidance for the resection of missing colorectal liver metasta⁃ses：an initial experience［J］.World J Surg，2016，40（2）：419⁃426.

［14］方驰华，陈青山，方程，等.三维可视化技术辅助的肝切除术治疗原发性肝癌的疗效分析［J］.中华外科杂志，2015，53（8）：574⁃579.

［15］PHUTANE P，BUC E，POIROT K，et al.Preliminary trial of augmented reality performed on a laparoscopic left hepatectomy［J］.Surg Endosc，2018，32（1）：514⁃515.

［16］SI W，LIAO X，WANG Q，et al.Personalized heterogeneous de⁃formable model for fast volumetric registration［J］.Biomed Eng Online，2017，16（1）：30.

［17］OSHIRO Y，MITANI J，OKADA T，et al.A novel three⁃dimen⁃sional print of liver vessels and tumors in hepatectomy［J］.Surg Today，2017，47（4）：521⁃524.

［18］BERNHARDT S，NICOLAU S A，SOLER L，et al.The status of augmented reality in laparoscopic surgery as of 2016［J］.Med Image Anal，2017，37：66⁃90.

［19］王晓颖，朱小东.术中影像引导在腹腔镜和机器人肝切除术中的应用［J］. 中华肝胆外科杂志，2017，23（11）：741⁃744.

［20］PESSAUX P，DIANA M，SOLER L，et al.Towards cybernetic surgery：robotic and augmented reality⁃assisted liver segmentec⁃tomy［J］.Langenbecks Arch Surg，2015，400（3）：381⁃385.

［21］MORO C，STROMBERGA Z，RAIKOS A，et al.The effective⁃ness of virtual and augmented reality in health sciences and med⁃ical anatomy［J］.Anat Sci Educ，2017，10（6）：549⁃559.

［22］王威巍，李靖，郑璐，等.三维重建技术在肝脏解剖及手术规范化培训教学中的作用［J］.中国医学教育技术，2017，31（5）：589⁃592.

［23］郝惠惠，陈闯，丁志龙，等.三维可视化教学在肝脏外科学临床实习带教中的应用研究［J］.中华医学教育杂志，2017，37（2）：243⁃246，316.

［24］李立恒，肖承江，黎超，等.Embosphere微粒球经导管栓塞治疗腹盆部肿瘤的疗效及安全性［J］.现代医院，2016，16（8）：1129⁃1132.

［25］卢丹，龚大范.青少年非酒精性脂肪肝危险因素分析［J］.现代医院，2016，16（3）：462⁃463，466.

［26］李嘉荣，李年丰.3D打印技术在肝脏肿瘤手术治疗中的应用［J］. 医学综述，2016，22（19）：3788⁃3791.