混合现实技术在胰腺外科领域中的应用

翟建新 胡苹苹 杨超 王峻峰 晋云

1昆明理工大学附属医院 云南省第一人民医院肝胆外科，昆明 650034；2云南省第一人民医院数字医学中心，昆明 650034

【提要】 混合现实技术是继虚拟现实和增强现实技术之后出现的一种新的数字全息图像技术，具有虚实融合、深度互动、实现异时空场景共存等特征，逐渐被各个学科所关注。近年来，随着医学数字技术的推广发展，混合现实技术在医学领域中的应用取得了很大的突破。本文主要介绍混合现实技术在胰腺外科尤其是教学领域中的应用现状。

现阶段无论是医疗技术的革新，还是临床教学的发展，都越来越需要高新技术的加持。以虚拟现实(virtual reality, VR)、增强现实(augmented reality, AR)、混合现实(mixed reality, MR)技术为代表的智能化数字医学技术迅猛发展，成功开启了虚拟和现实的新纪元，使得医疗行为变得更加可视化。MR作为VR、AR从虚拟向现实的延伸，其突出的互动性特征在医疗场景中得到了充分的发挥，在解剖教学、医疗操作培训、远程医疗教育等方面发挥了巨大的潜力[1]，被选定为高等教育界最受关注的6项新兴教育技术与实践之一[2]。从2014年起，我国住院医师规范化培训制度建设正式启动后，临床教学规范化受到了越来越多的重视，传统的医学教育模式已不能满足多样化的现代医学教育需求，MR技术利用其立体性、交互性、互动性特点，在心胸外科[3]、骨科[4]、肝胆胰外科[5]、泌尿外科[6]等临床教学中的应用得到了业内人士认可。

一、MR 技术的概念

随着计算机技术迅猛发展，“人机交互”学科建设取得了较为显著的效果，如利用头戴式设备，以纯虚拟数字画面代替现实世界的VR技术，以及将虚拟数字画面叠加到现实世界中的AR技术，但二者均不能完成虚拟与现实之间的互动，MR很好地解决了这个问题。MR是在现实世界、虚拟世界和用户三者之间搭建成具有真实性、互动性的可视化环境, 给用户提供一种沉浸式体验与交互，使用户能够通过缩放、设置透明化程度来突出重要方面而隐藏其他方面，并在物理世界中实现与数字世界交互，探索虚拟和现实的数字信息。

二、MR技术在胰腺外科领域中的应用

1．MR在胰腺解剖教学中的应用：胰腺属于腹膜后位器官，位置深，周围毗邻的重要血管多，因此胰腺手术的要点及难点之一是术前肿瘤的精准定位，肿瘤位置不同，相对应的手术切除范围也不同；难点之二是胰腺位置深，视野狭窄，周围血管复杂，术中需依靠 CT、MRI 影像在医师脑海中形成三维图像来实施手术，做到R0切除的前提下保留更多的胰腺组织和避免损伤血管，以及预防胰瘘的发生[7]。传统的胰腺解剖教学互动依靠教材、影像等在学生脑海中形成三维虚拟图像，但鉴于上述胰腺解剖教学难点，学生很难形成直观、深刻的认知，学习积极性不高。

经过多次改革和实践，目前认为，相较于传统的讲授式教学，案例教学法(case based learning, CBL)联合多学科诊疗(multi-disciplinary treatment, MDT)教学模式，可以显著调动学生的主观能动性，很大程度上提高了学员的学习兴趣及实践能力[8]。将MDT联合CBL教学应用于胰腺癌专硕学生教学中，学生对于胰腺癌基础理论理解更加深入透彻[9]；但CBL+MDT模式仍旧是以教授基础理论为主，缺乏胰腺立体形象的直观展示。将三维可视化技术应用于胰腺外科教学中，对于学生的临床理论知识以及影像资料的理解有很大的提升[10]。尤其在以追求病灶清除、脏器保护和损伤控制为目标的精准外科的教学中，更需要数字化、个体化的虚拟解剖的灵活运用。将MR技术有效地结合到胰腺外科解剖教学中，很大程度解决了这一问题。基于三维可视化的MR技术允许教师任意添加胰腺三维可视化数字素材(虚拟解剖)到不同的物理空间(现实环境)中，学生可以多维度去观察胰腺病变部位，对不需要的胰腺周围解剖部分进行隐藏，实现轻松专注于特定的解剖部位，并使用缩放和添加不同颜色来辨别胰腺、占位病变以及脉管结构关系，增强器官的立体感，对学生的理解和记忆有很大的帮助。MR的应用不仅可以使学员通过视、触、听直接与胰腺虚拟解剖样本和现实实物进行双向互动，而且通过交互式应用多维度获得胰腺相关解剖理论知识，并对相应的临床技能有了初步的认识。国外有学者研究表明[11]，相较于传统的人体解剖教学，将MR技术运用到解剖教学中可以有效减少教学时间。同时在这次席卷全球的COVID-19疫情中，美国学者Wish-Baratz等[12]发现，将MR技术运用到远程解剖课堂中能够极大地提高学生自主学习能力，学生可在线移动数字解剖模型进行学习。因此，将MR技术运用到胰腺解剖教学中将极大地提升教学效果。

2．MR技术在胰腺疾病诊断、术前手术规划与模拟中的应用：MR利用其三维可视化特点，可以将胰腺周围复杂的解剖结构直观、清晰地展现在医师眼前，通过体位的旋转、不同解剖组织透视化程度的调整对比，清楚地将胰腺、占位病变部位、周围血管及胆管的三维立体结构暴露出来，可准确显示肿瘤的形态及侵及范围，对于胰腺肿瘤的良恶性诊断以及侵犯程度的判断有很大的帮助[13]。

3D打印技术可以实时全方位旋转，清晰显示肿瘤大小及与周围血管、脏器空间毗邻关系，还能行术前手术入路的多次演练，优化确定个体化手术方案[14]；但对于多个手术方案的演练，需要多个3D打印模型，造价高，打印时间长。而且3D打印多是一体化打印，很难拆分观察肿瘤与血管关系，这是其未能在临床培训中心大规模普及的原因。

云南省第一人民医院数字医学中心自主开发的昆华微乐MR手术导航系统是基于zSpace技术开发的高精度、智能化系统，术前将薄层CT扫描的DICOM数据行三维重建，生成的可视化模型导入MR手术导航系统，该系统可实现术前颜色区分人体结构、改变脏器透明度、脏器切割、计算脏器体积、脏器内窥、脏器穿刺、三维消融等功能。利用三维空间坐标标记不同组织、器官的空间位置，添加多个数字操控手术器械，可以让学生在术前进行预手术模拟，结合教师多维度的解析，行不同的手术入路方式，细化手术方案(图1)。将模拟方案与术中主刀医师实际操作相比较，总结自己的不足，真正调动学生的积极性，对提高学生的临床操作能力有很大的帮助，同时也提高了手术小组医师间的决策效率。

图1 将三维重建模型导入到zSpace系统中，对不同组织设置透明度可清晰显示胰腺钩突占位性病变具体的位置(1A)；通过不同方位的旋转、对不同解剖组织设置透明度对比，可清晰展示胰腺钩突占位对门静脉、动脉的侵犯以及肿瘤滋养动脉(1B、1C)；行不同的手术入路方式演练，精确计算出残余胰腺体积(1D)

3．MR技术在医患信息支持中的应用:医患信息不对称是导致医患矛盾紧张的主要原因之一[15-16]。由于患者医学知识的匮乏，往往对一些胰腺疾病认识不足，对医师的期望过高。将MR技术运用到术前医患病情沟通中，将患者与医师同时置身于数字虚拟-物质现实空间环境里，通过对不同胰腺周围解剖组织设置透明度，使患者能够多维度了解胰腺占位病灶，对病灶有直观、立体的认识；通过MR技术构建的手术环境，医师对手术过程大致演练，配合讲解，患者及其家属可以对胰腺疾病以及治疗方案有更加直观、清晰的理解，对术中手术存在的风险也有了深度认识，很大程度上解决了医患沟通矛盾[17]。同时，充分告知患者手术部位的恢复情况及预后，可缓解患者的术后焦虑心理，将会一定程度上缩短围术期时间[18]。

近年来，国内已有手术中心将MR技术运用到胰腺外科围术期，将计算机重建图像与现实手术操作部位相融合，精准校对后，清楚地判断出所需解剖的血管位置，对精确手术入路及达到理想解剖层面有十分重要的指导作用[19-20]。笔者所在数字医学中心利用MR技术的跟踪系统及图像配准功能，将其运用于胰腺术中导航取得了良好的效果，对减少术中出血、保证术野清晰起到了很大的帮助(图2)。Abhari等[21]研究也证明了MR技术在提高临床医师计划肿瘤切除所需要的空间推理能力以及改善患者预后方面发挥重要作用。但MR技术所构建的数字虚拟图像在术中导航时也会对手术区域有不同程度的遮挡，在因术中患者体位、气腹压、潮气量改变造成相应器官的空间位置变化时，目前未能实现实时追踪配准[22]。

图2 胰头占位性病变患者术前及术中混合现实技术运用情况。胰腺三维重建图，可清晰显示病灶和胰腺及周围血管的关系(2A)；术中混合信息影像图像与实际解剖结构配准，明确病灶的具体位置及胰管的走行(2B)；清晰显示病灶及其周围脉管走行情况，很大程度上减少解剖分离过程中出血(2C)；术中导航分离、结扎相应的血管(2D)

三、MR技术的未来与展望

MR技术临床的应用仍处于起步阶段，其未来的发展目标主要围绕以下几点：(1)MR技术的智能化，包括智能图像配准以及跟踪系统；(2)虚拟全息解剖影像信息实时动态与真实空间中的解剖病灶相融合；(3)多维触觉反馈系统的升级；(4)与5G通讯以及机器人结合，实现远程异地手术和远程实例教学。相信不久的将来，胰腺外科专科人才培养建设将会有质的飞跃 ，胰腺外科也将真正迈入可视化、可量化、可控化的精准外科轨道。

利益冲突所有作者声明无利益冲突