混合现实技术在住院医师规范化培训临床手术能力教学中的应用 *

景 涛，邱 阳，李静尧，刘建平，汪 鹏，王 飞，王海东△

(中国人民解放军陆军军医大学第一附属医院：1.心血管内科；2.胸外科；3.医学大数据与人工智能中心，重庆 400038)

住院医师规范化培训是医学生毕业后教育的重要组成部分，以临床实践、专业必修课、公共必修课专业课为培训的主要内容，其中临床实践部分的教学学习，衔接了医学生的医学院校基本教育和继续医学教育两部分内容。提高住院医师规范培训的质量，为临床科室提供优秀的高层次医师，是铸造高级临床医学专家的必经之路。既往的手术教学方法具有较强的主观性和不可重复性，单个患者的病情判断和手术治疗的成功与否很大程度上取决于医生的临床经验和知识背景，而每例患者解剖结构的唯一性导致专业手术训练具有很大的不可重复性，是手术规范化培训总结提高难以避免的难点之一[1]。

近年来，迅速发展的混合现实技术在医学领域初步实现了制订个体化术前规划、为手术者提供术中实时的立体三维导航的作用,使手术更加精准、微创、高效。而对于住院医师规范化培训的学员，混合现实技术将有助于更加快速地掌握正常解剖和病理解剖结构的区别，熟悉手术策略及关键操作步骤[2]。同时借助于混合现实技术还可以实现手术观摩练习的可重复性，加快学员学习进程、缩短学习曲线，降低培训过程中的医疗风险,提高培训质量[3]。本院开展了混合现实技术研发、临床手术三维重建和手术导航验证工作，并利用住院医师培训基地及专科医师培训基地培训师资，结合自身优势实施培训，探索混合现实技术在住院医师规范化培训临床手术能力教学中的培训实施方案，以期提高培训质量。

1 手术技能培训严重缺失是住院医师规范化培训教学面临的难点

按照中国医师协会发布的《住院医师规范化培训内容与标准(试行)》2018年修订版要求，住院医师规范化培训在手术科室的住培阶段及专培阶段均设置有手术培训内容和手术能力要求，基本的手术操作教学训练是规范化培训的重要组成部分。但是，目前尚缺乏手术能力训练的教学和考核标准，而手术操作全过程的培训涉及解剖学、生理学、病理学、病理生理学等多个学科知识点的交叉与融合，手术操作教学实践难度大，对带教老师的教学能力、规培学员的实践能力、相应的硬件设备要求等方面均提出了很高的要求[4]。

而在临床手术能力教学实践中，规培医师难以成为手术的术者，究其原因主要与手术安全和医患纠纷、手术分级管理制度的要求、住院医师学习能动性等原因密切相关，因此手术技能培训严重缺失已经成为手术科室住院医师规范化培训过程中面临的重点和难点。

2 混合现实技术在个体化手术全流程培训中的应用现状

现实场景融入虚拟环境，虚拟现实技术得以实现进一步发展，即混合现实技术。在用户-虚拟世界-现实世界之间搭起回路，这个信息回路是可以交互反馈的，由此可以提升用户(医生)体验时的真实感。混合现实技术实际上是一组技术组合，输入和观看方法均是以新的方式提供，混合现实技术中的方法均是相互结合的，以此推动手术技术和能力的创新。混合现实技术(包括增强现实和增强虚拟)通过合并现实和虚拟世界产生新的可视化环境，实现物理和数字对象共存，并实时互动[5]。目前，混合现实技术在医疗领域的运用，由于医疗领域的专业性及各项技术的高度融合性，在个体化手术全流程培训的虚拟化、远程指导、远程协同方面具有广阔的应用前景[6]。

3 混合现实技术在手术全流程教学中应用

3.1 应用于3D重建临床交互式教学

目前，大部分三维影像在医疗领域的应用集中在三维重建、3D打印等领域，而最新的全息影像系统，能够根据MRI、CT等医学数字成像及通信(DICOM)数据加以人工智能的底层算法，将患者数据信息，通过三维全息影像的方式进行呈现，灵活运用至术前沟通，术前手术规划及术中比对，大大降低了手术时对于空间关系理解不够而造成的误差和难度。利用混合现实模型转变传统教学方式，加强直观立体的教学，节约教学资源，实施教学手段多元化，混合现实模型数据来源于临床患者的影像学检查，模型比例可与人体达到1∶1吻合，误差极小，以此代替尸体标本可大大节约教学资源，学员可以更加直观、立体地了解人体解剖结构。

3.2 应用在临床外科术前手术规划和医患沟通

传统的手术方案制订,主要依靠患者术前MRI和CT，术者及团队成员通过二维影像各自进行不同程度的三维构想,从而制订个体化的手术方案。近年来，伴随新兴技术的不断发展,三维重建技术为术前讨论提供了更加直观的参考。这一技术大大降低了不同年资医师对二维影像认识差异所造成的认知误差,使手术团队成员站在同一平台对患者进行术前评估,使术前讨论成为真正的“讨论”。 但传统的三维重建技术也存在一定的弊端，术前需要对三维重建模型进行不同角度的翻转从而显示出术中暴露视野的形态特征。 这使得术前讨论时,三维模型仅能按照术者的思路进行顺序翻转,降低了其他成员的参与性。将混合现实技术应用于术前讨论中,其最大的优势在于全息影像的投射能使参与者同时同地多角度对模型进行观察,从而大大增加术前讨论的参与性,进而得到最合适的手术入路[7]。

外科手术规划系统基于虚拟+现实系统，术前入路模拟，规划及手术仿真等操作都可以得到实现。基于虚拟现实技术的手术规划系统不仅可模拟大部分手术过程，同时满足可重复使用、无伤害等要求，还具有以下三方面特点：(1)沉浸感，手术仿真系统能够模拟出一种与真实世界相仿的环境，从而使医生沉浸其中，有身临其境的感觉。一方面通过以计算机图形学为基础的视觉反馈模型向使用者提供直观的视觉信息，另一方面通过以生物力学为基础的力反馈模型和力反馈设备，向使用者提供真实的触觉信息。(2)真实感，手术仿真系统反应的交互结果要符合实际规律，给使用者以真实感。(3)实时性，即手术仿真系统中的各种仿真算法要兼顾效率[8]。

将混合现实技术应用在术前沟通中，可以使患者和家属直面三维重构模型,有身临其境的感觉,无论是局部还是整体,可以详细地讲解手术方案,模拟手术入路,预知手术风险,解决医患双方之间的信息不对称性问题。

3.3 应用于手术中导航初步探索

对于更精准的术中导航，混合现实技术有很大的优势。现有的手术导航技术大多只能在术中为手术医师提供二维的定位信息,并不能在术中把患者的手术部位以立体的、直观的形式展示给手术团队。基于混合现实技术的手术导航技术将实时观测的图像与术前影像学资料进行匹配定位融合，对齐两个坐标系并显示为图形，实现术中实时三维可视化定位，从而实现精准的外科手术导航[9]。这种导航方式较传统手术导航系统具有明显优势,可以为手术医师提供更直观、更详细的成像信息，减少执行复杂操作时的判断时间和工作量，降低手术风险，并以此提高手术质量。实现虚拟重建人体组织和虚拟手术器械影像，与真实人体与真实手术器械自动化识别并虚实融合，术中真实移动的手术器械，虚拟器械影像自动识别并轨迹跟踪，做到术中导航，以达到降低手术风险，减少手术时间的最终目的。

4 混合现实技术在手术全流程教学中的困境与展望

混合现实技术在住院医师规范化手术全流程教学中已经开始发挥重要作用，它在实现虚拟三维世界的构建，并与真实世界手术过程进行无缝融合和动态调整，从而可以达到对手术部位解剖结构深度分析、手术难度和风险预测的教学目的[10]。结合多模态大数据分析，将来可以实现精准指导手术操作。但是现阶段混合现实技术在实现手术导航还存在以下技术难点需要进行攻关：(1)医学影像处理与三维重建软件研究方面。三维重建网格模型在精确性和效率上有待提升，重建的三维模型必须符合全息影像硬件的格式，需要研发在新的软件标准下转换三维重建模型格式的专业软件。(2)统一虚实场景的世界坐标系的建立。(3)虚实图像识别与融合。(4)可视化的动态配准。

《“十三五”健康产业科技创新专项规划》《“智慧医疗”优先行动实施方案》等文件明确提出，要加快增强现实、虚拟现实等关键技术的应用突破。混合现实技术已经进入发展的快车道，预计在不久的将来，混合现实技术将全面应用到医疗行业，同时也将对住院医师规范化培训教学方法的革新产生深远影响。