混合现实技术在外科教学中的应用前景

李政垚，周 熹，翟 笑，潘 慧，刘 勇

(中国医学科学院 北京协和医学院 北京协和医院 1.骨科； 2.内分泌科 国家卫生健康委员会内分泌重点实验室， 北京 100730)

近年来，随着计算机技术的飞速发展，以虚拟现实(virtual reality, VR)及增强现实(augmented reality, AR)技术为代表的智能视觉模拟、强化设备的出现，让计算机前沿技术与各行业的结合变得更加紧密，尤其是这类技术在医学领域的应用日益广泛。越来越多的医学院、医院尝试将其应用于外科手术、医学教学、操作培训等领域，这些应用让医疗相关工作更加可视化，也使得这些工作更加高效、精确。在此基础上，为了使得这类视觉技术的应用性进一步提高，混合现实(mixed reality, MR)技术日趋成熟，其能够将真实视野通过特殊眼镜与虚拟视野叠加。相对VR和AR技术，MR技术更加直观，并提供了前两者并不具备的代入感，同时使用者仅需佩戴眼镜不影响其正常视野，也无需占用双手，这无疑为这种技术在外科的应用提供了前提条件。由于该技术出现较晚，在外科教学领域还未被广泛采用，但上述特征让这项技术的应用备受期待。本文将从外科教学的角度出发，对混合现实技术在外科教学中的应用前景进行分析和探讨。

1 混合现实(MR)的概念

MR技术是一种建立在人类自然知觉基础上的全新数字化全息影像技术，其首先在计算机中建立图形影像，生成虚拟模型，并通过特殊眼镜将其叠加至现实环境中，造成一种特别的现实与虚拟图像混合的场景，本质上是在现实、虚拟和用户间构建信息交互反馈的回路。解剖学是外科学的基础，学习解剖学的难点在于空间、结构相互位置的想象能力，以及解剖图像的理解向现实人体实际结构的知识转化，解决以上学习问题的最佳方案原本是对人体大体标本进行实际解剖学习。但是，当医学生/医师进入外科临床阶段后接触大体解剖的机会很少，且在外科手术/操作等现场教学时也不可能携带标本进行参考。MR技术可以完美地解决以上两个学习中的难点，将CT扫描的平面图像转化为立体模型，降低空间构思难度，在手术/操作时将患者本人影像解剖模型投射到对应的实际结构上，为更好学习解剖提供便利，这是MR技术用于外科教学的基础。

2 混合现实(MR)技术作为外科教学工具的特点

MR技术作为一种教学工具，其主要面对的低年资医师/医学生，这类人群的特点是具有理论知识，但实践经验尚且不足。这项技术能够将平面图像转化为更加具象的3D模型，弥补学习者经验不足造成的空间解剖关系构思错误。另外，投影于眼镜中的图像可以随意调整位置及角度，方便观察，同时其在术中讲解展示时可以匹配患者实际体位，更加真实。展示仅需用手进行手势操作，无需接触计算机或投影眼镜等设备，不会造成术中污染，无疑增强了其展示的便利性和安全性。MR技术从获取患者图像资料到成功建立模型总体时间仅需数个小时，方便且节约时间。

在应用时，现有的MR技术作为教学工具也存在一定缺陷。例如MR技术的展示操作需要一定的学习曲线，且对手势的识别不够灵敏，教学者需要时间熟悉这项技术。另外就是当教学时真正需要将MR投影影像和真实患者相应结构相重叠匹配时，还无法完成自动匹配，只能通过人手调整，精确性亟待提高。

3 混合现实(MR)技术在外科教学中的应用

普通外科、胸外科、泌尿手术的手术是比较类似的，手术主要以切除、重建为主要思路，手术中最重要的是清晰地解剖出手术需要处理的关键结构，例如胆囊切除术中的胆囊动脉、肺叶切除术中的供血动静脉。而另一手术的关键则是避免损伤到关键结构，例如甲状腺手术中对喉返神经的保护、肺癌手术清扫淋巴结时对主动脉的保护等。而让低年资的外科医师在初学时手术寻找这些结构是非常困难的，且存在很高的风险。如果由高年资医师进行示例，由于术者与助手视野角度的差异和手术时间的限制，低年资医师很难对局部的解剖结构取得清楚的概念，甚至难以辨认解剖结构。而MR技术的存在则能够明显提高学习者术中清晰辨认重要结构的成功率。有学者利用MR技术成功切除了2例巨大胸壁肿瘤，在术中将提前建立的该患者肿瘤模型及重要结构进行重建并术中匹配，起到了良好的辅助效果，无任何并发症的发生[1]。16例肝胆肿瘤患者在进行术前影像数据的采集和建模后，在MR技术辅助下进行了手术[2]，与传统手术方式相比，降低了手术间和出血量，并且有助于明确手术路径，增强术者判断力。MR技术也有利于在术中定位比较小的结构，例如有学者利用此技术完成了乳腺肿瘤的精准切除[3]。使用MR技术辅助输尿管镜手术，使得手术评分提高的同时缩短了手术时间，多数参与者认为MR技术在外科教学中将会扮演非常重要的角色[4]。综合来看，MR技术有助于年轻医师在实际操作的过程中学习重要结构的位置，提高学习效率，同时也能避免在实际操作学习中给患者带来的风险。同时，MR技术也能够帮助外科医师建立人体深部结构间的位置关系感，因为这些结构在手术中一般是不需暴露的，有助于医师对解剖的深层次理解，提高诊疗水平。

骨科与整形外科学科相近，手术重点在处理形态学问题，包括骨及软组织形态学的恢复[5]，所以对于结构的空间想象在教学中是至关重要的。应用MR技术进行解剖教学，有利于学生理解复杂的骨科标本，从而更加有效地培养医学生的各项临床技能[6]。并且MR技术可以提供理想的培训平台，合并现实世界和虚拟世界产生新的可视化环境，使操作更加逼真，且方便重复训练，提高在实际操作时的成功率。将MR技术应用于经皮椎间孔入路腰椎间盘切除术的教学中，发现MR技术提高了学生及医师学习的主动性、趣味性和三维立体想象能力[7]。骨科另一项非常重要的操作则是根据经验或C型臂辅助在体内放置内置物以达到固定或融合等目的，利用MR技术对器械位置进行术前设置并在术中引导，可以提高内置物放置的效率[8]。MR技术有助于整形外科医师构建全息解剖教学库，手术中协助定位穿支血管有助于医师自主学习，同时能够协助进行整形外科学科的远程教学[5]，并且其用于模拟皮瓣修复唇腭裂是非常合适的[9]。笔者认为，MR技术可以对术前患者骨折、软组织缺损等改变进行术前建模，在模型上进行模拟复位、转移组织等操作，有助于学习者更好地理解手术的设计理念和原则，加深学科认识。同时，利用增强CT/MRI等技术使MR影像中清晰地展露血管及重要结构，增强了学习者对手术入路的理解，也降低了学习者在实际操作学习过程中给患者带来风险及副损伤的概率。

神经外科在外科中具有其特殊性，其手术在脑、脊髓附近或当中进行，这两种器官作为实质性器官，其中无用/可损伤区域非常小，操作视野都相对较差，很难充分暴露，这也给学习者的学习造成了很大的困难。同时，由于神经外科手术的高风险性，其手术培训面对安全、手术时间限制、法律和道德伦理方面的诸多问题[5]。所以，这造成了神经外科的学习更加困难。曾有人认为3D打印技术的出现有助于改变这一问题的现状，但是其过高的成本限制了这项技术的应用[10]。MR技术的出现有可能极大地改善这一现状的困境，因为其具有3D打印技术个性化模拟的特点，同时其成本较低，且可以反复使用，将其用于术前的模拟演练有助于医师在更逼真的环境中模拟手术操作技术，同时也可在术中与真实结构重叠，起到引导手术的作用，减少风险与副损伤。将MR技术结合3D打印技术应用于侧脑室穿刺教学，其能够提高学员成绩、改善教学效果，且稳定性好[11]。由此来看，对于助手视野差、手术风险高而造成教学困难的外科手术，MR技术在其中可以起到非常好的辅助作用。

应用MR技术对需要在C型臂下进行的手术进行模拟教学和技术评估，参与者普遍认可了这种模拟方式的真实性和这种方式对教学的有效性，并且研究验证了其作为一种手术知识和技巧评估手段的准确性和可靠性[12]。这也为这类手术提供了一种无射线暴露的安全的培训方式。

综合外科各学科情况来看，MR技术在结合真实人体直观展示重要解剖结构、提高学习者解剖认识层次、理解手术设计和形态认知、模拟手术入路和高风险手术教学练习等方面均具有很大优势。

4 混合现实(MR)技术在外科教学中应用的展望

目前MR技术还属于较为前沿的技术，在医学教学中还未得到广泛开展，但从目前应用情况来看，其有可能成为外科主流的辅助教学工具。MR技术在外科教学中应在局部解剖教学、手术/操作的体外模拟、手术中匹配解剖结构讲解、手术入路精确定位、练习手术安全保障等方面着重发展。但在技术的发展中应进一步提高技术，逐步克服操作不便、控制不灵敏和虚拟图像与实体匹配的技术问题。