增强现实与混合现实技术在骨科教学的研究进展

罗文浩 阳天睿 李晔

（中国医学科学院北京协和医学院北京协和医院1.基本外科，2.临床医学，3.骨科，北京 100730）

由于学生在骨科学习过程中，实践操作的机会较少，很多一线临床教学工作者将研究方向延伸到模拟教学方面，欲研制出可供学生进行多次可重复临床模拟的技术，将主观的书本知识进行客观转化，给予学生临床实践的可行操作平台。

增强现实（augmented reality,AR）技术是虚拟现实（virtual reality,VR）技术的一种新兴分支，AR 技术可以将计算机产生的虚拟场景叠加在真实的场景之中，构建一个真实与虚拟世界之间的交互场景，因其对现实环境进行增强，故称为增强现实[1]。AR具有真实性、实时交互性和实用性的典型特征[2]，增强和扩展了人类的视觉系统，比VR拥有更广阔的应用空间和研发潜力。

为了提升应用性能，混合现实（mixed reality,MR）技术日趋成熟。MR 技术是对VR 和AR 技术的进一步发展，它通过特殊眼镜将真实视野与虚拟视野叠加，是一种建立在人类自然感知基础上的新型数字技术。MR首先在计算机中建立图形影像，生成虚拟模型，再通过特殊眼镜将其叠加至现实环境中，形成现实与虚拟图像混合的场景。这种混合场景本质上是在现实、虚拟和用户间构建信息交互反馈的回路[3]。与VR和AR技术相比，MR技术更加直观，并提供了前两者并不具备的代入感。使用者仅需佩戴眼镜，不影响正常视野，也无需占用双手，便捷灵活，提高了学生在虚拟的环境中的互动性和沉浸感。

近年来，骨科手术技术飞速发展，但由于骨与软组织结构和功能的复杂性，以及骨科病种的多样性，手术相关风险和并发症发生率仍然较高。特别是在疑难复杂的脊柱、关节、骨肿瘤和创伤复位等手术中，由于解剖结构难以准确清晰地识别，较易引起相关副损伤发生，加之教学环境不容乐观、教学资源短缺、教学成本居高不下等，成效颇受影响[4]。面对我国医疗资源紧缺、青年骨干医师成长周期长的问题，AR、MR 技术的发展有望提供解决途径。本文将对AR技术、MR技术在骨科手术规划、教学与培训中的应用现状进行综述。

1 AR和MR技术在骨科领域的应用概述

AR 技术可以更好地显示重要解剖部位，有助于提高手术安全性，缩短完成手术所需的时间，在多种骨科手术中具有丰富潜力[5]。骨科手术中，AR已试用于微创的经皮脊柱内镜手术、创伤重建、截骨术、关节镜手术、关节置换术及肿瘤切除等手术中，研究内容涉及脊柱外科、关节外科、创伤骨科、骨肿瘤外科和骨科康复等骨科亚专业[6]。

骨科手术中，医师主要依靠视觉与触觉反馈信息进行手术操作。MR 技术将CT 扫描的平面图像转化为立体模型，降低空间构思的难度，同时将患者实体结构与本人的影像解剖模型对应，提供个体化的、逼真的三维视觉、听觉、触觉感知。由此，骨科医师与计算机交互，可以以更自然的方式进行实践操作。青年医师利用MR技术，可以对同一操作进行反复练习，积攒经验，可以有效缩短学习年限。对一些高风险骨科手术，如高位脊柱节段手术，术前可以采用MR技术进行多次个体化模拟操作，发现术中操作难点，提高手术的精度，避免术中发生不可挽救的伤害。因此，越来越多的医疗机构、医务人员选择将MR 技术应用于骨科手术、技能培训等领域，以提高手术精度、扩展医学教学的时间和空间[7]。

2 AR和MR在骨科教学应用中的优势

2.1 节省资源，方便可行

优势医疗资源的稀缺与分布不均是我国医疗卫生领域目前的现状，也是亟待解决的问题[8]。开展远程医疗是解决问题的途径。解剖学作为骨科基础教育中重要环节，由于标本短缺、成本较高等限制，教学资源无法满足教学需求。AR和MR技术主要面对低年资医师和医学生，这类人群的特点是具备理论知识，但缺乏实践经验。AR 及MR 技术的应用弥补了传统教学的不足，使授课老师和学生穿梭在虚拟和现实环境，提供了一种高效、立体的全新教学模式。青年医师借助于AR和MR技术可以在任何适当的场所进行理论学习、手术方案设计、手术预演，以及实践操作模拟；还可多人参与同一模型的协作学习与集中讨论。这种学习方式形象生动，便于记忆，亦更好地解决了培养单位医疗资源和培训资源有限的难题。

2.2 真实仿真，安全可行

AR 与MR 技术让现实世界与虚拟世界结合，营造出一种身临其境的感觉，具有仿真性[9]。AR、MR技术可以快速、准确、实时地建立包括解剖部位、解剖层次和解剖功能在内的四维模型，协助临床医师或培训者分析病变特征、病变性质和解剖结构位置关系，施行交互式手术模拟，获得更好的体验。此外，在术中讲解展示时还可以实时匹配患者的实际体位，更加真实。操作者在操作过程中无需接触计算机或投影眼镜等设备，不会造成术中污染，无疑增强了术中应用的便利性和安全性。此外，在骨科手术或操作中涉及的重要解剖结构在手术前可由计算机系统进行不同颜色或不同符号的标记，以便更直观地制定手术方案，模拟手术路径，提高手术操作的准确性和安全性。在教学方面，AR、MR 技术使学生对复杂人体标本的学习变得更加直观、立体并且简单有效；骨科带教老师也可对虚拟的人体标本进行反复多次的解剖和演示，使培训更加高效。AR、MR 技术在解剖教学中的应用，有利于学生理解复杂的骨科结构，从而更加有效地培养医学生的各项临床技能[10]。对于有创和费用昂贵的操作，医学生可先在虚拟空间接受培训，直观地模拟各项临床操作，重复训练，待操作或培训技术成熟后，再在人体上进行实际操作。例如，在经皮椎间孔入路腰椎间盘切除术的教学中，MR技术提高了学生及医师学习的主动性、学习兴趣和三维想象能力[11]。在AR、MR 技术的帮助下，骨科医师利用图形处理技术、可视化技术和传感技术，在现实世界中呈现骨折创伤的虚拟模型。在不改变对客观事物感知的情况下，医师还可以通过手势对模型进行配准观察，实现对骨折部位解剖结构的清晰了解，增加手术的可控程度。

2.3 深度学习，实时可行

目前，临床解剖基础知识对许多年轻骨科医师、甚至中年医师来说都是难点，一位成熟骨科医师的成长周期至少为10 年，而具有丰富解剖知识和手术经验的专家成长周期往往更长。当前广泛使用的解剖图谱都是平面图像，视觉效果不佳，影响到教学效果。在骨科手术的教学过程中，运用AR及MR技术，可以真实模拟人体解剖，还原手术过程，将抽象枯燥的医学知识生动地呈现出来。因此，骨科AR 及MR教学具有巨大的潜力及广阔的前景，具有现实意义。

有关研究发现，住院医师利用AR技术模拟动力髋螺钉植入治疗髋关节囊外骨折，从中可以获得导丝插入和螺钉植入的近似真实体验，经济且效果佳[12]。国外学者将AR技术应用于髋臼杯置换手术的训练，发现无论由专业骨科医师进行传统带教，还是使用AR 技术，两组受训者的实践准确率是相似的[13]。这提示AR技术今后可以应用于更多骨科手术项目的训练。MR技术可以在术前对骨折、软组织缺损等形态学损伤进行建模，模拟复位、转移组织等操作，有助于学习者更好地理解手术的设计理念和手术原则，加深学科认识；也更利于学习者理解手术入路，降低在实际操作过程中给患者带来副损伤的概率。MR 技术具备实时互动性，学生使用MR 技术可以自由的在展示空间中活动，从任意角度观看研究模型，并可对模型进行实时模拟操作[14]。

2.4 精准高效，切实可行

在传统骨科手术中，病损部位与邻近血管神经的结构关系往往难以完整精确呈现。手术中如果完全依赖主刀医师对解剖结构和各种变异的熟知，以及术中临场应变和应急处理的能力，那么手术精确性则较不可控，存在一定的安全风险。AR、MR 技术将真实物理空间与虚拟空间精准匹配，对病变精准定位，协助引导手术操作。已有不少研究将MR技术运用于骨科手术导航，均收获了良好的效果[15]。MR技术可将患者的3D 影像放大、旋转、移动，完整精确地叠加在患者真实体位上。此外，在患者康复治疗中，AR、MR将虚拟与现实融合，将传统的运动康复理论与运动捕捉感知技术结合，将治疗练习中的动作转化为更丰富的虚拟反馈，增加使用者的代入感，及时纠正错误动作，达到最佳康复效果[16]。

3 AR与MR发展的困境与挑战

近年来AR、MR 技术飞速发展，但在医学教学领域仍处在起步阶段，需要进一步加以完善，尤其是在骨科专业方面的技术支持。

首先，临床中不仅要关注解剖结构，还注重其功能。而AR 目前更多是集中在对人体各结构的识别和引导，而往往忽略了对其功能性的认知。其次，既往基于AR 技术的研究中所包含的样本或案例数量较少，有必要进行更大规模的试验，以明确新技术较传统技术的优越性和可靠性。现阶段AR 技术在远程会诊等应用中仍存在传输速率问题，常出现滞后和延迟。相信随着5G技术的不断研发、应用，这一问题将会得以解决。

MR 技术的局限性：①价格较昂贵，并没有完全普及，因此不太可能让每个学生都去具体操作演练，学生本质上获得的动手机会并没有增加；②缺乏触觉感知，目前MR 尚只限于视觉模拟，对于触觉等其他感觉的强化还没有相关报道；③MR对软组织的模拟较为欠缺。此外，MR技术的展示操作需要一定的学习周期，使用者需要时间熟悉这项技术。对于骨科而言，大体标本经过福尔马林浸泡和三维重建后，画面有一定程度的失真和扭曲，精确性亟待提高。目前，MR 虚拟手术与物理解剖的体验有着较大差别，还不能取代物理解剖操作。如何合理安排虚拟实验和实体操作的比重，是教学中需要解决的问题。

4 总结与展望

AR、MR 技术结合新型骨科诊疗技术，将在骨科疾病的诊断、治疗、教学、培训中发挥越来越重要的作用。有必要尽快建立完善的AR、MR 培训模式和培训效果评估体系，通过新技术增强骨科医师、医学生对骨科专业的兴趣，提高其对基本理论知识的学习，对基本操作技术的掌握，并不断提高实践能力和手术技术，进行更加细致完善的术前规划，制定更加合理优化的手术方案，提高手术操作成功率，从而最大限度地惠及患者。研究者需要加强对新技术人才的培养，丰富该领域的研究团队；医师应该推动新技术在医学教学中的应用，不断提高临床医师的知识储备和诊疗能力，优化临床治疗方案，提高患者获益[17,18]。

总之，AR 与MR 技术不仅可以有效弥补传统教学模式的弊端，使医学教育更加高效、精准、直观，还能逐步推动医学教育模式的革新，同时，AR、MR技术可促进医疗教学资源的合理配置，加快青年骨科医师的培养，改变骨科医师培养曲线过长的现状，为骨科的规范化教学培训提供强有力的技术支持。AR与MR技术作为一种创新型教学方法，在骨科教学培训中的应用值得进一步探索和推广。