增强现实技术在临床医学教育中的应用

王 珞，陈 适，潘 慧

(中国医学科学院 北京协和医学院 北京协和医院 1.内科； 2.内分泌科； 3.医务处，北京 100730)

临床医学是一类实践性极强的学科。学生能力提升依赖于大量系统化、标准化的训练和实践。但与之相对，传统训练会增加医源性损伤的发生率。因此，临床医学教育与患者安全性之间的平衡成为热点。仿真学习借助于多媒体、仿真、传感、人机交互和人工智能多种技术，允许学生在可控的环境下培养临床思维、训练复杂临床技巧，允许犯错而避免对真实患者造成损伤。随着科学技术发展，增强现实(augmented reality, AR)技术逐渐发展成熟并成为仿真学习中重要手段及临床医学教育领域的研究热点[1]。AR技术的核心是将计算机虚拟、生成的信息叠加到真实场景中，从而对现实信息进行增强，提高用户对现实场景的感知以及和虚拟场景的交互。本篇文章将简要介绍AR系统的关键技术、在临床医学教学中的应用形式、优势与局限性。

1 增强现实系统的概念

AR系统强调虚拟-现实连续体。与虚拟现实相比，AR利用虚拟信息对真实场景进行增强，用户能够保有身处真实场景的客观感受，更加适合解决实

际问题。AR系统具有3个特点：虚实结合；三维匹配：通过实时跟踪及计算影像获得位置与虚拟影像叠加于真实场景的注册位置，实现虚拟影像与真实场景的融合；实时交互：真实场景信息可以实时反馈给AR系统[2]。

2 增强现实系统的关键技术

基于上文所述AR系统的3个特点，该系统的关键技术主要可分为跟踪注册技术、显示技术和智能交互技术。这些技术决定一个AR系统的精确度。

2.1 跟踪注册技术

跟踪注册技术是实现三维匹配的基础。首先需检测客体的特征点及轮廓，并转化为二维或三维的坐标，最终在正确位置实时显示，完成三维注册、匹配。跟踪注册技术依据跟踪对象可分为两类[2]：

跟踪对象为摄像设备：又可进一步分为基于硬件传感器、基于计算机视觉。后者的精确度相对较高，也应用于临床医学中。例如通过体层扫描相机对牙列外形视觉捕捉，并对此信息进行跟踪、注册[3]。跟踪对象为人：把用户及用户周边信息作为跟踪对象。而实际上，为保证系统的精确度和更广泛的使用范围，避免外界环境对系统的影响、干扰，一个AR系统中往往会用到多种跟踪注册技术。

2.2 显示技术

AR系统所采用的显示技术，根据成像原理的不同可分为视频式、光学透视式和投影仪式。视频式的优点为叠加场景的图像质量高，但缺点为复杂的处理过程可导致最终呈现的叠加场景较真实场景延迟。光学透视式真实和虚拟场景在镜片上进行融合。投影式技术成本较低，但易受环境干扰[4]。

显示设备则可分成：头戴式显示器，有文章报道AR眼镜在中心静脉穿刺的仿真教学中的应用[1]。投影显示器可将虚拟场景投射到大范围环境中，且投射焦点与用户视角无关。其他还包括手持式移动显示器、计算机屏幕显示器。

2.3 智能交互技术

常见的人机交互方式包括：基于传统硬件设备的交互方式，鼠标、手柄等硬件，对应虚拟场景中某一坐标，真实场景中的硬件操作反映于虚拟场景中该点的行为，手势交互系统以及投影互动技术。

3 增强现实技术在医学教育中的应用现状

AR技术能够将影像结果、器官3D模型等虚拟场景注册到真实环境中，提供更加可视化、三维、可互动的效果。因此在实践类、场景识别类的医学教学内容中应用更广泛。传统的教学方式为文字讲授、模型展示、现场观摩、动物实验甚至是直接操作于患者。

3.1 解剖

研究发现，应用基于增强现实技术的Virtuali-Tee T恤衫的学生在学习心脏解剖后测试的结果中优秀率更高[5]。另有研究提示MagicBook可显著提升学生的解剖知识掌握水平[6]。

3.2 有创操作、外科手术

AR技术在有创操作、外科手术的教学中已有较多探索。由于AR的核心技术为虚拟、真实场景的精准叠加，因此在不易移动、变形的器官操作中应用效果较好。目前AR技术的临床及教学应用多集中于神经外科、颌面外科和普外科等[4,13]。比如通过虚拟腹腔镜技术培训医学生阑尾切除术，可显著减少医学生不必要的腔内器械操作，提高手术的安全性[7]； Lung Point系统是一种虚拟导航支气管镜，根据患者胸部CT予以三维重建仿真支气管，并智能规划操作路径，该系统可缩短呼吸内镜医师培训时间，提高培训成效[8]；中心静脉穿刺术培训中引用AR眼镜，教学结果提示该方式灵活、有效[1]。

3.3 超声影像学

有文章报道，心内科、超声科学生通过超声仿真仪器学习经胸廓超声心动图、经食道超声心动图，大部分被试者认为该系统仿真性较好。EchoCom是一个三维跟踪注册系统，通过超声信息，帮助医学生训练及早识别先天性心脏疾病。该系统的应用能够显著提高医学生的诊断率[9]。

4 增强现实技术在医学教育中的优势

与传统教学方式相比，AR技术在医学教育方面拥有以下优势。

4.1 安全性

基于仿真技术的医学教学方式目标是在避免患者医源性损伤的同时仍达到对医学生的培训要求。AR技术可以通过虚拟系统，代替直接作用于患者的训练和实践。医学生减少对患者直接实行有创操作，可明确减少患者出现操作并发症，也避免医学生职业暴露。AR技术能够保证医患双方的安全性。

4.2 自主性、趣味性

AR技术能够提供丰富的虚拟图像、模型资源，将知识呈现变得更加真实、形象和有趣。它的应用让学习者的积极性和主动性得以发挥。有研究对比基于AR技术的教学方式与传统课本的效果，发现使用移动AR技术的学生知识获取程度远高于传统对照组，其益处主要在于激发了学习的参与度[10]。

4.3 可重复性

经验丰富、技术精湛的临床医师需要多次重复的训练。但现实环境中难以保证同一临床场景反复出现。AR技术通过提取大量临床资料，并进行模拟、叠加，允许相同场景不断重复，供学生反复训练，至强化记忆、熟练掌握该场景。

4.4 规划与反馈

AR技术在医学教学中的应用，通过建模图像与真实场景之间的直接叠加，可以减少学生主观想象，与操作视野之间建立直接、连续的空间关系。这种空间关系的建立是智能操作路径规划的基础。例如正颌外科的数字手术规划将虚拟的截骨线和真实的颌骨叠加融合[11]。以及在血管外科手术中，定位血管和规划手术入路[12]。

除了操作前的规划，AR系统还能够对学生的操作过程通过人机交互系统进行评价，甚至于操作过程中实时反馈，并模拟操作导致的相应后果，便于学生总结经验、教训。

4.5 多人协作

多人协作、配合的训练在医学教育中也极为关键。AR系统可通过多个计算机硬件设备相互关联，分享同一虚拟-现实叠加模型，允许多人在同一系统中学习、协作。且学习及演练过程中可随时暂停、重复，为师生提供讨论时间。

5 增强现实技术在医学教育中的局限性

5.1 场景相对单一

AR系统所提供的临床场景需要前期人为虚拟场景设计，因此，场景较临床现实相对单一、固定。单独使用无法取代真正的临床实践，学习如何应对不同患者的个体差异及因社会心理问题导致的临床变异。

5.2 技术缺陷

临床教学中对跟踪、注册精准程度、对场景模拟的真实性要求较高，目前我国的AR技术处于发展初期，尚不能完全达到临床要求。更加先进、全面的技术需要引入AR临床医学教育系统。

5.3 硬件与经济成本

AR系统对硬件要求较高、价格昂贵，因此无法在所有医学教学机构普及。虽然不断有低成本AR系统问世，但这些系统存在自身局限性：比如为降低成本，显示方式多选择投影式，导致场景叠加位置相对固定等；以及不包含实时反馈及校正系统等。目前，AR技术在临床医学中的应用仍为小范围、试验性。未来，性能与成本之间平衡的系统设计将成为研发重点。

6 总结与展望

已有多个研究证实AR系统在临床医学教育中能够提高学生的学习兴趣、临床实践能力，且能够减少不熟练的临床操作给患者带来的医源性损害。而除了个体化的操作，AR技术因其能够提供可视化、三维及可互动的效果，有望应用于临床医学科普教育中。另外，AR技术能够模拟多种场景，可为突发卫生事件应急处理、灾难生命支持等领域的学生提供有效训练。越来越多的成品化AR系统将会为临床医学教育带来巨大的、崭新的变化。