混合现实技术在医学教育中的应用

马双

摘  要 围绕近几年混合现实技术（MR）在国内外医学领域的发展动态，分别从院校教育、毕业后教育、继续教育三个阶段，阐述其在医学教育中的应用现状和发展前景。

关键词 混合现实技术;医学教育;数字全息影像技术;混合现实设备;可视化远程教学模式;教育信息化

中图分类号：G642    文献标识码：B

文章编号：1671-489X（2020）09-0101-03

1 引言

混合现实（Mixed Reality，以下简称MR）技术是基于虚拟现实（Virtual Reality，VR）技术和增强现实（Augmented Reality，AR）技术进一步发展而来的一种全新数字全息影像技术，是目前最前沿的跨界技术之一，与人工智能、量子计算、机器人科学一起，被称为改变人类未来的科技。MR通过对现实世界进行3D建模，将虚拟的物体或信息叠加其中，从而在真实的物理空间中创造出具有空间属性的全息影像，并可使这个影像锚定在固定位置，实现虚拟世界与现实世界的融合[1]。

MR在国内外工业制造、军事和文化传播领域已经得到广泛应用，但在医学上的应用才刚起步，因为医学是一门要求严谨、精准的学科，应用门槛较高，这在一定程度上限制了MR在医学领域的发展。近年来，随着科学技术的不断发展，MR在临床医疗、医患沟通等领域崭露头角，尤其在临床治疗中的应用，给可视化医疗带来突破性革新的可能。基于MR在医疗领域的应用，结合其自身的优势和特点，将MR应用于医学教育，可以改善传统医学教育中存在的缺陷，为医学教育开辟新的路径。

2混合现实技术在医疗领域的應用

医学混合现实（Medical Mixed Reality，MMR）是MR在医学领域的拓展和延伸，其应用首先依赖于医学三维模型的建立。目前，医学模型的原始数据多来自CT和核磁共振的Dicom格式数据，依据原始数据通过三维可视化精准渲染技术构建三维模型，再将三维模型载入混合现实设备，最终形成源于MR的医学模型;然后借助混合现实设备，如微软的HoloLens全息眼镜，将全息数字化立体影像真实、立体地呈现出来，并通过手势、语音、外设等方式与全息影像进行交互。

医疗手术中的应用  随着虚拟仿真技术的蓬勃发展，医学手术可视化系统从二维过渡到三维，实现了从数字化到智能化的跨越。目前，基于MR的可视化系统已经应用到医疗手术的各个阶段，如病例讨论、手术计划制订、术中辅助与引导、术后评估、术后康复等，促进了医疗手术向高智能、高精度发展，从而进一步优化治疗效果，提高医疗服务质量[2]。近年来，我国相继在骨科、泌尿外科、肿瘤外科、口腔科、耳鼻喉、眼视光等医疗领域利用MR辅助完成手术治疗，创造了多个世界首例MR引导下的手术，通过全息可视化设备和强大手势跟踪功能，实现在术中无菌环境下与临床数据的无接触交互，从而促进了医生快速作出决策，有效增强了手术效果。

远程会诊方面的应用  基于MR的可视化系统，医学专家可以在混合现实环境下提供远程指导，完成疾病的辅助诊断和治疗。在手术过程中，指导专家可以利用远程设备，通过手势、铅笔绘制草图等方式，在目标区域实时注释指导信息，快捷地将自己的建议传递给手术现场人员，有利于手术的快速高效完成。2018年，在中国首套基于HoloLens

的MR手术导航系统支持下，武汉协和医院叶哲伟、吴星火教授团队成功完成全球首例基于MR的远程三地会诊手术[3]。

医患沟通方面的应用  依据患者的真实数据，利用三维可视化精准渲染技术进行三维立体成像，然后通过混合现实设备，患者可以立体、直观、逼真地看到自己身体器官的位置、形态、结构和病变状况;医生能够更直观、高效地解释病情，有效弥补医患双方专业知识的鸿沟，使医患沟通更简单、准确和顺畅。

3 混合现实技术在医学教育中的应用

2017年，党的十九大报告提出：“要完善职业教育和培训体系，深化产教融合、校企合作。”为新时代职业教育改革的发展指明了前进方向，开启了加快教育现代化、建设教育强国的新征程。2018年4月，以十九大精神为指引的《教育信息化2.0行动计划》出台，标志着教育信息化2.0时代的来临。2018年10月，为加快推动教育信息化转段升级，教育部印发《关于实施卓越教师培养计划2.0的意见》，明确指出：“要推动人工智能、智慧学习环境等新技术与教师教育课程全方位融合，充分利用虚拟现实、增强现实和混合现实等，建设开发一批交互性、情境化的教师教育课程资源。”在多种政策的利好推动下，MR与医学教育的融合得到前所未有的发展契机。

MR在医疗领域的发展，为医学教育开辟了一种高效、立体的全新教学模式。通过影像数据和断层扫描构建的全息数字化立体三维影像，借助混合现实眼镜，使人体复杂的解剖结构得以真实、立体地呈现，让师生能够在同一空间内实时互动，反复多次地进行实践演示，既解决了教学资源紧张的问题，又提高了学生的参与度和体验感，使教学更加高效、清晰。医学教育是一个终生连续的过程，可以分为院校教育、毕业后教育和继续教育三个阶段，以下就MR在这三个阶段的应用进行论述。

MR在院校教育中的应用  医学院校教育是高等教育的重要组成部分，是医学教育的基础阶段。医学基础理论、案例教学、基本实践技能是医学院校教育的重要内容，本科生教学以基础理论教学为主，研究生教学以基本操作和一般手术教学为主。利用MR可以将模拟医学应用在院校教育的各个阶段，MR支持下的院校教育，将是继立体化教材、微课、在线课程等信息化教学方式之后，又一个创新的教学模式。

1）在基础理论方面。对人体大体形态结构和微观结构，利用全息影像技术构建的三维模型，借助混合现实设备，学生可以直接透视人体的解剖结构，进行全方位、立体化的观察，不仅解决了教学资源紧张的问题，也提高了教学质量和效率。

2）在案例教学方面。由于医学生接触真实案例的机会极少，仅通过文字和视频学习，而没有临床情景的诊疗实践，使教学缺乏带入感和真实感。而通过模拟人和MR三维影像的结合，可以让学生在听觉、视觉、触觉上深度感知临床病例，指导学生开展多种临床情景的诊疗实践，从而有效解决这一难题。

3）在基本实践技能方面。以往的教学多在模拟人教具上完成，学生在操作时对人体内部结构缺乏立体感知，与真实病例操作存在不小差距。MR可以将人体内部结构通过三维影像直观地展示出来，并与模拟人结合，利用全息眼镜真实地呈现，使技能操作更加直观。

MR在毕业后教育中的应用  目前医生培养的主要模式是“5+3”，即五年医学类专业本科教育后，进行三年住院医师规范化培训（规培），住院医师规范化培训是毕业后医学教育的重要组成部分，是非临床专业如护理、检验技术、影像技术等专业的毕业后教育，是院校教育与临床衔接的重要环节。与院校教育的以基础理论、基本操作技能为教学重点不同，毕业后教育着重临床操作技能的培养，利用MR进行各种规范化临床操作技能的训练和临床思维能力的培养，可有效提高医学生的各项临床操作技能、医学综合诊断技能等。

很多教学医院已经开始利用MR联合3D打印技术、模拟人等进行复合教学，如胸腔穿刺术、侧脑室穿刺技术、经皮椎间孔入路腰椎间盘切除术等临床操作技能，提高了教学效率，收到较好的效果[4]。在外科手术尤其是眼外科、整形外科等显微外科手术教学中，术前根据CT、MRI检查结果，利用基于MR的可视化系统进行全息影像呈现，能够更直观、多角度地观察目的血管走行及毗鄰，教师可以结合全息模型进行手术的设计和优化，还可以将手术方案与实际病例结合进行讲解，从而实现教学统一[5]。

MR在继续教育（终身教育）中的应用  医学是一门需要终身学习的学科，利用MR建立医学继续教育（终身教育）的可视化远程教学模式，符合教育部提出的坚持信息技术与教育教学深度融合的核心理念，符合构建网络化、数字化、智能化、个性化、终身化的教育体系的要求。可视化远程教学模式与基于MR的远程会诊系统相似，在混合现实全息影像技术支持下，创设一个在线虚拟课堂，头戴空间站的医生使用全息模型进行讲解时，可以使用第三视角录制软件把医生及在他视角中的全息模型采集到屏幕，利用网络进行全息直播，将处于不同地域学习者的虚拟化个体耦合连接到同一个在线虚拟课堂之中，实时交互，实现远程共享。这种可视化远程教学模式也适用于真实案例诊疗教学。

4 混合现实技术的优势和发展前景

与VR和AR技术相比，MR在医学教育中更具优势。VR是一个在三维空间内完全虚拟的世界，可以通过视觉、听觉、触觉等感官的模拟，给使用者以身临其境之感，可以即时、没有限制地观察三维空间内的事物，并与之交互，是一种全封闭的沉浸式体验，其优势是体验感较强，但脱离了真实世界，缺乏真实感。AR是把虚拟的物体叠加到真实世界，优势是增强了与真实世界的融合交互，但需要通过手机、平板电脑的摄像头进行识别，在这些设备的显示屏幕上实现虚拟与真实的叠加，空间局限性削弱了使用者的体验感。MR则是把真实的物体叠加到虚拟世界里，在这个新的可视化环境里实现物理和数字对象的实时互动，集合了VR和AR的优势，使其同时具备空间感和立体感。

MR可以充分调用丰富的教育素材和场景资源，通过虚拟与现实环境的融合和交互，在教学情境、教学实验、技能训练等场景化学习中，创造不再受限于地理空间的教育形式，将人的感觉延伸到新创建的学习场景中，充分调动视觉、听觉、触觉甚至嗅觉等多种感官，更具沉浸感、代入感，能够很好地激发学生的学习兴趣，促使学生主动探索。MR将在基础理论教学、案例教学、实践技能教学等方面，以崭新的教育思维，推动院校教育的发展;在毕业后教育阶段，与3D打印技术、模拟人等结合进行的复合教学更具发展前景;在可视化远程教学中更具发展空间。

MR将颠覆传统的教学模式，在医学教育的各个阶段开辟新的教学路径，加快推动医学教育信息化改革和创新步伐，有效缩短医学人才培养周期。随着国家创新驱动发展战略的实施，MR必将以其强大的教学功能优势和广泛的应用范围在推动医学教育发展、加快教育信息化进程、建设教育强国中发挥重要作用。

参考文献

[1]Forrest W P， Mackey M A， Shah V M， et al. Mixed reality meets pharmaceutical development[J].Journal of Pharmaceutical Sciences， 2017，106（12）：3438-3441.

[2]GAO Y， TAN K， SUN J， et al. Application of Mixed Reality Technology in Visualization of Medical Opera-tions[J].Chinese Medical Sciences Journal，2019，34（2）：103-109.

[3]张加尧，吴星火，冯晓波，等.混合现实技术在医学领域的应用[J].中华实验外科杂志，2019，36（1）：179-181.

[4]杜昌旺，史罗宁，王玫，等.3D打印联合混合现实技术在侧脑室穿刺教学中的运用研究[J].中国医学教育技术，2019，33（5）：603-606.

[5]燕荣帅，李翔，肖晶晶，等.混合现实技术在整形外科教学中的应用探索[J].中国美容医学，2018，27（2）：140-142.