增强/混合现实技术在头颈外科的应用及展望

陈刚　综述　汤炜　审校

近年来，数字医学的飞速发展使得头颈外科的诊疗呈现精确、微创和个性化的特点，也在医学教育等方面展现了巨大的优势。随着计算机技术的进步，数字医学的内容也在不断充实，一些新的技术正逐步在头颈外科获得应用转化，其中的增强/混合现实技术因具有强化辨识内在结构、实时动态可视化等优点而备受关注。

1　增强/混合现实技术

增强现实（Augmented Reality，AR）是涉及了计算机图形技术、多媒体技术等的一项新技术，以此实现虚拟与真实信息的叠加，达到虚拟和真实的同步结合。混合现实（Mixed Reality，MR）则是在此基础上发展，将虚拟信息和真实信息融合，利用全息影像、实时交互等技术对现实世界进行重塑，实现虚拟信息在物理现实中的真实投影。虽然增强现实与混合现实的概念存在差异，但二者所要实现的都是虚实相合，是对现实世界有限信息的增加和强化，两者的技术路线也有很大的相似性，在现阶段大部分的开发和应用介于两者之间，尚无法对其进行明确区分，出现了两者概念和应用上的混淆。本文仅阐述和讨论这一类虚实融合技术在头颈外科的应用情况，故以“增强/混合现实”（AR/MR）对其进行综述。与之相应的虚拟现实（Virtual reality，VR）技术则是将虚拟构建的世界与真实的物理环境分离开，使我们完全沉浸在虚拟空间内去体验数字世界。与VR不同的是，AR/MR不仅是在虚拟的空间内进行模拟仿真，而是依靠超强算法提高环境识别和空间感知能力，全息实时再现虚拟与现实图像和数据，将我们所能感受到的真实物理环境变得更加立体、生动。

2　AR/MR研究的历史及现状

1990年，Tom Caudell的团队在为波音公司设计的布线系统中开始使用 “增强现实”这个概念。哈佛大学的Ivan Sutherland研发的头戴式显示设备“达摩克利斯之剑”是该技术的起源，1994年之后出现与之相关的技术研究报道。1995年，Ploder的研究团队首次将AR尝试用于牙种植[1]，是目前能够追溯到的最早将该技术用于头颈外科的研究。2000年始出现了第一波研究高潮，相应的文献呈现平稳增长的态势，2012年后AR/MR的智能可穿戴设备相继出现，带来了近五年来第二阶段的研究高潮。诸多的研究将其应用在机器维修、古迹复原、娱乐、教育等各个行业。

3　AR/MR在头颈外科的应用

AR/MR靠信息采集设备（环境摄像头、深度传感球、多阵列麦克风等）实时捕捉真实环境图像继而同计算机产生的虚拟景象匹配，并输出显示给用户来实现。主要的实现方式有基于显示器、基于光学原理透视式、基于视频融合透视式三种类型。随着AR/MR的基础研究不断开展，在医疗领域，神经外科、医学美容、消化外科等学科率先对其开展了研究和应用[2-4]。在头颈外科中，AR/MR的应用目前主要集中在医学教育、术中导航两个方面。

3.1　AR/MR在医学教育中的应用

医学教育是一个高成本、长时间的积累过程，对于医学解剖的教育更是如此，需要足够的解剖标本和不断的模拟锻炼，才能够训练出一个基本合格的医生，特别是对于头颈外科来说，解剖结构复杂，孔隙多，重要的解剖结构之间关系密切，要熟练掌握实非易事。

AR/MR在现阶段的技术基础之上为我们提供一个从视觉上强化的三维立体解剖模型，与虚拟现实不同的是，它能够在多人之间实现交互。AR/MR更多的是提供给多个学习者对同一模型的共同学习、指导的空间。其根据大量实验数据而仿真构建的数字模型，重建出空间层次、色泽、大小相仿的数字人体，利用注册技术将模型放置在相对固定的位置上，多个AR/MR设备互相链接，以此实现学习虚拟人体的同时可接受同伴、老师的指导。现阶段，数字模型仅充当学习的辅助工具，还不具有对解剖变异的预测和解剖多样性的展示，所以依然需要有经验的老师予以指导。AR/MR用于教学，弥补了解剖标本不足，场地限制等传统的教学短板。张家墅等[5]将AR/MR用于指导培训颅内病变定位穿刺，在仿真的实体模型上应用该技术将经过数据处理的病变和真实的模型融合来引导穿刺，指导学生的学习。将虚拟的信息和现实场景融为一体，可缓解学习的枯燥，有利于提高学生的学习效率。

3.2　AR/MR在手术导航中的应用

对头颈外科来说，病变精确的定位及对暴露过程的引导是至关重要的。不少研究将AR/MR用于头颈部的手术导航，均收获了良好的效果。Lin等[6]将正颌外科的数字手术规划和AR/MR联系起来，将虚拟的截骨线和真实的颌骨叠加融合，利用AR/MR设备可以在暴露完成的上下颌骨表面看到虚拟设计的截骨线、骨断端移动的目标位置，术中只需将真实的骨块移动到和虚拟对象吻合，即可完成同虚拟手术规划一致的效果。AR/MR增加了手术的精确度和可预知性。Besharati等[7]将颅内病变的数据虚拟仿真，以此完成对开颅的定位和病变区域的引导，以最小的创伤取得最佳的手术入路。AR/MR还可应用于肿瘤切除，通过整合患者数据标定病变的边界，术中指导切除范围。在整形外科，为防止下牙槽神经的损伤，可根据影像数据三维重建双侧下颌神经管，将此与面部真实的情况融合，术中在直视下颌神经管走形和毗邻关系的情况下安全手术[8]。Shen等[9]在三维重建并且复位后的骨折模型上虚拟预弯钛板，将虚拟预弯的钛板和真实的钛板所在的环境融合，在直视下根据虚拟的钛板形态来弯制真实钛板，达到两者形态上的拟合。

4　展望

在医学教育方面，AR/MR能够让学生直观了解头颈部解剖结构，让医学教育能摆脱场地的限制、提高学习效率。但目前辅助装备价格不菲，且不适宜长时间佩戴，展示的模型缺乏人体标本测量数据支持，特别是软组织的模拟还很欠缺。可精确模拟人体标本且可预测解剖变异的AR/MR数字可交互“课本”值得深入挖掘。

在术中导航方面，其图像导航更加直观，但目前的导航依然是被动的，繁杂的装备容易遮挡术野，数据传输延迟，光照对导航影响大是当前存在的问题。目前的研究主要关注其精确性的问题，原始数据的获取、数据的预处理、AR/MR的算法、注册跟踪技术、不同的显示技术都可影响其精确性。目前，算法在不断优化，大部分的研究集中在处理注册跟踪技术上，主要的注册跟踪技术有电磁跟踪、超声波跟踪、视觉跟踪注册等等。人工标志点（M arker）的视觉注册跟踪和非人工标志点（M arkerless）的视觉注册追踪[10]是目前研究的重点。人工标志点的注册跟踪相对简单易行，就目前的技术水平而言精确度也相较其他更高，这种注册方法在临床应用中取得了良好的效果。人工标志的形态、大小、数量、反光度、放置的位置、与感兴趣区域的空间位置关系等，都会影响系统对它的识别[8]。由于人工标志位置的固定一致性可直接影响精确度，因此有研究在颅骨处利用螺钉固定[11]，但对于颌面外科来说其感兴趣区域和标志之间的空间位置跨度大，影响引导的效果；也有研究将人工标志放置在截骨导板上用于提示临近重要结构，但这无疑加入了导板固位等另外的影响因素；近来有颌面外科的研究将人工标志放在基于单颌咬合板上进行固定，但缺乏成形的设计和相应参数的制定，人工标志所在的位置对手术操作产生阻挡，具体细节还需进一步优化。Wang等[12]利用体层扫描相机来捕捉牙列外形进行注册跟踪，是非人工标志注册的研究典型，相对于人工标志的注册方式，该方法更加方便，更有利于手术的操作，但精确性成了一个值得关注的问题。结合力学反馈、语音提示的主动图像导航可能是今后很好的研究方向。

在图像显示方面，早期的研究大多采用了PC显示器，随着近年来智能手机和平板电脑的普及，也有研究用集成了摄像头和显示器于一体的智能手机和平板电脑作为显示的终端，亦有研究利用支架式的半透半反膜进行图像的处理。随着近年来谷歌的googleglass和微软Hololens的推出，不少研究开始使用头戴式设备，且不乏有团队自主研发适用于头颈部手术的专用头戴设备。无论是传统的PC显示器还是平板电脑、支架式的显示屏和头戴式一体设备都各有所长，目前的主要趋势是向头戴一体设备发展，轻量化、长续航、深度感知、全息显示、临场感外科（T elepresence surgery）将是今后发展的方向[13]。

另外，基于AR/MR的多人交互，由于现今数据传输能力的限制和相应设备技术的不完善，尚无将其用于远程医疗的报道。倘如将远程的患者数据信息予以增强显示，在一个地方就可以完成异地多专家的直观会诊，对疑难重症的攻克可提供很大的便利。现阶段AR/MR仍处于不成熟的阶段，单一的应用场景可能是其在头颈部应用的最佳方式，随着技术的发展，比如微软的Hololens等设备的不断优化或许会为该技术在头颈外科的应用带来新的突破。

尽管这些研究为后续的工作提供了一定的参考依据，但仍然存在诸多问题。比如，技术本身还有很大的优化空间，对于头颈外科的应用场景目前仍较单一，注册跟踪技术、显示技术还需不断完善。目前的增强还只限于视觉增强，对于触觉等其他感觉的强化还没有相关报道，主动的图像导航依然是空白，增强现实中的人机交互也缺乏相应的研究支持。在实验方法上，大部分研究采用了论证强度略差的方法，缺乏前瞻性的对照试验。从结果评价来看，缺乏合适的三维误差评价方法[14]。

综上所述，AR/MR有利于头颈外科的教学和外科手术的实施，具有动态可视化、真实、可交互的优点，同时还有诸多待解决的问题，是一项极具潜力、值得深入研究并不断完善的数字医学技术。

[1]Ploder O,Wagner A,Enislidis G,et al.Computer-assisted intraoperative visualization of dental implants.Augmented reality in medicine[J].Radiologe,1995,35(9)：569-572.

[2]Guha D,Alotaibi NM,Nguyen N,et al.Augmented reality in neurosurgery：a review of current concepts and emerging applications[J].Can JNeurol Sci,2017,44(3)：235-245.

[3]Okamoto T,Onda S,Yanaga K,et al.Clinical application of navigation surgery using augmented reality in the abdominal field[J].Surg Today,2015,45(4)：397-406.

[4]Kim Y,Kim H,Kim YO.Virtual reality and augmented reality in plastic surgery：a review[J].Arch Plast Surg,2017,44(3)：179-187.

[5]张家墅,陈晓雷,王群,等.虚拟和增强现实技术在颅内病变穿刺手术教学中的应用[J].中国医学教育技术,2017,31(5)：578-582.

[6]Lin L,Shi Y,Tan A,et al.Mandibular angle split osteotomy based on a novel augmented reality navigation using specialized robot-assisted arms-A feasibility study[J].J Craniomaxillofac Surg,2015,44(2)：215-223.

[7]Besharati Tabrizi L,Mahvash M.Augmented reality-guided neurosurgery：accuracy and intraoperative application of an image projection technique[J].JNeurosurg,2015,123(1)：206-211.

[8]Zhu M,Liu F,Chai G,et al.A novel augmented reality system for displaying inferior alveolar nerve bundles in maxillofacial surgery[J].Sci Rep,2017,7：42365.

[9]Shen F,Chen B,Guo Q,et al.Augmented reality patient-specific reconstruction plate design for pelvic and acetabular fracture surgery[J].Int JComput Assist Radiol Surg,2013,8(2)：169-179.

[10]Suenaga H,Tran HH,Liao H,et al.Vision-based markerless registration using stereo vision and an augmented reality surgical navigation system：apilot study[J].BMCMed Imaging,2015,15：51.

[11]Zinser MJ,Mischkowski RA,Dreiseidler T,et al.Computerassisted orthognathic surgery：waferless maxillary positioning,versatility,and accuracy of an image-guided visualisation display[J].Br JOral Maxillofac Surg,2013,51(8)：827-833.

[12]Wang J,Suenaga H,Yang L,et al.Video see-through augmented reality for oral and maxillofacial surgery[J].Int J Med Robot,2017,13(2).

[13]Anvari M.Remote telepresence surgery：the Canadian experience[J].Surg Endosc,2007,21(4)：537-541.

[14]Widmann G,Stoffner R,Bale R.Errors and error management in image-guided craniomaxillofacial surgery[J].Oral Surg Oral Med Oral Pathol Oral Radiol Endod,2009,107(5)：701-715.