混合现实技术在口腔颌面部肿瘤诊疗中的应用

彭歆， 章文博

北京大学口腔医学院·口腔医院口腔颌面外科，国家口腔医学中心，国家口腔疾病临床医学研究中心，口腔生物材料和数字诊疗装备国家工程研究中心，北京（100081）

口腔颌面部肿瘤是口腔颌面外科的常见疾病，口腔颌面部解剖结构复杂，包含诸多重要的血管和神经，该区域的操作空间狭小，手术难度较大。口腔颌面部瘤切除后引起的组织缺损畸形易造成咀嚼、吞咽、语音和呼吸等功能障碍，严重影响患者的生存质量［1］。在传统的口腔颌面部肿瘤治疗过程中，术者常通过临床检查和影像学检查获取病灶部位的解剖学信息，依靠临床经验判断肿瘤范围，制定手术治疗计划，术中依靠经验进行肿瘤切除与缺损重建修复［2］。这种“经验依赖”治疗模式基于术者的解剖学基础、影像立体重构能力及临床经验，无法实现个性化的术前评估和手术规划，术中缺乏精确的定位引导，难以保证安全的切除边界和功能性的重建修复。

近年来，随着数字化影像技术的不断发展，以混合现实（mixed reality，MR）技术为代表的计算机图形和可视化技术已经对口腔颌面外科领域产生了显著的影响。混合现实技术是一种新兴的三维可视化技术，强调现实世界与虚拟世界的结合，通过混合现实技术呈递的影像数据，能够加强用户对于实际结构的理解［3］。随着数字化外科技术在临床应用趋于成熟，数字化影像技术将拥有良好的数据基础及应用场景：通过计算机三维重建技术，能够实现肿瘤病灶、颌面部血管、骨骼及神经的三维立体化；利用计算机辅助设计技术，能够基于三维重建的肿瘤制定个性化的切除方案；而混合现实技术能够将处理后的影像数据立体、实时、精确地呈递到术者眼前，在术前手术方案制定、术中肿物切除和缺损重建定位引导以及远程会诊方面均可发挥重要作用。笔者将结合近年来国内外文献报道及本课题组临床实践经验，对混合现实技术在口腔颌面部肿瘤中的应用进行归纳与总结。

1 混合现实技术的应用概述

混合现实技术最早源自于多伦多大学教授Steve Mann 所提出的介导现实（mediated reality）概念，其最终目标是实现虚拟世界、现实世界和用户之间的数据交互与共享。为了更清晰地展示混合现实技术概念，本文引用了Milgram 等［4］在1994年所提出的“真实-虚拟连续统一体”中的混合现实概念（图1），即：真实-虚拟为连续的一维空间坐标轴，横轴左端为纯真实环境，横轴右端为纯虚拟环境，坐标轴除开左右两端点即为混合现实概念。但在实际应用上，混合现实与增强现实（augmented reality，AR）更为接近，增强现实技术可视为混合现实技术的过渡阶段。

图1 代表“真实-虚拟连续统一体”的一维空间坐标轴Figure 1 A one-dimensional spatial coordinate axis representing the "Reality-virtuality (RV) continuum"

混合现实技术是新兴的三维可视化技术，将现实环境与虚拟环境结合，具有实时交互性和精确匹配性的特点［5］。头戴式显示器（head-mounted display，HMD）是实现混合现实技术临床应用的核心设备，其中的“光学透视模式”是实现“现实与虚拟环境结合”的优质媒介［6］。混合现实技术的临床应用广泛，不存在绝对禁忌证，对患者不会造成额外的创伤，已经在介入血管科、肝脏外科和心血管外科等领域开展应用［7-9］：通过在术区叠加三维重建模型实现人体结构可视化，能够提高微创手术的真实性和安全性［7］；术中共享虚拟手术计划，减轻外科医生手术操作的心理压力［8］；Li 等［9］在A 型主动脉夹层中基于低剂量CT 血管造影进行混合现实成像，不仅能够在降低患者成像辐射的基础上获取满意的术中CT 血管造影影像，还能利用混合现实全息影像有效辅助术前手术模拟和术中实时定位导航，缩短手术时间。口腔颌面部解剖结构复杂，肿瘤常位于颌面部深区或比邻重要的血管神经。混合现实技术因其具有三维可视化的“透视”特点、辅助引导定位的功能，尤其适用于位于重要解剖区域、侵及范围广泛且比邻重要血管神经的复杂口腔颌面部肿瘤诊断与治疗，也适用于位于口腔颌面部位置深在的、临床不易触及的微小肿瘤的诊断和治疗。但混合现实技术在口腔颌面外科的临床应用尚处于起步和探索阶段。本课题组以口腔颌面部肿瘤的诊断和治疗为切入点，探索并建立了混合现实技术的临床应用流程（图2），并在该技术的临床应用形式以及实际使用效果方面积累了宝贵的经验。

Figure 2 The application process of mixed-reality technology to oral and maxillofacial surgery图2 混合现实技术在口腔颌面外科的应用流程

混合现实技术应用的关键在于将三维虚拟图像与现实环境中的解剖结构进行配准，图像配准的精确度是决定该技术应用效果的关键因素，也是目前临床研究的热点问题。混合现实技术的图像配准方式包括手动配准、基于标记点或标志物的配准和基于表面的配准［10］。其中手动配准方式需要手动多角度对齐，配准精度难以保证［11］；基于标记点和标记物的配准需要在影像检查前将基准标记刚性固定在目标区域，增加了术前准备时间，且可能会对患者造成一定的创伤和不适；基于表面配准是目前手术导航系统常用的配准方式，该方式耗时短、精度高，同时能够实现图像的实时跟踪。本课题组研究表明［12］，将混合现实技术与手术导航技术相结合，辅助实现三维虚拟影像与术区实际结构的精确匹配及实时交互，能极大提高混合现实图像的配准效率和配准精度，拓展该技术的临床实用性。

2 混合现实技术在口腔颌面部肿瘤诊疗中的临床应用

近年来，本课题组在混合现实技术辅助口腔颌面部肿瘤诊断与治疗等方面进行了初步探索性的研究，现将主要研究结果进行介绍。

2.1 混合现实技术辅助术前评估及手术规划

通过术前影像学检查对病变部位以及周边重要结构有清晰、立体的认知，能够帮助术者设计合理的手术入路，从而充分暴露肿瘤，保护周围结构，保证手术的安全性与彻底性。传统的三维图像重建是在二维平面上模拟显示三维图像，难以呈现图像的立体感与真实感［13］，但混合现实技术能够通过高分辨率头戴式显示器实现高质量的三维图像呈现。医生利用混合现实系统在手术前就能观看到肿瘤及其周围重要解剖结构的三维重建模型，并且可以通过特定手势对模型进行缩放、旋转、测距、隐藏/显示等操作［14］。不仅可以全方位多角度获取病变区域的解剖信息，还可以模拟手术切除，直观查看手术入路附近的重要解剖结构，明确术中困难步骤及制定相应的解决方案。在此基础上能够进行更为全面的术前评估以及制定更加周密的手术规划，符合精准医疗的需求。

在口腔颌面部疾病的诊断与治疗中，研究人员进行了各种类型的尝试。Mitani 等［15］将混合现实图像应用于上颌骨鳞状细胞癌患者的治疗过程中，结果表明：混合现实技术能够顺利应用于头颈部肿瘤手术的术前虚拟计划和术中图像参考，术者可以通过简单的手势操控3D 全息影像，混合现实在肿瘤定位以及评估手术入路方面要优于二维屏幕显示。郭陟永等［16］应用混合现实技术分别协助完成了两名头颈部肿瘤患者的手术治疗，发现3D 模型能够帮助患者更容易了解自己病情，提高手术依从性；并且基于混合现实图像进行术前讨论，能大大降低临床评估时间。本课题组使用混合现实技术辅助8 例肿瘤患者的手术治疗，总结了混合现实技术的应用流程，并使用Likert 量表收集术者对于该技术的使用感受，结果显示：混合现实技术对肿瘤及周围重要结构的定位与识别、制定个性化治疗方案以及修正手术计划等方面具有积极作用［17］。

2.2 混合现实技术辅助口腔颌面部肿瘤切除

2.2.1 混合现实技术辅助骨组织肿瘤定位与切除 骨组织肿瘤定位与切除的准确性与患者预后息息相关。目前多采用虚拟手术设计结合手术导航系统来实现肿瘤精确定位与切除。在影像处理阶段，通过图像融合技术，能够更清晰地显示肿瘤累及范围，从而获得更为合理的虚拟手术设计；而利用手术导航技术，能够精确地将虚拟手术计划从软件内转移至术区，引导术中肿瘤切除［18］。但手术导航系统其显示端为平面显示器，难以模拟三维图像的立体感与真实感，并且由于显示区域远离术区，医生为了获取图像信息，如术前影像信息、手术计划、器械位置等，还是需要将注意力从手术区域转移至导航系统的显示器上，这会导致手术医生在手术过程中注意力的分散，降低手术效率，影响手术安全性［19-20］。如果使用增强现实技术进行影像呈现，仅仅通过手动配准的方式进行虚拟手术计划在术区叠加，既往研究显示其平均配准误差会达到10 mm 左右，单次配准时长最长可达9 min［21］。

本课题组采用混合现实技术结合手术导航系统，利用手术导航自动精确配准的优势协助混合现实图像在术区定位［12］。研究至今共纳入20 例累及颌面部骨组织的肿瘤患者，其中导航-混合现实组患者10 例（上颌骨6 例，下颌骨4 例），在混合现实图像引导下进行肿瘤切除以及颌骨截骨术（图3）。导航组患者10 例（上颌骨6 例，下颌骨4 例），在导航图像引导下完成手术。所有患者均通过Geomagic Qualify 软件进行截骨误差分析（图4）。结果表明：导航-混合现实组的截骨面平均偏差为（1.70 ±0.94）mm，导航组平均偏差为（1.87 ± 0.78）mm，P=0.406＞0.05。色谱分析图像显示：与计划截骨平面相比，导航-混合现实组截骨面上77.28%的点偏差在3 mm 以内，导航组有66.50%的点偏差在3 mm以内。手术导航和导板技术是辅助口腔颌面部肿瘤切除的主要数字化手段。既往研究表明，单纯使用导航技术的截骨误差为1～2 mm［22-23］，使用数字化截骨导板的误差在2 mm 以内［24-25］。本课题组使用混合现实结合导航技术，与之相比精度接近，证实了混合现实环境下应用导航技术的可行性和精确性。

图3 混合现实技术辅助骨组织肿瘤定位与切除Figure 3 Assistance by mixed-reality technology for bone tissue tumor localization and resection

图4 使用Geomagic Qualify 软件对截骨面误差进行色谱分析Figure 4 Chromatographic analysis of the osteotomy surface using Geomagic Qualify software

综上，以手术导航系统作为混合现实图像的配准媒介，能够解决目前混合现实技术存在的配准时间长、配准精度低的问题。导航-混合现实系统不仅能够达到手术导航系统的临床使用精度；同时与单纯使用导航技术相比，利用混合现实技术将三维可视化模型移至术区，能够使得手术医生更加直观、立体地查看三维解剖图像，克服了导航手术过程中手眼协调的问题，提高了操作的稳定性，在保证手术精度的同时提高手术效率［26］。

2.2.2 混合现实技术辅助软组织肿瘤定位与切除 腮腺是唾液腺肿瘤的好发部位，近年来，随着居民体检制度的不断完善、医疗检查设备的不断更新以及患者自我保健意识的不断提高，临床上发现的腮腺肿瘤体积更小［27］。对于腮腺区的微小肿瘤（小于20 mm）进行手术切除，其重点是确定肿瘤的位置。腮腺咬肌筋膜致密，手术过程中难以通过触觉反馈感知肿物位置。而在寻找肿瘤的过程中进行组织解剖分离会加大手术损伤，甚至会造成不必要的面神经破坏。如果能在术前确定肿瘤位置，显示肿瘤与周围结构（如腮腺腺体、神经和血管等）关系，进行个性化的切口设计和方向明确的手术入路选择，就能够在一定程度上减少手术创伤，缩短手术时间，降低手术风险［28-29,11］。

本课题组采用病例对照研究的方式，探讨混合现实技术结合手术导航系统在腮腺微小肿瘤切除手术中的应用效果［30］。研究纳入18 例行手术切除的腮腺微小肿瘤患者为研究对象，分为导航-混合现实组（6 例）与对照组（12 例）。在导航-混合现实组中，术者基于增强CT 数据三维重建颌骨、血管、腮腺实质以及肿瘤，通过表面注册的形式实现手术导航计划与术区的注册配准，将三维重建图像匹配于颌面部相对应的组织结构上，术前利用HoloLens 头戴式显示器中所显示的标记点及腮腺等结构的三维重建图像于术区标记肿瘤位置，设计手术切口及手术入路；术中在混合现实图像引导下解剖分离至肿瘤表面，并记录标记点与实际位点之间偏差（图5）。对照组则根据术者经验进行腮腺肿瘤切除手术。记录混合现实图像的引导误差，以及两组患者肿瘤的最大径、肿瘤性质、手术时长及术中出血量。术后对患者进行随访，记录术后并发症以及肿瘤复发情况。结果显示：导航-混合现实组的平均定位偏差为（3.03±0.83）mm。导航-混合现实组和对照组的肿瘤最大径分别为（13.2 ± 4.6）mm 和（16.3 ± 3.0）mm，P= 0.109＞0.05。在手术时长方面，导航-混合现实组的平均手术时长为（76.7 ± 14.0）min，对照组为（65.4 ±22.2）min，P= 0.220＞0.05。术中出血量两组相当，分别为导航-混合现实组（16.0 ± 8.0）mL，对照组（16.7±6.6）mL，P= 0.825＞0.05。各项结果之间差异均无统计学意义。术后病理回报，导航-混合现实组5 例为良性肿瘤，1 例为恶性肿瘤（腺泡细胞癌），对照组12 例均为良性肿瘤。术后并发症方面，导航-混合现实组术后恢复良好，对照组有1 例患者出现面瘫表现（1/12），两组间无统计学差异。随访期间均未见肿瘤复发。

图5 混合现实技术辅助软组织肿瘤定位与切除Figure 5 Assistance by mixed-reality technology for soft tissue tumor localization and resection

虽然各项数据之间没有显著性差异，但导航-混合现实技术在手术过程中可以实时立体显示肿瘤与周围组织（腮腺、上下颌骨以及周围重要血管）之间的位置关系，使术者术前和术中做到心中有数，提高手术的安全性，减少手术并发症。导航-混合现实技术在使用过程中也体现出较高的定位精度，尤其对于存在于腮腺深叶的肿瘤或直径较小的肿瘤（微小肿瘤），能够辅助快速准确地定位肿瘤，避免大切口和大范围翻瓣解剖，减小手术创伤。综上所述，混合现实技术在实现腮腺肿瘤精确切除和提升手术安全性方面具有重要潜力。

2.3 混合现实技术辅助颌骨缺损重建修复

颌骨缺损重建修复常采用移植骨组织的形式恢复颌骨的连续性，从而最大限度恢复患者美观、咀嚼、吞咽以及言语等重要功能。临床上常使用血管化腓骨瓣移植修复颌骨缺损［31］。术者在肿瘤切除之后，根据面部外形及咬合功能恢复需求，设计移植骨的塑形方案：肿瘤对颌骨外形破坏不明显时，术者可以参考切除的肿瘤标本设计移植骨段长度与摆放角度；但当肿瘤较大、对颌骨外形破坏较严重时，术者就必须依赖自身经验设计移植骨的三维位置。这种“经验依赖”的缺损重建方法常常缺乏足够的精度以及稳定性，并且术中的反复调整还会增加手术时长。即便如此，也难以保证术后获得满意的咬合关系及咀嚼功能修复。

在混合现实环境中，虚拟手术计划中颌骨及重建骨组织的三维重建模型可以被立体直观地呈现在医生眼前。利用HoloLens 的手势操作功能，医生可以实现对颌骨模型的旋转、平移、放大及缩小操作，从各个维度来评价移植骨段的位置，从而确定最佳的摆放位置。医生可以参考HoloLens 中的各移植骨段长度以及角度进行塑形，使得移植骨段与术前设计保持一致［32-33］；塑形完成后，缺损颌骨与移植骨段的三维重建模型能够引导医生将移植骨皮瓣摆在预设的位置并加以固定［34］，从而依照术前设计最大限度恢复患者的外形及功能。

目前，混合现实技术辅助颌骨缺损重建修复已在体外实验上取得了良好的应用效果。在移植骨组织截取与塑形方面：Pietruski 等［33］报道了分别在增强现实、增强现实结合导航、截骨导板的引导下进行腓骨模型截骨实验，结果表明，增强现实以及增强现实结合导航技术已经能够达到与截骨导板相近的使用精度。而在另一项研究中，Zhao等［35］开发了一款基于人工标记物配准的增强现实软件，以此为基础分别进行了腓骨在大体标本内和标本外的截骨操作，结果显示增强现实引导下的腓骨截骨精度与截骨导板相当，优于光学导航的使用精度。在引导移植骨组织进行缺损修复方面：Liu 等［34］进行了下颌骨缺损修复的模型实验和动物实验，分别比较了增强现实系统与手术导板之间的误差，结果显示增强现实系统具有跟手术导板相似的可行性、准确性和稳定性，并且研究人员认为增强现实系统能够提升操作者在完成手术计划时的手眼协调能力。

2.4 混合现实技术协助远程医疗

混合现实技术的应用能够为远程医疗的迅速发展提供可靠的技术支持。20 世纪末，Wagner等［36］就尝试利用互联网结合增强现实技术开展远程医疗协助。会诊医师通过头戴式显示器接收来自手术现场的视频、音频以及立体定向导航数据，可以看到叠加于术区的图像或轮廓，并通过标记的形式将相应会诊意见反馈至手术现场。这是交互式远程会诊在口腔颌面外科的初期探索，证明了增强现实结合互联网在远程医疗领域有着广阔的应用前景。Mitsuno 等［37］构建了一套以HoloLens为显示端，Skype 为视频/音频传输媒介的低成本、低门槛的远程医疗会诊系统，研究人员将高年资专家和住院医师分别置于两地不同医院，高年资专家远程指导住院医师在体外模型上进行模拟手术，验证了该系统用于远程医疗的可行性。Ewers等［38］总结了50 例颅颌面外科远程医疗支持治疗的经验，将远程会诊数据传输过程中图像的质量分为5 级，并对7 类颌面部手术所需要的远程医疗支持进行分析，结果表明，增强现实环境下的移动通信系统能够提高偏远会诊地区医院颌面外科的手术质量，但远程会诊还是受限于会诊地区已有的基础设备。

我国国土面积辽阔，人口众多，但优质的医疗资源仍集中于经济发达地区，医疗资源分布不均的问题同样十分严峻。近年来随着我国基础设施建设的逐渐完善，通信技术的不断发展，偏远地区也能获得高质量的移动互联网服务。其中，以5G技术为代表的新一代移动通信技术具有“高速率、低延迟”的特点，为远程医疗中实现高质量图片、语音、视频以及医学影像学数据的低延迟传输提供了强有力的技术支撑。目前，我国的研究人员在“混合现实+5G”的帮助下，在胸外科、肝胆外科、乳腺外科等［39-41］科室成功实现远程会诊手术，取得了良好的应用效果，积累了宝贵的临床实践经验。然而，其在口腔颌面外科的远程手术、远程会诊等方面的应用却鲜有报道。现如今，随着软硬件的不断升级换代，通过HoloLens 实现3D 图像下的手术引导的精度已经能控制在2.5 mm 左右，大大降低了远程医疗培训和远程指导手术的难度［42］。综上所述，混合现实技术对促进我国口腔医疗资源均衡发展、搭建高质量的教学平台、提升偏远地区人民口腔健康水平等方面具有重要潜力。

3 小 结

数字化影像技术不断发展，如何利用数字化外科技术为医生提供更多影像学参考与术中指引，实现颌面部肿瘤的精准诊断与治疗，一直是口腔颌面外科医生关注和讨论的热点。混合现实技术通过在口腔颌面外科医生眼前的真实世界中融合虚拟的三维重建模型，提升了图像的三维立体感，降低了医生获取影像信息的操作壁垒，最终实现“无接触式的实时三维可视化”。混合现实技术目前已经在口腔颌面部肿瘤的术前诊断、手术方案制定、术中引导切除以及远程医疗等方面展示出巨大的发展潜力。但混合现实技术在口腔颌面外科中的应用仍处于起步阶段，存在一定的局限性，如：虚实遮挡问题，透明度较低的三维重建图像会遮挡术区实际结构，而术区明亮的手术灯光又会导致图像难以被识别；长时间佩戴头戴式显示器会增加医师头颈部的负荷；单纯使用混合现实技术配准精度仍需进一步提升等。随着三维可视化技术的发展与进步，以及医工交叉领域的研究不断深入，未来混合现实技术在交互方式、显示效果以及图像配准精度等方面将进一步提升，在口腔颌面外科及相关临床医学中的应用具有更为广阔的前景。

【Author contributions】Zhang WB wrote and revised the article.Peng X conceptualized and revised the article. All authors read and approved the final manuscript as submitted.