虚拟和增强现实技术在颅内病变穿刺手术教学中的应用

张家墅，陈晓雷，王 群，侯远征，孙国臣，李昉晔，张治中，张 军，孙正辉，余新光，许百男

解放军总医院：1 神经外科， 北京 100853；2 海南分院神经外科， 海南 三亚 572013

·数字医学·

虚拟和增强现实技术在颅内病变穿刺手术教学中的应用

张家墅1,2，陈晓雷1，王 群1，侯远征1,2，孙国臣1，李昉晔1，张治中1，张 军1，孙正辉1,2，余新光1，许百男1

解放军总医院：1神经外科， 北京 100853；2海南分院神经外科， 海南 三亚 572013

颅内病变穿刺活检术是一种对于脑内病变的活体组织检查方法，也是年轻神经外科医师需要掌握的基本术式。在传统活检手术中，脑功能区的定位完全依靠术者的经验判断，缺乏客观依据，不适合在临床教学中推广，对于缺乏临床经验的年轻神经外科医师来说，脑功能区的定位更具挑战。基于多模态导航的虚拟和增强现实技术，能够解决脑功能区定位和可视化问题。文章介绍了虚拟和增强现实技术在穿刺活检手术教学中的应用经验。

虚拟现实；增强现实；多模态导航；脑活体组织检查术；神经外科教学

虚拟现实技术(virtual reality,VR)是通过计算机模拟产生一种三维虚拟环境，借助特殊的人机接口技术，它能提供给用户视觉、听觉、触觉、味觉、嗅觉等多通道感官模拟，使用户产生高沉浸感的仿真体验[1-2]。增强现实技术(augmented reality,AR)是在VR基础上发展起来的，该技术将虚拟信息实时叠加到真实环境中，从而使用户获得超越现实的感官体验[3-4]。VR和AR已经在医疗、军事、工业、教育、娱乐和文化等领域有所应用。

基于多模态导航的VR和AR，是指将脑部功能和代谢信息与解剖影像进行数字化整合并导入导航系统，从而实现术前和术中结构、功能和代谢信息的同步可视化[5]。前期的临床应用提示，这种VR和AR能够直观、准确和可靠地定位脑部功能区，提高了活检手术的安全性[6-8]。笔者的研究团队将该技术应用于神经外科的临床教学实践中，并评价了其在手术教学中的应用价值。

1 对象与方法

1.1研究对象

选择解放军总医院神经外科10名住院医师参与颅内功能区病变的穿刺活检手术，手术对象为2016年1月—2017年1月在解放军总医院神经外科住院的20例颅内功能区病变患者。其中，男性11例，女性9例，年龄10～76岁，平均(38.40 ± 19.94)岁，具体信息如表1所示。

表1 20例患者基本信息、病变特点及手术参数

注：a世界卫生组织2016年神经系统肿瘤分级

1.2 VR和AR的实现

MRI的解剖、功能和代谢成像于手术前1 d完成。MRI数据采集后，通过局域网将原始数据传入计划工作站的iPlan 3.0软件。在解剖三维成像的基础上，代谢信息用于指导穿刺靶点的选择，功能成像用于显示皮层功能区及皮层下功能纤维束，经过数据后处理和图像融合即形成包含病变解剖、位置和周边血管、脑功能区的虚拟现实的数字化三维模型(如图1A所示)。在iPlan 3.0软件的trajectory模块内可利用该模型进行术前计划和模拟手术穿刺，从而实现术前VR。手术当天虚拟现实信息通过局域网传入导航工作站，通过导航注册将虚拟现实信息和患者面部标志物进行匹配。注册成功后，术前重建的病变、功能区等虚拟信息可以叠加到实际头颅和脑表面，实现术中AR(如图1B-C所示)。在术中AR指导下确定手术切口和穿刺点，按照确定的穿刺方案利用VarioGuide系统(德国BrainLab公司)锁定预设靶点位置[6]。穿刺针到达靶点和完成取材后常规进行iMRI扫描，如果iMRI发现穿刺部位不准确，可更新导航计划后重复上述步骤，直到满意为止。术后利用VR重建脑功能结构。

图1 基于多模态导航的VR和AR实例

1.3教学方法

术前多模态成像和导航计划由磁共振技术人员完成。术前VR模拟实际穿刺过程，形象化教学穿刺方案制定：住院医师术前首先根据传统MRI设计初始穿刺方案，再根据VR修订和完善穿刺方案，最终由上级医师审核后确定为实际穿刺方案；术中AR指导教学穿刺手术过程：穿刺手术由制定方案的住院医师在上级医师监督下，按照预先确定的穿刺方案进行。术中AR能够显示穿刺针和功能区位置信息，保障穿刺针避开功能区安全到达预设靶点；术后VR协助总结手术经验：术后VR重建脑功能区，分析功能障碍原因、制定应对措施和评估预后。整个数据采集和结果登记由组内研究生完成，统计分析由统计专业人员完成。

1.4研究指标

分析对比20例患者术前初始和修订后穿刺方案；记录术中取材阳性率、功能区保护情况、术后病理结果和围手术期患者神经功能评分。

1.5统计学方法

采用SPSS 21.0软件对数据进行分析，比较活检前后神经功能评分采用Wilcoxon秩和检验，以P<0.05为差异有统计学意义。

2 结果

2.1术前VR的教学作用

VR和AR在全部患者均得到成功实施。通过对比初始和修订后方案发现，45%(9/20)的初始穿刺路径不同程度地损伤功能结构。术者根据VR修订和完善了穿刺路径(如图2所示)。

图2 术前模拟穿刺帮助修订和完善穿刺方案

2.2术中AR的教学作用

借助VR和AR，10名住院医师均在上级医师指导下独立完成手术。20例手术均按照预先方案顺利完成，术中穿刺路径均最大限度地避开功能区(如图3所示)。

图3 术中基于多模态导航的AR实时显示穿刺针和功能区位置

2.3术后VR的教学作用

术后病理阳性诊断率100%，无围手术期死亡病例。尽管术前20例病变均位于功能区，活检前与术后2周的神经功能(karnofsky performance status,KPS)评分无明显差异(P=0.317)(表1)。2例患者出现暂时神经功能障碍，术后2周1例恢复至术前水平，1例遗留一侧肢体轻偏瘫，术后VR协助分析病情、总结经验和评估预后(如图4所示)。

图4 术后VR重建的功能区结果与临床表现吻合

3 讨论

3.1与传统教学方式的区别

VR和AR改变了传统活检手术的教学方式，主要区别在于：①变被动传授为主动学习。传统手术教学以上级医师操作、下级医师参观的形式进行，下级医师独立完成手术的机会非常有限。VR的出现使得年轻医师可以在术前模拟进行手术操作，这种仿真、互动式的亲身体验，能够明显提高学习者的积极性，加深和强化记忆。②变传统解剖影像为多模态成像。传统的活检手术中，术者只能根据解剖信息和个人经验讲授手术涉及的脑部功能结构，学习者则通过抽象思维去想象各个功能结构的空间位置和毗邻关系。VR和AR能够把抽象的结构重建后多角度显示，便于术者直观讲解和学习者形象记忆。以往冗繁的语言难以阐明的神经解剖结构，VR和AR能够一目了然的展示出来，达到事半功倍的教学效果。③完美兼顾临床和教学。活检手术是功能神经外科的常规手术，对于术中的操作技巧要求不高，手术的关键在于术前计划和术中导航精度，是年轻医师较容易掌握和上手的术式。初学者对于解剖和功能结构判别能力有限，术中容易损伤脑部功能区，造成患者神经功能障碍。模拟穿刺使得初学者可以根据VR提供的功能信息修改和完善手术方案，模拟穿刺的过程本身就是学习解剖和手术的最好机会。术中AR把功能结构多角度三维展示出来，初学者可以在AR辅助下完成手术，保证手术安全。对于高风险的神经外科专业来说，这种方式无疑是种兼顾临床和教学的两全齐美的方法。④利于术后经验总结。以往术后影像只能反馈活检部位是否准确，有无出血等情况，对于功能结构的完整性无法直观显示。VR可以将术后的功能结构重建出现，指导术后病情分析、应对处理和预后判断。该研究中1例术后早期出现神经功能障碍的患者，VR提示纤维束结构完整但受穿刺部位周围水肿影响，术后2周神经功能逐渐恢复正常(图4)。⑤降低手术门槛、缩短培养周期，利于年轻医师成长。古语说“工欲善其事，必先利其器”，以VR和AR为代表的高科技在医学领域的应用，在造福广大患者的同时，也给广大年轻医师带来更多的机遇。高科技的应用某种程度上更利于好奇心强和思维活跃的年轻医师掌握。传统外科医师的培养需要日积月累的临床磨炼，这种点滴积累固然重要，但VR和AR有望缩短年轻医师的培养周期，同时降低某些手术的入门门槛。研究发现，脑穿刺活检的术后神经功能障碍发生率为0.4%～11%，该概率的高低与病变性质和部位密切相关[9-11]。该组20例患者均紧邻功能区，但借助于VR和AR，手术前后神经功能评分无明显变化，术后神经功能障碍发生率为5.0%。因此，住院医师借助VR和AR的辅助以及上级医师的指导，也能独立完成有一定难度的颅内病变穿刺活检手术，达到同上级医师类似的手术效果。

3.2现状和未来展望

医学教育是VR和AR应用的热点领域。解放军总医院于2009年在国内较早开展了多模态导航与高场强术中磁共振引导下无框架立体定向颅内病变穿刺手术。导航与术中磁共振是实现VR和AR的硬件载体，但由于价格昂贵，目前仅限于规模较大的神经外科中心，很难普遍推广。随着图像后处理软件和外接显示器的不断发展，出现了多种版本的VR和AR装备。例如：近年智能手机能够实现多种数字化显示功能，笔者的研究团队在国际和国内最早利用智能手机，将三维重建的病变影像投射到实际患者头颅，实现基于智能手机平台的简易AR，用于神经外科临床教学[12-14]。这种简易、低成本的方法仅依靠一台安装了配套软件的笔记本电脑、光盘或蓝牙传输媒介和一台智能手机，即可实现传统需要昂贵费用和庞大设备才能实现的VR和AR。VR和AR在临床教学领域的应用潜力巨大，但不可否认的是目前仍存在诸多不足。例如：图像采集和后处理过程中仍需要人为配准、注册，因此不可避免地会受到主观因素的影响。如脑部语言区需要在唤醒麻醉下术中皮层电刺激来加以验证。因此，寻找一种准确、可靠和便捷有效的VR和AR设备会成为未来研究的目标。

基于多模态导航的VR和AR在颅内病变穿刺手术教学中的应用，将传统的“被动灌输、抽象想象”的手术教学改变为“主动参与、直观可视化”的全新模式，既提高了教学效率，又保证了手术质量，适合推广。

[1]Halarnkar P,Shah S,Shah H,et al.A Review on Virtual Reality[J].Inter J Comp Sci Iss,2012,9(6):325-330

[2]高源,刘越,程德文,等.头盔显示器发展综述[J].计算机辅助设计与图形学学报,2016,28(6):896-904

[3]Azuma R.Tracking requirements for augmented reality[J].Commu of the ACM,1993,36(7):50-51

[4]孙国臣,余新光,陈晓雷,等.基于多模态功能神经导航的虚拟现实及增强现实技术在神经外科教学中的应用[J].中国医学教育技术,2015,29(1):66-69

[5]Nimsky C,Kuhnt D,Ganslandt O,et al.Multimodal nav- igation integrated with imaging[J].Acta Neurochir Su- ppl,2011(109):207-214

[6]张家墅,陈晓雷,李昉晔,等.新型无框架立体定向系统Var- ioGuide在颅内病变穿刺活检中的初步应用[J].中华医学杂志,2012(92):1468-1471

[7]李昉晔,陈晓雷,何婷婷,等.基于代谢影像的多模态功能神经导航在无框架立体定向穿刺活检术中的应用[J].中华外科杂志,2013(51):358-361

[8]朱伟杰,陈晓雷,张家墅,等.氢质子磁共振波谱影像自动融合指导无框架立体定向颅内病变活检[J].中华外科杂志,2014(52):280-284

[9]Hall W A.The safety and efficacy of stereotactic biopsy for intracranial lesions[J].Cancer,1998,82(9):1749-1755

[10]Dammers R,Haitsma I K,Schouten J W,et al.Safety and efficacy of frameless and frame-based intracranial biopsy techniques[J].Acta Neurochir,2008,150(1):23-29

[11]Gralla J,Nimsky C,Buchfelder M,et al.Frameless ster- eotactic brain biopsy procedures using the Stealth Sta- tion:indications,accuracy and results[J].Zentralbl Neu- rochir,2003,64(4):166-170

[12]Hou Y,Ma L,Zhu R,et al.iPhone-Assisted Augmented Reality Localization of Basal Ganglia Hypertensive Hem- atoma[J].World Neurosurg,2016,94:480-492

[13]Ma L,Hou Y,Zhu R,et al.Endoscopic Evacuation of Basal Ganglia Hematoma:Surgical Technique,Outcome,and Learning Curve[J].World Neurosurg,2017(101):57-68

[14]Sun G C,Chen X L,Hou Y Z,et al.Image-guided endos- copic surgery for spontaneous supratentorial intracereb- ral hematoma[J].J Neurosurg,2016(16):1-6

Applicationofvirtualandaugmentedrealityinteachingofneurosurgicalneedlebiopsyofintracraniallesions

ZhangJiashu1,2,ChenXiaolei1,WangQun1,HouYuanzheng1,2,SunGuochen1,LiFangye1,ZhangZhizhong1,ZhangJun1,SunZhenghui1,2,YuXinguang1,XuBainan1

1DepartmentofNeurosurgery,GeneralHospitalofPeople'sLiberationArmy,Beijing100853;2DepartmentofNeurosurgery,HainanBranchofGeneralHospitalofPeople'sLiberationArmy,Sanya572013,China

Needle biopsy of intracranial lesions is a stereotactic operation of obtaining brain tissue for pathological diagnosis, as well as a routine basic surgery that each young neurosurgeon should master. In traditional biopsy surgery, localization of eloquent brain areas mainly relies on personal experience-based judgment. However, this method lacks objective basis and is difficult to be widely accepted, especially in clinical education. For young neurosurgeons without much clin- ical experience, this procedure is even more challenging. The multi-mode and navigation-based virtual and augmented reality technology can solve the problem of localization and visualization of eloquent brain areas. The article introduces our experience of applying virtual and augmented rea- lity technology to teaching of neurosurgical needle biopsy.

virtual reality; augmented reality; multimodal navigation; brain biopsy; neurosurgical education

解放军总医院科技创新苗圃基金项目(15KMM19)；解放军总医院临床科研扶持基金(2016FC-TSYS-1023)

2017-06-19

张家墅(1982-)，男，辽宁抚顺人，主治医师，博士，主要研究方向：术中影像及多模态神经导航。

G434；G642.0

：A

：1004-5287(2017)05-0578-05

：10.13566/j.cnki.cmet.cn61-1317/g4.201705024