增强现实技术的研究进展及临床应用概述

张楚茜　综述　张诗雷　审校

“增强现实”（Augmented reality，AR） 最早由Milgram 等[1]于1994年提出，被描述为将数字内容与用户周围真实环境合并的交互式可视化系统[2]。增强现实系统可将计算机生成的虚拟物体、场景等实时叠加,显示到真实场景中，虚实结合，以增强使用者对真实世界的感观[3]。增强现实真正开始于上世纪60年代Sutherland[4]的研究，他发明了一种“透视”头戴式显示器，用于观察三维图形。1986年，这种虚拟图像与真实环境结合的技术首次运用于医学神经外科领域。Roberts等[5]开发了一种将CT图像集成到手术显微镜的光学系统，并用其观察了一位患有多形性成胶质细胞瘤患者的肿瘤边界。此后，增强现实技术不断发展，逐渐渗透到医学的各个领域。

增强现实与虚拟现实（Virtual reality，VR）有着本质的区别。虚拟现实旨在将用户完全沉浸在计算机生成的虚拟环境中；而增强现实则与其相反，旨在将计算机生成的虚拟对象添加到真实环境中，增强用户对真实世界的感受[6]。Milgram等[1]创造了一个名为“虚拟连续体”的概念，认为增强现实更接近于真实环境的一方。目前，虚拟现实技术多用于术前设计、手术计划，以及手术的模拟训练等，而增强现实技术已广泛应用于手术的图像引导[7]。

1　增强现实系统的关键技术

增强现实系统的工作流程包括：所需呈现图像的虚拟建模、虚拟建模与真实环境的匹配，以及最终增强图像的显示，其中最重要的就是显示及虚实配准技术。

1.1　增强现实的显示技术

目前使用的增强现实显示设备，根据成像原理的不同，可分为视频式显示器、光学透视式显示器和投影仪显示器。

1.1.1视频式显示技术

视频式显示器实现增强现实显示的基本原理是虚拟图像与真实世界两幅图像的数字化融合，一般由前置摄像头、场景生成器、视频合成器和显示器组成[8]。视频合成器通过将计算机生成的虚拟图像与摄像机获取的真实世界图像融合，通过显示器将组合图像呈现于使用者眼前。由于图像的融合和处理均需要时间，所以视频式显示器中的图像通常相对于真实世界略有延迟[9]，这也是视频式显示器最主要的缺点。尽管其呈现的图像质量更高，但因与真实世界不完全同步，对可能发生紧急情况无法及时处理，降低了使用者使用时的安全性。

视频式显示器又可分为头戴式视频显示器和手持或悬挂式视频显示器。头戴式显示器可解放双手而成为目前较为常用的显示设备，但是使用者所看到的画面全部是计算机生成的，在快速移动头部时，因为成像不够精确，可能会导致使用者感到眩晕不适[9]。手持或悬挂式视频显示器无法提供沉浸感，且不便携带[10]。目前，悬挂式视频显示设备在医学领域多用于腹腔镜手术，通过将虚拟图像与腹腔镜图像融合直接显示在屏幕上，以帮助定位深部的血管或肿瘤等。

1.1.2光学透视式显示技术

由于摄像机无法完全还原人类的视觉，故研发出了可以直接将增强信息叠加到使用者视线光路的透视设备。光学透视式显示器一般由场景生成器、集成显示器和光学透视镜片组成。其基本原理是将集成显示器中的虚拟建模图像反射在半透明镜片上，将真实环境光线和数字图像在半透明镜片上达到融合，最终呈现在使用者的视网膜上[11]。光学透视式显示设备最大的技术难点在于场景生成器与用户眼睛二者坐标系的匹配，需要考虑眼睛不同的焦距以及追踪眼球的移动，极大地增加了虚实配准的难度[12]。此外，现有的光学透视式显示器呈现的颜色也不够真实，会降低使用者的沉浸感，这些都是目前亟须解决的问题[13]。

1.1.3投影仪显示技术

将虚拟图像与真实环境叠加，更为直接的方法是将虚拟建模图像利用投影仪直接投影在真实环境中。它拥有对现实环境直接的视觉，可以营造物体的“透明感”，便于看到隐藏于深层的结构，且技术简单，价格低廉[14]。但在实际应用过程中，投影仪也是局限最大的。目前，基于投影仪的增强现实有以下缺陷：①使用者的目光与投影仪的光学中心不同，不同的角度对投影图像的深度与位置会产生不同的判断，故投影仪只能用于浅表结构的显示；②投影仪对环境的要求较高，光线太亮会影响投影仪成像质量，而光线太暗又不利于用户观察环境，且用户和物品都有可能对投影图像造成遮挡；③投影环境无法进行预先估计，不能作为良好的投影屏幕，会使投影图像变形[15-16]。基于投影仪的增强现实技术，其未来的发展方向为增加对用户头部的跟踪、识别遮挡物和全息投影的应用等。

1.2　增强现实的虚实配准技术

实现虚拟建模与实际患者的精确匹配，将虚拟图像叠加在正确的位置上，是增强现实技术中的难点。任何一点的叠加误差都可能造成错误的认知，所以这是保证增强现实图像形成的关键。目前，虚实配准方法包括基于硬件设备的配准和基于计算机视觉的配准两类[17]。

1.2.1基于硬件设备的配准技术

这种配准方法主要包括电磁式、光学式、超声波式和机械式跟踪配准方法。电磁式方法通过磁感应信号之间的耦合关系来准确定位；光学式方法通过摄像装置或光敏器件接收反光球发出的光来计算物体的空间位置；超声波式方法通利用不同声源到达某一地点的时间差等进行跟踪定位；机械式方法则通过物理连接来测量物体的方位[18]。准确定位后再通过虚实图像上标志点或整体表面的识别来进行配准。其定位准确且广泛，但需要另外配置跟踪定位设备。这种方法在医学领域已有较多的应用，通常通过在皮肤表面粘贴标志点，在骨骼、器官内植入金属螺钉，或激光扫描紧贴骨质的皮肤来实现术中配准[19-21]。

1.2.2基于计算机视觉的配准技术

该配准技术通过在视频流图像中识别环境中的人工标识物或自然特征来实现配准，无需额外的跟踪定位设备，成本低，但只有在特定平面上配准才比较准确，一旦变换方向，标识物或自然特征变形缺失，则无法进行配准。此种方法在医学领域也有应用，Zhu等[22]设计了一种利用口腔咬牙合夹板配准的方法，通过将咬牙合夹板佩戴在患者的下颌牙齿上，使其与下颌骨的位置保持恒定，术中识别固定在夹板上的图形标志物来匹配下颌骨的位置；Wang等[23-24]报道了一种基于牙齿轮廓的无标识的配准方法，可以实现自动配准，且手术器材对牙齿短暂的遮挡不会对配准造成影响，配准误差＜1 mm。

2　增强现实技术的临床应用进展

增强现实技术在复杂器械的维修加工、军事、娱乐及教育等领域均有应用，在医学领域的应用体现出了独特的优越性。由于增强现实的虚拟建模图像依赖于患者的术前影像数据，所以对于术中移动和形变较小的器官，如肝脏、颅骨等，有较好的效果，而对于肠等移动的器官则难以跟踪和匹配[25]。目前的增强现实技术的临床应用多集中于神经外科、颅颌面科和普外科中。

2.1　神经外科手术中的应用

神经外科手术必须在狭窄的手术区域内切除尽可能少的组织，以减少对大脑的损伤，且大脑被限制在颅骨内不易移动和变形，所以是最早且最常应用增强现实技术的领域[25]。增强现实技术可用于大脑深层重要神经、血管和肿瘤的精确定位，缩短手术时间。

谢国强等[26]应用3D-slicer软件及iPhone5智能手机的低成本增强现实技术，为17例高血压脑出血患者进行了脑内深部血肿穿刺，术后头颅CT复查提示血肿清除满意，未发现再出血，认为此项技术有利于清晰勾画血肿的边界，提高了血肿清除率，降低了术后再出血发生率。Kersten-Oerte等[27-28]应用增强现实导航系统，对1例动脉瘤、2例动静脉畸形和1例动静脉瘘患者实施了手术，图像与患者的整体配准误差在1～2 mm，认为该导航系统有利于定位血管和规划手术入路。Tabrizi等[29]运用基于投影仪的AR技术，为5例脑肿瘤患者实施了手术，所有脑肿瘤均被完全切除，且均无明显的并发症或新的术后神经功能障碍，认为增强现实技术可以帮助规划皮肤切口，在脑表面进行肿瘤的可视化，这在神经外科手术中是非常有益的。Kockro等[30]开发了增强现实手术导航系统DEX-Ray，由一台载有计算机硬件和挂式液晶显示器的手推车、一个连接的跟踪系统和一个手持探头组成，探头包括一个带有指针的铝合金管和一个可以滑入其中的口红形相机。该系统不仅可显示病变的增强现实图像，且可测定手持探针到目标病变的距离，在对5例脑肿瘤患者的手术应用中显示了良好的效果，有利于肿瘤的完整切除，患者术后没有出现新的神经功能症状[31]。增强现实技术在神经外科领域，尤其是在开颅手术中，根据患者的解剖结构进行手术规划的调整方面，体现了良好的应用效果。

2.2　颅颌面外科手术中的应用

颅颌面部有复杂的解剖结构、丰富的神经血管和极高的美学要求，任何微小的手术误差，都有可能带来严重的功能障碍或异常的面部轮廓，所以对手术的安全性和精确性有很高的要求。目前，增强现实在颅颌面外科的临床应用较少，主要有下颌骨畸形修整[32]、正颌外科[33]及上颌骨肿瘤切除[34]等方面的应用报道。

Zhu等[32]运用增强现实技术为20例包括下颌角肥厚、下颌后缩等下颌骨畸形患者进行了整形手术，增强现实图像用于术中确定下牙槽神经管的位置，并显示术前设计的截骨线，均取得了良好的手术效果，系统误差为（0.96±0.51）mm。但该技术目前只适用于下颌骨手术，且用于配准的牙科夹板松动或错误放置可能造成较大的手术误差；同时，该系统目前只实现了增强图像的直观可视化，对于下牙槽神经管的深度还无法准确定位。Zinser等[33]设计制作了一种手持式增强现实导航系统X-Scope，在5例骨性Ⅲ类错颌畸形患者的双颌手术中，均准确完成了术前计划，精确范围在1 mm以内。他们认为，AR系统在复杂的上颌骨非线性易位及无法使用咬牙合夹板的无牙颌患者的正颌手术中，可以提供额外的安全性，但是目前还无法替代传统的正颌手术[33]。Wagner等[34]运用基于视频式头戴显示器的增强现实技术，在1例上颌骨复发性骨肉瘤患者的手术中，直观显示了术前肿瘤切除计划的手术入路。总体而言，增强现实导航技术在颅颌面外科领域的临床应用还较为有限，只能作为手术参考，尚无法达成精确的手术导航。

2.3　普外科中的应用进展

普外科涉及的手术目标多为软组织器官，术中容易因为患者的体位变动及手术器械的拉扯而产生形变，无疑为增强现实技术的应用增加了许多困难。为了尽可能减少目标移位、形变所带来的误差，目前增强现实技术多应用于肝脏、胰腺、肾脏等形变较小的器官。

2.3.1在开放性手术中的应用

增强现实技术在普外科开放性手术中的应用与其他领域相类似。肝门部胆管癌（HCAC）根治性切除术的难点在于术中难以辨别肝内血管及胆管复杂的解剖结构，Tang等[35]设计了一种手持式增强现实导航系统，为1例HCAC患者实施了手术，在术后9个月的随访中未发现复发。Okamoto等[36]运用该技术为24例胰腺病变的患者实施了手术，并通过其中4例导管内乳头状黏液性肿瘤患者和1例囊腺瘤患者对系统的实用性进行了评估。在这5例手术中，系统的配准误差在（3.55～11.79）mm之间，认为基准点在血管上比在软组织器官的边缘有更小的配准误差。相比于常规手术，增强现实导航技术有利于肿瘤的良好定位和术中获得无癌边缘[34]。

2.3.2在腹腔镜微创手术中的应用

腹腔镜微创手术可以减小患者的创伤，缩短康复时间；但其视野有限，缺少深度感知和触觉反馈，无法通过触诊确定血管、肿瘤等的位置[37]。将腹腔镜图像与增强现实图像相结合可能是解决这些问题的可行方法。

结直肠癌肝转移灶（CRLM）是否完全R0切除，是关乎转移性结直肠癌患者预后的重要因素，而现在的化疗技术可以使肿瘤缩小到术中无法识别的程度，称为CRLM的缺失[38]。针对这一问题，Ntourakis等[39]应用增强现实技术，将化疗前影像的虚拟建模与术中肝脏腹腔镜图像相融合，为3例转移性结直肠癌肝转移患者进行了转移瘤切除术，术后病理报告显示所有转移瘤均完全切除，表明AR技术是解决转移瘤遗漏问题的良好方案。在腹腔镜狭小的图像中，任何微小的改变都会被放大，这项研究的最大缺陷就是没有考虑到器官变形的问题，目前也有许多研究针对这一问题进行了探讨。Simpfend o rfe等[40]引入了术中CBCT，通过同时观察三维 AR图像与腹腔镜图像的叠加，及二维CBCT透视的AR图像，来进行部分肾切除术，10例手术均成功完成。而Kong等[41]在肾脏表面插入涂有近红外荧光涂料的螺钉，术中通过近红外摄像机对荧光的捕捉，来驱使增强现实图像发生形变，避免了术中CT扫描所带来的额外辐射。在腹腔镜微创手术中，增强现实技术在帮助医生快速识别病变及关键解剖结构、避免不必要的穿孔、增加空间感等方面，均体现了良好的应用效果。

除上述领域外，增强现实技术在骨科[42-43]、妇科[44]、眼科[45]等也有应用报道，包括骨盆和髋臼骨折复位手术[42]、胸腰椎椎弓根螺钉植入术[43]、子宫肌瘤切除术[44]、眶内肿瘤摘除术[45]等。

3　总结和展望

随着科学技术的不断发展，将计算机技术用于医学领域，以辅助诊断和治疗，成为了未来医学发展的一大趋势。在此基础上所形成的计算机外科导航技术、医用机器人、增强现实及虚拟现实技术等，都为外科手术的安全性和精确性提供了进一步的支撑。

目前，国外已将增强现实技术与计算机导航技术相结合，比传统的导航技术更具独特的优越性。传统导航技术最大的缺陷就是患者与导航系统所用的图像之间缺乏直接的空间关系[46]，需要通过相应的解剖标志及空间想像能力来将两者联系起来。增强现实技术则可通过将虚拟建模图像与真实患者之间直接叠加，减少了主观想象，提高了手术的准确性。同时，传统导航技术需要在术中交替观察图像显示器及术区，以此来实现导航图像与患者连续的比较[47]，需要极强的手眼协调能力，连续切换视线也容易造成视觉疲劳。增强现实技术可以实现同时观看导航图像及真实患者，极大地增加了手术的安全性。最后，传统导航技术是单点导航，只能显示一个点的导航信息，而增强现实技术可以显示整个完整的导航图像，有利于对手术整体的把握。

国内对增强现实技术的应用尚处于起步阶段，还有很多方面需要进一步发展：①虚拟建模图像与实际患者匹配方法的改进及精度的提升。这是增强现实技术应用的核心，要求用于配准的标志不能限制手术操作，术中能实现自动配准，且在移动时还能保持良好的稳定性。②虚拟建模图像能够随术中的实际情况而改变。目前的增强现实技术所用的图像均是根据术前影像资料所重建的，有可能与术中实际情况不完全相同，尤其是在软组织区域，需要进一步研究适用于形变器官的增强现实技术。③与导航技术相结合，提升精确定位能力。目前的增强现实技术大多只有一个单纯的增强现实图像，无法精确测量目标结构的深度，只能用于参考，将其与计算机导航技术相结合，可能是未来的发展的一个方向。

[1]Milgram P,Kishino F.A taxonomy of mixed reality visual display[J].Ieice Trans Inf Sys,1994,77(12)：1321-1329.

[2]Riva G,Banos RM,Botella C,et al.Transforming experience：the potential of augmented reality and?virtual reality for enhancing personal and clinical change[J].Front Psychiatry,2016,7：164.

[3]侯亦康,朱明,柴岗,等.增强现实导航下颌骨截骨术的实验研究[J].组织工程与重建外科,2013,9(2)：98-101.

[4]Sutherland IE.A head-mounted three dimensional display[J].FJCC,1968,110(3)：757-764.

[5]Roberts DW,Strohbehn JW,Hatch JF,et al.A frameless stereotaxic integration of computerized tomographic imaging and the operating microscope[J].JNeurosurg,1986,65(4)：545-549.

[6]Sielhorst T,Feuerstein M,Navab N.Advanced medical displays：a literature review of augmented reality[J].JDisp Technol,2008,4(4)：451-467.

[7]Kim Y,Kim H,Kim YO.Virtual reality and augmented reality in plastic surgery：a review[J].Arch Plast Surg,2017,44(3)：179-187.

[8]Mitrasinovic S,Camacho E,Trivedi N,et al.Clinical and surgical applications of smart glasses[J].Technol Health Care,2015,23(4)：381-401.

[9]Rolland JP,Fuchs H.Optical versus video see-through headmounted displays in medical visualization[J].MIT Press,2000,9(3)：287-309.

[10]陈小艳.面向增强现实应用的头戴显示器[D].成都：电子科技大学,2014：1-80.

[11]Langlotz T,Cook M,Regenbrecht H.Real-Time radiometric compensation for optical see-through head-mounted displays[J].IEEE Trans Vis Comput Graph,2016,22(11)：2385-2394.

[12]Grubert J,Itoh Y,Moser K,et al.A survey of calibration methods for optical see-through head-mounted displays[J].IEEE Trans Vis Comput Graph,2017,[Epub ahead of print].

[13]Itoh Y,Dzitsiuk M,Amano T,et al.Semi-parametric color reproduction method for optical see-through head-mounted displays[J].IEEE Trans Vis Comput Graph,2015,21(11)：1269-1278.

[14]Besharati Tabrizi L,Mahvash M.Augmented reality-guided neurosurgery：accuracy and intraoperative application of an image projection technique[J].JNeurosurg,2015,123(1)：206-211.

[15]Nicolau S,Soler L,Mutter D,et al.Augmented reality in laparoscopic surgical oncology[J].Surg Oncol,2011,20(3)：189-201.

[16]Gavaghan KA,Peterhans M,Oliveira-Santos T,et al.A portable image overlay projection device for computer-aided open liver surgery[J].IEEE Trans Vis Comput Graph,2011,58(6)：1855-1864.

[17]李烨.基于自然特征的增强现实虚实注册技术研究[D].武汉：华中科技大学,2016：1-45.

[18]管涛.增强现实中的虚实配准方法研究[D].武汉：华中科技大学,2008：1-116.

[19]Mahvash M,Besharati Tabrizi L.A novel augmented reality system of image projection for image-guided neurosurgery[J].Acta Neurochir(Wien),2013,155(5)：943-947.

[20]Krishnan R,Raabe A,Seifert V.Accuracy and applicability of laser surface scanning as new registration technique in imageguided neurosurgery[J].Int Cong Ser,2004,1268(2)：678-683.

[21]Marmulla R,Hoppe H,Mühling J,et al.New augmented reality concepts for craniofacial surgical procedures[J].Plast Reconstr Surg,2004,115(4)：1124-1128.

[22]Zhu M,Chai G,Zhang Y,et al.Registration strategy using occlusal splint based on augmented reality for mandibular angle oblique split osteotomy[J].J Craniofac Surg,2011,22(5)：1806-1809.

[23]Wang J,Suenaga H,Yang L,et al.Video see-through augmented reality for oral and maxillofacial surgery[J].Int J Med Robot,2017,13(2)：1754.

[24]Suenaga H,Tran HH,Liao H,et al.Vision-based markerless registration using stereo vision and an augmented reality surgical navigation system：a pilot study[J].BMC Med Imaging,2015,15：51.

[25]Vávra P,Roman J,Zonca P,et al.Recent development of augmented reality in surgery：A review[J].J Healthc Eng,2017,2017：4574172.

[26]谢国强,郭振宇,师蔚,等.低成本增强现实技术在高血压脑出血神经内镜治疗中的应用[J].中华神经外科疾病研究杂志,2017,16(3)：221-224.

[27]Kersten-Oertel M,Jannin P,Collins DL.The state of the art of visualization in mixed reality image guided surgery[J].Comput Med Imaging Graph,2013,37(2)：98-112.

[28]Kersten-Oertel M,Gerard I,Drouin S,et al.Augmented reality in neurovascular surgery：feasibility and first uses in the operating room[J].Int J Computer Assist Radiol Surg,2015,10(11)：1823-1836.

[29]Tabrizi IB,Mahvash M.Augmented reality-guided neurosurgery：accuracy and intraoperative application of an image projection technique[J].JNeurosurg,2015,123(1)：206-211.

[30]Kockro RA,Tsai YT,Ng I,et al.Dex-ray：augmented reality neurosurgical navigationwithahandheldvideoprobe[J].Neurosurgery,2009,65(4)：795-807.

[31]Low D,Lee CK,Dip L,et al.Augmented reality neurosurgical planning and navigation for surgical excision of parasagittal,falcine and convexity meningiomas[J].Br J Neurosurg,2010,24(1)：69-74.

[32]Zhu M,Liu F,Chai G,et al.A novel augmented reality system for displaying inferior alveolar nerve bundles in maxillofacial surgery[J].Sci Rep,2017,7：42365.

[33]Zinser MJ,Mischkowski RA,Dreiseidler T,et al.Computerassisted orthognathic surgery：waferless maxillary positioning,versatility,and accuracy of an image-guided visualisation display[J].Br JOral Maxillofac Surg,2013,51(8)：827-833.

[34]Wagner A,Ploder O,Enislidis G,et al.Virtual image guided navigationintumor surgery-technical innovation[J].J Craniomaxillofac Surg,1995,23(5)：271-273.

[35]Tang R,Ma L,Xiang C,et al.Augmented reality navigation in opensurgeryforhilar cholangiocarcinomaresectionwith hemihepatectomy using video-based in situ three-dimensional anatomical modeling：A case report[J].Medicine(Baltimore),2017,96(37)：e8083.

[36]Okamoto T,Onda S,Yasuda J,et al.Navigation surgery using an augmented reality for pancreatectomy[J].Dig Surg,2015,32(2)：117-123.

[37]Marvik R,Lango T,Tangen GA,et al.Laparoscopic navigation pointer for three-dimensional image-guided surgery[J].Surg Endosc,2004,18(8)：1242-1248.

[38]Carpenter S,Fong Y.Management of disappearing colorectal hepatic metastases[J].Adv Surgery,2010,44：269-279.

[39]Ntourakis D,Memeo R,Soler L,et al.Augmented reality guidance for the resection of missing colorectal liver metastases：an initial experience[J].World JSurg,2016,40(2)：419-426.

[40]Simpfendorfer T,Gasch C,Hatiboglu G,et al.Intraoperative Computed tomography imaging for navigated laparoscopic renal surgery：first clinical experience[J].J Endourol,2016,30(10)：1105-1111.

[41]Kong SH,Haouchine N,Soares R,et al.Robust augmented reality registration method for localization of solid organs'tumors using CT-derived virtual biomechanical model and fluorescent fiducials[J].Surg Endosc,2017,31(7)：2863-2871.

[42]Shen F,Chen B,Guo Q,et al.Augmented reality patient-specific reconstruct ion plate design for pelvic and acetabular fracture surgery[J].Int J Comput Assisted Radiol Surg,2013,8(2)：169-179.

[43]Elmi-Terander A,Nachabe R,Skulason H,et al.Feasibility and accuracy of thoracolumbar minimally invasive pedicle screw placement with augmented reality navigation technology[J].Spine(Phila Pa 1976),2017,[ahead of print].

[44]Bourdel N,Collins T,Pizarro D,et al.Use of augmented reality in laparoscopic gynecology to visualize myomas[J].Fertil Steril,2017,107(3)：737-739.

[45]Scolozzi P,Bijlenga P.Removal of recurrent intraorbital tumour using a system of augmented reality[J].Br JOral and Maxillofac Surg,2017,55(9)：962-964.

[46]Blackwell M,Morgan F,DiGioia III AM.Augmented reality and its future in orthopaedics[J].Clin Orthop Relat Res,1998(354)：111-122.

[47]Ma LF,Zhao Z,Chen F,et al.Augmented reality surgical navigation with ultrasound-assisted registration for pedicle screw placement：a pilot study[J].Int J Comput Assisted Radiol Surg,2017,12(12)：2205-2215.