基于骨折信息融合的混合现实技术引导 骨盆螺钉植入的研究

陶星光 周凯华 何小健 潘福根

骨盆骨折和髋臼骨折的通道螺钉植入手术难度大，风险高[1]，通常需要在手术中反复行X线透视定位才能完成，这对术者的术中影像辨识能力有极高要求[2]。混合现实技术的出现给骨盆骨折和髋臼骨折通道螺钉的可视化植入带来全新方向，该技术通过在现实场景中引入虚拟信息，在现实世界、虚拟世界和用户之间搭建起交互反馈的信息回路[3]。通过术者佩戴混合现实的头戴式显示器，肉眼同一视野内可以同时看到真实的骨盆手术界面、虚拟的规划好的相关信息，如果将术前设计好的虚拟钉道信息添加在复位好的虚拟骨盆髋臼信息内，通过良好的虚实融合，将有望在手术中实现可视化的真实导针植入。

目前混合现实技术在临床的直接应用还不成熟，本实验在髋臼骨折模型上使用混合现实技术，通过骨折线信息的虚实融合达到骨盆整体的虚实匹配，可视化引导耻骨上支逆行螺钉的植入，并对螺钉植入的精准性进行研究，以期为混合现实技术在骨盆和髋臼骨折的临床应用提供参考。

1 材料与方法

1.1 实验材料

实验对象：5个骨盆骨骼模型以及3D打印的骨盆软组织模型，将其制作成模拟改良Stoppa入路下髋臼T型骨折的实验模型。

硬件设备：第二代Hololens光学穿透式头戴式显示器（微软公司，美国）、电脑处理器；GE 64排螺旋CT机（GE公司，美国）；骨科电钻1台、 2.5 mm导针、7.3 mm空心螺钉、空心螺丝刀。

软件环境：Windows 10、Unity 2017.1.4、Visual Studio 2017、SDM-modeling、Mimics 21.0。

1.2 实验模型制作

使用电锯将骨盆骨骼模型的右侧髋臼制作成T型骨折类型，锯痕代表骨折线。将该骨骼模型进行CT扫描（120 kV，150 mA，层厚0.625 mm），得到骨的外形数据和骨折线数据。根据骨的外形数据设计软组织轮廓模型，其外表面模拟人体骨盆皮肤外观，内轮廓与骨模型相匹配。将软组织模型数据自骨盆矢状位中间面一分为二，使用3D打印技术进行成品制作。将打印好的软组织模型从两侧分别套到骨模型上，模拟前方改良Stoppa入路开窗，大致暴露骨盆内的部分骨面及局部骨折线。见图1。

图1 模拟改良Stoppa入路制作的髋臼T型骨折模型

1.3 髋臼骨折线重建及通道螺钉路径设计

将包含骨折信息的骨模型原始CT数据以Dicom格式导入计算机，通过Mimics 21.0软件进行骨盆三维图像重建。通过软件阈值调整、区域增长等功能分别对骨组织蒙版进行三维重建，获得骨组织三维重建图像，将骨轮廓半透明显示，此时从整体观察骨折线信息并不清晰。

继续在Mimics软件中仔细观察模型的冠状面、矢状面及横断面，从单个层面的视图中能清晰识别骨折线，在骨折线涉及的每层图像中描出骨折在骨表面的交点，同时将髋臼轮廓也在每层图像中描出，使用粉色和黄色分别代表骨折线及髋臼窝骨面。将每层描好的图像重建后得到可清晰显示骨折线信息及髋臼轮廓的骨盆三维重建虚拟图像。

继续在Mimics软件中使用直径2 mm的绿色圆柱设计耻骨上支逆行螺钉钉道。从冠状面、矢状面、水平面观察钉道，保证模拟的钉道路径位于骨通道中，确保耻骨支螺钉不穿入髋臼，不穿出耻骨皮质。将圆柱延长至超出骨结构较长的长度，以引导导针的摆放位置。见下页图2。将包含骨轮廓、骨折线、髋臼轮廓及钉道信息的数据导入Hololens系统。

图2 Mimics系统设计显示虚拟钉道 a. 冠状面观察虚拟钉道在骨骼中的位置（箭头所示绿色椭圆） b. 矢状面观察虚拟钉道在骨骼中的位置（箭头所示绿色点） c. 水平面观察虚拟钉道在骨骼中的位置（箭头所示绿色点） d. 虚拟钉道模型外延长，以便更好引导导针（绿色线为虚拟钉道）

1.4 骨盆螺钉植入

将骨盆实体模型固定于操作台上，确保操作过程中实体模型位置不移动。术者佩戴Hololens头戴式显示器，调出刚保存的模型虚拟图像。抓取模型空间位置到真实的骨盆位置，将模型位置大致匹配后手动微调模型的空间位置和角度，将虚拟骨折线与通过手术窗看到的真实骨折线信息进行融合匹配，通过骨折线的匹配，可以将虚拟图像的上、下及左、右信息匹配完成，同时观察局部骨表面的轮廓匹配情况，仔细感知深景信息，通过变换头显角度确定虚拟图像的深浅位置。此时肉眼可看到实体骨盆内叠加含骨折线、髋臼轮廓及虚拟钉道的骨盆虚拟图像。见下页图3。

图3 Hololens视角下的手术界面，绿色线为髋臼骨折线，粉色线为虚拟钉道

术者手持装有导针的电钻，将导针前部与虚拟钉道的骨外延长部分重合，从不同角度观察确定重合效果。经皮高速钻入导针至骨内，长度大致为虚拟钉道在骨内的长度，然后沿导针拧入相应长度的空心螺钉，拔出导针。见下页图4。

图4 Hololens视角下沿虚拟钉道线引导导针钻入骨盆，绿色线为髋臼骨折线，粉色线为虚拟钉道

1.5 螺钉空间位置评估

CT扫描打入螺钉后的骨盆模型，使用Mimics软件，将螺钉去噪，骨骼结构整体模型重建。将此重建模型与术前设计的有虚拟设计钉道的骨骼模型按照骨轮廓调整空间位置，达到两者融合为一体，从各角度观察均无重影。将实际的螺钉位置与术前设计的钉道进行空间位置误差分析，入钉点的空间位置为耻骨结节骨面与钉道中心线的交点，螺钉头部的空间位置为实际螺钉中心线的顶点，将实际螺钉中心线的垂线与所设计钉道的交点作为设计钉道的头部空间位置，空间角度即实际螺钉中心线与设计钉道中心线的空间角度。主要分析入钉点位移误差、螺钉头部位移误差和空间角度误差。见图5。

图5 术前设计与术后实际钉道空间位置比较，黄色为虚拟设计钉道位置，绿色为实际螺钉位置

1.6 统计学方法

采用SPSS 18.0统计软件进行数据处理分析，螺钉空间位置误差采用设计位置与实际位置的自身前后比较，计量资料采用均数±标准差表示。

2 结果

5具骨盆模型共打入5枚空心螺钉。与术前设计的钉道位置相比，平均每枚螺钉的入钉点位移误差为（3.30±0.67）mm，螺钉头部位移误差为（3.96±0.70）mm，空间角度误差为1.54°±0.27°，见表1。螺钉钉道靠近髋臼窝、股管及死亡冠的位置，未穿破髋臼及耻骨支皮质。

表1 耻骨上支螺钉的空间位置误差

3 讨论

骨盆髋臼骨折的通道螺钉固定对于恢复骨折断端及整个骨盆环的稳定性具有很好的疗效[4-5]。部分髋臼骨折累及前后柱时，在对髋臼骨折做好解剖复位后可选用髋臼前后柱通道螺钉进行固定；合并骨盆环骨折时，在对骨盆环骨折复位后可加用耻骨顺/逆行螺钉、髂骨LC-Ⅱ螺钉及骶髂螺钉进行固定。但经皮螺钉内固定对置钉位置的要求极高[6]。螺钉在髋臼上缘的空间最狭小[7]，且一旦穿入髋臼将造成严重并发症。我们将钉道尽量设计在骨通道中心线上，可供偏移的误差范围才能达到最大化。

通过本研究中的螺钉入钉点位移误差及螺钉头部误差推断，螺钉整体空间距设计位置约偏移3.5 mm，尚能保证螺钉位于皮质内，但部分模型的部分位置能够看出螺钉拧过将骨皮质推挤后凸起的痕迹，这可能与选择直径7.3 mm空心螺钉有关。Wang等[8]利用基于光学导航仪的增强现实手术导航技术辅助经皮骶髂关节螺钉植入的研究显示，其入钉点误差及螺钉头部误差分别约为2.7 mm和3.7 mm，与本研究结果相近。本课题组前期完成的基于骨盆外固定支架的3D打印导板辅助骨盆通道螺钉植入的研究，螺钉空间位置偏差约1.6 mm[9]，优于本实验结果，分析原因可能为基于外支架的导板导航实际是一种纯机械导航，其稳定性更好，而基于混合现实技术的导航在植入导针时钻头不如导板固定稳定。

3.1 将混合现实系统应用于骨盆通道螺钉植入的优势

目前，临床医生植入骨盆通道螺钉主要使用传统的基于C型臂X射线机透视的方式，需要反复行透视调整及变换C型臂角度，其手术时间长，辐射量较大，且仍有因技术不熟练和经验不足而导致螺钉穿出的风险，如何更加精准的植入骨盆通道螺钉是创伤骨科领域的研究热点[10]。

混合现实技术通过光学半透视头戴式显示器将术前重建的虚拟三维模型与真实的手术区域相融合，可实现逼真的实时叠加效果[11]。相较于传统手术导航系统，该技术具备更好的空间感知和直观可视化能力，且具有良好的交互性能，避免了术者在手术区域与计算机屏幕间频繁切换视角，可实现直观三维可视化和手术导航[12-13]。目前基于混合现实技术的手术导航在骨科领域的应用已有较多文献报道，如髋关节置换中假体位置评估、骨肿瘤切除边缘的控制、椎弓根螺钉的精确植入等，并取得一定的研究成果[14-16]。

将混合现实技术引入骨盆髋臼骨折的微创内固定手术，对于实现螺钉精准植入具有重要意义。在骨折复位良好的情况下，通过混合现实技术可将术前虚拟规划的骨信息、骨折信息及螺钉信息引入真实骨盆中，通过图像配准技术将虚实图像融合，在虚拟钉道引导下打入螺钉。从理论上讲，整个骨盆是刚性结构，在完成解剖复位后，可以暴露该骨盆的任何一个骨面或骨结构，只要该结构能够完成精准的虚实配准，即可应用混合现实技术植入骨盆内的任何1个螺钉。

3.2 本研究的误差分析及后续改进措施

通过整个模型实验的设计及操作验证，我们对该技术在临床应用中可能存在误差的原因进行了分析，并提出相应的解决方法。

第一，骨折的复位质量。术前虚拟规划的骨折以解剖复位为目标，术中可能存在因某些因素无法完全解剖复位的情况。此种情况下，虚实图像的融合会存在偏差，进而影响螺钉的位置。此时，只能通过匹配关键部位来避免手术风险，对于耻骨支螺钉，我们最优先匹配髋臼窝的位置。

第二，虚实融合配准的方法。目前导航技术常用的虚实融合配准方法主要包括基于点的配准法、基于面的配准法和基于视觉特征识别的配准法，但各种配准方法均存在一定误差[17-20]。本实验中应用的基于骨折信息的配准技术为结合上述方法的手动配准方法，在手术暴露的骨折区域，可以直观看到复位后骨折的某一点和骨折线的信息，还可以看到解剖标志点和一定范围的骨面，通过结合上述方法的配准减少一定的误差。

第三，虚拟图像的漂移。在运用微软系统进行图像观察时，移动头显从多角度观察手术部位的过程中，存在虚拟图像的空间漂移，虽然图像能校正，但仍有偏差，此时可通过再次手动调整虚拟图像空间位置来匹配真实物体。本次实验的后期，通过工程师的算法改进明显解决了该问题，在头显移动过程中，虚拟图像可基本在原位保持静止。

第四，真实骨盆的位置变动。在虚实图像配准后，仍有可能因真实骨盆的空间位置变动造成匹配误差。对此，可通过助手的辅助配合减少误差。此外，还可通过研究自动配准方法来自动识别跟踪真实骨盆，Liebmann等[21]报道利用Hololens内置相机识别安装在探针上的视觉标记物，利用探针提取脊柱表面点云信息与虚拟模型进行配准，并完成了初步模型实验。

通过本次模型实验，我们验证了基于骨折信息融合的混合现实技术引导骨盆螺钉植入的可行性，取得较满意的结果，但与临床成熟应用还有很大差距。本次实验的模型模拟了解剖复位后的骨盆髋臼，实际手术中常无法获取完全的解剖复位。真实手术中利用器械暴露手术部位的范围可能与实验存在差距，并且伴随着创面及骨折端渗血，可能会影响骨面的显露，这都会影响配准的精度。我们相信，随着数字骨科学的快速发展，目前影响数字技术在骨科应用的制约点将被克服并得到成熟应用。