基于增强现实技术髓内钉远端锁孔导航

张浩东， 张峰峰,2， 孙立宁,2

(1.苏州大学 机电工程学院，江苏 苏州 215006；2.苏州大学 苏州纳米科技协同创新中心，江苏 苏州 215123)

胫骨骨折是人体常见骨折之一，约占所有骨折事件的13.7%，目前，临床上对胫骨骨折的治疗多采取内固定法，该方法一般采用髓内钉植入髓腔来稳定骨折部位[1-2]。在此过程中医生借助机械瞄准装置在胫骨骨干确切位置处钻孔并旋入螺钉以实现近远端的锁定。对于远端钉的锁定，髓内钉的变形和连接杆的微动都会降低定位器的准确性。因此，准确定位机械瞄准装置和远端螺钉的锁定是非常困难的[3-4]，导致髓内钉远端锁定失败率为8%～29.11%[5]。现阶段在髓内钉固定术中远端锁定是困扰骨科医师的难题，利用X射线持续透视辅助徒手远端锁钉是现阶段常用治疗手段。骨科医生想要获取远端螺钉孔的位置需要利用C型臂X光机对手术部位进行连续透视，以此获取准确钻孔路线。这种需要进行反复透视的锁孔方法将对患者和医生带来潜在的健康风险，尤其是经常受到放射暴露的骨科医师，辐射剂量的不断积累难免会对身体带来伤害[6]。对于新手骨科医师来说，除了需要增加大量手术经验之外还需要一定的空间想象能力，将脑海中的透视图片与眼前实际骨折部位相匹配，想要完成一场完美的髓内钉置入手术难度较大，提升成功率需要经过缓慢的熟练过程[7-8]。

X射线透视手术方法有助于减小手术创伤并提高手术的精确度和成功率，为了减小射线对人体造成的伤害并提高X光透视对手术的辅助效果[9]，需对C臂机机体以及实时透视的手术流程进行改进，实现术前规划和术中增强现实等功能。Nikou等[10]开发了一种利用半透镜与显示屏相结合的虚拟透视系统，针对颅骨手术使用。手术时医生将病人头部置于半透镜下面，X光透视图片经由显示屏反射至半透镜表面，医师此时看向半透镜，即可获得颅骨透视图与病人头部表面的叠加效果。Foley等[11]提出基于C型臂的增强现实骨科导航系统，该系统将高精度跟踪仪器与C型臂空间位置标定在一起，获取实时的透视叠加效果。由于C型臂已经与外部跟踪设备相配准，配套开发的可跟踪手术仪器即可实时投影至X光透视图像上。何滨等[12]开发了无创式实时手术定位3D导航系统，该系统通过激光定位在术中可实现病灶点的可视化实时配准，空间定位装置进行角度与深度控制，从而实现手术路径的空间准确定位。不需外部跟踪方式增强现实导航系统通常需要对透视设备进行改造，但去除价格高昂的跟踪设备后，系统的整体成本会大幅降低。相较于昂贵的磁导航设备或需要光学跟踪设备的导航方式,不需要跟踪标记点的增强现实系统更具有推广意义[13-17]。增强现实技术导航在神经外科手术中早已发展成熟[18-19]，但在传统骨科手术方面依然处于探索阶段。

本文开发了一种应对髓内钉远端锁孔的增强现实导航系统，该系统结合了医学图像采集、增强现实技术、和计算机视觉技术，在手术中，髓腔内被遮挡不可见的髓内钉钉孔位置信息由C型臂透视获得，利用术前提前标定好的C型臂与摄像机的空间转换关系，将透视图像转换至摄像头下，以此赋予医生类似于“透视眼”的能力，辅助医生定位髓内钉远端孔位完成锁定，在术中为医生进行直观的视频指导。而在此基础上，为了在增强现实视频中实时追踪手术工具，避免出现因钻孔位置偏离而导致的钻孔失败，对手术钻头进行了改进。使增强现实系统能够在相机视频中，实时追踪手术工具尖端点和顶点位置，在获取钉孔位置信息后，辅助医生快速将钻头尖端对准骨表面正确入钻点，提供视频下的实时指导，方便医生保持正确的钻孔方向。

1 图像融合系统与可追踪手术工具硬件组成

图1所示为图像融合系统的硬件构成，增强现实模块由外附双镜结构的C型臂与计算机组成，小型无影灯充当额外可移动光源，显示器提供导航视野。其中C臂机型号为普爱PLX7000A型高频移动式C形臂X射线机，工业相机型号为MindVision MV-UBS300，固连在C型臂射线源侧面，双镜机构固连在射线源正下方。安装时使用双层标定靶确定X光透视成像中心，再调整双镜机构使相机摄像头中的双层标定靶视角与X光照片中的完全一致，从而使得相机的成像中心与X光透视的成像中心完全重合。手术前只需要拍摄一张X光透视下的金属校准件照片，机器视觉算法就可以识取金属校准件在X光照片和相机视频中几组对应特征点的坐标，并计算出X光照片到相机视频中的单应性变换矩阵，从而完成X光透视图像与相机视频图像融合的配准。系统在手术中能够实时地将透视照片叠加到摄像头的视频图像中，让医生在手术操作中得到直观视觉辅助的同时，也大大减少了X光实时透视对医生和患者身体的伤害。实际上，有赖于该系统的增强现实功能，手术过程仅需要拍摄2～3张透视照片便可以辅助医生完成对髓内钉远端钉孔的定位。增强现实视频流通过计算机算法融合后显示在辅助显示屏上，供手术医生实时监控，可追踪手术工具的位姿信息；算法融合在视频流中，可提供增强现实辅助，为医生在髓内钉手术中提供一种更直观的指导，帮助医生快速找到远端锁孔位置，准确迅速地完成钻孔锁定操作。

图1 图像融合系统的硬件组成

导航系统使用的钻孔工具是由角向磨光机改造而成的电钻，其型号为博世GWS670，其硬件结构由图2所示。在钻头外围固定有附带标记球的套筒，7颗用来跟踪定位的红色标记球，其中6颗需要分别利用2根定位杆连接后垂直固定在金属套筒上，剩余1颗标记球安装电钻钻头的轴线顶端，套筒与钻头中心轴线重合安装。红色标记球选用高饱和度色料并进行哑光处理，减小光照影响。基于射影变换中交比不变性的原理，利用指定结构刚性固定在手术器械上的标记球位置信息可以计算出手术工具末端位置。通过图像处理技术可以提取单帧图像中小球圆心位置，再使用计算机视觉技术完成对视频中小球追踪定位，以此达到对手术工具钻头尖端实时跟踪定位的效果。

图2 标记球识取算法效果图

标记球尺寸如表1所示，为了更便捷有效地区分图像中不同位置的标记球，将7个球设计为不同尺寸以便于图像识别后对不同组的球进行分组特征提取，提高算法完成之后的图像处理的效率。

表1 标记球直径

钻头标记为D，D到工具末端小球A的线段AD与钻头中轴线重合，为钻孔方向。B为AD和EG直线交点，C为AD和UW直线交点。杆上标记球间距如表2所示。

表2 标记球空间距离

2 手术工具定位追踪算法原理

定位算法首先在相机图像中找出红色标记球位置，标记球的特征识别可分2步进行：

1)标记球中心的粗检测：先对相机获得的图像转换至中文颜色空间后进行形态学操作获得标记球轮廓质心；

2)标记球中心的精检测：利用Floodfill算法将第1)步粗检测所获得的种子点圆心进行精检测，使用最小二乘法将检测结果直线拟合，拟合后将结果与Floodfill算法检测的结果相对应，以此不断提高精检测的线性度；

由于相机视频二维坐标系与三维世界坐标系之间遵循射影变换规律，所以找到视频中标记球位置坐标后可根据交比不变性原理，由已知的3点坐标和三维世界坐标系下的空间尺寸交比求解共线的第4个未知点的坐标[20-21]。

如图3所示，定义三维实空间中平面l，相机成像虚拟平面为l′，虚拟平面中与照片中的点对应，S为相机成像中心。现假设相机成像平面中4点为P′1、P′2、P′3、P′4，在三维实空间平面中与之对应的4点为P1、P2、P3、P4，则两平面中点的距离关系存在交比不变量：

图3 交比不变性原理

Rc_r=(P1,P2;P3,P4)=(P′1P′2P′3P′4)=

(1)

为方便计算定义中间变量CRT：

(2)

式中Rc_r为交比值。

若已知视频流中3点A′、B′、C′的坐标，可根据实空间中A、B、C、D3点的交比不变量求得视频流中第4点D′坐标：

(3)

(4)

即D′坐标可以求解为：

(5)

(6)

式中：A′B′x和A′B′y为向量A′B′的x和y方向分向量。

由此，手术中机器视觉算法对相机监控视频的每一帧图像都进行标记球的特征提取，根据提取出的圆球大小将其分为大中小3组。取识别出的中小尺寸的2组标记球坐标计算出电钻轴向上与之对应的2个辅助定位点B′、C′的位置坐标，再根据顶部最大尺寸标记球球心A′与B′、C′ 2点利用交比不变公式可以求得手术工具尖端D′的像素坐标，利用特殊符号将其在图像中标记出来以便识别，效果如图4所示，图中黄色与蓝色圆圈为2个辅助定位点，白色叉形标记即为计算所得钻头尖端点。

图4 工具定位算法与增强现实效果

获取髓内钉钉孔位置是内固定手术的前提，而对手术电钻钻头稳定准确跟踪是完成锁孔重要基础。精准对准入钻口，实时跟踪入钻方向能有效提高手术成功率，因此尖端跟踪定位精度需要进行实验分析是否满足手术精度要求。

3 手术工具尖端定位精度实验与钻孔定位精度与分析

3.1 手术工具定位精度实验

如图5所示，手术工具尖端跟踪定位精度实验平台由C型臂、可跟踪钻头、工作站以及精度标识靶组成。标识靶如图6所示，由24个半径为10 mm的圆形标识组成，相邻2个圆形标识的圆心间距均为50 mm，在标识靶上以4×6矩阵均匀分布。相机视频流进行实时算法处理后显示在辅助显示屏上。

图5 定位精度实验平台

图6 精度实验标识靶

手术工具精度实验流程为：

1)求解标识靶圆心坐标。

在合适视野位置通过光学相机拍摄一张标识靶图片，利用图像特征提取获得24个圆形圆心在图片上的像素坐标，并由此计算出相机图像中像素与实际尺寸的比例。标识靶识取算法流程如图7所示。

图7 标识靶圆心识取算法流程

2)求解手术工具尖端坐标。

提取相机单帧图像中红色标识球像素坐标，利用尖端定位算法求得钻头尖端点二维坐标，实验者手持手术钻头沿顺序逐一将钻头尖端对准标识靶24个圆形圆心，取视频中30帧的计算结果平均值作为钻头尖端点坐标。为减少钻头尖端二维坐标定位误差，在手术电钻对准标识靶24个圆形圆心时保持钻头轴线与标记靶平面垂直，即在视频中手术电钻AD 2个标记重合，记录此时钻头尖端坐标与已经获得的圆心坐标相比较。

3)尖端点检测算法的精度求解。

分别将上述步骤中获得的48组坐标一一对应分为24对，由于手术目标为钻入正圆形髓内钉孔中，故钻头尖端点与钉孔间的直线距离直接影响手术成功率，可将其作为衡量精度的指标。分别计算每对二维坐标之间的直线距离，将结果求平均即获得钻头尖端定位的误差值，以其来判定尖端跟踪算法的精度。

实验中获取相机图像后，基于标识靶圆心识取算法可以得到视频图像中标识靶24个标识圆的圆心理论坐标如表3所示。由于手术钻头尖端点和标识靶中的圆心始终保证重合，故实时检测算法计算得到的视频图像中钻头尖端点坐标即为与标识圆心理论坐标对应的实际坐标，坐标值如表4所示。取2组数据对应圆心的距离为定位的误差，计算并实时输出。

表3 第1组实验标识圆的圆心理论坐标值

表4 第1组实验标识圆的圆心实际坐标值

实验进行2组，表5和表6分别记录了2组实验中的误差。并对48个圆心偏差值求平均，实际尺寸圆心距为50 mm，检测获得的标记靶圆心距均值为110.64 pixels，经计算求得钻头尖端定位精度和实时定位精度分别为3.42±1.21 pixels和1.55±0.55 mm，达到由视频指导精准位移至目标点的要求，基本满足远端锁孔手术要求。

表5 第1组实验检测误差

表6 第2组实验检测误差

3.2 骨模钻孔实验

为了验证该增强现实骨科手术系统在实际手术场景中的可行性，使用人体小腿胫骨骨骼模型进行了骨模实验。实验中使用聚氨酯发泡剂对骨骼模型进行包裹，模拟实际微创手术场景中，人体组织对骨骼进行遮挡的情况，也对骨骼模型起到固定的作用。增强现实手术系统完成标定配准操作后，将髓内钉插入骨模不同深度，使用可定位追踪的手术钻头进行了多组钻孔实验。结合可跟踪手术工具的骨科增强现实导航系统手术步骤为：

1)将X射线图片与相机视频融合后，将X射线图片透明度降至50%。移动手术工具至合适视野如图8(a)所示，使相机能够清楚识别到7颗标记球，待计算机识别后会在图像上标示出钻头尖端位置与轴线末端的标记球;

2)如图8(b)所示，白色大圆的中心点为钻头尖端，淡蓝色大圆中心点为轴线末端，黄色与深蓝色小圆为中轴线上的2个点，移动至四者中心点与X光图像中钉孔位置重合即为钻头尖端已经找到正确入钻口和正确入钻方向；

3)如图8(c)所示，完成对准后，保持位姿不变钻入即可;

4)完成钻孔操作后，需要对髓内钉侧位拍摄X光图片判断是否钻孔成功。如图8(d)所示，旋转干骨模型90°或旋转C型臂至侧位拍摄X光，钻头准确穿过远端钉孔，钻孔成功。

图8 增强现实手术系统效果

经过验证，最终实验结果为15次钻孔操作中成功13次，失败2次，成功率为86.7%，定位误差为1.55±0.55 mm，而手术用髓内钉钉孔直径为4 mm，实验证明手术钻头尖端点定位精度基本可满足手术钻孔要求。

但从实验数据可以看出个别实验组存在误差较大情况，偏离误差的平均值。出现该情况是因为提取相机图像中标识球位置坐标受光照等环境因素影响，基于标识的跟踪定位算法如果没有鲁棒性更强的图像特征提取算法支持，就会造成相机视频中尖端点检测的不稳定。这种不稳定的状态十分影响尖端点的实时检测，因此该手术平台运行时，应减少环境对视频图像的影响，保证手术环境光照充足稳定，固定相机曝光和白平衡参数等措施均能提高尖端跟踪定位算法的精度和鲁棒性。除环境因素以外，交比不变性算法受手术工具改造时造成的尺寸误差影响，会与之后图像识别时产生的误差累计叠加，对于尖端定位精度影响更大。金属套筒和连杆时应严格按照电钻尺寸设计，加工和安装标识球时严格依照设计尺寸执行。而未来的研究也将在优化标记球识取算法和改进钻头定位模组几个方面，提高跟踪定位系统的精确度。

4 结论

1)本系统可以为医生提供增强视觉辅助之外，还可以提供一个稳定的钻孔导航方式。与Foley等提出的虚拟透视的二维导航系统相比，本系统整体硬件框架更简单、成本更低廉，手术导航方式更符合传统手术流程，更易使医生及医院所接受。简单的框架和流程与Nikou等开发的CMU手术系统相比，上手难度更低，减少医生培训时间。

2)本文系统改善了增强现实技术在神经外科以及骨科手术导航中设备及使用流程繁杂的问题,能有效指导胫骨骨折手术中的髓内钉远端锁孔。同时低廉的成本与稳定的结果也证明了推增强现实技术对传统骨科手术模式的优化具有重大意义。