基于增强现实的骨科手术中引导手术导板精确安放方法*

章振逸，李彬△，丁焕文，闫晓楠，田联房

(1.华南理工大学自动化科学与工程学院，广州 510641;2.华南理工大学医学院，广州 510006；3. 广州市第一人民医院骨科，广州 510000)

1 引 言

随着计算机辅助骨科手术相关技术不断成熟，骨科手术开始进入数字化，智能化转型升级新阶段，且3D打印技术在骨科手术中占有举足轻重的地位[1-3]。Cecchinato等[4]在脊柱畸形手术中，设计3D打印手术导板以准备螺钉的轨迹，从而提高植入物的可重复性和安全性。马宇龙等[5]在成人骨盆固定手术中，通过设计3D打印手术导板来辅助经后路第2骶椎髂骨(S2AI)螺钉置入，表明该方法准确性较高。虽然3D打印手术导板相较于传统的术中定位更加准确，但3D打印导板如何佩戴以及存在的佩戴误差，对手术成功与否起到了关键性的作用[6-7]。

基于增强现实 (augmented redlity,AR)的骨科手术中引导手术导板精确安放方法，将虚拟手术导板模型叠加到现实场景的手术部位，通过术中动态调整实际手术导板位置，实现对手术导板的精确安放。

AR在医学手术导航中扮演着越来越重要的角色[8-9]。复杂手术中的虚拟现实和AR是不断发展的技术，可以改进术前计划和术中导航[10-11]。Linxweiler等[12]将AR运用于内窥镜鼻窦手术，并得到鼻窦外科医生高度认可。Collins等[13]将AR运用于子宫腹腔镜手术,引导切除病变组织。Xu等[14]将AR运用于微创脊柱手术中引导放置椎弓根螺钉。目前，很多研究人员将AR应用于医学手术导航[15-17]，但结合3D打印技术与增强现实技术应用于骨科手术，却少有报道。

本研究提出一种基于AR的骨科手术中引导手术导板精确安放的方法。对术中手术部位目标进行轮廓提取，并将轮廓的外接矩形的四个顶点作为匹配跟踪点；然后利用P3P算法实现手术部位的初匹配，得到位姿变换矩阵作为Powell算法的搜索起点，通过不断搜索迭代，并改进其新一轮搜索方向，得到最优匹配矩阵并同时作用于虚拟手术导板模型和虚拟手术部位模型；最后，以此虚拟手术导板的位置作为金标准，引导术中实际手术导板的安放。经实验证明，本方法的可靠性及稳定性较好，有效引导医生进行手术定位。

2 基于AR的骨科手术中引导手术导板精确安放方法框架

本研究提出的基于AR的骨科手术中引导手术导板精确安放方法，流程图见图1。

3 基于AR的3D-2D匹配

3D-2D特征点的匹配是实现增强现实技术的基础[18]，本研究提出一种基于搜索优化思想的3D-2D匹配方法，求出最优位姿变换矩阵。

3.1 3D-2D配对点提取

对视频每一帧图像全局阈值分割，检测可能存在的手术部位目标，用轮廓间的非连通性设定一个轮廓面积阈值，获取视频中的手术部位目标轮廓以及其外接矩形，从而得到配对点中的四个2D特征点坐标。

3D点的选取，对手术部位CT图像使用面绘制[19]算法进行三维重建，并使用OpenGL渲染将三维重建结果转化为二维平面显示，对该二维显示结果进行轮廓提取得到3D特征点在X,Y轴的坐标，最后将Z轴坐标设定为0，即得到四个3D特征点坐标。

图1 方法流程图

3.2 求解初匹配位姿矩阵

初匹配位姿矩阵是通过求解N点透视问题(PnP)[20-21]来估计的，本研究基于P3P[22]算法求解3D-2D初匹配位姿矩阵步骤如下：

(1)根据上述所求得4个2D坐标a,b,c,d和4个3D坐标A,B,C,D，取其中三个点a,b,c作为求解参数，点d作为验证参数，设点a,b,c在当前相机坐标系下的3D坐标为Ac,Bc,Cc。

(2)根据相机光心点P，3D坐标Ac,Bc,Cc以及2D坐标a,b,c之间的夹角，结合余弦定理构建等式关系。

(3)由步骤(2)得到的等式关系转换为一个二元二次方程，通过吴消元法求解得到立体几何长度的比值关系，从而得到可能的4组3D坐标点Ac,Bc,Cc。

(4)通过每组3D坐标Ac,Bc,Cc与已获取的世界坐标系下三维模型的3D坐标A,B,C，利用ICP[23]算法求出世界坐标系与相机坐标系的相对位置关系，进而得到4组三维模型旋转变换矩阵R和平移向量t。

(5)为确定4组解中的最优解，利用已知的世界坐标系的3D坐标点D和二维图像坐标点d，将4组解中D点的重投影误差最小作为目标解。

3.3 求解精匹配位姿矩阵

在P3P算法基础上求得初匹配位姿矩阵，将所得的结果作为六自由度Powell[24]算法的初始搜索点，进一步提高3D-2D的匹配准确度。其次以虚拟目标和实际目标二值图的差绝对值作为优化目标函数，见式(1)。

(1)

六自由度的Powell的精匹配算法步骤见表1，将P3P算法求得的初匹配结果作为实现精匹配的浮动图像。将摄像头固定对准实际场景中的目标，对视频中的每一帧图像进行全局阈值分割，从而可得到场景目标在图像中所处的大致矩形区域，以该所得的矩形区域作为接下来图像处理的范围，结合一种基于图论的图像分割方法Grabcut[25-26]将场景目标从背景图像中分离出来，将得到的场景目标结果图像作为精匹配的参考图像。

表1 精匹配算法步骤

通过使用P3P算法实现3D-2D初匹配，只要初匹配结果的误差在允许的范围之内，再将初匹配结果作为Powell算法搜索优化的初始点，在分秒级内能够实现3D-2D的精确匹配。

4 3D打印手术导板的引导安放

4.1 基于交互式的图割算法的实际手术导板提取

本研究利用一种基于图论的图像分割方法Grabcut[15]提取实际手术导板，该算法通过最小化的Gibbs能量函数，见式(2)，构建S-T图，根据图的最小割原理来进行图像分割。

(2)

主要步骤如下：

(1)鼠标选定一个包含实际手术导板的矩形框，矩形框外的像素作为背景，矩形框内的作为目标，对背景的每一像素n初始化标签αn=0，对目标的每一像素n初始化标签为αn=1；

(2)根据步骤(1)中设定的背景以及目标，使用两个分量为5的高斯混合模型分别对背景和目标进行建模，并通过K-mean算法分别将背景和目标聚类为5类，则每个高斯模型通过聚类得到像素样本集，根据它们的RGB值来估计其均值和协方差矩阵，高斯分量的权重为每个高斯分量的像素个数与总的像素个数之比。

(3)对每个像素分配高斯混合模型的高斯分量，计算概率最大的就是该像素n对应的第kn个高斯分量，见式(3)；

(3)

(4)根据步骤(3)中做好分类的数据，更新高斯混合模型参数，见式(4);

(4)

(5)结合Gibbs能量项，建立一个S-T图，求出图的每条边权重，通过最大流最小割算法进行分割；

(6)根据步骤(5)分割的结果，重复步骤(3)到(5)，直至Gibbs能量项趋于稳定。

在实际操作中，只需交互使用一个包含实际手术导板的矩形框，即可将实际手术导板分割提取出来。

4.2 手术导板引导的评估方法

Dice相似系数(Dice Similarity Coefficient )是一种集合相似度度量指标。在本研究中利用Dice系数来对虚拟手术导板和实际手术导板进行匹配度评估。见图2，其中集合A表示虚拟手术导板的空间位置，集合B表示实际手术导板的空间位置，集合C表示图像的大小，根据Dice相似系数指标，得到虚拟手术打印导板与实际手术导板的匹配度计算公式，见式(5)。

图2 Dice系数示意图

(5)

其中，Dice(A,B)∈[0,1]，越接近于1说明匹配度越高，反之，匹配度越低。

5 结果讨论

5.1 3D-2D匹配的实验结果分析

为了验证3D-2D匹配效果，实验使用6组不同角度足部三维模型来验证本算法。使用项目组开发平台导入三维模型，OpenGL渲染显示结果见图3。

图3 三维模型导入平台

匹配结果见图4。图4(a)—图4(l)中的实际三维模型是通过导出的STL文件，按照1:1比例3D打印得到的。计算每组初匹配和精匹配的匹配误差，得到表2。根据表2实验数据，画出初匹配和精匹配的匹配误差曲线，见图5。

由表2和图5的6组实验数据可知，仅通过P3P算法求解的初匹配的匹配误差较大，且稳定性较差。利用六自由度的Powell搜索算法，能够大幅度减小最终的匹配误差，稳定性得到改善。实验结果证明了本算法的稳定性与准确性。

注：(a)、(c)、(e)、(g)、(i)、(k)是3D-2D初匹配效果图；(b)、(d)、(f)、(h)、(j)、(l)是3D-2D精匹配效果图。

表2 每组的匹配误差结果

5.3 基于增强现实的手术导板引导安放的结果分析

由上述方法确定虚拟手术导板空间位置后，见图6(a)。图6(b)和图6(c)为一组实际手术导板安放的位置和交互式的图割算法提取的结果。本研究针对3D打印的足部模型进行试验，通过调整10组实际手术导板的安放位置，画出对应的Dice值曲线，见图7。

图5 每组初配准误差与精配准误差关系

图6 手术导板引导效果图

图7 动态调整实际手术导板对应的Dice值

随着实际手术导板的动态调整过程，Dice值会呈现出一个先增后减的过程，在Dice值最大的时候，即实际手术导板安放的最佳位置。

为进一步验证本研究方法的可行性，由广东省肇庆市怀集县第一人民医院和广州市第一人民医院提供的CT图像序列，通过项目组开发系统进行分割以及三维重建，并设计3D打印手术导板。在该患者临床手术中，采用本方法进行术中手术导板的引导安放，图8为临床案例的结果示意图。

图8(a)和图8(c)为虚拟手术部位与实际手术部位的3D-2D匹配结果，图8(b)、图8(d)和图8(e)为虚拟3D手术导板引导实际手术导板安放的结果。经过术后医生对手术结果的评估，表明了该方法能够很好地运用于骨科手术中引导手术导板安放，验证了本研究方法的实践性与可行性。

图8 临床案例示意图

6 结论

本研究针对骨科手术中手术导板安放存在的不准确问题，提出了基于增强现实的骨科手术中引导手术导板安放的方法。首先利用P3P算法实现虚拟手术部位与实际手术部位的初匹配，在此基础上，利用基于六自由度的Powell算法实现精匹配，同时将求得的位姿变换矩阵作用于虚拟3D手术导板，将其所在的空间位置作为金标准，然后，动态调整实际手术导板的空间位置，并利用基于交互式的图割算法提取实际手术导板，计算其与金标准的匹配度，对应匹配度最大值的实际手术导板空间位置即为准确安放结果。通过实验结果表明，本研究提出的方法对骨科手术中引导手术导板安放的可行性与准确性。