一种基于多目立体视觉的手术器械跟踪定位策略

赵昕扬，刘仰川，高万荣，高 欣

（1.南京理工大学电子工程与光电技术学院，江苏南京210094；2.中国科学院苏州生物医学工程技术研究所，江苏苏州215163）

一种基于多目立体视觉的手术器械跟踪定位策略

赵昕扬1，2，刘仰川2，高万荣1，高 欣2

（1.南京理工大学电子工程与光电技术学院，江苏南京210094；2.中国科学院苏州生物医学工程技术研究所，江苏苏州215163）

提出了一种基于多目立体视觉的手术器械跟踪定位策略.利用2个以上的摄像机构建多目立体视觉系统，采用投影线交点法重建靶标的空间坐标.当无光线遮挡时，通过扩展投影线方程数量进行多目立体重建；当某一摄像机的光线被遮挡时，进行双目立体重建.利用自行搭建的三目立体视觉系统，通过自制的多标志点手术器械的跟踪定位试验，实现对该策略有效性的测试.结果表明：在不同光线遮挡条件下，系统均能实现定位功能，且静态定位和动态定位误差均小于0.15 mm；该策略能够在一定程度上解决光线遮挡问题，避免手术器械定位信息丢失，在满足使用精度需求的情况下，提高了系统的可靠性.

手术器械；定位；手术导航；立体视觉；光线遮挡

手术导航又称影像引导介入手术，是指借助医学影像设备重建出人体病灶的二维或三维影像模型，帮助医生进行术前路径规划，结合各种空间定位技术，引导特定的手术器械，经过体表或自然腔道对病灶进行微创诊疗.空间定位是手术导航的关键技术，对手术器械进行实时、高精度的跟踪定位是手术导航的核心问题.

目前常用的跟踪定位方法有两种，分别是电磁定位和光学定位.电磁定位是利用电磁感应原理，通过探测器接收由磁场发生器发射的磁场信号来实现对目标的定位［1］.该方法定位精度较高，属于非接触式定位，能够追踪人体内导管和针尖类设备.但定位磁场易受铁磁性物体扰乱，影响定位精度.电磁定位产品有NDI公司的Aurora系统、Polhemus公司的FASTRAK系统等，目前精度达到了0.48 mm.光学定位一般采用红外模式，以摄像机作为传感器，对捕捉到的光信号进行测量追踪［2］.该方法的优点是定位精度高，视野大；缺点是摄像机和测量目标之间的光线易受遮挡而导致定位失效.光学定位是目前手术导航中的主流定位方法，产品有NDI公司的Po laris系统、Atracsys公司的accuTrack系统等，目前精度达到了0.25 mm.

目前，用于手术导航的光学定位系统均采用双目立体视觉技术，在应用中存在一定的局限性.术中某一摄像机的光线被人员或器械遮挡时，系统对手术器械的定位信息就会丢失.如果定位系统由多台（两台以上）摄像机组成，其中某一摄像机的光线被遮挡时仍然能够提供定位信息，这将有助于提高手术导航的可靠性.此外，在无遮挡情况下，多台摄像机理论上能够提供更高的定位精度，这有助于进一步提高手术导航的精度.

文中进行多目立体视觉定位技术的研究，提出一种手术器械跟踪定位策略，搭建一套由3台摄像机组成的多目立体视觉定位系统.该系统可以根据摄像机光线的遮挡条件，自适应地选择双目或三目立体视觉定位模式.利用该系统对单颗LED灯珠和自制的多标志点手术器械进行跟踪定位，检测系统的定位精度，并验证防遮挡能力.

1 摄像机标定

摄像机标定是实现立体视觉的基础，其目的是获取摄像机的成像参数.摄像机的成像过程可以利用针孔模型给出［3］，如图1所示.

图1 摄像机的针孔模型

在图1中，共定义了4个坐标系，分别是世界坐标系Ow-X w Y w Z w、图像物理坐标系Ouv－uv、图像像素坐标系Oxy－xy以及摄像机坐标系Oc-X c Y c Z c.空间中的任意点P（Xw，Yw，Zw）在图像上的成像是p（u，v），该过程可以表示为

式中：αx＝f／dx和αy＝f／dy是焦距与探测器单元尺寸之比，（u0，v0）是探测器中心坐标，它们均属于摄像机内参数；R和t分别是旋转矩阵和平移向量，它们均属于摄像机外参数；0T是零值列向量；M是3×4矩阵，称为摄像机投影矩阵.

为了使针孔模型更符合摄像机的实际成像过程，需要在该模型中补充镜头畸变，包括径向畸变和切向畸变［4］.径向畸变源自镜头的形状，可以描述为

式中：（xt，yt）为校正后的坐标；p1和p2为切向畸变系数.由于这2类畸变只与摄像机内部结构有关，畸变系数也属于摄像机内部参数.

利用摄像机标定算法，可以计算出摄像机的成像参数.常用的摄像机标定方法有2种：Tsai两步标定法［5］和张正友平面标定法［6］.Tsai两步标定法的核心是在径向一致性约束下，利用线性最小二乘法，得到摄像机的内外参数.Tsai两步法利用一张标定视图，即可完成某一相机的标定，操作方便.张正友平面标定法首先通过线性摄像机模型分析计算出各参数的优化解，然后利用最大似然法进行非线性摄像机求解，得到最终参数.张正友平面标定法需要摄像机采集多幅标定视图（8幅以上），理论上精度更高，但需要对每幅视图进行图像处理，过程复杂，容易造成误差累计.

在进行双目立体视觉系统标定时，张正友平面标定法能够确定两摄像机的位置关系，经立体校正后，可实现基于三角测量原理的深度测量.但多目立体视觉缺乏公共平面进行立体校正，特别是要实现双目和多目的任意切换时，公共平面难以确定［7］.Tsai标定法能直接给出世界坐标系与图像像素坐标系的投影变换关系，间接确定两摄像机的位置关系.利用2个或2个以上的投影变换关系即可进行空间点坐标重建.因此，Tsai标定法适合用于多目立体视觉中的摄像机标定.

2 空间点坐标重建

空间点坐标重建方法有多种，如投影线交点法、投影线垂足加权法［8］、三角测量法等.投影线交点法和投影线垂足加权法在求解精度上相当，但前者具有较高的计算效率.三角测量法在双目立体视觉中使用，但无法用在多目立体视觉中.文中选择投影线交点法，它在双目模式下的原理如图2所示.

图2 双目立体视觉的投影线交点法示意图

图2中，p1和p2是空间任意点P在左右两个摄像机中的投影点.在已知两个摄像机的投影矩阵Ml和Mr的情况下，可以得到两个成像公式.以左侧摄像机为例，每个成像公式均可消掉Zc，得到关于坐标Xw，Yw，Zw的2个线性方程：

多目立体视觉的空间点重建可在双目立体视觉的基础上进行扩展，即可得到摄像机数目二倍的投影线方程，这有利于空间点重建精度的提高.当某一相机被遮挡时，多目立体视觉就退化为双目立体视觉，但由于重建原理相同，空间点仍能继续重建.

值得注意的是，在计算机立体视觉中，不同摄像机对应的视图中，一个空间点会有不同的像点（投影点）.在多个空间点同时定位的情况下，需立体匹配方法将每个空间点对应的像点坐标从多幅视图中建立一一对应关系，这是实现空间点坐标重建的前提.

立体匹配有多种方法，如极线约束、sift特征匹配［9］、基于灰度的图像匹配［10］等等.在近红外成像条件下，图像中仅有灰度信息且空间点周围区域特征不明显，导致依赖区域相似性的匹配方法难以正常工作.极线约束是立体视觉中最基本、最重要的匹配方法，它仅由相机间的空间位置关系决定，不受颜色、灰度等因素的影响.因此，文中选择极线约束匹配方法.

在图2中，两个摄像机的投影中心O1和O2的连线与两个投影面的交点e1和e2称为极点，空间点P在图像上的投影点p与对应极点e之间的连线称为极线.给定一幅图像上的一个投影点，它在另一幅图像上的匹配投影点必定在对应的极线上［11］.如果已知ql和qr为同一空间点在两幅图像上的对应投影点坐标，极线约束关系借助基础矩阵F可以表示为

式中：Ml和Mr是为两个摄像机的投影矩阵；R是两个摄像机之间的旋转矩阵，定义为

S是两摄像机之间的平移向量J的反对称矩阵，J定义为

在实际应用中因为存在误差，式（5）右侧只能近似给一个极小值.对一张图像中的指定投影点，将该点和另一张图像上的所有投影点坐标依次代入式（5），取结果最小值对应的投影点为匹配投影点［12］.

对于多目立体视觉系统，任意两个摄像机均可看作双目立体视觉，因此匹配时，以其中一个摄像机作为基准，分别将其余摄像机的投影点与基准相机中的投影点匹配.在某个摄像机存在遮挡时，剩余摄像机仍能采用这种思路进行匹配.

3 手术器械标定

光学定位的最终目的是获取手术器械工作点（一般为尖端）的位置和方向信息，然而工作点要深入病灶，无法直接测量.因此，需要建立手术器械的标志点与工作点之间的空间关系，这就是手术器械标定.三标志点手术器械标定是利用非共线三点确定一个平面，进而建立器械坐标系，最终求取工作点在该坐标系下的坐标，这是一种典型的手术器械标定方法［13］.

手术器械坐标系如图3所示.

图3 手术器械坐标系

手术器械标定的第一步就是确定针尖的世界坐标.保持针尖位置不变，手术器械绕针尖进行不同空间角度的N次旋转，同时保持3个标志点在摄像机中均可见.在世界坐标系下，设某个姿态下标志点的坐标为Pi（Xi，Yi，Zi），i表示旋转序号.设Tip点的坐标为Ptp（Xtp，Ytp，Ztp）.根据刚体约束性质，该标志点到Tip点的欧氏距离ρ保持不变，可得如下方程：

式中i∈［1，N］，N为旋转姿态个数.将i≥2的方程减去i＝1的方程，可消掉ρ，得（N－1）个如下方程：

对于三标志点手术器械，每个标志点均可得到（N－1）个方程，共可得到3×（N－1）个方程，并可写成矩阵形式：

式中：G1为3×（N－1）行3列的矩阵，行向量为（Xi－X1，Yi－Y1，Zi－Z1）；F1为3×（i－1）维的列向量，元素利用最小二乘法求解式（11），可得Ptp.

手术器械标定的第二步就是确定针尖的器械坐标.设在第i次旋转中，器械坐标系相对于世界坐标系的偏移向量为 Tt，可由点O在坐标系的坐标给出：

式中PA，PB和PC是3个标志点的世界坐标.

旋转矩阵Rt可由器械坐标系各轴的方向向量nx，ny，nz表示，即

设Tip点的器械坐标为Pttp，Pttp与Ptp满足关系式：

当考虑到N次旋转时，式（12）可改写为

共可得到N个如式（15）的方程，写为矩阵形式：

由刚体约束性质可知，Tip点的器械坐标Pttp保持不变.因此，一般情况下，手术器械经过一次标定，就可以长期使用.在手术器械跟踪定位时，可以根据式（12）和（13）分别求得Tt和Rt，再利用式（14）可求得Tip点的世界坐标.可见，跟踪定位在一定程度上是标定的逆过程.

4 系统构成

为了验证文中提出的基于多目立体视觉的手术器械跟踪定位策略，自行研制了一套三目立体视觉系统，如图4所示.该系统包括3台USB3.0摄像机、一个三脚架、一台计算机等部件，其中摄像机配有850 nm的窄带滤光片.3台摄像机采用共线设计，等间隔地固定在长为350 mm的横梁上.3台摄像机采用数字信号发生器进行同步外触发，并采用9行12列棋盘格进行标定.自制手术器械安装有3个850 nm的LED灯珠，并采用一个恒流光源控制器进行供电.

图4 三目立体视觉系统样机

该系统的软件工作流程如图5所示.软件通过对各图像中标志点数量的判断，自动选择立体重建模式.在视图判断环节，如果三张视图中特征点数均等于实际值，就认为不存在视图被遮挡的情况，选择三目立体重建模式；如果某一视图中的特征点数少于实际值，就认为该视图被遮挡，选择双目立体重建模式；如果两张或三张视图中的特征点数均小于实际值，无法进行立体重建，给出警告.事先准备好立体重建所需要的各摄像机标定文件，在软件运行时以文件的形式导入.

图5 软件工作流程图

5 试验及结果

光学定位系统有多项性能指标，如定位精度、最大数据更新率（帧频）、测量体积等.定位精度是光学定位系统最关键的指标，直接影响手术导航系统的精度.为了验证手术器械跟踪定位策略的有效性，将自制三标志点手术器械固定在一个高精度一维手动位移台上，并与系统保持约1.3 m的间距.一维位移台的一端是千分尺螺杆，量程是50 mm，螺距是0.5 mm，螺套分格数是50，分辨率是0.01 mm，满足测量要求.试验中，三目立体视觉系统的输出值为测量值，一维位移台的读数作为真值.采用均方根误差（rootmean square，RMS）来评价精度：

式中：xi表示测量值；x表示真实值；n表示测量次数.

5.1 静态测量试验

保持手术器械静止，利用三目立体视觉系统对它进行多次定位，如图6所示.图6中，3个实点表示标志点，箭头顶端表示针尖位置.可见，系统可通过对3个标志点的定位测量，实现了对针尖的定位.

图6 手术器械定位

在不同的遮挡条件下，利用三目立体视觉系统对手术器械的针尖世界坐标进行50次测量，并将试验数据绘制成散点图，如图7所示.

由图7可知，每幅图中的测量点并没有汇集到一点，而是呈散点分布，这是因为系统存在静态定位误差的缘故.求取所有测量点坐标的平均值，将它作为真值，利用式（17）来计算均方根误差（RMS）.三目测量情况下，RMS值为0.043 mm；左中双目测量情况下，RMS值为0.048 mm；左右双目测量情况下，RMS值0.044 mm；中右双目测量条件下，RMS值为0.046 mm.可见，无遮挡三目测量精度均高于有遮挡时双目测量精度，左右双目测量精度高于左中和中右双目测量精度.这是因为在对手术器械各标志点进行定位时，三目立体重建精度高于双目，基线距离大的双目一般比基线距离小的双目立体重建精度高.因此，在相同的手术器械标定条件下，不同模式定位方法求取针尖坐标的精度也会发生相应的变化.

图7 手术器械针尖世界坐标的静态测量结果

5.2 动态测量试验

转动位移台的螺套，手术器械随着平台进行高精度位移，利用三目立体视觉系统测量针尖每次位移的起点和终点处的世界坐标.计算针尖每次位移值，该值与位移真值之间的偏差即是位移测量误差.分别让手术器械进行20组5，10和20 mm的位移，并利用式（17）来计算均方根误差（RMS），结果如表1所示，其中RMS取小数点后3位.

表1 手术器械针尖位移精度测试结果_____________mm

从表1可以看出，不同遮挡条件和位移条件下，手术器械针尖位移测量精度不同.在相同的位移条件下，无遮挡时三目测量精度均高于有遮挡时双目测量精度，左右双目测量精度高于左中与中右双目测量精度.可见，误差值随遮挡情况的变化规律与静态测量试验保持一致.

6 结 论

文中所提出的基于多目立体视觉的手术器械跟踪定位策略在应对某一摄像机光线被遮挡而导致定位信息丢失的情况是有效的.基于该策略开发的三目立体视觉系统可以实现手术器械的跟踪定位，能在不同遮挡条件下选择相应的工作模式，在一定程度上具备了防遮挡能力，验证了该策略的有效性，并且在静态和动态测量中，误差均小于0.15 mm，满足使用要求.

（References）

［1］ 刘洋，马宝秋，徐桓，等.基于电磁定位的软组织术中实时跟踪系统的开发［J］.中国医学装备，2015，12（4）：6－9.LIU Y，MA B Q，XU H，et al.The development of real time tracking of soft tissue deformation based on electromagnetic positioning［J］.China Medical Equip ment，2015，12（4）：6－9.（in Chinese）

［2］ YANG R，WANG Z，LIU S，et al.Design of an accu rate near infrared optical tracking system in surgical na vigation［J］.J Lightwave Technol，2013，31（2）：223－231.

［3］ 马颂德，张正友.计算机视觉－计算理论与算法基础［M］.北京：科学出版社，1998：52－59.

［4］ GARY B，ADRIAN K.Learning OpenCV：Computer Vision with the OpenCV Library［M］.United States of America：O′Reilly Media，Inc.，2008：375－378.

［5］ TSAIR.A versatile camera calibration technique for high accuracy 3D machine vision metrology using off the shelf TV cameras and lenses［J］.Robotics and Au tomation，1987，3（4）：323－344.

［6］ ZHANG Z.Flexible camera calibration by viewing a plane from unknown orientations［C］∥The Proceedings of the Seventh IEEE International Conference on Com puter Vision.Kerkyra：IEEE，1999：666－673.

［7］ 刘伟，胡超，李抱朴，等.多视角光学定位跟踪系统［J］.集成技术，2013，2（1）：35－41.LIUW，HU C，LIB P，et al.Multi view optical trac king system［J］.Journal of Integration Technology，2013，2（1）：35－41.（in Chinese）

［8］ 王梦蛟，丁辉，王广志.基于相机模型的锥束CT重建误差校正［J］.清华大学学报 （自然科学版），2015，55（1）：122－127.WANG M J，DING H，WANG G Z.Misaligned cone beam computed tomography reconstruction based on a cameramodel［J］.Journal of Tsinghua University（Sci ence and Technology），2015，55（1）：122－127.（in Chinese）

［9］ KUPFER B，NETANYAHU N S，SHIMSHONI I.An efficient SIFT based mode seeking algorithm for sub pixel registration of remotely sensed images［J］.IEEE Geoscience and Remote Sensing Letters，2015，12（2）：379－383.

［10］ LIANG Y，SONGM，BU J，et al.Colorization for gray scale facial image by locality constrained linear coding［J］.Journal of Signal Processing Systems，2014，74（1）：59－67.

［11］ 张天行，段锦，祝勇，等.一种改进的特征点匹配局部遮挡目标识别算法［J］.计算机系统应用，2014，23（3）：158－161.ZHANG T X，DUAN J，ZHU Y，et al.Modified par tially occluded object recognition algorithm based on fea ture pointsmatching［J］.Computer Systems＆Applica tions，2014，23（3）：158－161.（in Chinese）

［12］ XU G，ZHANG Z.Epipolar Geometry in Stereo，Motion and Object Recognition：a Unified Approach［M］.Dor drecht：Springer Science＆Business Media，1996：223－225.

［13］ 赵岩.计算机辅助手术导航中的跟踪定位方法研究［D］.长春：吉林大学，2015.

A multi view stereo vision based tracking and positioning strategy for surgical instrument

ZHAO Xinyang1，2，LIU Yangchuan2，GAOWanrong1，GAO Xin2
（1.School of Electronic and Optical Engineering，Nanjing University of Science and Technology，Nanjing，Jiangsu 210094，China；2.Suzhou Institute of Biomedical Engineering and Technology，Chinese Academy of Sciences，Suzhou，Jiangsu 215163，China）

A multi view stereo vision based tracking and positioning strategy for surgical instrument was proposed.A multi view stereo vision system was built using more than two cameras，and the spatial coordinate of targetwas reconstructed by the projection line intersectionmethod.Under the condition with no line of sight blocking，the spatial coordinate of target was reconstructed by extending the projection line equations.With line of sight blocking in one camera，the binocular stereo reconstructionmethod was used.The tracking and positioning for a self made multi point surgical instrument with a self built trinocular stereo vision system were conducted to test the capability of the proposed strategy.The results show that the system can locate the position successfully under different blocking conditions，and both the static error and the dynamic error are less than 0.15 mm.The proposed strategy can solve the problem of line of sight blocking to some extent and avoid the missing of positioning information，and the system reliability can be improved with the required accuracy.

surgical instrument；positioning；image guided surgery；stereo vision；line of sight blocking

10.3969／j.issn.1671－7775.2018.01.010

TP391.7

A

1671－7775（2018）01－0057－07

赵昕扬，刘仰川，高万荣，等.一种基于多目立体视觉的手术器械跟踪定位策略［J］.江苏大学学报（自然科学版），2018，39（1）：57－63.

2016－09－09

国家自然科学基金资助项目（81571772）；中国科学院科研装备研制项目（YZ201342）；苏州市应用基础研究项目（SYG201501）

赵昕扬（1991—），男，福建泉州人，硕士研究生（423596086＠qq.com），主要从事计算机视觉的研究.

高万荣（1961—），男，陕西铜川人，教授，博士生导师（通信作者，wgao＠njust.edu.cn），主要从事生物医学光学的研究.

（责任编辑 祝贞学）