结构光相机点云图与CT 图像配准算法对比研究

雷 超，贾 于，王 宏，邓 娟，王琳琳，沙 洪

（中国医学科学院北京协和医学院生物医学工程研究所，天津 300192）

0 引言

脑部疾病严重危害人体健康，具有较高的致残率和死亡率。颅脑穿刺是临床诊疗脑部疾病的一种重要手段。传统颅脑穿刺常基于有框架的脑立体定向技术[1]，通过头颅外人为安装的框架辅助构建脑结构三维坐标系，对患者的CT 或MRI 图像进行标记。穿刺手术中穿刺针在脑立体定向仪的指引下到达脑内对应解剖位置。受限于手术适应证以及技术操作规范，同时随着影像设备的发展和普及，有框架的脑立体定向技术逐渐被定位精确、创伤小、并发症少的无框架影像导航技术取代[2]。无框架影像导航技术在颅内良恶性肿瘤鉴别[3]、炎性病变与囊性病变鉴别[4]、脑脊液分流手术[5]、脑室造影等方面都有应用。

1986年Roberts 等[6]首次提出了使用声波数字化仪跟踪手术器械或显微镜的方法，开创了无框架立体定向神经外科。1991年Kato 等[7]论述了三维电磁数字化仪设计原理并应用于临床手术。自美国圣路易斯大学医学院1992年应用红外线数字化仪开展临床实验，光学手术导航系统（optical surgical navigation system，OSNS）开始应用于市场[8]。在OSNS 中用于颅脑3D 建模的技术主要有飞行时间技术、双目立体成像技术和结构光成像技术3 种，其中飞行时间技术在远距离下噪声较低、帧数高，适合动态场景；双目立体成像对环境光照很敏感，且计算复杂度高；结构光成像精度高、分辨力高、功耗低，可快速获取深度信息，非常适合静态场景，在3D 建模中备受青睐。

OSNS 定位需要将光学图像与其他图像配准，配准的关键包括对特征面部点云提取、点云特征描述和图像配准算法。Johnson[9]于1997年引入了自旋图像（spin images，SI），通过图像的相关性建立2 个曲面之间点的对应关系，SI 在包含杂波和有遮挡场景的目标识别中有较高的准确性。2004年Frome 等提出了3D 形状上下文特征（3D shape context，3DSC）[10]，实验评估发现该算法对嘈杂、混乱场景中的车辆识别率较高。2008年Rusu 等[11]提出点特征直方图（point feature histograms，PFH）算法，描述点云数据集中点周围的局部几何形状，该算法具有位姿和密度不变性，能很好地处理噪声数据集。2009年Rusu 等[12]又提出快速点特征直方图（fast point feature histograms，FPFH）算法，该算法保留了PFH 的鉴别能力，通过预先计算缩减了时间，解决了重叠点云视图的三维配准问题。2010年Tombari 等[13]提出用于表面匹配的方位特征直方图（signature of histograms of orientation，SHOT）算法，该算法集成了多个线索提高清晰度，在对象识别和三维重建中表现较优。

图像配准包括粗配准和精配准。粗配准为精配准的位姿估计提供初始预估的刚性变换矩阵，常用的粗配准算法包括4 共面点匹配（4-points congruent sets，4PCS）算法[14]和采样一致性初始配准（sample consensus initial alignment，SAC-IA）算 法[15]，其 中SAC-IA 算法可对点云大量采样、查看，快速寻找较优变换。精配准算法主要包括迭代最近点（iterative closest point，ICP）算法[16]、广义迭代最近点（generalized iterative closest point，GICP）算法[17]和正态分布变换（normal distribution transformation，NDT）算法[18]。对一组待配准点云中的每个点，ICP 算法遍历另一组点云寻找最近的匹配点，精度好，但计算量大且收敛速度受初始矩阵影响；GICP 算法先对采样点进行高斯分布的曲面建模，再将点云的最近点进行匹配并迭代；NDT 算法是将点云分割为用正态分布表示的栅格再配准，是对点集的抽象，无需逐点找对应点，速度较快、抗噪性能强。

目前，基于结构光相机点云图与医学图像配准的颅脑穿刺定位研究，国外已经有了应用案例，国内还处于起步阶段。考虑到多模态影像融合导航引导穿刺手术对病灶具有较高的穿刺精准性[19]，本研究将结构光相机点云图与医学影像进行三维配准，在点云图上标记医学影像确定的穿刺点。基于本研究，通过手眼标定可得到定位系统在辅助机械臂坐标系下的坐标，为后续通过控制固定在机械臂末端的穿刺针顺利到达穿刺指定位置提供了可能。

1 方法

本研究基于Ubuntu 18.04 系统对结构光相机点云图与医学影像进行三维配准，实验步骤如下：

（1）相机动态标定：选用双目结构光相机Inter-RealSense D415 拍摄结构光图像，相机的深度模块在出厂时已初步校准，但正式使用时仍须动态标定以优化外部参数；

（2）特征面部点云提取：截取由CT 图像提取到的面部皮肤转化而来的点云数据作为目标点云，从结构光相机拍摄的图像中提取待配准点云，采用3种方法提取特征面部点云；

（3）点云特征描述：采用5 种特征描述算法对点云局部特征进行描述；

（4）点云配准：粗配准基于SAC-IA 算法得到初始变换矩阵，精配准采用ICP、GICP、NDT 3 种算法；

（5）配准结果评价：采用倒角距离作为评价指标，对比研究3 种精配准算法。

1.1 相机动态标定

Inter-RealSense D415 相机在室内环境下可以测量深度信息，在室外环境下，光照会导致结构光失效，这种情况下相机可采用纯双目成像方式进行成像，抗环境干扰能力和可靠性强。同时，相机的卷帘快门感应器和窄视野小镜头可在狭窄视野下提供较高的深度分辨力。相机动态标定基于相机自带的标定软件，使相机图像相对于主轴系统（竖直轴）平移和旋转来进行标定。

1.2 特征面部点云提取

人脸数据配准常以鼻尖为中心[20]，在做穿刺手术时人脸正视相机，相机坐标系Z 轴最大值点可作为鼻尖点（最大值法）。此外，也可以将整个面部高斯曲率最大的点作为鼻尖[21]（曲率法），以鼻尖为中心截取半径为6 cm 的圆形区域为初始面部点云区[20]。本研究通过Intel-RealSense Viewer 软件读取D415相机的图像数据，通过Mimics 软件提取CT 图像人脸数据，再通过C++程序中的点云库（point cloud library，PCL）裁剪点云数据、提取鼻尖，获取面部感兴趣区点云。

在不失代表性与描述性的前提下，压缩初始面部点云获取特征面部点云后再配准，可缩短数据识别和追踪的时长，提高配准速度。特征面部点云应具备以下特征：（1）包含边缘和曲面结构信息；（2）可重复；（3）位于较稳定区域，方便提取法线。本研究中采用了3 种算法：基于局部坐标系建模特征值分析的内部形状描述子（intrinsic shape signatures，ISS）[22]、局部特征描述子尺度不变特征变换（scale invariant feature transform，SIFT）[23]和利用点云三维空间的表面法线向量来检测特征点的Harris 算法[24]。

1.3 特征描述

特征描述是点云信息处理中的关键一环。点云的识别、分割、重采样、配准、曲面重建等处理都基于特征描述。特征描述包括局部和全局特征描述。本实验对比了PFH、FPFH、SHOT、3DSC 和SI 5 种特征描述方法用以比较不同特征描述方法对配准的影响。

1.4 点云配准

特征面部点云经特征描述后，可先粗配准再精配准，粗配准算法采用SAC-IA 算法，精配准算法选择ICP、GICP 和NDT 算法。本研究将3 种特征面部点云提取方法、5 种特征描述方法以及3 种精配准算法分别进行组合（每种算法15 组，共45 组），对比配准效果。

1.5 配准结果评价

配准结果评价可采用均方误差、最大公共点集、豪斯多夫距离、倒角距离等指标，本研究选择倒角距离作为评价指标。给定2 个点集S1和S2，它们之间的倒角距离[25]（chamfer distance，CD）为

式中，S1和S2为2 组待配准的点云；x、y 分别为S1和S2中任意一点表示遍历S1中所有点，求它们到S2的最小距离之和则是遍历S2中所有点，求它们与S1的最小距离之和。倒角距离大小与点云的相似度有关，距离越小说明配准效果越好。

2 实验研究

2.1 相机标定实验

在A 处放置待标定相机，当已知尺寸的待测目标T 的中心与相机XY 平面的距离d 分别为30、40、50 mm 时，测量相机在640×360、848×480、1280×7203 种分辨力下T 的尺寸，计算X、Y、Z 轴3 个方向上的测量误差。改变相机位置至B 和C，重复上述过程。相机标定示意图如图1 所示。

图1 相机标定示意图

结果显示：在分辨力为1280×720 且d=30 mm 时，相机X 和Y 轴方向上未获得有效测量数据，在分辨力为640×360 且d=50 mm 时测量误差稍大（2 mm内）。在其他条件下，相机X、Y、Z 轴3 个方向的测量误差均小于1 mm，此误差满足本研究要求。本研究选择848×480 的分辨力对相机动态标定，拍摄的人脸照片如图2 所示，人脸轮廓清晰可见。

图2 标定后相机拍摄的3D 人脸点云图

2.2 特征面部点云提取

首先，采用最大值法和曲率法提取到鼻尖点，再以提取到的鼻尖点为圆心，做半径为6 cm、垂直于相机Z 轴（即面部）的圆柱，对原始面部点云进行截取，最后得到特征面部点云。图3（a）中红色点和蓝色点分别为最大值法和曲率法获取的鼻尖点，二者几乎重合。本研究后续配准均基于最大值法提取鼻尖点。图3（b）中蓝色点云为特征面部点云，黑色点云为原始面部点云。一计算概率密度函数，耗时多。从描述子方面来看，用PFH、FPFH、SI、SHOT 4 种特征描述子进行粗配准及精配准，用时几乎相等，而用3DSC 描述子进行特征描述的粗配准算法耗时约3.1 s，远高于其他算法。

图3 面部感兴趣区域点及区域的识别效果

图4 为采用不同方法提取的特征面部点云。提取5 组结构光图像，采用ISS 算法、SIFT 算法和Harris算法提取特征面部点云平均时间分别为0.710、1.093、0.492 s，提取一幅对应CT 图像特征面部点云的时间分别为0.712、0.895、0.400 s。

图4 3 种压缩算法面部点云提取效果图

2.3 配准实验

2.3.1 配准时间

由于3 种算法（ISS、SIFT、Harris）的提取时间与对3 种关键点分别用5 种特征描述子改进的3 种精配准算法的配准时间几乎相同，因此对3 种关键点提取算法（ISS、SIFT、Harris）提取的关键点分别进行10 组实验，共30 组实验，平均配准时间对比如图5 所示。

由图5 可以看出，精配准速度快于粗配准速度，这是因为粗配准为精配准提供了初始变化矩阵，提高了精配准速度。其中，使用同一特征描述子改进的算法，ICP 算法最快，GICP 算法次之，NDT 算法最慢，这是因为NDT 算法需要对点云进行栅格划分，并逐

图5 基于不同特征描述方法粗配准和精配准时间对比

2.3.2 点云配准实验

CT 图像与结构光面部图像点云经3 种方法（ISS、SIFT、Harris）提取到特征面部点云后，分别采用5 种算法（PFH、FPFH、SHOT、SI、3DSC）进行特征描述（15 组特征提取和描述组合），再分别与3 种精配准算法（ICP、GICP、NDT）组合（45 组特征提取、描述和配准算法组合），配准结果如图6 所示。从图6 中可以看出，改进后的ICP 算法配准成功率高，效果最佳。用倒角距离评价各组合算法的配准效果，如图7 所示。

图6 不同特征描述和精配准算法组合条件下的CT 与结构光图像配准结果

图7 点云配准倒角距离对比图

2.4 结果分析

在本研究的45 种特征提取、描述和配准算法组合中，共有28 种组合可实现配准，且都在数秒内完成，最快的仅需0.06 s。基于精配准算法的配准耗时明显短于粗配准算法。

配准实验结果表明，Harris 法在3 种特征面部点云提取中表现较优。Harris 法经5 种特征描述方法描述后，分别组合ICP、GICP 和NDT 精配准算法，可实现配准的组合分别为4 组、3 组和4 组；而将Harris法替换为ISS 法，可实现配准的组合是3 组、3 组和2 组；替换为SIFT 法，可实现配准的组合是5 组、2组和2 组。

在精配准算法中，ICP 较其他2 种算法有一定优势。首先，ICP 算法可与15 种特征提取和描述方法组合中的12 种组合实现配准，与GICP 和NDT 算法仅在8 种组合条件下可配准相比，ICP 的普适性更强。其次，在2 种以上精配准算法可实现配准的组合中，基于ICP 算法的倒角距离总是最小的，性能指标更优。再者，SIFT 提取特征面部点云经5 种算法特征描述后，以及对Harris 算法提取特征面部点云且采用除SHOT 算法之外的特征描述方法，ICP 算法均可配准。基于Harris 提取算法和ICP 算法的可配准图像组合的倒角距离都很小，范围为1.22～1.32 mm，其中Harris+SI 和ICP 的组合、Harris+3DSC 和ICP 的组合，配准效果最佳。所有包含GICP 的组合中，最优配准方案的倒角距离为1.31 mm。NDT 算法与PFH、SI 2 种特征描述方法组合时均可配准，倒角距离约为3 mm。

3 讨论

点云在医学图像中的应用和发展是当前的热门话题，多用来辅助医生完成相关诊断任务。随着超分辨算法和点云上采样网络的出现，医学点云配准在实时手术指导中也有着重要应用。医学点云的配准研究主要是对同一数据源所得的数据进行配准，如颅骨、心脏等器官的CT 影像重建后的点云数据，且算法多是对ICP 算法的改进。王君臣等[26]针对术前CT图像与术中实际空间的配准问题，提出一种基于ICP 的特征点云配准技术，该研究以塑料脊柱模型骨为对象进行脊柱手术导航配准实验，结果表明该方法在模型骨情况下配准精度达到1 mm 以内。石征锦等[27]对比了多种通用配准算法，研究显示在点云低重叠率的情况下，超4 共面点匹配（Super 4-points congruent sets，Super-4pcs）算法能够达到毫米级的高精度配准效果，为医生更有效地将点云配准算法应用于医疗诊断及手术规划中提供了一定的理论指导。杨稳等[28]引入几何特征约束的ICP 算法，通过距离函数计算特征相似性来建立匹配点对，实现颅骨的精确配准，误差约为1 mm，与经典ICP 算法相比，匹配率和配准精度分别提高了约17%和51%。Sinko等[29]用ICP 与SIFT 相结合的点云配准方法实现了CT/MRI 图像与标准人类头骨的3D模型关键点配准。王宾等[30]针对具有较大初始位置差异、较大形状和局部残缺差异的心脏点云数据，在主成分分析法实现粗配准的基础上，提出了基于双向距离比例的ICP 算法，结果较经典ICP 算法的平均误差减少约21%。

目前关于面部CT 数据与面部结构光相机点云的配准研究较少。深度相机有一定精度误差，且在CT数据提取皮肤时，会将鼻孔内部的皮肤也转化为点云数据，导致待配准点云和目标点云原始数据会有差异。针对这一问题，本研究首先对面部点云数据进行统计滤波和体素滤波，去除离群点；其次采用KD-tree 进行最近邻搜索以提高对应点对的搜索速度。在对原始ICP、NDT、GICP 算法改进的过程中，尝试了多种关键点检测算法与多种局部特征描述子相结合的方法来初步估计变换矩阵，结果显示用Harris 算法提取关键点相较SIFT、ISS 算法配准效果更好，且改进后的ICP算法较改进后的GICP、NDT 算法配准效果更好，最佳的组合为采用Harris+SI、Harris+3DSC 改进的ICP算法，配准后的2 幅点云倒角距离均约为1.22 mm。

4 结论

近年来，光学导引示踪及实时显示技术的成熟，使临床诊断颅脑病变的穿刺活检不再依赖有框架的颅脑立体定向技术。术中通过光学设备对人脸实时拍摄，将术前CT 图像与拍摄结构光图像进行配准，通过影像和机器人引导穿刺针到达指定位置，可以更安全、精确地抵达病灶，提高穿刺活检的准确性及安全性。本研究采用了多种结构光图像特征点云提取方法和点云特征描述方法来获取和描述结构光图像点云，再将一些其他领域应用的图像配准算法引入到结构光面部三维点云与人脸CT 图像的配准中。本研究从不同组合条件下的配准耗时、配准算法的适用性、配准效果等几个层面进行了对比研究，配准结果可为穿刺手术中人脸和颅脑的相关位置提供三维空间定位，搭配穿刺辅助机械臂可快速、精准定位穿刺进针点，对辅助颅脑病变穿刺活检具有积极意义。

本研究将结构光面部三维点云与人脸CT 图像配准，受D415 相机本身性能所限，在不同特征面部点云提取算法、不同特征描述算法和不同精配准算法组合条件下，配准图像倒角距离最小为1.22 mm。今后可以选择更高性能的相机、匹配更好的配准算法，进一步降低配准误差，推进结构光相机在颅脑穿刺手术的临床应用进程。