基于Kinect的ISS_CPD算法在混合现实医学中的应用

王朝欣，马 磊，袁家鼎，袁 晨，田 莉，王子阳

（南通大学信息科学与技术学院，南通 226019）

0 引言

随着社会的发展和科技的进步，点云配准技术和混合现实技术在医学领域中的重要性越来越高。在外科手术中，通过混合现实技术和实时点云配准技术，能够实现模型与人体器官的实时配准与重合，为医生提供手术辅助，提高手术的效率以及手术的效果，做到病人少受罪，医生少受累。但是，如何提高实时点云配准的速度以及准确度，并与混合现实技术结合，依旧是当前研究的热点和难点。

目前，传统的图像匹配算法大都存在一定的问题，很难满足医学手术过程中实时匹配的需求，且国内外研究人员对于点云匹配的研究大多数集中在提高配准的精度和速度上，而忽视了点云配准的通用性和实时性，在遇到类似于手术的复环境时，配准存在较大的误差。考虑到传统点云匹配算法的问题，结合目前混合现实医学发展的趋势，本文提出一种混合现实医学实时配准算法以满足手术过程中模型与人体实时匹配的要求。

本文首先使用Kinect 红外摄像头进行点云采集，然后对采集到的点云图进行下采样，接着使用点云重采样算法，在去除点云噪点的同时，能够对点云进行平滑处理。在点云配准算法的选择上，本文首先使用ISS算法提取点云特征点，然后使用CPD 算法进行图像匹配，最后使用点云三角重建算法对图像进行还原，整个匹配过程大约4 s，匹配速度及匹配效果好于传统图像匹配算法。

1 基本原理

1.1 Kinect点云提取

图像匹配过程需要根据参考图像和现实场景来选定某些特征,相似性准则以及搜索策略，并进行相关运算,以确定匹配的最佳空间对应点。要做到实时点云匹配，首先需要获取现实场景的三维空间点云图。在权衡了众多点云采集技术之后，选用了红外点云采集技术。红外点云采集技术能够很好的兼顾实时点云采集的实时性和准确度。

Kinect 是微软旗下的一款3D 体感摄影机，有功能强大的感觉阵列，能够做到即时动态捕捉、影像辨识，可以用于实时点云提取。不同于传统的TOF 技术或者结构光测量技术，Kinect 使用的是光编码技术，通过连续的照明进行成像，不需要特制的感光芯片，只需要普通的CMOS 感光芯片，可大大降低成本。Kinect相比其他红外摄像头，具有价格低、精度高、兼容性好等优势。

图1 Kinect原理

获取实时场景的点云图，首先需要使用Kinect 的红外投影机对空间做一次光源的标定，选取参考平面。接着，使用光编码技术对空间进行空间标记。光编码技术通过投射具有高度伪随机性的激光散斑，会随着不同距离变换不同的图案，对三维空间直接标记，通过观察物体表面的散斑图案就可以判断其深度。最后，将散斑图像与参考平面进行互相关运算，便可以得到整个场景的三维点云图像。

图2 Kinect成像流程

1.2 点云前处理

1.2.1 点云下采样

常用得点云采用方法有几何采样、格点采样、均匀采样和下采样等。几何采样算法主要依据点云图的曲率进行采样，在进行曲率计算时耗时较多，采样时间长。且本文中涉及到的图像主要用于医学，医学图像对于部分细节的要求比较高，使用几何采样可能会导致图像细节的丢失，不符合预期。格点采样算法不能精确控制采样点个数，时间效率不稳定且抗干扰能力弱，用于医学图像匹配，容易出现误差，导致匹配效果差。而均匀采样算法采样点分布均匀，可以通过分治等方法来提高效率。由于该算法采样点分布均匀，时间效率稳定且抗干扰能力较强，满足医学图像匹配的要求。

1.2.2 点云平滑处理

点云下采样之后，点云的复杂度有一定程度的降低。但是图像中噪点的数量多，图像匹配时误差较大。因此，在图像匹配前，需要对图像进行去噪处理。

常用的点云去噪方法有双边滤波、高斯滤波和体素滤波等，但是使用上述方法进行点云去噪时，会导致部分细节的丢失。考虑到医学点云图像的特殊性，对于细节的要求高，细节丢失过多会降低匹配的精准度，不能满足外科手术的需求。人体组织和器官多数情况下形状规则，表面光滑，考虑到这一特性，同时兼顾到匹配的速度和准确度，本文对点云图像进行平滑处理。平滑处理速度较快，在光滑点云图像同时，能够去除掉大部分噪点，满足外科手术过程中图像匹配的要求。

本文使用点云重采样实现点云平滑。点云重采样法主要通过移动最小二乘法来实现。移动最小二乘法与传统的最小二乘法相比，改进了拟合函数并引入了紧支。

首先需要建立拟合函数，在拟合区域的一个局域子域U 上，拟合函数表示：

然后确定权函数，在移动最小二乘法中，权函数(- x)应该具有紧支性，即权函数在的一个子域内不等于0，在这个子域外全是0，这个子域称为权函数的支持域（即的影响域），其半径记为s。常用的权函数为立方样条权函数:

1.3 图像匹配算法

图像匹配技术是近代图像信息处理领域中比较重要的一项技术。图像匹配过程需要根据参考图像和实时图像，来选定某些特征，相似性准则以及搜索策略，并进行相关运算，以确定匹配的最佳空间对应。目前已经出现了很多图像匹配技术，其中最经典同时也最常用的是依据点云进行匹配。

1.3.1 点云匹配算法

点云配准算法可以分为刚性配准算法和非刚性配准算法，常见得点云配准算法有ICP算法（最近点搜索算法）、NDT 算法（正态分布变换）、CPD 算法等。NDT 算法配准速度快，但只有两张点云图像相差不大的情况才能匹配，如果两幅图像相差太大会导致匹配精度过低。ICP算法匹配的准确度较高，且ICP算法比较成熟，有较多的方法优化匹配的速度以及准确度。但ICP算法在匹配点数较多的图像的时候耗时多且容易陷入局部最优。在手术过程中，人体器官与模型的形状、大小不一样，使用传统的刚性匹配算法进行图像匹配速度慢、效果差，因此本文采用了CPD算法进行点云配准。

CPD 算法将点集配准问题转换为概率密度估计问题，其将点集的分布表示成混合高斯模型，当点集与点集完成配准后，对应的似然函数达到最大。将点集中每个点作为混合高斯模型中每个成分的中心，并且假设每个成分概率相等，那么其分布模型可以表示为：

考虑噪声的影响，在分布模型中又加入了均匀分布函数，其权重为，这样上式分布模型可以进一步表示为：

混合高斯模型的中心再配准过程中与变换参数相关，为了求得模型参数，需要极小化负对数似然函数：

极小化损失函数得到新的模型参数和。

CPD 算法相比传统刚性点云匹配算法，有很好的灵活性，解决了手术过程中图像匹配困难的问题，但是CPD 算法算法复杂度比较高，匹配速度较慢，因此需要对算法进行改进，提高匹配的速度。

1.3.2 征提取算法

内部形状描述子是一种表示立体几何形状的方法，该算法含有丰富的几何特征信息,可以完成高质量的点云配准。为了提高匹配速度，本文采用ISS 特征检测算法提取点云的特征点，降低点云的复杂程度。设点云中含有个点(x,y,z)，= 1，2，，-1，设p=(x,y,z)，提取关键点的具体流程如下。

（1）对点云中每个点p，建立一个局部坐标系，并对所有点设定一个搜索半径。

（2）确定点云中每个以点p为中心、为半径区域内的所有点，并计算这些点的权值w，其表达式为

（3）计算每个点p协方差矩阵

（6）重复上述步骤，直到完成所有的点。

1.3.3 点云三角重建

上文在对点云进行特征提取后，点云过于稀疏，直接显示视觉效果不佳，因此在完成图像匹配后使用点云三角化处理对点云图像进行重建，保证细节的丰富性。点云三角化处理首先需要去除离群点（去噪处理），然后进行点云平滑处理，最后进行点云三角化重建。

1.4 混合现实医学

本文所研究的方法主要用于混合现实术中点云配准，需要对算法进行封装并移植到混合现实设备Hololens上。但混合现实设备的算力有限，不能满足此算法运算的要求。因此需要在Hololens 与PC 之间建立通信，使用PC 进行运算，并将运算结果传输到Hololens上。

本文将图像配准算法进行封装并生成控制台程序，使用Unity 对控制台程序进行远程调用，并通过局域网，将Unity 中的场景远程部署到Hololens 中，从而实现混合现实术中点云配准。由于使用了PC 的算力，整个手术过程中，图像匹配算法运行稳定。

2 结果分析

为了模拟手术过程中的图像匹配，本文选择了两组细节复杂的口腔科牙齿重建模型作为测试对象。将模型缩小为原尺寸的50%，平移5个单位并逆时针旋转30°，作为待匹配点云，如图3 所示，为待匹配点云和参照点云的原始位置。

图3 待匹配点云和参照点云

图4 为待匹配点云和参照点云经过ISS 特征提取之后的特征点云图像。图5为待匹配点云和参照点云经过下采样得到的下采样点云图像。通过观察可以发现，ISS 特征点云相比下采样点云细节更加丰富。

图4 特征点云

图5 下采样点云

使用CPD 算法进行图像匹配，匹配后的图像如图6所示，匹配精准度高。

图6 匹配后的点云图像

表1 算法匹配时间比较

3 结语

本文所研究的方法很好地解决了现实场景采集与匹配难的问题，匹配速度快，匹配准确度高，可以很好地适应手术过程中的复杂环境。且本算法结合了混合现实技术，迎合了虚实结合的大趋势。未来我们将对算法进行进一步优化，突破处理速度的极限性，不断提高处理的精度，进而为用户提供更多高质量的图像配准体验。