医用植入体的多视立体三维重建

2017-04-20王恒,金立军,龚霄雁等

中国医疗器械杂志 2017年2期

关键词：植入体三维重建数目

医用植入体的多视立体三维重建

【作者】王恒1，金立军1，龚霄雁2,3，艾建勇1

1 同济大学电子与信息工程学院，上海市，201804

2 苏州茵络医疗器械有限公司，苏州市，215000

3 同济大学生物医学工程与纳米科学研究院，上海市，201804

为了方便医生在介入治疗手术中从三维角度更加全面地获取信息和准确操作，该文采用了多视角立体重建算法对医用植入体进行了体外三维重建，从拍摄方法和环境条件等角度分析了重建时间和效果的影响，并利用便捷的拍摄设备和开源软件对支架进行了多视角图像的采集和点云数据的获取，交互式地运用逆向工程软件对点云进行精细化处理和表面生成，最终重建出了可用于工业生产的植入体三维模型。

植入体；序列图像；三维重建；影响因素；点云处理

【 Writers 】WANG Heng1, JIN Lijun1, GONG Xiaoyan2,3, AI Jianyong1

1 School of Electronics and Information Engineering, Tongji University, Shanghai, 201804

2 Suzhou Yin Luo Medical Instrument Co. Ltd., Suzhou, 215000

3 Institute of Biomedical Engineering and Nano Science, Tongji University, Shanghai, 201804

【 Abstract 】In order to facilitate the doctor to obtain information more comprehensively and operate accurately from a threedimensional perspective in interventional therapy, the paper uses a multi-view stereo reconstruction algorithm for three-dimensional reconstruction of medical implants in vitro. The effects of shooting and environmental conditions on reconstruction time and effect were analyzed. We use the convenient shooting device to collect multi-view images of the stent and open source software to acquire the point cloud data. By using reverse engineering software, the point cloud is processed interactively and the surface is generated. Eventually, the 3D model of the implant is reconstructed, which can be used for industrial production.

0 引言

医学图像三维重建是影像学中的热点问题，是计算机图形学和生物医学的多学科交叉研究领域[1]。常规的医学图像如CT和MRI，只能提供二维的切片图像用于诊断，无法完整呈现人体组织结构和病变形态，给医生对病情的判断增加难度，甚至会导致误诊、危及病人的生命安全。

医学图像三维重建是利用科学计算可视化技术，将从医学影像设备获得的二维图像数据，借助计算机图像处理技术转换成三维数据，从而展示人体组织器官的三维形态并可进行定性、定量分析[2]。医学图像三维重建在医学诊断、手术规划、放射治疗、仿真教学、生物力学分析等方面都有重要的应用价值。参见图1，本文以人体心脏植入体支架为研究对象，进行了三维重建算法原理分析及对比，提出了基于聚类多视角立体算法（Clustering Multi-view Stereo, CMVS）的植入体三维重建和图像三维重建技术，为医生对人体心脏植入体健康状态的判断提供参考。

图1 人体心脏植入体Fig.1 Human heart implant stent

1 三维重建算法原理

本文采用的是SFM（Structure from Motion）相机标定下多视立体重建算法。SFM是指由运动的相机获取一组多视图，来估计相机的外部参数（相机对于标靶的位置信息，即相机旋转矩阵R和平移向量T）和重建场景结构的过程。SFM分为两个部分：第一部分首先对输入图像序列中的每张图像进行特征点的检测和匹配，然后使用检测到的匹配点进行相机内部参数（由摄像机的焦距、光学中心、不垂直因子等决定，即基础矩阵F和单应矩阵H）的估计；第二部分由特征匹配点对和估计获得的相机内部参数，计算相对应的轨迹，生成连通图G并依次估计相机外部参数，然后恢复特征点坐标，迭代执行直至完成整个场景3D点的恢复。SFM结果的精确度取决于初始图像对的选择和后续图像的添加顺序。SFM使用SIFT（Scale Invariant Feature Transform）进行特征点的提取和匹配，匹配结果很好但运行时间长、内存消耗大，可以采用分层匹配方法解决这一问题[3]。

多视立体重建（Multi-view Stereo Reconstruction）主要依靠CMVS（Clustering Multi-view Stereo）和PMVS（Patch-based Multi-view Stereo）算法来实现。首先用CMVS对图像聚簇分类来优化SFM输入，可以减少密集匹配的时间和空间代价。然后再经PMVS来匹配、扩展、过滤。PMVS算法首先检测出每幅图像里的Harris和DoG特征点，然后通过特征点匹配来重建获得稀疏三维点云，再进行扩展进一步得到稠密点云，最后需要滤除错误的空间点[4]。

CMVS/PMVS算法的实现流程如图2所示[5]。

图2 CMVS/PMVS算法流程图Fig.2 Flow chart of CMVS/PMVS algorithm

PMVS算法在现有的多视立体重建算法中表现很好。但需要注意的是，其重建结果依赖于物体表面特征点的提取，比较容易受到表面纹理、光照等因素的影响，所以对于纹理较少的物体，其重建效果不好[6]。

2 植入体的三维重建实验

基于多视角立体视觉的植入体三维重建流程如图3所示。首先拍摄植入体支架的图像序列，再基于SFM算法进行特征点提取和匹配，同时求出相机参数。然后通过MVS算法优化SFM点获取支架的稀疏点云，并经过扩展和过滤进一步得到稠密点云。最后将点云数据导入到Geomagic Studio中三角化处理，进行三维表面重建并进行一定的渲染。

图3 支架三维重建流程图Fig.3 Flow chart of 3D reconstruction of stent

2.1 多视点图像的拍摄和相机标定

实验对象为体外心脏植入体支架，拍摄器材为数码相机，800万像素摄像头，照片分辨率为3 264×2 448像素。处理器为英特尔酷睿i5-3210M双核处理器、内存4 GB的Window7系统笔记本电脑。拍摄获取的一组照片如图4所示：一共10张，方位和角度均有一定变化，植入体支架放置于木板桌上。

图4 可见光拍摄的支架序列图像Fig.4 Stent sequence images captured by visible light

相机标定的主要目的是求解出摄像机的内外参数。传统的标定方法需要采用标定模板，通过精密测量来实现，标定精度较高但是过程复杂，常见有Tsai 两步标定法和张正友标定法；自标定方法则不需要标定模块，它直接通过多幅图像上的特征点来确定摄像机内参数矩阵，灵活性较强、应用范围比较广，但是精度不高、鲁棒性差，可采用二次匹配来提高鲁棒性[7]。本实验中相机是移动的，因此采用的是自标定方法。可以按照下面的公式，由图像平面的二维坐标(u, v)求出点的空间三维坐标(Xw, Yw, Zw)，从而重建得出物体的三维信息。

式(1)中P为3×4的投影矩阵，K为摄像机内参矩阵，(R T)为摄像机外参数矩阵，R表示摄像机坐标系到三维世界坐标系的3×3正交旋转矩阵，T为上述两坐标系原点的平移向量，fx和fy分别表示摄像机在x方向和y方向上的焦距值，(u0, v0)为物理坐标系的原点在图像坐标系的投影坐标值。

2.2 特征点提取和匹配

在Visual SFM环境下利用尺度不变特征转换(Scale-invariant feathure transform SIFT)算法和SFM算法进行特征点提取和匹配。SIFT算法主要作用是从图像中检测出特征点集，并且在多幅图像之间进行匹配[8]。SIFT特征提取通过确定SIFT特征点的位置、所在的尺度及其方向，来生成具有尺度和旋转不变性的SIFT特征向量。特征向量生成后，结合NN(Nearest-Neighbor)搜索算法，即利用特征向量的欧氏距离作为判断度量来实现特征点的匹配，通过先验知识手动设定窗口半径可以节省匹配时间、提高匹配效率[7]。根据Lowe等[9]的研究经验，匹配成功判定准则如下：

其中，A为第一幅图像中待匹配关键点，B、C为第二幅图像中离A点欧式距离最近和次近的关键点，d表示两点间欧式距离。

通过判别Ratio与预先设定好的阈值T来决定是否接受匹配，若小于该阈值，则接受。T一般取值范围为0.4～0.6，T设置的越小，SIFT匹配点数目会减少，匹配精度越高，但是信息也可能出现更多的损失，因此需要在精度控制和信息完整度保留两者间进行折中处理。

为了加快重建的效率，首先需要在特征检测和匹配时缩短时间。如图5和图6所示，分别是在30°、45°、60°和75°角拍摄下，特征点检测和匹配时间和照片数目的关系。可以看出，随着照片数目的增多，特征检测和匹配的时间也增加，拍摄的角度对时间影响很小，可以忽略。所以可以从减少重建照片的数目方面来节省时间，提高重建的效率。

图5 特征点检测时间Fig.5 Feature point detection time

图6 特征点匹配时间Fig.6 Feature point matching time

SIFT特征匹配结果如图7所示，可以看出存在明显的错误匹配点，表3为特征匹配的准确性和效率情况。

图7 SIFT特征匹配结果Fig.7 SIFT feature matching results

表3 SIFT特征匹配情况和时间Tab.3 SIFT feature matching and time

为了提高准确性，下面从照片数目、光照条件和照片分辨率等方面对影响因素进行了一系列实验。图8说明照片数目并不是匹配准确率的决定性影响因素，或者影响比较小。从实验的重建效果来看，照片数目在10张以下无法重建出完整的支架模型，并且匹配的准确率需要在85%以上才能得到较为明显的重建效果。

图8 匹配准确率与照片数目的关系Fig.8 The relationship between the matching accuracy and the number of photos

表4所示，光照对重建准确性有一定的影响，较暗的光照条件下，不容易产生阴影，干扰较小，更有利于提高重建的准确性。

表4 光照对重建准确性的影响Tab.4 Effect of illumination on reconstruction accuracy

从表5可以看出，照片分辨率越高，重建出的点云数目越多，重建准确性越好。但是根据经验，随着分辨率的增加，图片读取和处理的时间消耗也会增长，所以在效率和准确度之间需要按照实际需要权衡选择。对其进行集束调整；最后，重复上述过程，直至所有图像都已加入，便可以获得稀疏的三维点云。如图9所示为稀疏重建的结果。

图9 支架稀疏点云Fig.9 Sparse point cloud of stent

采用MVS算法以获得稠密的三维点云：先是对照片进行聚类处理，减少密集重建的数据量；再从3D模型的稀疏点云开始，将稀疏点云作为种子面片扩散得到周围的空间面片；在局部光度一致性、全局可见性等约束下，经过匹配、扩散、过滤等步骤生成具有纹理特征和真实颜色的稠密三维点云。密集重建的结果如图10所示。

图10 支架稠密点云Fig.10 Dense point cloud of stent

从图11也可以看出，密集重建时间与照片的数目呈正相关。所以，为了提高重建效率，减少照片数目是必要的。

图11 密集重建时间Fig.11 Intensive reconstruction time

表5 照片分辨率对重建准确性的影响Tab.5 Effect of photo resolution on reconstruction accuracy

2.3 点云数据的获取

首先选取初始图像对，初始图像对一般为特征点匹配对数最多的相邻两幅图像；接下来利用RANSAC（Random Sample Consensus）算法计算基础矩阵、投影矩阵和相机参数，并由此来重建已完成匹配的特征点以及进行集束调整（Bundle Adjustment）[10]；之后向现有模型里添加新的图像来获得新的三维点，并

2.4 三维表面模型的生成

将得到的稠密点云导入到Meshlab中进行初步的点云去噪，可以有效地去除底部的木板点云干扰。为了更精确的处理，需要将支架点云导入到Geomagic Studio中：先是点处理阶段，完成对点云的筛选；然后进入多边形阶段，对点云进行三角化处理；接下来由于心脏植入体本身是由金属线构成的，不需要进行曲面格栅化，直接进行轮廓线的优化；最后经过多次人工交互优化和封装、渲染，得到可以用于3D打印和CAD设计等多种用途的三维重建模型，如图12所示。

图12 重建出的支架三维模型Fig.12 The reconstructed 3D model of stent

3 结论

通过多视角立体重建算法，只需用到简单的拍照设备获取图像，基于Visual SFM软件环境下用一般性能的计算机，即可实现对图像序列的三维重建，简单经济，经过人机交互处理后的模型也基本能满足工业要求。为了同时提高效率和重建精度，根据以上分析，拍摄时需要注意360o全方位，照片数目选择10张即可；光线不宜太亮，避免产生过多阴影；拍摄需要有适当的高度变化，角度控制在60o到75o之间；在实验设备允许的情况下，提高医学图像分辨率可以增加准确度。

但该算法也存在一定缺陷，如不适用于表面纹理较少的物体重建，精度也需要进一步提升。本文重建对象为体外的植入体支架，而体内光线环境比较复杂、噪声大；未来的研究需要考虑如何快捷地获取人体内植入体的序列图像，并运用该算法进行重建验证，同时还要保证重建的实时性和准确性，这样才能真正广泛应用于医学领域，造福人类。

[1] 张惠, 罗立民, 舒华忠, 等. 医学图像中的立体视觉[J]. 中国医疗器械杂志, 2003, 27(4): 240-243,256.

[2] 陶治江, 黄华, 曾军, 等. 医学图像的三维重建及基于VTK的实现和应用[J]. 中国组织工程研究与临床康复, 2011, 15(30):5604-5606.

[3] 郭连朋, 陈向宁, 刘彬等. 基于Kinect传感器多深度图像融合的物体三维重建[J].应用光学, 2014(5): 811-816.

[4] Zhang Z. A fl exible new technique for camera calibration[J]. IEEE Trans Patt Anal Mach Intell, 2000, 22(11): 1330-1334.

[5] 王琨, 郑南宁. 基于SFM算法的三维人脸模型重建[J]. 计算机学报, 2005, 28(6): 1048-1053.

[6] 胡影峰. 基于SIFT特征匹配算子的三维重建方法研究[J]. 自动化仪表, 2011, 32(1): 30-32.

[7] 姚富光, 肖沙里, 魏彪, 等. 基于医用X-CT的三维重建系统研究[J]. 仪器仪表学报, 2004, 25(z3): 479-282.

[8] 岳立廷, 于明, 于洋, 等. 一种基于面片的三维重建算法[J]. 计算机工程, 2012, 38(14): 199-202.

[9] Lowe D G. Diostinctive image feature from Seal-invaniant keypeints[J]. Int J of Computer Vision, 2004, 60(2): 91-110.

[10] 艾海舟, 兴军亮. 计算机视觉-算法与应用[M]. 北京:清华大学出版社, 2012.

Multi-view Stereo 3D Reconstruction of Medical Implants

implant, sequence images, three-dimensional reconstruction, in fl uence factors, point cloud processing