基于多Kinect的家具自由曲面造型扫描系统设计

摘  要： 为解决目前三维扫描系统存在的数据捕捉效率低、曲面扫描精度低等问题，基于Kinect传感器构建了家具自由曲面造型扫描系统。采用OpenNI开源框架来搭建多个Kinect传感器在服务器与驱动之间的交互桥梁，并将被测家具物体的深度图像转变成具有三维坐标值的点云数据。在三维点云数据的后处理阶段，使用PCL开发库实现家具自由曲面三维点云数据配准、融合，以及完整的家具自由曲面造型三维点云模型的展示。实验结果表明，该系统与传统系统相比，数据捕捉效率以及扫描精度更高，而且稳定性强。

关键词： 家具自由曲面; 扫描系统; Kinect传感器; OpenNI开源框架; 三维点云处理; 系统测试

中图分类号： TN820.2?34; TP391                文献标识码： A                       文章编号： 1004?373X（2020）02?0154?03

Design of furniture freeform surface modeling scanning system based on multiple Kinect

LI Xiaofei

Abstract： A furniture free surface modeling scanning system is constructed based on Kinect sensor to solve the problems of low data capture efficiency and low surface scanning accuracy of the current 3D scanning system. The OpenNI open source framework is adopted to build an interactive bridge between server and driver for multiple Kinect sensors， and the depth image of the measured furniture object is transformed into point cloud data with three?dimensional coordinate value. In the post?processing stage of 3D point cloud data， the PCL development library is used to realize the 3D point cloud data registration and fusion of furniture freeform surface， and display the complete 3D point cloud model of furniture freeform surface modeling. The experimental results show that in comparison with the traditional system， this system has higher data capture efficiency and scanning accuracy， and has stronger stability.

Keywords： furniture freeform surface; scanning system; Kinect sensor; OpenNI open source framework; 3D point cloud processing; system test

三維扫描系统是集光、机、电、计算机技术为一体的新型扫描系统，主要用于对目标物体结构、造型以及颜色的精细扫描，将目标物体的深度信息转变成能够由计算机直接处理的数字信号，获取目标物体的空间三维坐标，实现目标物体的三维扫描[1]。家具自由曲面造型扫描系统对家具自由曲面造型进行扫描，建立家具自由曲面三维重构模型，对家具自由曲面进行制造，为家具物体三维精细化测量提供极大帮助[2]。

当前阶段所使用的家具自由曲面造型扫描系统使用激光技术[3?4]来对家具自由曲面进行扫描。该系统在家具自由曲面三维信息获取阶段，使用空间几何相对不变性机制来完成标记点传感器坐标与实际坐标系的全局匹配，配准精度不高[5]，致使家具自由曲面三维扫描结果不理想，且扫描效率较低，难以满足家具自由曲面造型的设计需求。

为了优化传统的三维扫描系统，提出基于多Kinect的家具自由曲面造型扫描系统。实验结果表明，所设计的扫描系统对目标物体深度数据获取效率较高，扫描速度较快且精度高。

1  基于多Kinect的家具自由曲面造型扫描系统

1.1  系统框架设计

图1给出本文所提基于多Kinect传感器的家具自由曲面造型三维扫描系统的各个模块。

系统由家具自由曲面图像数据获取模块、家具自由曲面图像数据显示模块、家具物体三维点云数据采集模块、家具物体三维点云配准与融合、家具自由曲面模型重建模块和家具自由曲面三维模型展示模块组成，如图1所示。

1.2  系统流程

在设计扫描系统时，首先将多个Kinect传感器与计算机相连，测试Kinect传感器是否可正常工作。初始化摄像设备后，采集家具物体在多个视角下的自由曲面深度数据[6?7]。采用相关图像处理技术处理Kinect传感器采集的所有家具自由曲面深度图像，提取出目标物体存在的前景区域，将家具自由曲面多帧深度图像转换成三维点云数据，并对其进行精简化处理。逐次配准近邻视角下的三维点云数据，经配准后再融合多帧三维点云数据，最后由这些三维点云数据进行家具自由曲面模型重建，输出家具物体的三维模型。

2  关键技术

2.1  多Kinect传感器成像机制

为了获得家具物体的深度信息，Kinect传感器在实际应用前需要将实际应用场景中的散斑图像存留下来。因此在使用Kinect传感器前需要进行光源标定[8]。首先设定与参考平面[P1，P2，，P3]具有不同距离的多个Kinect传感器，并统计参考平面上的散斑图案，将其作为参考图像，其位置描述为[Z1，Z2，Z3]。

由于参考图像是经过Kinect传感器间隔给定距离设置参考平面来获取的，这样所得的参考图像不是连续的，所得家具物体[A]与传感器[Z2]之间的距离[Z2]也并不准确，需要对两者之间的距离进行矫正。

设定系统摄像设备为[L]，系统红外投射设备为[R]，相机设备[L]的坐标系可描述为[（SL_xLyLzL）]，其相应的像平面坐标系可描述为[（S1_uLvL）];系统红外投射设备[A]的坐标系可描述为[（SR_xRyRzR）]，也可将其称作参考坐标系，其相应的像平面坐标系为[（S2_uRvR）]。

系统中Kinect传感器设备内部的PS1080芯片对摄像设备完成标定后，在一个已标定的视觉系统中。

对于参考图像中的任意一点[pREF=（uREF-vREF）T]，其对应的家具物体红外图像中的点为[p=（uREF+dREF，vREF）T]，[dREF]表示两视图之间的视差。由于事先已得到家具物体[A]相应的参考图案[P2]，可推导出：

[dREF=bfZREF] （1）

根据式（1）可进一步推导出距离Kinect传感器设备的距离[Z]。

当已得到空间场景中家具物体深度值后，即可获得深度图像。依据Kinect传感器设备标定结果以及深度图像与坐标系三维点云坐标之间的相关关系[9]，可重建出单帧家具自由曲面图像的三维点云：

[Zuv1=A′[R T]XYZ] （2）

式中：[（u，v）T]表示家具自由曲面图像中某点的三维坐标;[A′]表示相机内部参数矩阵;[[R T]]表示摄像设备坐标系相对于世界坐标系的旋转矩阵和平移矩阵。

2.2  多相机标定技术

为得到完整的家具物体三维几何模型，需要对多个Kinect传感器获得的家具自由曲面三维点云数据进行配准。因此除对Kinect传感器进行标定外，还需知摄像设备的绝对外参数和相对外参数。摄像设备的绝对外参数是指家具自由曲面图像在世界坐标系下的位置元素;摄像设备的相对外参数是指确定两幅家具自由曲面图像之间相对位置的元素。一般情况下，将世界坐标系确定于第1个摄像设备的坐标系上，求取剩余摄像设备相对于第1个摄像设备的外参数。考虑两幅家具自由曲面图像之间的相对位置，再分析由多个Kinect傳感器获取的家具曲面图像序列在整个坐标系下的相对位置。

根据上述过程所描述的摄像设备标定结果，将多个单幅家具自由曲面图像的三维点云进行配准。

2.3  点云配准算法

经过第2.2节摄像设备标定结果可将多幅家具自由曲面图像三维点云汇集在一起，但扫描阶段难以避免摄像设备受到外界影响发生晃动，致使最终合成的三维点云会存在测量误差。因此本文提出采用ICP算法[10]对初步配准的三维点云进行进一步精确配准。对于可能重叠的两幅家具自由曲面图像三维点云，对其进行更深层次匹配优化的目标函数为：

[d=min（dis（C，C1））] （3）

[C=RC0+T]  （4）

式中：[R]，[T]分别表示旋转矩阵和平移矩阵，[C0]，[C1]表示待匹配的两幅家具自由曲面图像三维点云;[dis（C，C1）]表示两幅家具自由曲面图像三维点云配准后相应点之间的距离。

以式（4）为目标函数，采用ICP算法经过刚性变换对得到的任意两幅家具自由曲面三维点云[（C0，C1，C2）]进行配准，获得[Ci]和[Ci+1]这两幅家具自由曲面三维点云之间的相对旋转矩阵[Ri，j+1]和平移矩阵[Ti，j+1]。依据任意两幅家具自由曲面图像三维点云配准后的累积误差进行全局分散，获得一组旋转矩阵[Ri，j+1]和平移矩阵[Ti，j+1]以等比例分配点云配准的累积误差，使得所有家具自由曲面图像三维点云配准后的均方根误差为最小，即：

[e=mini=0npow（Ci，Ci+1）n]           （5）

式中，两幅三维点云配准后对应点的距离平方为[pow（Ci，Ci+1）]。

经过拉格朗日乘子法求解式（5），将其计算结果作为式（4）的初始值。重复式（4）和式（5）直至式（5）的结果误差为最小。使用相机标定技术以及ICP算法完成了家具自由曲面三维点云的精确配准。

3  系统测试与分析

为了验证基于多Kinect的家具自由曲面造型扫描系统的性能，对扫描系统进行测试分析。仿真实验在Intel[?]CoreTMi7?4510U CPU@2.00 GHz 2.60 GHz 8.00 GB内存环境下，由Matlab 2014a编程实现。实验数据取自于某家具店，在家具店内随机选择一组家具，采用本文提出的扫描系统对其曲面造型进行三维扫描，并对扫描过程中的不同指标进行测试。分别采用本文系统和文献[3]系统对家具自由曲面数据进行捕捉，测试不同扫描系统的曲面数据捕捉效率，测得不同系统的家具自由曲面数据获取耗时如表1所示。

分析表1并观测家具物体不同曲面数据的捕捉耗时可知，使用文献[3]系统对家具物体不同曲面数据捕捉耗时平均约为19 s。其中家具自由曲面C数据获取耗时最长，用了30 s;家具自由曲面B数据获取耗时最短，用了12 s。采用本文系统获取不同曲面数据耗时平均约为4.3 s。其中，家具自由曲面C数据获取耗时最长，用了8 s;家具自由曲面B数据获取耗时最短，用了2 s。对比两个系统的实验结果可知，本文系统获取不同曲面数据耗时远远小于文献[3]系统的捕捉耗时，充分验证了本文系统进行不同曲面数据捕捉效率更胜一筹。分别对文献[3]系统和本文系统的家具自由曲面造型扫描精度进行对比，对比结果如图2所示。

由图2可知，分别采用文献[3]系统和本文系统对家具自由曲面进行三维扫描，获得家具自由曲面三维扫描结果与实际三维扫描结果进行对比。文献[3]系统的家具自由曲面三维扫描曲线与实际曲面三维扫描曲线相差较远，说明扫描精度较低;而本文系统家具自由曲面三维扫描曲线基本与实际扫描曲线重合，说明本文系统扫描精度较高。对比这两个系统的三维扫描效果可以看出，本文系统的家具自由曲面三维扫描精度更高。

4  结  语

本文优化设计的基于多Kinect的家具自由曲面造型扫描系统有效解决了传统扫描系统存在的问题。使用PCL开发库实现家具自由曲面三维点云数据配准、融合，以及完整的家具自由曲面造型三维点云模型的展示。实验结果表明，优化的基于多Kinect的家具自由曲面造型掃描系统数据捕捉效率高，且扫描精度高。

参考文献

[1] 白素琴，史金龙，钱强，等.采用可编程逻辑控制器的大型物体三维扫描重建[J].光学精密工程，2017，25（4）：1044?1050.

[2] 张梦，张国英.激光线扫描三维成像系统的图像矫正研究[J].应用激光，2018，38（2）：143?146.

[3] 王鹏，史瑞泽，钟小峰，等.基于双线投影与线面约束的3D扫描测量系统研究[J].红外与激光工程，2017，46（4）：133?139.

[4] 张帆，黄印，黄先锋，等.非直视区域的普通平面镜辅助地面三维激光扫描方法[J].测绘学报，2017，46（12）：1950?1958.

[5] 张珊珊，林文树.三维激光扫描仪的测距与水平角精度评定[J].工具技术，2018，52（2）：108?112.

[6] 张丹丹，韩燮，韩慧妍.基于点云的整体参数曲面重构方法[J].计算机工程与设计，2017，38（7）：1911?1916.

[7] 何改云，黄鑫，郭龙真.自由曲面轮廓度误差评定及不确定度分析[J].电子测量与仪器学报，2017，31（3）：395?401.

[8] 张娟，侯进，吴婷婷，等.三维散乱点云模型的快速曲面重建算法[J].计算机辅助设计与图形学学报，2018，30（2）：235?243.

[9] 朱昱，李小武，魏金栋，等.基于逆向工程的三维模型重构[J].塑料科技，2017，45（4）：79?83.

[10] 刘宇，侯亮，席文明.一种基于能量函数和矢量场的点集曲面构造方法[J].机械工程学报，2018，54（5）：179?184.

作者简介：李晓飞（1979—），男，内蒙古包头人，硕士，副教授，研究方向为电子应用、家具设计。