基于组合光透视的室内三维空间分割方法

赵亚琴，蔡晓骝

(安徽机电职业技术学院 艺术设计学院，安徽 芜湖 241000)

越来越多的智能化产品在室内环境中工作，需要精确知道自己的位置，以及环境中物体的位置和三维空间信息[1]，才能有效避开障碍物，到达指定位置。但是由于室内场景复杂，所获取的原始深度图像存在空洞[2]，而重建过程需要进行大量计算，因而给实时处理带来挑战。这就要求这些智能机器具有感知环境三维信息的能力。以家庭扫地机器人为例，业界采用的基于无线定位的解决方案，需要人为设置，机器人通过测量周围环境中存在的障碍物自身与信标之间的距离实现定位导航，这种方案无法感知周围环境中存在的障碍物，从而频繁发生碰撞。室内的点云数据有很多[3-4]，例如天棚点云数据、内墙点云数据、踢脚线点云数据、地砖点云数据等、室内固定布置点云数据，以及住宅窗户外面的点云数据等。因此，针对复杂室内场景设计并优化三维重建算法，具有重要意义[5]。但是在常用的基于深度学习的室内三维空间分割方法中[6]，由于室内存在障碍物遮挡，迭代陷入局部循环，导致对三维空间分割过后的建模出现偏差，因此本文设计一种基于组合光透视的室内三维空间分割方法。

1 基于组合光透视的室内三维空间分割方法

1.1 基于组合光透视的室内空间点云提取

本文基于组合光的透视现象，将室内三维空间进行分割，进而提取空间点云。只有获得完整的点云数据，才能开始研究点云数据。组合光透视获取点云数据的实现原理是：利用光学的反射和透射原理，将现实场景的透射光路叠加后进行数据输出。该方案具有简单、分辨率高、无视觉偏差等优点，同时定位精度高。例如住宅室内收集研究点云数据，在采集数据之前应该先探查现场，了解住宅的室内情况[7]，然后根据了解到的特点去扫描，这样可以去掉多余的数据，降低工作量，减少工作时间，提高准确性，使数据更加完整可靠。一般测站的布设考虑如下因素：

1)所用设备的最佳扫描范围。最佳扫描范围可以保证数据的准确性。

2)布置标靶的配合性。配合性好可以减少工作量。

3)点云数据的重叠度。重叠度大于正常值会增大工作量。

4)障碍物的遮挡[8]。在扫描时，往往会遇到障碍物，把收集到的点云数据最小化。

所以必须针对这些数据作出相应的调整。以实现误差减少,使得两个测站之间数据的分层消除。在收集室内点云数据时，会受到人和环境等多重因素的影响，所以要对收集到的数据去噪，以保证点云数据能用在室内绘图及模型建立上。

建立三维坐标系(x0,y0,z0)，首先计算被测目标的距离L，如公式(1)所示：

(1)

其中，C为组合光的速度，T为组合光发射到接受的时间。根据距离和方向角得到坐标公式(2)：

(2)

其中，θ为垂直方向的夹角，β为水平方向的夹角。基于上述信息，设置通过扫描得到的点云数据为Z={zi∈R|i=1,…,N}，N为点云数据个数，R为邻域点的数据集。对该数据进行去噪处理，得到降噪后的点云数据如公式(3)所示。

(3)

点云数据经过去噪后，得到真实的点云数据，可以方便研究相关数据，从而更准确地绘制室内平面图和建立立体模型。

1.2 室内三维空间建模

通过组合光透视获得了相关的点云数据后，根据这些数据在室内的三维空间建模。三维重建流程大致如下:首先，相机等设备采集室内场景图像；其次，前端视觉里程计估计当前帧对应的相机位姿，后端视觉里程计对当前重建好的点云数据进行优化；最后，根据位姿融合当前帧点云，构建地图。根据应用需求的不同，最终构建的地图也不尽相同，包括二维拓扑地图，三维稀疏、半稠密和稠密地图等。室内场景下的机器人执行导航、避障等任务需要精细的环境三维信息，因而本系统最终重建的是稠密的室内场景。网络在VGG16模型的基础上调整参数继续训练，提高效率。截取VGG16至全连接层，在后面添加上采样和反池化层。得到的结果较为粗糙，将不同池化层结果加权融合到反池化结果中，可以提高结果精度。网络最终输出组合光透视分割图像大小为224×224，Kinectv2设备采集的深度图像大小为640×480，需将分割结果采用线性插值法调整至该尺寸，并建立条件随机场模型，如图1所示：

图1中的顶点由集合Y={y0,y1,…,yn}构成，表示像素点的类别，图中顶点之间通过直线连接，可以表示条件随机场之间变量的关系。每个顶点虚线连接一个变量，由集X={x0,x1,…,xn}构成，称为观测变量，可由图像灰度、特征等来表征。集合X为观测变量集合，表示输入，集合Y为类别变量集合，表示输出，条件随机场最大化条件概率P(Y|X)，输出最符合观测的类别。建立优化问题，假设图像帧Fl对应的特征点是{p1,p2,…,pN}，图像帧F2对应的特征点是{q1,q2,…,qN}，通过最小化匹配点对之间的欧氏距离，求解建模过程中的相机位姿[R/t]，待优化目标函数如公式(4)所示：

(4)

通过组合光透视采集的点云数据中最优化点与平面误差点的平面距离的示意图如图2所示，已经重建好的三维点表示目标表面上的点，当前帧对应的三维点表示源表面上的点。点到平面的距离示意图如图2所示：

记上图中的第i个像素点(x,y)对应的坐标为vi，根据坐标计算该点位置处的平面矢量ui=(vi(x+1,y)-vi(x,y))×(vi(x,y+1)-vi(x,y))。构建点到平面距离最优化目标函数如公式(5)所示：

(5)

目标函数为J1，是最优化点到点之间的距离，且只对稀疏的少量点对进行优化；此处目标函数J2是最优化点到平面之间的距离，是对图像帧中所有的点进行优化，实验结果表明优化点到平面之间距离结果优于优化点到点之间的距离。随后，采用条件随机场进行优化处理，利用语义分割结果修复深度图像。接着，采用几个三维重建系统优化方法。由粗及精的相机位姿估计方法；基于关键帧的全局优化方法，抑制误差累积；基于像素编码的帧匹配策略，提高图像匹配速度。最后利用GPU和OpenGL对代码优化加速，以便进行室内三维空间建模。

1.3 优化室内三维空间分割算法

在传统的射线分割跟踪算法中[9]，正在跟踪的射线向量需要与环境模型内所有物体的三维表面进行求交点的运算[10]。随着环境复杂度的提高，绕射发生次数随之增加，使得算法需要跟踪更多的射线[11-12]。并且环境复杂度和总射线数量的提高都会使得算法求交运算的次数大幅提升[13]。因此，通过组合光透视技术对三维环境模型进行空间分割，是将一个大区域平均划分为多个小分区以分摊区域中物体的数量，形成级区域分割方式:一级分割将大区域平均划分为四部分；二级分割是将已经分割后的区域再次平均划分；后续的高级分割以此类推。射线跟踪每次只在射线当前所在分区Nold中检索碰撞点[14]，若在该分区没有碰撞点，则射线离开当前分区Nold进入到下一个分区Nnew，并在Nnew内继续检索碰撞点，直到跟踪的射线到达接收位置或信号衰落权重超过预设阈值为止。如图3所示为空间分割方法流程。

对大区域进行空间分割后[15]，检索碰撞点的算法将不需要和大区域内所有的物体表面进行求交点运算，只需在当前射线所在的小分区中进行碰撞检索，这样可以大幅度减少跟踪一条射线所需检索的碰撞点的次数。

因此，在组合光透视模型中正确判断射线当前所在的分区，是空间分割方法的关键。如公式(6)所示：

其中，Nold为射线当前所在的分区序号，Nnew为射线将要进入的分区序号，n为空间分割等级，Pc为射线碰撞点坐标，x和y是射线三维方向向量中的x值与y值。但是，在传统的分割过程中，室内三维空间中存在一些物体对空间的整体出现一定的遮挡，因此对于特征点的提取会出现偏差。在以组合透视光为基础的点云模型中，在空间分割的基础上设计了一种基于高度划分的动静结合分割方法，以进一步提高组合光透视技术的分割算法效率。空间分割方法流程如图3所示：

当组合光射线的碰撞点Pc在分区的边界上时，可根据式(6)计算得出组合光射线下一次范围检索的正确分区序号。理论上对空间分割得越细，求交点运算计算量减少得越多，算法的效率也会越高，能够减少出现的误差。

2 实验

2.1 实验准备

为了验证本文设计的基于组合光透视的室内三维空间分割方法在特征点提取过程中的有效性，需要设计实验进行验证。在本文的实验中，选择某建筑物的室内结构作为研究对象，该研究区域中的功能空间分布主要包括房间、客厅、阳台、窗户、书桌以及书架。根据本文设计的组合光透视技术，得到室内点云数据。

2.2 实验结果对比分析

首先选取房间和内部的书桌以及书架进行对比分析实际数据和点云数据，确定本文方法的精度，如表1所示。

表1 基于组合光透视的室内三维空间分割方法精度

根据表1可知，本文方法通过组合光透视技术得到的点云数据的宽度误差最高为0.5 cm，均在1 cm以内，面积误差最高为147.1 cm2，所有误差均低于1%，因此，本文方法的精度较高。

在上述实验条件下，得到不同分割方法提取到的特征点坐标，为了方便对比，将所有的坐标值进行归一化处理，结果如表2所示。

表2 两种方法的特征点坐标对比

在选择的室内模型中，将不同方法下提取到的室内区域分类中的特征点精度进行对比。为了更加直观地看出两种空间分割方法得到的特征点位置的误差，将两方法的特征点坐标与实际坐标进行对比，得到的误差结果如图4所示。

从上图可以看出，在本文设计的分割方法中，得到的特征点偏差较小，说明经过本文分割方法分割后的室内三维空间更接近于实际情况，本文设计的基于组合光透视的室内三维空间分割方法具有一定的可靠性。

3 结语

本文根据原始分割方法的不足，结合组合光透视与动、静态空间分割方法，提出了一种基于组合光透视的室内三维空间分割方法。为了获得准确的室内三维信息，首先提取点云，然后采用由粗及精的相机位姿估计方法减小局部误差，通过基于关键帧的全局优化抑制误差累积。先进行稀疏特征点匹配得到粗略的位姿，在此基础上再对最优化点到平面距离差异，可用来对室内场景的三维空间进行分割。本文方法虽然取得了一定的有效性，但仍有较大的优化提升空间，在后期的研究中还需要进一步研究。