面向未知复杂曲面的视点自主规划方法

2022-09-20苏成志金俊杰毛英坤丁诗祺王恩国蔡梦想

机床与液压 2022年9期

苏成志，金俊杰，毛英坤，丁诗祺，王恩国，蔡梦想

(1.长春理工大学人工智能学院，吉林长春 130022；2.长春理工大学重庆研究院，重庆 401135； 3.长春理工大学机电工程学院，吉林长春 130022；4.哈尔滨飞机工业集团有限责任公司，黑龙江哈尔滨 150000)

0 前言

近年来，三维测量技术被广泛用于航空航天、汽车和船舶等领域，对象被数字化，用于检测、识别、路径规划等场景。复杂曲面大量存在于上述领域，由于结构复杂，在没有先验信息的情况下，其完整信息的获取难度较大，国内外学者对此开展了深入研究。

基于未知模型的视点规划方法分为体积法和表面法两种。体积法代表性进展如下：MUNKELT等(2006)将视点规划分为两个阶段：第一阶段，在保证精度的情况下，使可视体素数量最大化，快速构建对象大致模型；第二阶段，针对模型中的遮挡体素和低精度体素进行二次扫描，提高模型质量。VASQUEZ-GOMEZ等(2014)将体素空间分为未观测体素、空体素和已占据体素，然后在边界处根据外接球面模型生成候选视点，最后综合考量可见性、扫描质量和机器人运动代价等因素确定最优视点。通过外接球面或者圆柱生成候选视点的方式，使视点位置被限制在固定表面上，方向被约束为只能指向中心，不利于复杂曲面完整三维信息的采集。POTTHAST、SUKHATME(2013)和DELMERICO等(2017)根据信息增益(IG)，基于体素的可见性与当前视图的差异性评价候选视图。

体积法一般需要给定先验的场景信息，同时因为需要将整个工作场景体素化，且涉及到候选视点的生成与评价，计算成本和时间成本高。相比体积法，表面法无需先验场景信息。表面法代表性进展如下：YUAN(1995)基于群矢量链(MVCs)进行视点规划，通过当前点云合矢量的反向确定下一视点，以合矢量为0为规划终止条件，这种方法对不封闭或者包含孔洞的曲面对象并不适应。CHEN、LI(2005)建议使用趋势面来预测物体的未知部分，根据先前扫描表面的整体形状，确定预估表面的NBV，但是文中依据曲率的方法只适用于简单曲面模型。ZHOU等(2009)预测了可视表面左侧和右侧，并选择两者中可视表面较大者，这种方法仅适用于圆柱体模型。KRIEGEL等(2013)根据边界区域的表面趋势确定扫描路径，此方法用在一些具有凹入区域的雕像上效果很好，但是没有处理孔洞，影响了最终模型的完整性，同时也没有给出合理的自终止条件。以上表面法大多仅适用于简单表面，对于曲率变化大、可能包含孔洞的表面适应能力较差。

基于此，本文作者提出一种基于边界检验的视点规划方法，首先进行场景假设，定义规划对象、相关坐标系以及三维传感器模型；其次，提取当前模型边界，并将边界分为外边界以及孔洞边界；再次，对外边界先进行分段对应不同潜在趋势面，之后基于二次曲面拟合预估趋势面，并根据趋势面法矢以及边界最大主成分方向自主规划视点；然后根据孔洞的中心、大小与中心的法向量规划孔洞区域的观测视点；最后根据真伪边界自主判断是否继续进行规划工作。

1 视点规划方法

1.1 场景假设

假设规划对象为曲面，事先没有曲面的任何先验知识，且对曲面的形状结构没有要求，只需给定一个能观测到曲面的初始视点。

设世界坐标系为{}，如图1所示，曲面被置于世界坐标系{}下，且周边无遮挡和碰撞的障碍物。设三维传感器坐标系为{}，{}的方向向量为{,,},其中为深度方向，为传感器水平方向，为传感器竖直方向。通过标定得到{}与{}之间的变换矩阵。三维传感器的视场是一个四棱锥，四棱锥以{}的原点为顶点，视场水平角和垂直角分别为和，测量范围为[,]。

图1 场景假设示意

1.2 边界处理

设曲面在坐标系{}下的初始视点为，以为视点采集到的点云数据为，根据公式(1)转化得到坐标系{}下，将三角网格化，得到当前网格模型。

g=g

(1)

1.2.1 边界提取

如图2所示，检索当前网格模型的三角形边集合={△,=1,2,…,}中的每一条边△，如果△只关联一个三角形，那么认为△为中的一条边界边，如果△关联两个三角形，则认为△为中的内部边。以此，从检索得到边界边集合={B,=1,2,…,}和对应的边界点集合={B,=1,2,…,}。

图2 边界提取示意

步骤1，∀B∈为初始种子边，加入种子边集合，令=1。

步骤2，搜索中与种子边相连的边界边加入种子边集合。

步骤4，令=+1，并清空。重复步骤1～3，直到=∅为止。

1.2.2 边界分类

(2)

1.3 外边界视点规划

1.3.1 边界趋势面估计

由于不同边界区域的潜在趋势面不同，不同趋势面的视点必然不同，因此需要对外边界进行分段对应不同趋势面。

图3 毛刺示意

如图4所示，以个边界点为采样间隔对边界进行采样，即每个边界点构建一个用于对比的方向向量，通过公式(3)计算向量b(-)b和bb(+)之间的夹角。当小于阈值时，将两段边界归为同一段边界。

图4 边界边比较示意图5 初始帧边界分段示意

(3)

将边界分段后，基于每段边界的形状结构信息估计曲面未知区域的表面趋势，以此作为后续视点位姿规划的依据。

(4)

对公式(4)求偏导，计算中点的法向量，得式(5)

(5)

1.3.2 视点姿态规划

如图6所示，为了保证测量质量，要求三维传感器的与预估的趋势面的法向量平行且反向，如式(6)。一般把三维传感器的视为正方向，故式(5)中方向的分量取-1。

图6 边界视点位姿确定示意

(6)

称取预处理的红枸杞粉2g(精确到0.0001)，在超声温度为60℃，料液比为1∶50，超声时间为3min的条件下，超声次数分别为1次、2次、3次、4次、5次的条件下提取，过滤，醇沉，定容后按照1.3.2.1的方法测定吸光值，计算多糖的提取率。

由公式(7)，先通过和叉乘得到，最后再通过和叉乘确定,

(7)

(8)

1.3.3 点位置规划

(9)

求得测量距离后，还需根据实际应用场景，给乘一个安全系数。当希望使获取的数据之间有更大的重叠区域时，考虑取>1；当工作场景空间有限时，取<1。结合三维传感器的测量范围[,]，由公式(10)求得最终的测量距离：

(10)

(11)

1.4 孔洞区域视点规划

1.4.1 孔洞特征提取

孔洞示意如图7所示。由式(12)，计算孔洞的中心:

图7 孔洞示意

(12)

用式(13)，通过各孔洞边界点h的法向量h求和得到孔洞中心的法向量：

(13)

通过式(14)引进一个描述孔洞大小的参数：

(14)

1.4.2 孔洞视点位姿规划

用公式(15)计算得到三维传感器面向孔洞区域时的测量距离：

(15)

1.5 边界验证及自终止条件

通过视点集合和中的视点对当前模型的边界进行观测采集，每个视点获取的新点云信息g以为基准进行点云配准。各视点数据之间可能仅部分重合，先基于八叉树提取重叠区域，再利用迭代最近点算法(ICP)对点云进行精配准，然后根据文献[14]中的方法，实时更新当前网格模型。

所有数据都配准完成以后，根据公式(2)提取更新后的模型的边界，记新边界点集为′。

如图8所示，当前模型的边界，可能为曲面真正的物理边缘，也可能为由于传感器的视场限制引入的“伪边界”。曲面的真正物理边界，在三维传感器于边界处观测后依然存在，“伪边界”则会在与新的三维信息融合后消失。不断基于更新的模型边界规划视点，并进行真伪边界检验，直到当前模型的边界全为真边界或者没有边界(如球面)为止，自主完成曲面的完整三维信息采集。在视点规划过程中，为了避免重复工作，对已经确认为真边界的边界点进行标记，后续不再基于其进行视点规划工作。

图8 边界对比示意

对视点集合采集前后的模型边界点集和′进行对比验证，和′之间的关系如公式(16)所示，设为和′的真边界，为中的伪边界，为新的基准边界。

(16)

由于边界是一个离散点集，即使是空间上的同一点，每次测量得到的三维坐标也并不唯一。为了方便边界的比较，如果两点的距离小于等于自适应阈值，便视两边界点重叠。已知所有网格边集合为={B,=1,2,…,},通过公式(17)计算阈值:

(17)

取′B∈′，若∃B∈，满足公式(18)，便认为′B在中找到重叠点。

|′B|≤

(18)

自主判断是否需要继续进行规划工作：若′-≠∅，此时′∩相当于之前历史模型中的真边界，不再基于其进行视点规划，以′-为新基准边界，重复第1.2～1.4节步骤继续进行视点规划。

若′-=∅,即中所有点均为真边界，即认为视点没有获取到新的构件信息，当前模型边界不变，视点规划任务终止，输出模型数据。

视点规划任务完成后，输出所有历史视点集合={,}。

2 试验与分析

不失一般性，以大众某车型的汽车后保险杠作为目标曲面进行视点规划试验。该汽车后保险杠尺寸约为1 700 mm×480 mm×830 mm，整体尺寸较大、结构复杂，包含多个平面、曲面和U形面，且面与面之间相互遮挡；同时，因为各个面的交接处曲率变化大，又需保证各视点数据间一定量的重叠约束，所以视点位姿的规划难度较大，人工示教规划过程十分繁琐，费时费力。

2.1 试验条件

搭建如图9所示的硬件系统用以验证上述视点规划方法的正确性。系统由1台PC机、1台埃夫特GR680工业六轴机器人、1台图漾FM830-GI主动式结构光双目相机和一个二维转台组成。所提机器人的运动姿态由欧拉角来表示，其绕轴旋转序列为,用、、分别表示绕、、轴的旋转角度，每个视点在机器人基坐标系下的位姿可由参数[]表示。双目相机的测量距离为0.5～8 m，视场FOV(H/V)为(56°/46°)，深度图像分辨率为560像素×460像素。汽车后保险杠通过夹具与二维转台刚性连接。

图9 硬件系统

2.2 视点规划效率试验

2.2.1 初始视点

显然视点规划过程与初始视点选择息息相关。为了快速完成三维测量任务，选择汽车后保险杠的正面开始初次测量，获取的构件点云数据及边界分段结果如图10所示。边界分段中，构建方向向量时边界点采样间隔取50，比较时的夹角阈值取70°。

图10 初始视点采集数据及边界分段示意

2.2.2 第一轮视点规划及采集结果

视点规划时，用于二次曲面拟合的近邻点半径取15 mm，测量距离的安全系数取1.5。视点规划结果如表1所示，视点位姿示意图如图11所示，图中传感器坐标系{}的方向向量、、分别用红、绿、蓝三种颜色表示，下同。

表1 第一轮视点位姿

图11 视点示意

双目相机在每个视点位姿下获取的点云数据，如图12所示。将每个视点获取的局部点云，以初始点云为基准，进行配准变换以后，得到配准后模型及其边界如图13所示。

图12 视点观测数据示意

图13 配准后模型及边界

2.2.3 第一次边界检验

视点集合拍摄前后构件模型的历史边界和当前模型边界′的对比如图14所示，两者交集为后杠的真正物理边界，为了避免重复扫描工作，从当前边界集合′中减去历史边界中的真边界，剩下的为后续视点规划所需的基准边界，使用文中的边界分段方法，将其分段，结果如图15所示。

图14 扫描前后边界比较图15 新的基准边界及分段示意

2.2.4 第二轮视点规划及采集结果

配准后的模型包含孔洞如图16(a)所示，孔洞存在于后保险杠的底面和侧面的连接处。孔洞大小的描述参数=92.09 mm，通过文中的孔洞区域的视点规划方法，得到孔洞区域的视点7位姿为[1 603.21 1 120.601 120.98 -76.98 36.03 -6.25] mm。

图16 孔洞拍摄示意

外边界处后续视点规划结果如表2及图17所示。每个视点所采集数据如图18(a)—(g)所示。

表2 第二轮视点位姿

图17 第二轮视点示意

图18 第二轮视点观测数据示意

经过点云配准以后，得到配准后模型及其边界如图19所示。

图19 第二轮配准模型与边界

2.2.5 第二次边界检验

当前累积模型的边界′与历史模型的边界的对比如图20所示，按文中所提的自终止条件进行判断，边界不再变化，视点规划任务结束。输出所有视点集合，如图21所示。

图20 边界比较示意

图21 汽车后保险杠观测视点集合

通过上述实验，得到了完整的汽车后保险杠的点云模型，如表3所示，获取对象模型的整个过程花费了约6 min，其中包括视点规划、点云提取与配准以及机器人的移动时间。由于双目相机获取的点云数据量相对较大，每帧获取的局部点云都有5万～12万的数据量(与测量距离有关)，虽然实际试验过程中进行了一定量的精简，但是点云配准与网格重建依然花费了较长时间，同时机器人的移动过程也花费了较长时间。视点规划时每个视点的平均用时仅为67 ms，所以相对来说，视点的位姿规划用时只占了整体建模过程中很小一部分的时长。

表3 后保险杠的视点规划数量与时间统计结果

2.3 视点规划完整性试验

为了估算文中所规划的视点集合对后保险杠所能实现的覆盖率，将一个完整的汽车后保险杠点云模型以文中所建模型为基准进行点云配准，使其与实际场景中后杠的空间位置和姿态尽量相同。该点云模型由第三方渠道给出，模型包含8 609个点。通过第1.2节中规划的视点集合对第三方点云进行模拟采集，当点云内的一点的法向量和的点乘小于0时认为满足可见性，同时考虑视场角约束、拍摄距离约束和遮挡约束。其中，能获取到新信息的关键视点的采集示意如图22(a)—(h)所示。