基于非刚性点云配准的运动鞋鞋帮打磨轨迹提取

柯 宇，陈玉洁，张 豪，邢礼源

(东华大学 机械工程学院, 上海 201620)

冷黏工艺是将鞋帮和鞋底通过胶水黏合成型的一种制鞋工艺,是目前制作运动鞋的主要方法之一。准确提取鞋帮和鞋底侧墙的结合面曲线,进而获得鞋帮加工过程中的打磨和喷胶轨迹,是提高自动化制鞋生产效率和产品质量的关键。

目前,已有一些学者针对鞋帮打磨和喷胶轨迹曲线的提取进行了研究。沈遥[1]基于UG二次开发技术,将扫描所得的鞋楦模型进行缝合重建,进而抽取鞋楦底部曲线,并通过偏置底部曲线获得鞋帮打磨曲线,但该方法未能获得准确的鞋帮侧墙信息。Hu等[2]分别扫描鞋底与鞋面的轮廓信息,将两条空间轮廓曲线映射到同一个平面并进行旋转、平移及缩放以获得正确的粗加工边缘,但这仅适用于没有较高侧墙与侧墙起伏的皮鞋鞋底。Jatta等[3]根据人工离线采样点,使用CAD-CAM生成刀具路径与机械臂上的受力控制头提取打磨轨迹曲线,但轨迹精确度不够。Kim等[4]利用成品鞋提取鞋帮与鞋底结合面曲线,但同样需要依靠人工采集关键信息点从而获得加工轨迹。以上方法主要针对鞋底或鞋帮底面的加工轨迹进行自动化提取,但无法应用于鞋底侧墙包覆鞋帮成型的冷黏运动鞋自动化生产。

三维激光点云扫描技术和点云数据处理技术的发展,为鞋帮打磨轨迹的自动化提取提供了新的解决方案。将三维扫描获得的鞋帮点云和鞋底点云进行非刚性点云配准,以获得鞋底侧墙包覆鞋帮的点云,进而提取出鞋帮打磨轨迹。非刚性点云配准[5-16]通过匹配具有重叠部分的数据集,寻求不同数据集之间的一致性对应关系,目前被大量应用于医学[15-18]、自动驾驶等研究。例如:Du等[18]基于ICP(iterative closest point)算法提出的TPS(thin plate spline)-ICP算法用于医学颅骨的配准;Golyanik等[8-9]将基于物理模型的BH-RGA(Barnes-Hut rigid gravitation approach)算法用于自动驾驶场景的非刚性配准;Myronenko等[19]结合高斯混合模型使用相干点漂移算法并用EM(expectation maximization)算法进行参数求解,该算法避免了鞋底、鞋帮的特征点提取,且计算时间及精度均较好。因此,采用非刚性点云配准的方法结合高斯混合模型及贝叶斯相干点漂移算法[17,20],将提取的鞋底内侧点云和鞋帮点云进行自动配准,进而提取边界点以拟合成鞋帮打磨曲线。

1 运动鞋鞋底、鞋帮视觉重建系统

常见冷黏运动鞋的鞋底和鞋帮实物如图1所示。由图1可知,标记出的红色轨迹线为鞋帮和鞋底接合面曲线,即需要提取的运动鞋鞋帮打磨轨迹线。分别搭建鞋底、鞋帮视觉重建平台,对鞋底和鞋帮的三维信息进行提取,为下一步点云非刚性配准提供基础。

图1 鞋底面与鞋侧面Fig.1 Bottom and side of the shoes

1.1 鞋底侧墙点云提取

鞋底视觉重建试验平台主要由相机盒子、移动平台及光电开关组成,如图2所示。鞋底在传送带上依次通过激光器与结构光相机进行线结构光重建,获得鞋底三维点云数据。

图2 鞋底视觉重建系统试验平台Fig.2 The experimental platform of sole visual reconstruction system

通过线结构光扫描鞋底,同时用相机拍摄鞋底光条图片,提取结构光上点的三维坐标,当线结构光将鞋底扫描完整时即可求出其所有点的三维坐标,实现鞋底的三维点云重建[21]。由于在非刚性配准中仅需鞋底与鞋帮贴合的侧墙部分点云,因此采用角度阈值法对采集的点云进行预处理,间接删除鞋底支撑孔洞和加强筋点云,从而降低点云数量,提高算法运行速度。鞋底点云重建流程如图3所示。

图3 鞋底点云重建流程图Fig.3 Flowchart of sole point cloud reconstruction

1.2 鞋帮视觉平台搭建

利用机器人及线结构光激光扫描仪,搭建鞋帮三维信息采集试验平台,并对相关参数进行标定。鞋帮视觉重建试验平台如图4所示。由图4可知,关节机器人末端夹持线结构光相机,相机盒子围绕鞋帮运动一周即可获得鞋帮点云。将获取的鞋底与鞋帮点云进行非刚性点云配准以获得打磨轨迹线。

图4 鞋帮视觉重建试验平台Fig.4 The experimental platform of upper visual reconstruction

2 贝叶斯相干点漂移算法

非刚性点云配准过程实质是一个优化空间变换关系的问题,通过空间变换矩阵,使源点云和目标点云间的差异最小。本文采用贝叶斯相干点漂移(Bayesian formulation of coherent point drift,BCPD)算法,实现两种点云非刚性配准。首先,基于高斯混合模型建立点云配准基础框架。随后,基于运动相干和先验分布建立点云的联合概率密度分布。最后,引入变分贝叶斯推断,通过不断迭代获取最佳配准参数。将配准后的点云边界点进行边界提取与聚类分割,即得到鞋帮打磨轨迹线。

2.1 基于高斯混合模型的联合概率密度构建

高斯混合模型由多个高斯函数线性组合而来,通过对各函数进行合理的权重分配,可拟合任意分布的样本,因此理论上可反映源点与目标点配准的可能性。将鞋帮记为目标点云x=(x1,…,xn,…,xN)T,鞋底侧墙记为源点云y=(y1,…,ym,…,yM)T,点云的维数D=3。

使用xn及变形后ym差值的正态分布φ来定义两点间配准概率,变形A(ym)通过缩放系数s、旋转矩阵R、平移向量t及非刚性变形矩阵v定义,如式(1)所示[22]。

φ(xn;A(ym),σ2ID)=|2πσ2ID|-0.5·

式中:σ2为x与y的平均偏差;ID为单位矩阵;v=(v1,…,vm,…,vM)T为非刚性变形矩阵。

p(xn,en,cn|y,v,α,s,R,t,σ2)=

式中:ω为离群率;pout(xn)为xn是离群点的概率。

将φmn的期望〈φmn〉与αm的期望〈αm〉联立可计算xn与ym配准概率[19],如式(3)所示。

为了避免点云中相邻点之间运动向量存在交叉相干,使用ym点云的高斯核函数G定义运动相干性。当两点距离越近,其非刚性位移vm相干性也越强。因此,引入高斯核矩阵G的正态分布作为先验分布,消除非刚性位移带来的过拟合问题。定义位移向量的先验分布p(v|y)如式(5)所示。

因此,综合考虑点云运动相干性、匹配权重、噪声信息后的联合概率密度分布如式(6)所示。

p(x,y,θ)∝p(v|y)p(αm)·

式中:θ=(v,α,cn,en,s,R,t,σ2)。

2.2 变分贝叶斯推断

由于q3(s,R,t,σ2)与刚性变形及σ有关,故将其定义为狄拉克函数δ(s,R,t,σ2),只要根据式(10)最大化下界L(q)[20]。

由此,可通过BCPD算法的7步求解鞋底与鞋帮的非刚性点云配准,具体过程如下:

(1)输入鞋帮点云x、鞋底点云y、离群率ω等参数。

(2)初始化刚性变形矩阵s[R|t]、非刚性变形v、方差σ,定义鞋底点ym间的相干性高斯核矩阵G、权重〈αm〉,并初始化鞋底非刚性变形v的后验协方差矩阵Σ。

(3)使用权重〈αm〉及正态分布〈φmn〉,根据式(3)计算鞋底与鞋帮点云配准概率pmn。根据配准概率计算与鞋帮点云ym配准x的逆变换T-1(x)。

(5)根据式(10)计算xn关于um的协方差矩阵Sxu及um的方差矩阵Suu,继而更新刚性变形s[R|t]和平均偏差σ。

(6)如Δσ<ε则停止迭代;反之,从步骤(3)开始继续更新相关参数。

(7)输出配准后的u坐标。

BCPD算法具体流程如图5所示。

图5 BCPD算法流程图Fig.5 Flow chart of BCPD algorithm

2.3 鞋帮边界轨迹提取

利用BCPD算法配准后的变形点云进行鞋帮边界提取。将变形后点云放入搜索树R*-tree[23]以便快速查找近邻点。查找每一点的若干近邻点,并使用最小二乘法求取微平面。求邻域点间法向量夹角,如大于阈值则设为边界点[24]。

将提取的鞋帮边界进行偏置并聚类分割,可提取出边界轨迹点。由于鞋底支撑孔与加强筋在点云预处理时已经被删除,仅留下两条边界曲线。使用聚类分割算法,将变形后鞋底边缘轨迹分成两部分。鞋底边缘轨迹的侧视图与俯视图如图6所示,蓝色即为提取的鞋底边缘轨迹。

3 试验结果分析

为验证非刚性点云配准算法提取的鞋帮打磨轨迹方法有效性,搭建了试验平台并自动提取鞋帮打磨轨迹,将获取的鞋底、鞋帮边缘曲线与示教打磨线进行比较。

图6 鞋底边缘轨迹聚类分割点云图Fig.6 Clustering segmentation point cloud diagram of sole

试验采用的鞋底实物以及提取的鞋底点云信息如图7(a)所示,其中蓝色部分为优化后用于点云配准的鞋底侧墙点云。套在鞋楦上的鞋帮实物图及提取的点云如图7(b)所示。

图7 鞋底、鞋帮实物图及其点云图Fig.7 Real picture of sole, upper and their point clouds

采用BCPD算法将鞋底侧墙信息点云非刚性配准到鞋帮点云中,即获得变形鞋底点云。配准前后鞋底与鞋帮点云如图8所示。由图8可知,红色是鞋底点云,蓝色为鞋帮点云。可用BCPD算法将两部分点云进行准确的配准。为了进一步观察配准效果,将配准前后鞋底与鞋帮点云位置及其鞋头部位放大,由此可以看出配准后鞋底与鞋帮贴合效果较好。

图8 配准前后鞋底与鞋帮点云Fig.8 Point clouds of the sole and upper before and after registration

变形后对应鞋帮边界曲线并不能直接作为打磨曲线,需对其进行偏置及聚类分割,才能作为曲线轨迹。鞋帮边界轨迹及其偏置点云如图9所示。由图9可知,红色是完整鞋帮点云,蓝色是被打磨的鞋帮点云,绿色是与变形鞋底配准的鞋帮点云,偏置后鞋帮边缘轨迹较为连贯,误差控制较好。

为了进一步验证提取的鞋帮边缘轨迹线的精度,将非刚性配准后获取的鞋帮边缘轨迹线与人工示教打磨线进行比较,结果如图10所示,其中,绿色为非刚性配准后的边缘曲线,红色为人工示教打磨线。

图10 人工示教打磨线与变形后鞋底的轨迹曲线Fig.10 Manual teaching grinding line and deformation of the sole trajectory curve

为了评价本文方法自动提取的打磨轨迹线的准确性,计算自动提取曲线每一点以及人工示数曲线上离曲线最近的点,将两者转换至同一坐标系下,并使用欧氏聚类计算人工示教曲线与自动提取曲线间的误差。计算自动提取曲线每一点以及人工示教曲线上离曲线最近的点,求距离并取平均误差,具体计算公式如式(11)所示。

式中:L1i为拼接曲线上的一点;L2i为示教曲线上离L1i最近的点;n为拼接曲线上的总点数。

通过对4种存在侧墙且需要包覆鞋帮的鞋底进行点云提取与非刚性点云配准,评价BCPD算法可行性。非刚性点云配准算法平均误差在2.00mm左右且稳定性较好,基本满足鞋帮打磨轨迹线精度需求,具体误差分析结果见表1。线扫点云在鞋头位置与鞋跟位置的点云较为稀疏,在变形时运动相干点较少,因此会产生较大误差。而脚窝部位因运动相干点较多,误差较小。鞋子的最大误差点均出现在鞋头部位,最大误差约为3.30mm。

表1 误差分析Table 1 Error analysis

4 结 语

本文提出了一种用于冷黏运动鞋生产过程中自动化提取鞋帮打磨轨迹的方法。使用3D视觉技术提取了鞋底及鞋帮点云,并采用非刚性点云配准算法中的BCPD算法进行试验,将鞋底点云与鞋帮点云进行非刚性点云配准。将变形后鞋底对应鞋帮部分的点云进行偏置、边缘提取及聚类分割。最后,将自动化提取的曲线与人工示教曲线进行比较,试验证明该算法精度及稳定性均较好,平均误差控制在2 mm左右。该方法减少了获取鞋帮打磨曲线的耗时,满足自动化生产的柔性制造的需求。