基于主动学习的三维点云数据建模与装配质量预测*

李彦征，邹昌利，刘银华

(上海理工大学机械工程学院，上海 200093)

0 引言

人工智能算法、机器人、大数据和在线三维扫描仪等[1-4]软硬件的跨越式发展，促使着传统制造业的重大变革。而如何通过准确估计工艺参数，确保产品的尺寸质量是现阶段汽车制造和航空航天领域面临的一个重大挑战。实现这一目标的关键是建立尺寸变化和工艺参数之间的映射关系模型。

传统的诊断装配过程尺寸变化故障的方法主要有统计估计和基于模式匹配的方法。CEGLAREK等[5]使用了基于CAD的变形模式和故障匹配技术，该技术将主成分分析和模式相似性相结合进行故障诊断。之后DING等[6]又使用状态空间模型和变化流模型将该方法推广到多级装配中。JIN等[7]提出了一种基于完整测量数据集的贝叶斯网络方法，该方法用于快速检测和定位装配夹具故障。BASTANI等[8]通过利用各种误差源的尺寸变化的空间相关性，对欠定系统使用了空间相关的贝叶斯学习算法。但是上述方法都是线性模型，对于高维和非线性系统存在很大的局限性。

为了解决上述传统方法的局限性，在点云数据建模领域引入了深度学习建模方法[9-11]，该方法被广泛应用到数据的建模，并且建模精度取得了显著的提升。QI等[12]提出了PointNet网络结构，该结构一方面通过STN解决点云旋转问题，另一方面通过MaxPooling解决无序问题。QI等[13]之后又提出PointNet++网络结构，改善了局部特征提取。LIU等[14]基于几何关系提出了RS-CNN网络，该网络把原来基于有序信息的网络扩展到可以适应无序信息的网络。但上述方法并没有考虑在实际的装配过程中，三维扫描仪获取的点云数据量无法满足深度学习的建模要求。

本文以降低点云样本量，提高模型预测精度为目的，提出了一种基于主动学习的残差网络模型建模方法，该方法不但通过主动学习方法将仿真数据和实测数据相融合，解决了点云数据样本量不足的问题，而且通过加深网络，更好的表征装配过程，提高建模精度。

1 参数建模框架

在实际的装配过程中，影响装配参数估计的因素众多，主要有以下几个方面：多物理场缺陷，如在焊接过程中，夹具既会产生机械变形，又会改变热量分别；高维数据，如装配质量的获取由原来的一维单点数据变为三维点云数据；多源数据建模，如仿真模型的能力有限，无法应用到实时变化的复杂装配系统，而数据驱动又需要大量的数据作为支持。介于上述影响因素本文将装配参数估计分为三大组成部分，分别为多维数据管理、仿真数据生成器和深度学习模型。该框架可以有效解决点云数据建模过程中，样本量不足的问题。本文方法框架，如图1所示。

图1 面向装配工艺参数估计的三维点云建模框架

2 基于主动学习的残差网络建模

2.1 点云数据生成与体素化处理

本文点云数据池主要包括仿真数据生成器产生的点云数据和实测点云数据。数据池中的点云数据由标称点云Pst和对应点的偏差值d组成，这样可以有效增加模型提取特征的能力。为了得到偏差值d，需要将扫描获取的真实点云与设计阶段的标称点云Pst进行配准。

对于仿真数据生成器产生的点云数据，首先需要建立装配系统的偏差传递模型。在系统的初始偏差和工位输入偏差已知的条件下，状态空间模型可以确定系统在某个装配工位后的偏差状态，状态空间的一般形式为：

“影子说”是中国古典小说的一种批评理论，它最开始可见于甲戌本第八回脂评：“晴有林风，袭乃钗副。”这一思想经过发展，形成了蔚为壮观的影射关系。王富鹏先生曾针对《红楼梦》的人物影射现象，概括出了红楼梦的两大影子人物体系，阐释这种影子人物体系与小说叙事结构之间的关系①。《红楼梦》是沿着金瓶梅开创的方向发展而来，可说“深得《金瓶》壶奥”。因此，影身关系在《金瓶梅》中也或多或少地存在着。

X(k)=A(k-1)X(k-1)+B(k)U(k)+W(k)

系统的输出方程为：

Y(k)=C(k)X(k)+V(k)

式中，Y(k)是第k个工位上所有测点的向量组合；V(k)是测量的随机误差；C(k)代表观测矩阵，即：

式中，Cr(k)表示零件r的偏差与测点之间的关系，表达式为：

式中，LZ、LX分别表示沿X轴和Y轴方向上的偏差。对于仿真产生的点云数据，其中的标称点云是对应节点坐标，而偏差值指的是节点的偏差。

由于点云数据具有非结构化以及排列不变性的特点，需要将仿真数据生成器以及三维扫描仪产生的点云数据，通过多维数据管理进行体素化处理，转化为卷积神经网络能够处理的数据格式。

经过阶段s后，实际点云数据可以表示为：

将生成的点云数据(Pst,ds)，转化为具有离散体素坐标(u,v,w)的体素网格Vu,v,w，对体素网格上的所有点的最大值表示为体素网格的特征Vu,v,w,d，通过使用文献[15]中的方法构建初始体素结构，并将点偏差的变化替代红、绿、蓝颜色值的变化。

2.2 基于主动学习的残差网络模型构建

主动学习是通过内置的查询函数选取样本中信息含量最大的前K个样本进行模型训练。于是本文为了适配基于深度学习模型的主动学习方法，采用了一种通过学习模型损失来自适应调整查询函数的方法。

s.t.

式中，ξ表示设置的余量；上标p表示以数据对形式存在。

总损失函数定义为：

式中，M表示小批量训练时的数据个数。

图2 残差块结构

由于实际的装配过程往往涉及多个工位以及多故障源耦合的状态，依靠浅层的卷积神经网络无法精确的映射复杂的装配系统。为了解决上述问题，本文采用了残差网络结构，它是由许多残差块组成的，如图2所示。

残差块是由两个卷积层和一个直连机构组成的。残差网络解决退化现象是通过残差块构建恒等映射实现的。将卷积神经网络拟合的函数H(x)表示为：

H(x)=F(x)+x

式中，F(x)表示残差函数，在深层网络学习一个恒等变换相当于令F(x)=0。

将残差网络作为本文的目标网络，因此，本文提出了基于主动学习的残差网络模型，如图3所示。

图3 基于主动学习的残差网络模型

由图可知，本文将主动学习的损失预测网络定义为分别从3个残差块末端获取特征图并依次经过全局平均池化、全连接层以及Relu激活函数。

3 案例分析

3.1 汽车车门内板与铰链加强件案例介绍

本文以某车型的车门内板与铰链加强件为例，验证本文方法的有效性。

该装配过程由4个阶段组成，阶段1：定位，使用3-2-1定位原则将车门内板与铰链加强件，通过3个定位块以及销孔、销槽进行定位。之后使用销槽(y1)，销孔(y2,y3)将铰链加强件定位在车门内板上；阶段2：夹紧，利用定位块，将车门内板与铰链加强件进行夹紧(y4,y5,y6)；阶段3：固定，使用铆接对这两个零件进行固定；阶段4：释放，最后对夹具进行释放完成装配。关键控制参数，如表1所示。

表1 关键控制参数

本文使用的仿真数据生成器是通过Hypermesh对车门内板与铰链加强件进行网格划分和材料设置(杨氏模量为69e3；泊松比为0.3；厚度分别为2和1.5)等，并将生成的inp文件导入Abaqus中进行装配过程建模，仿真模型建立完成后，将生成的inp文件提供给MATLAB工具包调用，实现仿真数据生成器的构建。

3.2 训练方式以及模型参数的选择

对于本文方法采用迁移学习的方法将仿真数据生成器产生的数据与实测数据相结合。训练模式如图4所示。

图4 模型训练方式

图中浅灰色层表示已激活层，参与模型训练。白色层表示冻结层，不参与模型训练。训练使用50组实测数据与100组仿真数据作为训练池。阶段一，使用100组仿真数据进行训练，主要提取通用特征；阶段二，使用50组实测数据进行全连接层训练，主要提取具体特征；阶段三，使用50组实测数据和50组通用特征，进行全网络模型微调。

首先选用3种不同深度的卷积神经网络与本文网络模型作对比。之后选择上述3种模型中表现最好的模型与本文提出的模型在不同样本量下作对比，体现本文方法在处理样本量不足情况下的效果。最后将本文方法与随机森林、正则化线性回归以及支持向量机等方法作对比。不同深度的卷积神经网络参数如表2所示。

表2 不同深度的卷积神经网络基本参数

3.3 装配工艺参数估计结果的对比分析

由表3知，在3个对比模型中，Model-2的性能表现最好，于是将该模型与本文模型在不同样本量情况下进行对比分析，两个模型MAE评价指标随样本量变化趋势，如图5所示。从图中可以看出基于主动学习的残差网络模型比Model-2具有更快的收敛速度，并且在样本量较少的情况下达到了较高的预测精度。说明本文提出的建模方法在降低模型样本量需求方面具有很好的借鉴价值。

表3 残差网络的装配过程参数估计评价指标 (%)

最后将本文提出的方法与随机森林、正则化线性回归、支持向量回归进行对比，对比结果，如表4所示。从中可以看出本文方法相较于传统的机器学习等方法具有很好的优越性。

表4 不同模型方法对比

4 结论

本文以降低点云样本量，提高模型预测精度为目的，提出了面向装配工艺参数估计的三维点云建模框架，通过改进框架的深度学习模型单元，提出了主动学习的残差网络与深度学习模型的融合，提高装配过程中关键控制参数的预测准确性。

本文所提出基于主动学习的残差网络在数据层面与物理层面解决了装配过程样本量不足的情况，通过案例分析，本文方法相较于传统的机器学习方法具有更高的建模精度，并且在样本量不足的情况下，具有突出的性能变现，为基于点云数据的装配过程质量预测提供了理论支持。