基于DL-BiGRU多特征融合的注塑件尺寸预测方法

钱庆杰，余军合，战洪飞，王瑞，胡健

(1.宁波大学 机械工程与力学学院，浙江 宁波 315211；2.中机中联工程有限公司第一工业设计研究院，重庆 400039)

注塑成型加工是制造塑料产品最为广泛的工艺之一，其具有生产效率和自动化程度高的优点，适用于加工需求大、形状复杂的产品[1].注塑成型过程是复杂的非线性生产过程，注塑件质量易受到工艺参数、设备和模具状态等诸多因素的影响[2].目前注塑件质量检验采用首末巡检的方式，多数依靠人工检测，检验成本高且效率低下.巡检对缺陷产品处理具有一定的滞后性，出现产品质量问题无法及时停止生产，造成生产浪费现象频频发生，如何在线监测和判断注塑件质量尤为重要.

目前已经有学者使用机器学习的方法建立注塑件质量预测模型.Ogorodnyk等[3-4]使用多层感知器和决策树算法预测高密度聚乙烯样品的拉伸强度，并从预测零件尺寸的准确性和预测方法的可解释性角度进行探讨.Yin等 [5]提出基于主要工艺参数的反向传播神经网络来预测和优化注塑件的翘曲边问题.Gulcur等[6]使用模腔、系统压力和注射活塞位置参数来预测微注射成型部件的质量.宋建等[7-8]通过对LightGBM算法进行改进和集成，并融合成型机状态数据和模腔压力温度传感器高频数据的统计特征作为模型输入，实现对注塑件尺寸的预测.上述预测方法主要考虑成型机状态特征和传感器高频数据的统计特征(如中位数、最大值和最小值等)，但因聚合物熔体在模腔中的流动具有复杂、动态、非线性等特性，无法充分体现聚合物熔体在模腔中的流动状态，导致预测准确性不高[9].Huang[10]使用模腔压力和温度传感器监控聚合物熔体在模腔内的流动状态，通过分析传感器数值变动判断注塑件的质量.Farahani等[11]使用模腔内传感器的数值变动对注塑件的质量进行实时监控.

以上注塑件质量预测方法在前期须进行大量的特征和数据筛选，易造成重要特征流失.使用传感器高频数据的统计特征，无法充分利用传感器的高频时序特征，从而影响模型的预测精度.在多特征融合方面，Hotait等[12]提出实时监测(IRT-OPTICS)的方法，通过融合时间、频率和尺度特征来检测滚动轴承的缺陷.Chen等[13]提出基于长短期记忆网络和注意力机制的多特征融合框架，显著提高了航空发动机寿命预测的精度.Feng等[14]提出基于时空注意机制驱动的多特征融合方法用于刀具磨损监测和剩余寿命预测.

针对注塑过程传感器高频数据的统计特征无法准确表征聚合物熔体在模腔中的流动状态的问题，利用深度学习模型具有复杂特征自动提取、适应性好的优点，提出基于双层双向门控循环单元网络(double-layer bidirectional gated cyclic unit network，DL-BiGRU)的多特征融合深度学习模型，对注塑件尺寸进行预测.通过DL-BiGRU时间序列网络提取传感器的高频时序特征，并构建多特征融合的深度学习框架.在注塑成型数据集上，对所提出模型进行模型验证和稳定性分析，验证所提出方法的有效性.

1 注塑成型过程分析

1.1 注塑成型工艺及数据来源

注塑成型是指将粒状或粉状的原材料加入到注射料斗中，原材料经加热熔化呈流动状态，在螺杆或活塞推动下，经喷嘴和模具的浇注系统进入模具型腔，在模具型腔内冷却硬化定型的加工过程.在注塑件成型过程中，膜腔内的传感器感知的瞬时物理量变动也是须重点考虑的因素[15].如图1所示为注塑加工过程数据采集的主要传感器位置分布图.

图1 注塑加工过程数据采集的主要传感器位置分布图Fig.1 Main sensor position distribution diagram of data acquisition for injection molding process

实验数据选用第4届工业大数据创新竞赛中的注塑成型尺寸预测数据集，数据来源于富士康工业互联网股份有限公司发布的加工数据，共16 600个数据样本，数据记录了每模次对应产品的3个尺寸参数、成型机状态数据和传感器高频数据，数据具有维度高、数据多的特点.

注塑产品尺寸数据记录每模次注塑件的3个尺寸数据(size1、size2、size3)，具体尺寸范围及公差如表1所示.表中，Dmax为尺寸上限，Dmin为尺寸下限，T为尺寸公差.

表1 注塑件尺寸范围及公差Tab.1 Dimension range and tolerance of injection molded part

注塑过程传感器高频数据主要来自模温机和模具传感器，单件注塑产品加工周期为37～43 s，采样频率为20、50 Hz 2种，共24个传感器采集数据，为高频次时间序列数据，主要包括模具内压力、模具内温度、喷嘴头的射出压力等.成型机的传感器高频采样数据的部分特征字段名及对应的含义如表2所示.

表2 传感器高频字段对应的特征Tab.2 Corresponding features of sensor high-frequency field

注塑成型机状态数据来自成型机机台，直接采集成型机上的状态数据，数据维度为86维，主要包括保压时间、后冷却时间、切换位置等.成型机状态数据的部分特征字段名及对应含义如表3所示.

表3 成型机状态字段对应的特征Tab.3 Corresponding features of forming machine status field

1.2 注塑过程高频数据分析

在注塑件加工过程中模具内部压力和温度曲线记录着其从原材料到成品的变化状态，过程曲线反映熔体从喷嘴头进入浇口、流道，最后注入模腔后的情况[16].在某产品生产过程中，对注塑件的传感器高频数据进行可视化分析，随机抽取3个模次的关键传感器参数绘制出高频时序数据曲线图，具体如图2所示.图中，p为近浇口压力，D为实际螺杆位置，T为加工时间.以模具内的近浇口压力和实际螺杆位置为例，根据加工阶段划分(每个数值为一个加工阶段，如注射、保压、冷却等)，对注塑件成型过程中的高频时序数据做进一步分析.

图2 注塑件3个模次的关键传感器高频时序数据曲线图Fig.2 Data curve of high frequency time sequence of key sensor for injection parts with three production cycles

点A到点B为初始化准备阶段，此时螺杆位置和模具内压力不变；点B到点C为注射填充阶段，螺杆按照给定速度开始移动，熔体由喷嘴头快速进入浇口，因浇口处于封闭状态，熔体进入模腔后开始充满模腔，模腔内压力传感器数值开始变动；点C到点D为保压阶段，螺杆以给定速度和压力慢速移动，因塑料受模壁冷却固化导致模腔内阻力较大，材料密度持续增大，产品逐渐成型，模内压力在前半段呈现出曲线上升.当保压压力到达最大设定压力后，螺杆停止移动直至保压结束，模内压力开始呈现下降趋势；点D到点E为冷却阶段，随着保压阶段结束，浇口附近的熔体逐渐冷却固化，直到浇口全部封闭，注塑件冷却成型，模腔压力也下降至大气压，螺杆也退回至初始位置为下一个循环加工做好准备.

图中3个模次的尺寸分别为299.975、299.981、300.370 mm.分析3个模次的近浇口压力变化趋势，其数值仅在保压的前半段波动较大，其余部分趋势变化基本相同.模次2比模次1的尺寸大0.006 mm，因尺寸相差较小，两模次的压力曲线仅在保压的前半段有较小的差异，其余部分的压力曲线基本重合.模次3比模次1尺寸大0.395 mm，相较于模次1、2，尺寸相差较大，从填充到冷却阶段，模次3在保压的前半段有数值波动，其余部分从尺寸差异的变化趋势来看，模次3在模次1的基础上产生一定数值的偏置，但制造过程的压力曲线趋势基本相同.分析同一时刻不同模次的传感器数值，即传感器高频瞬时数据，如：3个模次在20 s时，尺寸差较小的模次数值相差小，尺寸差较大的模次数值相差大.同理，3个模次的实际螺杆位置差异如图2所示，其数值差异也和注塑件尺寸密切相关.

从上述分析可以看出关键传感器高频数据曲线的变化直观反映出注塑件在注塑过程中熔体的变化状态，高频瞬时数据的数值会影响到注塑件尺寸.注塑件成型过程数据与注塑件尺寸直接相关，利用成型过程中的传感器高频数据和瞬时数据获取特征，有利于评估注塑件尺寸的变化和波动趋势.

2 多特征融合的注塑件尺寸深度神经网络预测模型

2.1 DL-BiGRU网络结构模型

注塑件在模腔成型的过程是从液体到固体转变的过程，会有体积收缩变化，注塑件成型过程高度耦合，影响注塑件尺寸.从注塑模腔内采集到的高频时间序列数据也是耦合的，须从双向来提取注塑过程特征.

随着LSTM在时间序列中的广泛应用，LSTM网络训练时间长、内部参数多的缺点亟待解决.Cho等[17]提出LSTM的变体即GRU模型，仅由更新门和重置门组成.GRU模型结合LSTM的优点，结构更简单、参数更少、收敛性更好.BiGRU网络能够同时考虑过去和未来的信息，更加准确地捕捉时序数据中的特征信息.本研究选取BiGRU模型来处理成型过程传感器高频时序数据.BiGRU将相同的输入序列分别连接成前向和后向2个GRU单元，然后将2个网络的隐含层连接到输出层进行预测[18].2个隐层在每个时刻接收相同的输入，但在方向上是相反的，这加强了时间序列前向和后向特征提取.BiGRU网络的原理可以用以下等式来解释：

式中：GRU函数为输入时间序列数据的非线性变换，xt为t时刻的输入，为t时刻前向隐藏状态的输出，为t时刻反向隐藏状态的输出，wt为t时刻前向隐藏状态对应的权重，vt为t时刻反向隐藏状态对应的权重，bt为t时刻BiGRU的2个隐藏状态对应的偏置.

Han等[19]指出多层网络结构对输入信息具有更强的特征提取能力，隐藏层是用来处理层与层之间的关系，但隐含层过多会导致网络计算量增大和训练时间长，还有可能导致过拟合和预测能力降低.由于单一隐层的神经网络结构拟合能力强，但对主要信息的特征提取能力较差，于志刚等[20]使用双层GRU模型对输入的时序信息进行特征提取，并验证了双层GRU模型的特征提取的能力优于单层GRU结构.

为了提高模型对注塑过程传感器高频特征的提取能力和预测精度，综合BiGRU和双层网络的特性，提出DL-BiGRU网络结构，如图3所示.将传感器高频时序特征作为输入，经过第1层BiGRU网络对时序数据进行初步特征提取.因注塑过程中前后数据耦合较强，选择BiGRU网络加强传感器时序数据前后特征提取能力.为了弥补单一隐层对主要特征提取能力差的问题，采用双隐层结构，在第1层BiGRU网络的基础上再堆叠第2层BiGRU网络，对第1层输出的特征进行进一步提取.

图3 DL-BiGRU结构Fig.3 DL-BiGRU structure

2.2 DL-BiGRU多特征融合注塑件尺寸预测模型

为了充分利用注塑件成型过程中的所有特征参数，提出DL-BiGRU多特征融合尺寸预测模型，从传感器感知数据中提炼成型机成型过程模腔内的高频时序特征、瞬时特征和成型机状态特征，构建多特征融合模型来预测注塑件尺寸.在注塑件成型过程中，高频数据记录熔体的成型过程，提炼成型过程高频时序特征作为注塑件尺寸预测重要特征.传感器高频瞬时特征是指把一个周期内采集的传感器数值转化为非序列特征.成型机状态特征是指直接读取每个模次的成型机上各传感器的数据.

如图4所示为提出的基于DL-BiGRU多特征融合的注塑件尺寸预测模型,模型主要包含6个部分.

图4 基于DL-BiGRU多特征融合的注塑件尺寸预测模型Fig.4 Dimension prediction model of injection molded part based on multi-feature fusion of DL-BiGRU

1）输入层：包括传感器高频时序特征数据x、瞬时特征数据y和成型机状态特征数据z.高频时序特征数据是模腔内采集的成型过程的高频时序数据，表征成型的过程变化特征.模腔成型过程瞬时状态特征可以通过平均所有时序特征数据获取，也可以通过采样不同时刻数据进行展成平铺获取.成型机状态特征数据通过每个模次采样一次直接获取.注塑过程中高频数据量大，为了减少模型训练的超参数，对传感器高频时序数据和瞬时数据可以采用间隔采样的操作以减少数据量.

2）时序处理层：将传感器高频数据按时间序列的顺序输入到第1层BiGRU网络中进行时序特征学习，学习到的时序特征作为第2层BiGRU网络的输入，以便充分学习传感器高频数据的内在时序特征.

3）单特征提取层：经过DL-BiGRU网络处理过的时序特征，通过全连接层hx进一步训练，充分挖掘更抽象的特征.将传感器的瞬时特征和成型机状态特征分别连接到各自的全连接层(hy,hz)中以充分挖掘特征内部的抽象特征.经各自网络提取3种输入数据的特征，得到影响注塑件尺寸的表征特征.

4）多特征融合层：采用一个多特征融合层将3种类型的特征经过各自网络处理后输出的表征特征拼接起来，组成一个多特征融合的表征特征H，多特征融合的特征具体表达式如下：

5）多特征提取层：将多特征融合层中的所有特征连接一个全连接层，对融合的表征特征进行深度特征提取，挖掘不同特征的关联关系.

6）输出层：多特征提取层的输出经过全连接回归层的学习将特征维度降至1，完成注塑件尺寸预测结果的输出.

3 实验结果与分析

为了验证所提方法的预测效果，采用注塑成型数据集进行模型验证，将其分为训练集和测试集2部分，使用80%的数据(13 280个样本)用于模型训练，其余的数据(3 320个样本)用于测试.通过消融实验验证所提出模型网络结构对于提高模型预测精度的有效性，并绘制误差箱型图来评估模型的稳定性.将所提方法与常用的一些产品尺寸预测方法以及同类文献进行对比，并使用相同的数据和指标对模型进行分析.

3.1 模型参数设置

实验设置不同迭代次数(Epoch)、BiGRU层数量和全连接层(FC)的神经元数量，在特定的范围内对模型进行训练测试和结果分析对比.如表4所示为模型参数设置和效果优化参数取值.

表4 实验模型参数设置Tab.4 Parameters table of experimental model

模型采用Adam优化方法计算每个参数的自适应学习率，根据误差梯度优化每层的模型参数.所提出的多特征融合深度学习框架是端到端可训练架构，所有模型参数可以被联合训练.为了防止深度学习模型中的过拟合问题，在全连接层后使用Dropout解决模型过拟合问题，Dropout的概率设为0.5.预测注塑件尺寸和原始尺寸间的误差，计算训练数据上的均方误差损失函数，并将其反向传播以生成每层(如BiGRU层、全连接层)的误差梯度.

3.2 模型消融和稳定性分析

注塑件尺寸预测是典型的回归问题，为了评估注塑件尺寸预测的性能，选用在回归预测上广泛使用的2个评估标准，即均方误差(MSE)和平均绝对误差(MAE)作为评分函数，对实验结果进行评估，计算式如下：

为了评估所提出的DL-BiGRU和多特征融合模型的有效性，对所提出的模型结构进行消融研究.消融模型主要有以下几种：使用单一种类特征预测，包括成型机状态特征和高频传感器时序特征；使用多特征融合模型预测，包括传感器高频时序特征、瞬时特征(GP)和成型机状态特征(SPC)，分别使用原始的GRU、DL-GRU、BiGRU模型与所提出的模型进行对比实验，实验研究结果如表5所示.表中，FC、RG、DL分别表示全连接层、回归层、双层结构，MSE、MAE分别表示模型的均方误差、平均绝对误差.

表5 不同消融模型的预测误差Tab.5 Prediction error of different ablation models

以表5中的size1为例，MSE作为评分函数，双层GRU、BiGRU和DL-BiGRU多特征融合模型比原始的GRU模型的MSE分别降低了9.69%、8.78%、13.7%，优于原始的GRU模型.上述结果表明双层和双向网络的预测效果要比单层网络、单向网络的预测效果更优.另外，DL-BiGRU多特征融合模型比单独使用成型机状态数据和传感器高频时序数据预测模型的MSE分别降低了56.7%、63.8%.表明使用多特征融合模型预测性能提升明显，具有更高的预测精度.通过消融实验，证实了所提出模型能够充分学习传感器高频时序特征、瞬时特征和成型机状态特征，在真实注塑生产数据集上的预测精度和效果方面比同类消融模型更佳.

深度学习模型通常须进行稳定性测试，为了验证所提出DL-BiGRU多特征融合模型的稳定性，对消融模型进行多次训练和测试，并绘制消融模型的误差箱型图，如图5所示.以size1为例，所提出的DL-BiGRU模型预测结果的MSE误差波动范围为1.7×10-5mm2，为10-5mm2量级.所提出模型的误差波动比GRU、DL-GRU和BiGRU分别降低了92.5%、92.4%、92.1%.由上述分析可得，所提出的模型具有更小的误差波动和更高的稳定性.

图5 不同消融模型的误差箱型图Fig.5 Error boxplots for different ablation models

3.3 模型结果对比分析

为了验证所提出模型在注塑件尺寸预测上的效果，将所提出方法和常用的尺寸预测方法如浅层学习(SVR、XGB、LGB)、深度学习(MLP、LSTM、GRU)进行对比，如表6所示为上述方法在注塑成型数据集上的实验结果.表中，IMP为所提出模型相对于次优模型的相对提升效果.

表6 常用尺寸预测模型和DL-BiGRU模型的预测误差对比Tab.6 Comparison of prediction errors between commonly used dimension prediction models and DL-BiGRU models

以MSE为评估标准对所提出模型和对比模型在3个尺寸的预测结果进行分析.在浅层学习的3个预测模型中，XGB模型在3个尺寸中的预测效果均为最优，所提出模型比XGB模型的MSE分别降低64.7%、42.1%、44.9%.在深度学习的3个预测模型中，MLP模型在size1和size2中预测效果最优，所提出模型比MLP模型的MSE分别降低57.7%、44.9%；GRU模型在size3中预测效果最优，所提出模型比GRU模型的MSE降低49.6%.所提出模型在3个尺寸上的平均均方误差为4.7×10-4mm2，预测性能比次优模型分别提升57.7%、42.1%、44.9%，预测效果提升明显.

所提出模型的预测结果如图6所示.图中，D为产品尺寸，蓝线为产品真实尺寸，红线为产品预测尺寸.在2条红虚线之间的尺寸为合格品，在2条红虚线之外的尺寸为不合格品.由图6可知，模型的预测尺寸与实际尺寸分布趋势相近.对比使用相同数据集文献方法的预测效果，本研究比文献[8]在MAE上降低了58.9%.并且，当注塑件尺寸变化较大时，所提出模型对尺寸的预测更加敏感和准确，在预测趋势上提升明显.因对比文献仅使用高频数据的统计特征和成型机状态特征，并对浅层学习的3种模型进行集成，未深度挖掘高频数据间的关联关系.本研究采用DL-Bi-GRU网络学习传感器高频特征，并结合传感器瞬时特征和成型机状态特征构建多特征融合的深度学习模型，实验结果表明所提出模型的预测精度优于上述对比模型.

图6 注塑成型数据集中DL-BiGRU模型的预测值与真实值效果对比图Fig.6 Comparison graph of predicted values and ground truth in injection molding dataset using DL-BiGRU model

4 结论

针对注塑件尺寸预测问题，提出基于注塑过程数据的DL-BiGRU多特征融合深度学习尺寸预测模型.通过实验研究和对比分析发现模型具有更高的预测精度和稳定性，对尺寸超差情况的预测更加敏感和准确，为注塑件尺寸及质量预测提供了启发并具备一定的工程应用价值.主要结论如下.

(1)分析注塑件制造过程中传感器高频时序特征和瞬时特征用于注塑件尺寸预测的可行性.为了充分考虑传感器高频时序特征和瞬时特征对注塑件尺寸的影响，提出用DL-BiGRU网络从模腔内采集到的高频时序数据中自动提取时序特征，将传感器高频瞬时特征和成型机状态特征作为补充特征，提升模型预测效果.

(2)提出多特征融合的深度学习注塑件尺寸预测模型，并通过消融研究验证模型的有效性和稳定性.所提模型比单独使用成型机状态数据和传感器高频时序数据预测模型的MSE分别降低56.7%、63.8%；所提模型的误差波动MSE范围为1.7×10-5mm2，为10-5mm2量级，误差波动比GRU、DL-GRU和BiGRU模型分别降低92.5%、92.4%、92.1%.结果表明，所提方法的性能提升明显，具有更高的预测精度和稳定性.

(3)将所提方法和常用的一些尺寸预测方法进行比较分析，所提模型在3个尺寸上的平均均方误差为4.7×10-4mm2,预测性能比次优模型的分别提升57.7%、42.1%、44.9%，比对比文献在MAE上降低58.9%；当注塑件尺寸变化较大时，所提模型对尺寸的预测更加敏感和准确，在预测趋势上提升明显.

深度学习往往需要足够数量的样本用于模型的训练，在多品种小批量生产背景下很多生产订单的数量无法满足模型训练要求.本研究为下一步小样本注塑件尺寸预测提供基础模型，以后可以尝试将本数据集作为迁移学习的源域，研究基于迁移学习的小样本数据注塑件尺寸预测方法.