基于特征选择和贝叶斯优化LightGBM的注塑制品尺寸预测

宋建，陈广森，陈敬福，徐百平

(1.华南理工大学广东省高分子先进制造技术及装备重点实验室，广州 510640； 2.华南理工大学聚合物加工工程教育部重点实验室，广州 510640；3.五邑大学智能制造学部，广东江门 529020； 4.广东轻工职业技术学院广东省高分子先进加工工程技术研究中心，广州 510300)

聚合物加工是现代新型工业中的重要行业，注塑作为一种常见的聚合物成型工艺，其成型制品被广泛使用于实际生活中。作为制造业中非常重要和代表性的工艺，注塑已有一套相当成熟的工艺流程，但是在注塑过程中，还没有一个可靠的方案实现注塑制品的质量实时监控，目前仅通过产后抽检再调机优化的办法具有一定的延时性，会导致废品率始终居高不下。因此，如何利用注塑过程的工艺参数和物理量去实时精确地预测注塑制品的质量成为亟需解决的问题。

人工智能的发展为充分利用注塑过程产生的工业数据带来新的思路，已有一部分学者开始研究如何将机器学习技术应用到优化注塑工艺中。郑生荣等[1]使用双层BP神经网络建立注塑参数预测模型，证明了利用注塑参数数据进行建模预测的可行性。王博等[2]使用BP神经网络、灰色理论和遗传算法的组合算法，建立模型实现注塑制品的翘曲变形预测。季宁等[3]将注塑过程中的一些重要物理量考虑进来，提出了一种径向基函数(RBF)网络和多岛遗传算法对注塑质量进行预测，且预测结果具有一定可靠性。尽管上述实验结论具备一定说服力，但实验的数据大多来源于CAE软件模拟，而非真实生产环境，且样本较小，所用的算法模型难以应用到包含大量工艺数据的真实注塑环境中。笔者基于注塑过程中采集的每一模次的注塑机状态数据和高频采样数据，提出一种基于特征选择和贝叶斯优化的LightGBM算法对注塑制品的尺寸进行回归预测，所提出算法能够适应数据特征较多以及数据样本量较大的情况，并且预测模型具备较高的鲁棒性和精度。

1 特征工程

机器学习中数据集的构建至关重要，数据的数量和质量，以及用于建模的输入特征决定了预测模型的质量[4]，因为每个数据集蕴含的有用信息有限，而使用不同的算法模型只是尽可能地去逼近这个极限。因此，在使用机器学习算法构建模型前，必须先进行特征工程，将尽可能多的有价值信息涵括其中。

1.1 数据来源

笔者所用的注塑数据来自于富士康科技集团的真实加工场域，数据集主要包括注塑机的状态数据和注塑过程中的高频采样数据，因为在注塑过程中，影响注塑工艺制品质量的因素除了注塑机的状态数据外，注塑机在成型过程中的实时物理量变化也是不可忽略的因素[5]。图1是数据采集系统主要传感器的位置布置图。

图1 数据采集系统主要测量点位置布置图

注塑机的状态数据为表征成型过程状态的数据，每一模次对应一组数据，包含注塑加工的周期时间、锁模压力、温度均值、熔胶背压、最大注塑压力等特征。表1为注塑机状态数据的部分特征字段名及其对应的含义。

表1 注塑机的状态数据部分特征变量

注塑过程的高频采样数据主要有来自模具中的传感器信号以及模温机、注塑单元的相关数据，在加工过程中分阶段按不同的采集频率采集，采样频率根据不同注塑阶段有20 Hz和50 Hz两种，采集物理量包括模内压力、模内温度、模温机水流流量计实际流量、喷嘴头的射出压力、实际螺杆位置、动模温度、定模温度等物理量。表2列举了注塑机的高频采样数据的部分特征字段名及其对应的含义。

表2 注塑过程高频采样数据部分特征变量

1.2 数据清洗与特征提取

在注塑机的状态数据集中，共包含86维特征，其中存在48个特征为空值或恒定值特征，这些特征对于模型训练效果不产生作用，且会造成计算资源的浪费，因此采取剔除法去除。对于保留38个特征中存在的离群点，采取均值插补法处理，使用该特征所有数据的均值进行替换。

注塑过程的高频采样数据包括的数据量庞大，必须从中提取出有价值的信息，构建新的特征。对重要的高频特征，包括模内压力、模内温度、喷嘴头的射出压力等8个物理量，求其平均值、最大值、最小值，构建出一个包含24维特征的数据子集，与注塑机的状态数据集组合为一个新的数据集，最终数据集共包含62维特征。

1.3 特征选择

经数据预处理后注塑数据集包含的特征数较大，容易引起“维度灾难”[6]。为降低预测模型的复杂度，选择Pearson相关系数从原始特征集中提取特征子集[7]，去除冗余特征和无关特征，降低特征维数，只保留与预测值最相关的特征。Pearson相关系数[8]用于度量数据特征和预测变量之间的相关程度，通过计算预测样本真实值序列和对应的模型预测值序列之间的相关性，能够在一定程序上反映数据特征对于预测变量的重要性。Pearson相关系数的取值区间为[–1，1]，其中1表示完全正相关，0表示没有线性关系，–1表示完全负相关。Pearson相关系数越大，则说明该特征对于预测变量而言越重要。因此可通过算出每个特征向量与预测值向量之间的Pearson相关系数，选择相关系数最大的K个特征。Pearson相关系数的计算公式如式(1)所示。

式中：r——Pearson相关系数；

X，Y—— 一对的连续变量；

σX和σY——变量X和Y的标准差；

cov(X，Y)——X与Y的协方差。

1.4 数据预处理流程

图2是对注塑数据集进行特征工程的流程图。首先对注塑数据集中的注塑机的状态数据和高频采样数据分别做数据清洗和特征提取，将两部分数据合并为一个总的数据集，然后使用Pearson相关系数法选出相关性最大的n个特征，构建新的数据集。

图2 注塑数据集的特征工程流程图

2 基于贝叶斯优化的LightGBM算法的注塑制品 尺寸预测模型

2.1 LightGBM算法

LightGBM算法[9]是由微软研究院提出的一种基于梯度提升框架的集成算法，相对于传统的梯度提升决策树(GBDT)算法，其精度更高，模型训练速度更快。

LightGBM算法使用一种带深度限制的Leafwise的叶子生长策略，每次从当前所有叶子中找到具有最大分裂增益的叶子节点进行迭代分裂。相比传统的GBDT算法采用的Level-wise生长策略，在同样的分裂次数下，Leaf-wise的误差更低、效率更高。但由于Leaf-wise可能会生长出深度较大的决策树，产生过拟合，因此LightGBM在Leaf-wise之上增加了一个最大深度限制，在保证高效率的同时也能避免过拟合。按Leaf-wise策略的节点生长过程如图3所示。

图3 Leaf-wise生长策略

除此之外，LightGBM算法采用直方图算法替换了传统的Pre-Sorted算法，将连续特征离散化为k个特征数，同时构造一个宽度为k的直方图。遍历数据时，根据离散化后的值作为索引进行累计统计，然后遍历寻找最优点，从而加速训练流程并减少内存使用。直方图算法的原理如图4所示。

图4 直方图原理示意图

2.2 贝叶斯优化调参

机器学习中，不同的超参数组合会导致模型在预测性能上存在很大的差别。由于LightGBM模型具有的超参数较多，因此必须对模型进行调参，搜索出能使模型性能更佳的超参数。LightGBM算法主要超参数如表3所示。

表3 LightGBM算法主要超参数

常用的超参数寻优方法包括人工搜索法、网格搜索法、随机搜索法[10]以及贝叶斯优化[11]。网格搜索法和随机搜索法在测试一个新的点时，会忽略前一个点的信息，导致搜索效率极低。而贝叶斯优化是一种基于超参数先验知识的智能优化算法，能够有效避免不必要的采样。同时，贝叶斯优化利用代理模型的后验概率分布构造采集函数，通过该采集函数主动选择可能更好的超参数，从而减少不必要的目标函数评估，快速搜索超参数的最优解。

贝叶斯优化主要包含代理模型和采集函数两个核心部分：代理模型一般有高斯过程(GP)和树形Parzen估计器(TPE)；采集函数一般有最大概率提升(PI)和最大期望提升(EI)。TPE代理模型[12]相较于GP代理模型，其将超参数的搜索空间从图结构转换为树形结构，并且使用非参数估计取代参数估计，在效率和精度上都获得更好的收益。采集函数EI相较于PI，不仅整合了提升的概率，也体现出不同的提升量，平衡了深度与宽度的关系。为此，选取TPE代理模型和EI采集函数构造贝叶斯优化算法。

首先，根据超参数的先验概率分布p(x|y)，使用TPE代理模型估计对应的目标函数风险值分布p(y)，其中{x(1)，x(2)，x(3)，…，x(k)}表示超参数，y表示风险值。根据EI采集函数选取下一个超参数。重复上述过程，不断利用代理模型的后验分布选择超参数，直到得到最优解。TPE算法的概率分布定义如式(2)所示。

式中：e(x)——观测值{x(i)}形成的密度，其对应的 风险损失y=f(x(i))小于y*；

g(x)——使用除{x(i)}外剩余的观测值形成的 密度。

TPE算法选择y*作为当前观测风险值y的某个分位数γ，满足p(y

接下来通过最大期望提升进一步优化，最大期望提升EI的定义如式(3)所示。

根据贝叶斯定理，上式可改写为：

根据p(y

最终得到：

从式(6)可看出，为了能获得最大期望提升，超参数x在e(x)的概率要尽可能大，而在g(x)的概率要尽可能小。通过g(x)／e(x)评估每一个超参数x，在每次迭代中，算法将返回具有最大EI的超参数值。

2.3 K折交叉验证训练模型

在训练注塑制品尺寸预测模型的过程中，需要从训练集中划分一部分数据作为验证集，用以确定模型迭代的最优次数，为充分利用训练集中所有数据，使用K折交叉验证作为模型训练过程中训练集和验证集划分的策略。K折交叉验证[13]是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳定、全面。在K折交叉验证中，首先将数据平等划分为K个部分，每一个部分为一折，在训练过程中，每次使用K–1折数据作为训练集进行训练，使用剩余的1折作为验证集对模型进行校验。使用K折交叉验证能够充分地利用所有的注塑数据，并能避免由于不同批次的注塑数据差异而导致训练集和验证集分布不均匀的极端情况出现。

2.4 基于贝叶斯优化的LightGBM算法建模流程

图5为基于贝叶斯优化的LightGBM算法预测模型的建模流程图，将完成特征工程预处理后的注塑数据集划分为训练集和测试集。基于训练集，使用贝叶斯优化算法寻找出LightGBM模型的最优超参数，通过K折交叉验证训练预测模型，使用测试集去评估模型的预测性能。

图5 预测模型建模流程图

3 预测模型验证

3.1 数据准备

采取1.2节所述的方法进行注塑数据的预处理，获得一个包含62个连续数值变量特征的数据集。使用Pearson相关系数法从中选择相关系数最大的40维特征，最终的训练集共计14612×40组数据，测试集共计2289×40组数据。

3.2 模型训练

使用第2节所述的贝叶斯优化LightGBM算法，通过迭代计算获取LightGBM模型的最优超参数，如表4所示。

表4 基于贝叶斯优化LightGBM模型的最优超参数

为防止模型在训练过程欠拟合或过拟合，使用5折交叉验证迭代训练模型，根据验证集在模型训练过程的表现确定最优的迭代次数，模型学习曲线如图6所示，从图6可直观看出预测模型在接近400次迭代训练后均方根误差(RMSE)已接近最小值。

图6 预测模型学习曲线图

预测模型完成训练后，可计算出各特征对于预测模型的重要性，表5展示了预测模型前10重要的特征，从表5可看出，模内温度平均值(Sensor5_mean)、喷嘴头的射出压力平均值(IJ_mean)、锁模压力(EL_CLAMP_PRESS)、模温机水流流量计实际流量平均值(Sensor8_mean)、模内压力平均值(Sensor2_mean)等特征变量对于注塑制品尺寸预测具有较为重要的作用，即这些特征在注塑加工过程中对注塑制品成型尺寸的影响较为显著，这与现有的理论研究一致[14]。

表5 预测模型特征重要性排名

3.3 模型评价指标

回归预测模型的预测准确性和性能主要根据预测值和实际值之间的误差进行评估。目前比较常用的指标主要有平均绝对误差(MAE)、均方误差(MSE)和RMSE及决定系数(R2)。

MAE是所有个体样本差异的平均加权，反映了回归模型预测的真实残差的聚集。MSE与待预测样本真实值的量纲相同，具有较好的解释性。RMSE对于特大或特小的误差都非常敏感，能够反映出测量的精密度，因此在模型训练过程中使用RMSE作为训练评价指标。R2通过数值量化回归模型的拟合程度，其值为负无穷到1，当R2越接近1，表示预测模型越具有更好的拟合优度，其预测精度越高。它们的计算公式如式(7)～式(10)所示。

式(7)～式(10)中，yi为待预测样本真实值，为模型预测值，为待预测样本真实值的均值。

3.4 试验结果

将训练完毕后的LightGBM预测模型对测试集进行注塑制品尺寸预测，同时采用传统的支持向量机算法(SVM)[15]、随机森林算法[16]、人工神经网络(ANN)[17]，使用上述的特征工程与贝叶斯优化调参，分别构建注塑制品的尺寸预测模型，根据3.3节所述评价指标，可得到四种算法的预测性能结果对比。

图7给出了四种模型对注塑制品尺寸的预测值和真实值的拟合对比，图中黑色空心三角形代表真实值，灰色空心圆形代表预测值，分别对应每一模次注塑制品的真实尺寸值和预测尺寸值。从图7可直观看出，经贝叶斯优化后的LightGBM模型的拟合效果最优，能够准确预估注塑制品在连续生产过程中的尺寸变化趋势，随机森林模型的拟合效果稍差于LightGBM模型，ANN模型的拟合效果最差，其预测值远远超出了尺寸公差范围。

图7 四种模型的注塑制品尺寸预测对比

表6列出上述四种模型的预测精度对比，其中，经贝叶斯优化后的LightGBM模型的R2高达0.8642，在预测精度上优于其它三种机器学习算法。

表6 四种预测模型的预测精度对比

4 结论

使用注塑加工过程产生的大数据，经过数据预处理和Pearson相关系数提取特征，建立贝叶斯优化的LightGBM算法进行训练和测试，实现对注塑制品尺寸的智能预测。并通过与随机森林、支持向量机以及人工神经网络进行对比验证，结果表明经贝叶斯优化后的LightGBM模型在平均绝对误差、均方误差以及决定系数等评价指标上的分数均为最优，能够准确地预测注塑制品的尺寸，并能准确反映注塑制品尺寸的变化趋势。