基于即时学习与输出相关的变量加权研究

颜丙云，于 飞

(青岛科技大学自动化与电子工程学院,山东 青岛 266061)

0 引言

工业工厂中的传感器，为过程监控提供了大量的测量数据。工业生产过程中恶劣的测量环境、昂贵的设备仪器和时间滞后性等因素，导致了一些关键变量难以直接测量[1]。近年来，软传感器在工业生产过程中的广泛应用有效地解决了这一问题。软传感器的核心是建模，通常分为基于机理的建模和基于数据驱动的建模[2]。基于机理的建模由于需要特定的化学原理而不适用于复杂的非线性过程，而基于数据驱动的建模是通过测量易于测量的变量(辅助变量)，建立辅助变量和难以测量的变量之间的数学模型，从而实现用辅助变量来估计难以测量的变量的目的[3-5]。该方法不需要了解太多的过程知识，因而被广泛应用[2]。常用的基于数据驱动的建模方法有主成分回归(principal component regression,PCA)、偏最小二乘回归(partial least squares,PLS)、人工神经网络(artificial neural networks,ANN)和支持向量机(support vector machines,SVM)等。

即时学习是非线性过程中常见的软测量建模方法[6]。相比于全局模型和传统的局部模型，即时学习能够很好地解决工业过程中的强非线性和时变性。即时学习通过从历史数据中，找到与查询变量模态最匹配的数据样本并进行局部建模，从而得到较高的预测精度[7]。因此，相似性样本的选择是即时学习能否取得良好的建模效果关键因素。相似性样本的选择往往基于数据样本之间的距离计算，忽略了变量之间的关系。文献[8]探讨并验证了基于回归系数和相关系数的两种变量加权方法能够取得更好的预测结果。在计算距离后，还需要指定样本的权重值。而不同的权重函数，所得到的权重值不同。同一权重函数的权重值指数的次数不同，模型的预测结果就会不同。因此，本文将探讨不同权重函数和权重系数的指数次数对模型预测精度的影响。

本文结构安排如下。第1章简单介绍了与输出相关的给变量加权的算法的研究；探讨了基于与输出相关的变量权重的不同阶次。第2章分别通过一个数值例子和一个实际例子的仿真，分析预测结果。第3章探讨了基于与输出相关的变量的不同权重函数对预测精度的影响，分别进行了数值和实际工业过程仿真。第4章给出了本文的结论。

1 与输出相关的变量加权算法的研究

传统的即时学习方法在进行变量选择时往往只考虑了输入变量之间的关系，而忽略了输入变量和输出变量之间的关系。变量选择相关性的重要程度往往直接影响预测结果的准确性。文献[8]总结了两种与输出相关的变量加权的方法。研究表明，将输入变量和输出变量之间关系考虑在内的变量的选择方法的预测精度明显高于传统的建模方法。

基于即时学习与输出相关的变量加权的算法是在传统的局部加权最小二乘(locally weighted partial least squares,LW-PLS)算法的基础上考虑了输入变量和输出变量之间的关系。一种方法是用回归系数作为权重给变量加权，另一种方法是用相关系数作为权重给变量加权。这两种算法的详细步骤见文献[8]。在LW-PLS中，输入数据XN×M和输出数据YN×L储存在历史数据库中。当需要预测查询变量xq的输出时，首先要计算查询变量xq和数据库中的样本数据xn(n=0,1,…,N)的相似性，然后局部PLS将会用来进行输出预测。相似性样本ωn的选择通常采用欧氏距离，而基于与输出相关的相似性样本的选择是在欧氏距离的基础上进行计算的，具体如下所示[8]。

(1)

(2)

Θ=diag(θ1,θ2,…,θM)

(3)

式中：φ为局部调节参数，通过调节φ来确定最优预测精度；N为数据库中数据样本的数量；M和L分别为输入变量和输出变量的维度；Θ为权重矩阵；θM为M维输入变量的权重系数；diag为取对角矩阵。

在基于与输出相关的给变量加权的基础上，探讨了基于与输出相关的变量权重的不同阶次对预测精度的影响。具体算法步骤如1.1节和1.2节所示。

1.1 基于回归系数给变量加权的步骤

① 标准化输入数据XN×M和输出数据YN×L并计算欧氏距离。

(4)

式中：Θ矩阵为最原始的单位矩阵。

②应用局部回归方法，获得最初的回归模型，详细步骤参见文献[9]。

(5)

③计算新的权重矩阵Θ。

Θ=diag[θ1(0)p,θ2(0)p,…,θM(0)p]

(6)

(7)

式中：p为指数的偶数次；dn(1)为根据输入变量与输出变量之间的相关性程度来计算得到的距离值；Θ的元素还可以取回归系数的绝对值[10]，即指数次数为0。

④再次采用局部回归方法，获得新的回归模型：

(8)

⑤计算均方误差M。

(9)

⑥改变指数次数p，转至执行步骤③，直至p=10。

1.2 基于相关系数给变量加权的步骤

①标准化输入数据XN×M和输出数据YN×L，并计算欧氏距离。

(10)

式中：Θ为最原始的单位矩阵。

②根据欧氏距离，选择相关局部数据点。

d≤c

(11)

式中：c为一个可调常数，c越大，选择的局部数据点越多。

③计算输入变量和输出变量的相关系数ρyxM。

④计算新的权重矩阵Θ。

(12)

(13)

⑤应用局部回归方法，获得回归预测模型。

(14)

⑥计算均方误差M。

(15)

⑦改变指数次数p，转至执行步骤④，直至p=10。

2 变量权重不同阶次的研究

本节主要探讨了用回归系数和相关系数的不同阶次作为权重时，对预测结果的准确度的影响。

2.1 关于权重的阶次的介绍

相似性测量在即时学习中起着非常重要的作用。与输出相关的相似性的选择能明显提高模型的预测精度[8]。权重系数的阶次不同，样本数据在模型中所占比重不同，对模型的预测结果就不同。换言之，与查询变量和输出变量相关性越强，样本数据的权重越大；与查询变量和输出变量相关性越弱样本数据，权重越小，模型的预测精度就越高。

2.2 仿真研究

本节分别通过一个仿真例子和一个实际工业例子，探讨权重阶次对模型精度的影响。

2.2.1 数值仿真

本例一共产生了六个输入变量。六个独立变量均由随机高斯分布随机产生，输出为前三个输入变量的非线性函数关系。输入和输出的具体设置如下[9-11]：

图1 两种算法在数值例子中的预测结果Fig.1 Prediction results of the two algorithms in numerical examples

从图1可以看出，不论是基于相关系数，还是回归系数的给变量加权的算法中，取权重系数的4次幂作为权重都能够取得最好的预测结果。仿真证明，并不是指数的次数越高，预测的结果就越好。指数的次数为4是最适合该数值例子的指数次数。

2.2.2 硫回收单元

硫回收单元是炼油厂中控制硫排放的重要装置[12]。在硫回收单元中，酸性气体流在排放到大气之前需要去除环境中的污染物，同时，要对硫元素进行回收[7]。硫回收单元的基本结构流程如图2所示。

图2 硫回收单元的基本结构流程图Fig.2 Basic structure flow chart of sulfur recovery unit

为了控制过程空气的进料比和检测过程的运行，需要对平台排放尾气中的H2S和SO2气体浓度进行测量分析。然而，在线分析仪的可靠性会随着时间的推移而降低，并且设备的维护和检修也耗时耗力。所以，软测量技术可以建模，以预测这两种气体的浓度。为了测量这两种气体的浓度，5个辅助输入变量分别为MEA区气体流量、MEA区第一空气流量、MEA区第二空气流量、SWS区气体流量和SWS区空气流量[12]，输出变量分别为H2S浓度和SO2浓度。

本节以H2S的浓度为例，一共从硫回收单元的过程中采集了800个数据。两种算法在实际过程中的预测结果如图3所示。

图3 两种算法在实际过程中的预测结果Fig.3 Prediction results of the two algorithms in the actual process

从图3可以看出，在硫回收单元中，由于过程的复杂性和非线性，在测量过程中也可能存在异常值。在基于相关系数的给变量加权的方法中，权重系数的绝对值变量加权的预测结果最好。在基于回归系数给变量加权的方法中，权重系数的指数次数为2的预测结果最好。模型的预测结果与权重系数的指数次数有关系，但并不是指数次数越高越好。在异常值比较多的复杂非线性过程中，取权重系数的绝对值或者指数次数较低的情况下的预测结果反而更好。

3 变量权重的权重函数的研究

在LW-PLS中，相似性样本的选择是即时学习的关键问题，进行相似性样本的选择时不仅要考虑输入变量之间的相关性，还要考虑输入变量和输出变量之间的相关性。本节所用的距离计算公式为欧氏距离，给变量加权的方法为基于相关系数的加权方法和基于回归系数的加权方法。而在进行距离计算后，往往还要指定各个样本的权重。权重函数一般为距离的函数，并且随着距离的增大，历史样本和查询样本之间的相似性应该越来越小，所以其权重系数也应该越来越小。接下来将探讨一些常见的权重函数对模型预测精度的影响。

3.1 关于权重函数的介绍

距离反映了历史样本和查询样本之间的相似性大小。权重函数根据距离的大小来分配权重，使得与查询变量相似性大的历史样本的权重大，与查询变量相似性小的历史样本的权重小甚至趋于零，从而减少无关样本数据的影响、提高模型的预测精度。常见的权重函数图像如图4所示。

图4 常见的权重函数图像Fig 4 A common image of a weight function

3.2 仿真研究

在本节中，分别通过一个仿真例子和一个实际工业例子来探讨不同的权重函数对模型预测精度的影响。

3.2.1 数值仿真

本数值例子采用文献[11]中所用例子，输入输出都有时变特征。本例共产生400个采样数据。其中，每个样本包含6个辅助变量x1～x6和一个输出变量y。前3个辅助变量分别由3个隐变量z1、z2和z3生成，三隐变量均随机产生于均匀分布区间[0,1]。辅助变量的具体设置如下[12]：

(16)

式中：N(0,0.1)为均值为0、方差为0.1的高斯正态分布。

为了仿真工业过程中的输入输出时变特性变化，将输出变量定义为：

(17)

从式(17)可以看出，在这个数值实例中，过程存在变量关系非线性和特性时变等特征。

为了建立模型和输出预测，本例中共采集了400个数据。其中，200个数据作为历史数据用来建立模型，另外200个数据用来进行模型的验证。表1给出了数值例子中4种权重函数在不同算法中的均方误差。

表1 数值例子中4种权重函数在不同算法中的均方误差Tab.1 Mean square error of the four weight functions in different algorithms in the numerical examples

从表1可以看出，对于具有时变特性的非线性过程，无论是传统的LW-PLS算法，还是改进的基于回归系数给变量加权的LW-PLS算法，权重函数为反比例函数的模型的预测精度都要高于其他三种权重函数的模型。这可以说明给权重函数为反比例函数的模型设置合适的参数在一定程度上可以解决过程时变特性的问题。而在基于相关系数的给变量加权的LW-PLS中，高斯函数作为权重函数的模型的预测结果要好于其他函数作为权重函数的模型。

3.2.2 硫回收单元

硫回收单元的基本原理如2.2.2节所示。本文以H2S的浓度为例。为了建立和验证模型，一共从过程中采集了800个数据。其中500个数据用来进行模型建立，300个数据用来进行模型验证。反复调节模型参数r，直至取得最佳的预测结果。表2给出了硫回收单元中4种权重函数在不同算法中的均方误差。

表2 硫回收单元中4种权重函数在不同算法中的均方误差Tab.2 Mean square error of four weight functions in different algorithms in sulfur recovery unit

如表2所示，在硫回收单元中的预测结果与数值例子中的一致，无论是在传统的LW-PLS，还是基于回归系数给变量加权的LW-PLS中，权重函数为反比例函数模型的算法预测精度都高于其他算法。而在基于相关系数给变量加权的LW-PLS中，高斯函数为权重函数的算法在这几种权重函数中仍然是预测精度最高的。

4 结论

本文在基于与输出相关给变量加权即时学习的算法基础上，分别探讨了同一权重函数权重的不同阶次和不同权重函数对模型的预测精度影响。模型的预测结果与权重系数的指数次数存在一定的关系。在一定范围内，权重的指数次数变高，模型的预测精度可能会提高。但这并不意味着指数次数越高越好。在异常值比较多的复杂非线性过程中，取权重系数的绝对值或者指数次数较低的情况下的预测结果反而更好。

对于常见的几种权重函数，在具有时变特性的复杂非线性工业过程中，传统的LW-PLS和基于回归系数给变量加权的LW-PLS中，权重函数为反比例的模型的预测精度都要高于其他几种权重函数的模型，说明给权重函数为反比例函数的模型在一定程度上可以解决过程时变特性的问题。而在基于相关系数的给变量加权的LW-PLS中，高斯函数作为权重函数的模型的预测结果要好于其他函数作为权重函数的模型。