基于改进极限学习机的入口氮氧化物预测
2018-08-17金秀章张少康
金秀章，张少康
(华北电力大学 控制与计算机工程学院，河北 保定 071003)
0 引 言
人工神经网络已经被广泛的研究，但是很少应用到工业中，主要是因为神经网络需要大量的时间来进行训练，不能满足工业上的需求[1]。极限学习机(ELM)具有学习速度快、泛化能力强的特点[2]，并被许多学者研究。将递推思想引入ELM中，提出了在线贯序极限学习机[3](OS-ELM)。
OS-ELM算法认为新旧训练数据的权重是相同的，对于时变系统而言，预测的效果并不理想[4]。虽然加入l2-正则化的算法可以降低对隐含层节点的依赖程度，但是仍然不能有效确定节点数，隐含层节点的多少会对预测产生很大的影响，节点较少不能完全表达数据信息[5]，节点过多可能出现过拟合的情况，降低预测的精度[6]。
基于上述问题，提出了一种基于自适应遗忘因子和灵敏度剪枝的极限学习机(SAFFOS-RELM)，自适应遗忘因子可以根据每次新到的数据进行更新，灵敏度剪枝算法可以优化初始的网络结构，在保证预测精度的条件下得到最优的隐含层节点数，减小计算的时间，将此算法应用到Mackey-Glass混沌时间序列和脱硝系统的入口氮氧化物时间序列中，并和OS-RELM、FFOS-RELM算法进行了对比，准确性和泛化能力得到了提高。
1 OS-ELM算法
OS-ELM的SLFN回归模型为
(1)
式中：g(·)为激活函数，ai和bi为隐层的参数，βi为隐含层第i个节点到输出层之间的权值，L为隐层节点数。
(2)
将式(2)改为矩阵形式，如下所示
Hβ=y
(3)
式中
(4)
(5)
贯序更新阶段只对输出权重β进行更新，矩阵H中的参数是随机得到的，输出权重的公式如下
(6)
通过对式(6)的推导可以得OS-ELM算法的步骤如下：
1)建立一个初始训练数据D0。
2)选取激活函数g(·)，随机产生隐含层参数ai和bi，i=1,2,…,L。
3)根据式(4)计算H0。
5)令k=0。
(2)贯序更新阶段：
1)根据式(4)和第k+1次的数据得到Hk+1。
2)根据下式计算每次的输出权值公式
3)令k=k+1，返回(2)中的步骤1)继续执行。
2 SAFFOS-RELM算法
2.1 FFOS-RELM算法
OS-ELM中加入l2-正则化方法避免矩阵HTH出现奇异的情况，降低网络预测误差。加入l2-正则化方法[9]，转化为以下寻优问题
(7)
式中：C为正则化系数，对式(7)求解可以得出
β=(HTH+I/C)-1HTy
(8)
则FFOS-RELM算法的递推公式如下：
根据式(8)可知，初始的输出权重为
(9)
(10)
(11)
式中
(12)
(13)
把式(13)带入式(11)可得
(14)
依次类推，可得递推公式如下
(15)
(16)
(17)
(18)
(19)
OS-RELM算法的输出权重在更新时新旧数据占的比重是相同的，对于时变系统，新数据更能体现当前的情况。这里加入遗忘因子，根据新到的数据信息来更新输出权值，对新数据更加敏感，非常适合时变系统[11]。新来的数据个数Tk+1=1，在贯序更新阶段把式(19)变为
(20)
(21)
(22)
(23)
(24)
式中：εk+1为中间变量，λk为第k次的遗忘因子，并且满足0<λk≤1，λk越小，则旧数据的影响越小，第k+1次的遗忘因子公式如下
(25)
(26)
(27)
vk+1=λk(vk+1)
(28)
式中：ρ是一个固定的常数，初始的γ和v是0到1之间的数，遗忘因子越大代表旧数据占的比重越大，遗忘因子越小，新数据占的比重越大。
FFOS-RELM算法具体步骤如下：
1)选取激活函数g(·)，随机产生隐含层参数ai和bi,i=1,2…L。
2)根据式(4)、D0计算H0。
4)令k=0。
(2)贯序更新阶段
1)当第k+1次数据到来时，根据式(4)求得Hk+1。
3)如果ξk+1=0，则令Pk+1=Pk；如果ξk+1>0，则根据式(23)、式(24)求得Pk+1。
4)根据式(26)、式(27)、式(28)计算ηk+1、γk+1、vk+1。
5)根据式(25)计算下一步的遗忘因子λk+1，返回(2)中1)继续执行。
2.2 灵敏度剪枝算法
上述的FFOS-RELM算法加入了正则化机制降低了对隐含层节点数的依赖性，但仍然不能确定隐层节点数，这里根据灵敏度剪枝算法来优化初始的网络结构，提高计算的速度和准确度。
2.2.1 灵敏度和网络规模适应度定义
记
kij=gi(xj)=g(aixj+bi)
(29)
i=1,2,…N0
由式(2)可以得到输入为xj时的预测值yj为
yj=k1jβ1+k2jβ2+…+kLjβL
(30)
假设删除第一个节点，则网络的输出变为
(31)
由式(30)和式(31)可得残差为
(32)
由式(32)可知，根据残差定义第i个节点的灵敏度为
(33)
式中：N0为初始训练样本的个数，kij为第j个输入在第i个隐层节点下的输出，βi为隐层第i个节点的输出权值，可以看出灵敏度越大，代表节点的重要性越大，把灵敏度进行排序，如下所示
(34)
由灵敏度定义网络规模适应度为
(35)
Mk越大，残差越小，可以设置阈值来确定网络的规模，公式如下
M=minkMk≥θ,1≤k≤L
(36)
式中：θ为设定的阈值，网络规模为M，剔除L-M个节点，阈值的大小通过试凑法得到，为了保存剔除的数据，需要对隐含层参数进一步更新。
2.2.2 权值的更新
剔除的隐层节点参数信息平均加到剩余节点，设M为剩余的节点数，L-M为剔除的节点，记R={i1,i2,…iM}是保留的节点数，D=d1,d2,…dL-M是剔除的节点，则隐层参数更新公式为
(37)
3 Mackey-Glass混沌时间序列的多步预测
混沌系统常用来检验非线性系统性能[12,13]，Mackey-Glass混沌时间序列方程如下所示
式中：τ为可调的时滞参数，当τ>17的时候出现混沌现象，并且τ值越大现象越明显，利用四阶龙格-库塔法寻找方程的解，用如下方式选取1000个数据
[y(t-18),y(t-12),y(t-6),y(t);y(t+6)]
式中：t=19,20,…,1018，前四项作为输入，最后一项为输出。选取初始的训练数据为150，初始的隐含层节点数为100，初始的遗忘因子λ0=1，γ0、v0为0到1之间的随机数，固定常数ρ=3.8，正则化系数C=1000。灵敏度剪枝算法中的阈值对网络性能影响很大，设置范围为[0,1]，间隔为0.1，仿真结果如图1所示，可以看出随着θ的增大，被删除的节点数越少，RMSE随之变小，从图1中可以看出选取阈值范围在[0.6,1]之间，可以有效表达网络的结构。
图1 网络规模适应度和隐含层节点的关系
综合考虑预测的时间和精度，选取γ=0.7，此时剩余的节点数为37。比较不同算法下以平均绝对值误差、均方根误差和时间，公式如下
与OS-RELM、FFOS-RELM算法进行比较，结果见表1。
表1 6步预测的结果
从表1可以看出，FFOS-RELM算法由于加入了遗忘因子，预测的准确性得到了很大的提升，并且训练时间和OS-RELM几乎一样，SAFFOS-RELM对初始的网络进行了剪枝，得到了更加紧凑的网络结构，可以看出大大节省了预测时间，并且预测精度也得到了提高，为了更直观观察，图2画出了不同算法下的误差曲线。
图2 入口氮氧化物误差曲线
4 入口氮氧化物时间序列预测
为了进一步验证SAFFOS-RELM算法的有效性，实验数据选取某660M电厂的脱硝系统，数据之间的间隔为10 s，通过对数据进行剔除异常值处理，选取了不同负荷下的320个数据，对数据进行归一化处理，方便网络的计算。初始的训练数据T0=150，隐含层个数为100，正则化系数C=1000，初始的遗忘因子γ0=1，γ0、v0为0到1之间的随机数，固定常数ρ=3.8，网络规模适应度阈值θ=0.8，剩余的节点为25。入口氮氧化物的预测模型如下
y(t+D)=f(y(t-1),y(t-2),…y(t-Δ))
其中，D为预测步长，Δ为嵌入维数，选取Δ=4；对数据进行多步预测，这里选取D=3，并计算预测时间、绝对值平均误差、均方根误差，并和OS-RELM、FFOS-RELM算法进行比较，见表2。
从表2中可以看出，预测的平均绝对值误差和均方根误差从大到小为：OS-RELM、FFOS-RELM、SAFFOS-RELM，因为加入自适应遗忘因子的FFOS-RELM算法可以根据新到的数据改变旧样本和新样本之间的权重，预测精度得到了提高，加入灵敏度剪枝算法得到更加紧凑的网络，提高了网络的泛化能力；预测时间从大到小为：FFOS-RELM、OS-RELM、SAFFOS-RELM，剪枝算法使网络结构更紧凑，运算速度得到了大大的提升，并且因为删除了隐含层冗余节点数，提高了预测精度。图3给出了在不同算法下的预测值和真实值，图4给出了不同算法下的相对误差，由图4可以看出SAFFOS-RELM的相对误差在3%以内，可以有效地预测。
表2 3步预测的结果
图3 入口氮氧化物的3步预测结果
图4 入口氮氧化物3步预测相对误差
5 结束语
本文提出了一种基于遗忘因子与灵敏度剪枝的极限学习机(SAFFOS-RELM)。加入自适应遗忘因子，赋予了新旧样本不同的权值，更加适用于时变系统，利用灵敏度剪枝算法对初始的网络结构进行优化，删除了网络中的冗余节点，得到最佳的网络结构，以Mackey-Glass混沌时间序列和入口氮氧化物时间序列为例验证了算法的泛化能力。仿真结果表明，SAFFOS-RELM算法的计算时间和模型泛化能力都要优于FFOS-RELM、OS-RELM算法，对于工业中的其它时变系统的时间序列也同样适用。
