采用限定记忆极限学习机的过热汽温逆建模研究

王万召，王杰

（郑州大学电气工程学院，450001，郑州）

自适应逆控制是由美国斯坦福大学Widrow教授于1986年首次提出来的，现已成为解决参数时变、非线性的热工对象控制问题的一个研究热点［1-3］。如何利用生产现场采样数据来实时在线辨识被控热工对象的逆模型，成为实现自适应逆控制方案的关键问题［4-7］。

针对神经网络传统梯度学习算法存在的训练速度慢，容易陷入局部极小点等问题，Huang等提出了一种新学习算法——极限学习机 （Extreme Learning Machine，ELM）［8-9］，凭借其卓越的学习能力，受到国内外研究者的广泛重视，并已在模式识别和函数估计领域得到了广泛应用［10-12］。近年来一些学者又提出了极限学习机在线学习算法［13-14］，但随着学习时间的推移，这些在线算法的增益矩阵将渐渐趋于零，导致在线学习算法慢慢失去权值修正能力，并最终出现“数据饱和”现象。

本文提出一种新的极限学习机在线学习算法，该算法中神经网络权值仅依赖于有限个新采样数据，每增加一个新采样数据，就去掉一个旧采样数据，学习数据长度始终保持不变，因此该算法可称为限定记忆法在线学习算法。随后，将该算法应用于参数时变的过热汽温对象的逆模型建模过程，仿真结果表明，该算法能有效地克服 “数据饱和”现象，提高学习精度，是一种先进的过热汽温对象在线逆建模方法。

1 极限学习机批量式学习算法

典型的具有N个隐含层节点的单隐层前馈神经网络的输出可以表示为

式中：ai为输入层对隐含层第i个神经元的连接权值；bi为隐含层第i个神经元的阈值；βi为隐含层第i个神经元到输出的连接权值；G（ai，bi，x）为隐含层的激活函数；x为输入向量。

假设从k时刻到k+L-1时刻的时间段内具有L个样本的训练集输入矩阵X0和输出向量Y0分别为

当激活函数G（ai，bi，x）无限可微时，SFLN 的参数不需要全部进行调整，ai和bi可以在学习前随机选择，且在训练过程中保持恒定，而隐含层与输出的连接权值β（0）可通过求解以下方程的最小二乘解［12］得到

式中：H0是包含k至k+L-1时刻间共L个采样数据的隐含层数据矩阵

其解为

其中

显然，批量式学习算法的特点是一次注入所有的训练样本进行学习，因此只能离线应用，如果学习样本是在线采集的话，就必须使用在线学习算法。

2 极限学习机限定记忆学习算法

2.1 增长记忆极限学习机算法

假设随着采样过程的进行，增加一组新的采样数据（xk+L，yk+L），这时包含k至k+L时刻共L+1个采样数据的隐含层数据矩阵为

采用批量学习算法，则包含k至k+L时刻共L+1个采样数据信息的隐含层与输出连接权值向量β（1）可通过求解以下方程的最小化获得

由式（12），利用矩阵反演公式得

由式（13）、（14），基于第一步的辨识结果β（0）、加上第k+L+1时刻的采样信息（xk+L，yk+L），可以通过递推运算，获得包含k至k+L时刻共k+L+1个采样数据信息的隐含层与输出连接权值向量β（1）。这样能够充分利用以前的辨识结果，避免重复计算［15］。但是，如果仅采用上述增加新采样数据信息的方法进行迭代运算，就会带来“数据饱和”问题。

由式 （7）、（12）可知，K0、K1均是正定的，则

可见，增量记忆极限学习机中的增益矩阵是随着采样时间k的增加而递减的正定阵。令K-1表示增量记忆极限学习机的增益矩阵，则当k→∞时，K-1→0。当增益矩阵K-1趋近于零矩阵，由式（13）可知修正项不再起作用，递推算法失去修正能力，并最终出现“数据饱和”问题。

2.2 限定记忆极限学习机算法

产生“数据饱和”的原因是学习算法对新、老采样数据给予相同的信任度，这样随着从新采样数据中获得的信息量相对下降，学习算法就会渐渐失去修正能力。克服“数据饱和”最有效的方法是确保权值β始终只依赖于有限个最新采样数据所提供的信息，每增加一个新采样数据，就去掉一个最旧的采样数据，学习数据长度始终保持不变。因此，每当增加一组新的k+L时刻采样数据（xk+L，yk+L），为保持辨识信息数据长度L不变，就需要去掉k时刻信息（xk，yk）的影响。仅考虑包含k+1至k+L时刻共L个采样数据信息，与此对应的隐含层数据矩阵为

采用批量学习算法，则包含k+1至k+L时刻共L个采样数据信息的隐含层与输出连接权值向量

式中

由式（18），利用矩阵反演公式可得由式（21），基于第二步的辨识结果β（1）、消去第k时刻的采样信息（xk，yk），可以通过递推运算获得包含k+1至k+L时刻共L个采样数据信息的隐含层与输出连接权值向量β（2）。

根据以上的推导过程，限定记忆极限学习机算法主要包括以下几个具体学习步骤。

步骤1 确定隐含层神经元的数目，随机选择输入层与隐含层的连接权值ai和隐含层神经元的阈值bi。

步骤2 选择一个无限可微的函数作为隐含层神经元的激活函数G（ai，bi，x），并计算隐含层输出矩阵。

步骤3 根据一批采样数据，利用极限学习机批量算法，预先求得β（0）、，为了减少计算量，数据长度L不宜取太大。

步骤4 每获得一组新的采样数据（ak+L，yk+L），先利用式（13）、（14）计算β（1）、，增加新数据的信息；再利用式（20）、（21）计算β（2）、，去掉老数据的信息。

不断迭代，始终保持着固定不变的数据长度，可以防止出现“数据饱和”现象，最终获得隐含层与输出层连接权值的理想值。

3 仿真实验及分析

为比较验证本文所提限定记忆极限学习机算法与文献［15］中的数据长度随采样进行不断增长的增长记忆极限学习机算法的性能，将这两种算法同时应用于参数时变的过热汽温对象逆模型的学习过程。文献［2，16］给出了某台超临界压力锅炉在不同负荷时的传递函数，如表1所示。

过热汽温对象的输入u为减温水流量的变化，单位为kg／s，输出y为锅炉过热汽温的变化，单位为℃。取逆动力学模型的输入向量为

表1 过热汽温的动态特性（传递函数）

为了检验所提算法对于时变对象逆模型的学习能力，这里以输入函数

在大负荷变化范围内驱动过热汽温对象，对象在0～500s位于100%负荷，500～1 000s位于75%负荷，1 000～1 500s位于50%负荷。采样时间取1s，获得1 500组采样数据［u（k），y（k）］。利用这些采样数据，根据式（22）获得辨识逆模型所需的输入向量。采用单隐含层前馈神经网络来逼近逆模型，网络结构为4-5-1，隐含层的激活函数选用Sigmoid函数，输出层为纯线性函数，网络的输入为x（k），输出为u（k）。在仿真中比较本文所提出的限定记忆ELM学习算法与文献［15］所提到的增长记忆ELM学习算法，初始值β（0）、K-10使用批量极限学习机离线事先求得，增长记忆ELM学习算法的仿真结果分别如图1、图2所示，限定记忆ELM学习算法的仿真结果分别如图3、图4所示。

图1、图3上面子图中的虚线表示过热汽温对象的输入u（k）（逆模型学习网络的期望输出），实线表示逆模型学习网络的实际输出um（k）；下面的子图表示逆模型实际输出与期望输出的误差曲线。图2、图4中曲线表示神经网络隐含层与输出连接权值向量β的5个分量（隐含层有5个节点）的学习过程。

为比较精度，本文采用式（24）的性能指标来衡量所建逆模型的精度

式中：l为总的采样点数；u（k）为过热汽温对象的实际输入；um（k）为过热汽温对象逆模型的输出；e（k）为过热汽温对象逆模型的输出与对象实际输入的差值，即逆模型建模误差。

图1 增长记忆在线极限学习机的仿真结果（RMSE=0.001 0）

图2 增长记忆在线极限学习机权值学习过程

图3 限定记忆在线极限学习机的仿真结果（RMSE=4.176×10-6）

由图1、图3比较可以看出，相比于增长记忆学习算法，限定记忆学习算法的学习精度有了很大的提高。由图2、图4比较可以看出，当时间t＞500s以后，常规增长记忆学习算法就丧失了权值修正能力，继续递推下去也不会改善学习结果，即出现了“数据饱和”现象。而限定记忆极限学习机随着时间的增长权值会不断改善，说明它具有克服“数据饱和”的能力，这也说明了为何限定记忆极限学习机具有更高的学习精度。

图4 限定记忆在线极限学习机权值学习过程

4 结 论

本文提出的限定记忆极限学习机在线学习算法能有效克服“数据饱和”现象，可以在递推计算中不断改善权值学习结果。尤其对于时变对象逆建模来说，可以保证权值学习，及时跟踪对象特性参数的变化，相对于常规的增量记忆学习算法具有更高的学习精度。利用本文所提出的学习算法对过热汽温对象在线逆建模，结果显示了该方法的有效性和优越性，是一种实用的参数时变对象在线逆建模技术。

［1］ 韩璞，张海琳，张丽静.神经网络自适应逆控制的仿真研究 ［J］.华北电力大学学报，2001，28（3）：26-30.HAN Pu，ZHANG Hailin，ZHANG Lijing.Simulation study of neural network based adaptive inverse control［J］.Journal of North China Electric Power University，2001，28（3）：26-30.

［2］ 党映农，韩崇昭.基于Volterra基函数网络的自适应逆控制方法 ［J］.西安交通大学学报，2000，34（9）：8-12.DANG Yingnong，HAN Chongzhao.Adaptive inverse control based on Volterra polynomial basis function neural networks［J］.Journal of Xi’an Jiaotong University，2000，34（9）：8-12.

［3］ 王广军，邓良才，陈红.锅炉汽温对象逆动力学过程模糊辨识 ［J］.中国电机工程学报，2007，27（20）：76-80.WANG Guangjun，DENG Liangcai，CHEN Hong.Fuzzy identification on inverse dynamic process of steam temperature object of boiler［J］.Proceedings of the Chinese Society for Electrical Engineering，2007，27（20）：76-80.

［4］ GELFAND S B，GMEIER J V.The stability of varia-ble step-size LMS algorithms ［J］.IEEE Transactions on Signal Processing，1999，47（12）：3277-3288.

［5］ 罗小东，贾振红，王强.一种新的变步长LMS自适应滤波算法 ［J］.电子学报，2006，6（6）：1123-1126.LUO Xiaodong，JIA Zhenhong，WANG Qiang.A new variable step size LMS adaptive filtering algorithm［J］.Acta Electronica Sinica，2006，6（6）：1123-1126.

［6］ 刘亚秋，马广富，石忠.NARX网络在自适应逆控制动态系统辨识中的应用 ［J］.哈尔滨工业大学学报，2005，37（2）：173-176.LIU Yaqiu，MA Guangfu，SHI Zhong.NARX network for dynamic system identification in adaptive inverse control［J］.Journal of Harbin Institute of Technology，2005，37（2）：173-176.

［7］ 钟伟民，皮道映，孙优贤.基于支持向量机的直接逆模型辨识 ［J］.控制理论与应用，2005，22（2）：307-310.ZHONG Weimin，PI Daoying，SUN Youxian.Support vector machine based direct inverse-model identification［J］.Control Theory and Application，2005，22（2）：307-310.

［8］ HUANG Guangbin，SIEW C K.Extreme learning machine：RBF network case［C］∥Proceedings of the 8th International Conference on Control，Automation，Robotics and Vision.Piscataway，NJ，USA：IEEE，2004：1029-1036.

［9］ HUANG Guangbin，SIEW C K.Extreme learning machine with randomly assigned RBF kernels［J］.International Journal of Information Technology，2005，11（1）：16-25.

［10］HANDOKO S D，KEONG K C，SOON O Y，et al.Extreme learning machine for predicting HLA-peptide binding［C］∥Proceedings of the Advances in Neural Networks.Berlin，Germany：Springer-Verlag，2006：716-721.

［11］LIANG Nanying，SARATCHANDRAN P，HUANG Guangbin.Classification of mental tasks from EEG signals using extreme learning machine ［J］.International Journal of Neural Systems，2006，16（1）：29-38.

［12］HUANG Guangbin，ZHU Qinyu，SIEW C K.Extreme learning machine：theory and applications ［J］.Neurocomputing，2006，70（1）：489-501.

［13］LIANG Nanying，HUANG Guangbin，SARATCHANDRAN P，et al.A fast and accurate online sequential learning algorithms for feedforward networks ［J］.IEEE Transactions on Neural Networks，2006，17（6）：1411-1423.

［14］HUANG Guangbin，SARATCHANDRAN P，SUN-DARAAJAN N.An efficient sequential learning algorithm for growing and pruning RBF （GAP-RBF）networks［J］.IEEE Transactions on System，Man，and Cybernetics，2004，34（6）：2284-2292.

［15］FENG Guorui，HUANG Guangbin，LIN Qingping，et al.Error minimized extreme learning machine with growth of hidden nodes and incremental learning ［J］.IEEE Transactions on Neural Networks，2009，20（8）：1352-1357.

［16］范永胜，徐治皋，陈来久.基于动态特性机理分析的锅炉过热汽温自适应模糊控制系统研究 ［J］.中国电机工程学报，1997，7（1）：23-28.FAN Yongsheng，XU Zhigao，CHEN Laijiu.Study of adaptive fuzzy control of boiler superheated steam temperature based on dynamic mechanism analysis ［J］.Proceedings of the Chinese Society for Electrical Engineering，1997，7（1）：23-28.