基于神经网络的Hammerstein非线性动态系统辨识

刘华卿 李峰 李诚豪 高歌 王翔 杨兵兵 刘宏帅

摘    要：针对单输入单输出的Hammerstein非线性动态系统，提出了一种基于神经网络的Hammerstein非线性动态系统辨识方法。首先，利用BP神经网络建立Hammerstein非线性系统的静态非线性模块，利用自回归模型建立Hammerstein非线性系统的动态线性模块;其次，基于二进制信号的输入和输出，利用经典的最小二乘方法计算动态线性模块的未知参数;最后，利用随机梯度下降方法辨识BP神经网络的权值。仿真结果表明，提出的方法能够有效辨识基于神经网络的Hammerstein非线性动态系统。

关键词：Hammerstein非线性系统;神经网络;最小二乘;随机梯度

中图分类号：TP273                文献标识码：A               文章编号：2095-7394（2021）02-0009-07

Hammerstein非线性系统由静态非线性模块和动态线性模块串联而成，是一种典型的非线性系统。研究表明，该系统能够有效地描述大多数非线性特性，适合蒸馏塔[1-2]、换热器[3-4]、连续搅拌反应器[5-6]、pH中和过程[7-8]以及干燥过程[9]等过程模型使用;因此，Hammerstein非线性系统得到了系统辨识和自动控制界的广泛认可和关注。近年来，国内外研究人员提出了诸多Hammerstein非线性系统的辨识方法，主要包括：子空间方法[10-11] 、过参数化方法[12-13]、迭代方法[14-15]、盲辨识方法[16]以及多信号源方法[17-18]等。

在非线性系统的建模研究领域中，神经网络模型能够较好地反映对象的动态特性和复杂的非线性映射关系，具有较强的自学习能力和非线性处理能力。近年来，神经网络模型已成功应用于Hammerstein非线性系统的建模和辨识研究：JANCZAK A [19]利用多层神经网络逼近Hammerstein模型的静态非线性，提出了四种不同的在线梯度学习算法来训练Hammerstein模型;吴德会[20]将Hammerstein模型的辨识问题转化为神经网络的训练问题，再采用误差反向传播算法求解迭代训练问题;WANG W等[21]采用偏最小二乘法对数据进行降维和分数向量提取，内部模型由递归神经网络和Hammerstein模型组成。然而，上述辨识方法虽然取得了较好的辨识效果，但在辨识的模型中包含了模型参数的乘积项，需要通过分解技术将各模块的未知参数分离出来，因而增加了辨识的复杂度。

针对上述辨识方法中存在的问题，本文提出了一种基于神经网络的Hammerstein非线性动态系统辨识方法：首先，利用BP神经网络建立Hammerstein的静态非线性模块，利用自回归模型建立Hammerstein的动态线性模块;其次，基于二进制信号的输入和输出，利用经典的最小二乘方法计算动态线性模块的未知参数;在此基础上，基于随机信号的输入输出，利用随机梯度下降方法辨识BP神经网络的权值。仿真结果表明，提出的方法能够有效辨识基于神经网络的Hammerstein非线性动态系统。

1   问题描述

考虑单输入单输出Hammerstein非线性动态系统，其结构如图1所示。

Hammerstein非线性动态系统的数学表达式如下：

2   神经网络Hammerstein非线性动态系统辨识

本文在团队前期的研究基础上[22]，利用組合式信号源研究Hammerstein非线性动态系统的非线性模块和线性模块参数辨识的分离。从图3可以看出，组合式信号源由幅值为0和非零值的二进制信号以及随机信号构成。研究表明：如果系统输入的为二进制信号[u（k）]，则相应的中间变量[v（k）]为与[u（k）]同频率不同幅值的二进制信号，结果如图4所示;中间不可测变量[v（k）]的值可以利用系统输入[u（k）]来代替，其幅值的倍数可以用常数增益因子[β]进行补偿。因此，在二进制信号作用下，能够实现Hammerstein非线性动态系统的非线性模块和线性模块参数辨识的分离。

2.1  动态线性模块的辨识

根据上述分析结果，基于二进制信号的输入输出数据，利用最小二乘算法估计动态线性模块的参数，即：

2.2  静态非线性模块的辨识

基于以上参数估计结果，利用随机信号的输入输出数据辨识BP神经网络的权值，即[w1j]和[w2j]。权值求解的本质是一个非线性优化问题，本文采用随机梯度下降方法调整各层之间的权值，即神经网络的输入层至隐含层权值以及隐含层至输出层权值。

从式（13）和（17）可以看出，提出的算法只是按照[k]时刻的负梯度方向进行修正，并没有考虑到[k]时刻之前的梯度方向;因此，导致学习过程发生振荡，收敛速度慢。为了克服这一问题，在算法中加入动量项。加入动量后的权值更新如下：

3    仿真研究

为了验证本文提出的两阶段辨识方法的有效性，将该方法运用到Hammerstein非线性动态系统中：

为了辨识神经网络Hammerstein非线性动态系统的参数，采用如图5所示的输入输出数据。系统输入数据集包括：（1）200组幅值为0或者1的二进制信号;（2）400组在区间[-1， 1]上均匀分布的随机信号。

基于二进制信号的输入输出数据，利用经典最小二乘算法估计动态线性模块的未知参数，即：

在动态线性模块估计的基础上，基于随机信号的输入和输出数据，利用随机梯度下降算法辨识静态非线性模块的参数，即神经网络的输入层至隐含层权值以及隐含层至输出层权值。文中设置隐含层神经元的数目为12，计算得到：输入层至隐含层权值为[-3.388 5，-2.446 2，1.601 3，-3.166 5，-0.316 9，-3.172 9，-3.181 4，-2.188 2，-2.484 8，-0.890 1，-3.281 64，-2.963 4];隐含层至输出层权值为[-0.252 5，0.057 1，1.581 3，-0.314 6，0.772 2，-0.320 3，-0.330 1，0.193 4，-0.073 0，0.355 4，-0.384 7，0.070 9]。

圖6给出了静态非线性函数的估计，从图6中可以看出，提出的梯度下降算法能够有效近似Hammerstein非线性动态系统的非线性模块。

为了验证本文提出的两阶段辨识方法的有效性，随机产生400组测试信号用于辨识系统的预测，系统预测误差的均方差（Mean Square Error，MSE）为0.043 4，如图7所示。从图7中可以看出，提出的方法对Hammerstein非线性动态系统具有较强的预测能力。

4    结语

本文针对单输入单输出的Hammerstein非线性动态系统，提出了一种基于神经网络Hammerstein非线性动态系统的两阶段辨识方法。在研究中，利用BP神经网络建立Hammerstein的静态非线性模块，利用自回归模型建立Hammerstein的动态线性模块。在此基础上，通过组合式信号源实现Hammerstein非线性动态系统静态非线性模块和动态线性模块的分离辨识，其组合式信号源包括二进制信号和随机信号。首先，基于二进制信号的输入输出数据，根据经典的最小二乘方法估计动态线性模块中多项式模型的参数;其次，利用随机梯度下降算法估计静态非线性模块中神经网络的输入层至隐含层权值以及隐含层至输出层权值。仿真结果表明，提出的两阶段辨识方法能够有效辨识Hammerstein非线性动态系统中的未知参数。基于本文的研究结果，后续将进一步考虑多输入多输出系统，研究多输入多输出Hammerstein非线性动态系统的建模和辨识方法。

参考文献：

[1] RAMESH K， HISYAM A， AZIZ N， et al. Nonlinear model predictive control of a distillation column using wavenet based Hammerstein model[J]. Engineering Letters，2012，20（4）：330-335.

[2] BHANDARI B N， ROLLINS D. Continuous-time Hammerstein nonlinear modeling applied to distillation[J]. AICHE Journal，2004，50（2）：530-533.

[3] PRSIT D， NEDIT N， FILIPOVIT V， et al. Multilinear model of heat exchanger with Hammerstein structure[J]. Journal of Control Science and Engineering，2016：1-7.

[4] ZHANG H T， LI H X， CHEN G. Dual-mode predictive control algorithm for constrained Hammerstein systems[J]. International Journal of Control，2008，81（10）：1609-1625.

[5] LI F， JIA L， PENG D， et al. Neuro-fuzzy based identification method for Hammerstein output error model with colored noise[J]. Neurocomputing，2017，244：90-101.

[6] LI F， Chen L， WO S， et al. Modeling and parameter learning for the Hammerstein-Wiener model with disturbance [J]. Measurement and Control，2020，53（5-6）：971-982.

[7] 邹志云，郭宇晴，王志甄，等.非线性Hammerstein模型预测控制策略及其在ph中和过程中的应用[J].化工学报，2012，60（12）：3965-3970.

[8] CHEN H T， HWANG S H， CHANG C T. Iterative identification of continuous-time Hammerstein and Wiener systems using a two-stage estimation algorithm[J]. Industrial and Engineering Chemistry Research，2009，48（3）：1495-1510.

[9] LI D， JIA Y， LI Q， et al. Identification and nonlinear model predictive control of MIMO Hammerstein system with constraints[J]. Journal of Central South University，2017，24（2）：448-458.

[10] GOMEZ J C， BAEYENS E. Subspace-based identification algorithms for Hammerstein and Wiener models[J]. European Journal of Control，2005，11（2）：127-136.

[11] WANG J S， CHEN Y P. A Hammerstein recurrent neurofuzzy network with an online minimal realization learning algorithm[J]. IEEE Transactions on Fuzzy Systems，2008，16（6）：1597-1612.

[12] 向微，陈宗海.基于Hammerstein模型描述的非线性系统辨识新方法[J].控制理论与应用，2007，24（1）：143-147.

[13] FILIPOVIC V Z. Consistency of the robust recursive Hammerstein model identification algorithm[J]. Journal of the Franklin Institute，2015，352（5）：1932-1945.

[14] BAI E W， LI D. Convergence of the iterative Hammerstein system identification algorithm[J]. IEEE Transactions on Automatic Control，2004，49（11）：1929-1940.

[15] LIU Y，BAI E W. Iterative identification of Hammerstein systems [J]. Automatica，2007，43（2）：346-354.

[16] BAI E W， FU M. A blind approach to Hammerstein model identification[J]. IEEE Transactions on Signal Processing，2002，50（7）：1610-1619.

[17] LI F，JIA L，PENG D. Identification method of neuro-fuzzy-based Hammerstein model with coloured noise[J]. IET Control Theory and Applications，2017，11（17）：3026-3037.

[18] LI F， JIA L. Correlation analysis-based error compensation recursive least-square identification method for the Hammerstein model[J]. Journal of Statistical Computation and Simulation，2018，88（1）：56-74.

[19] JANCZAK A. Neural network approach for identification of Hammerstein system[J]. International Journal of Control，2004，76（17）：1749-1766.

[20] WU D.  Neural network identification of Hammerstein nonlinear dynamic systems[C]// Proceedings of the 29th Chinese Control Conference，2010：1242-1246.

[21] WANG W，CHAI T，ZHAO L. Dynamic partial least squares modeling of recurrent neural networks with stable learning[J]. Control Theory and Applications，2012，29（3）：337-341.

[22] 李峰，謝良旭，李博，等.基于组合式信号的Hammerstein OE模型辨识[J].江苏理工学院学报，2019，25（6）：66-72.

责任编辑    盛    艳