多输入Wiener非线性系统的Levenberg-Marquardt迭代算法研究

周林成，朱巨江，李向丽

（常熟理工学院 电气与自动化工程学院，江苏 常熟 215500）

多输入Wiener非线性系统的Levenberg-Marquardt迭代算法研究

周林成，朱巨江，李向丽

（常熟理工学院 电气与自动化工程学院，江苏 常熟 215500）

在许多实际过程控制中，多变量或者多输入系统是广泛存在的. 针对这一情况，本文主要研究了具有多个输入并且输出单一的Wiener非线性系统的参数估计和辨识问题. 首先运用关键项分离技术，得到一个可辨识的多输入Wiener非线性模型，针对模型的未知参数提出了Levenberg-Marquardt迭代辨识算法进行估计和辨识，最后运用数值仿真校验了算法的效果.

多输入系统；Wiener非线性模型；Levenberg-Marquardt迭代算法；参数估计

在许多实际生产和工业控制过程中，经常可以用多变量模型建模部分被控对象或者全部的被控对象，故此多变量系统（多输入系统）的研究比单变量系统更有价值，受到研究者的广泛关注. 在多变量系统中，由于其工艺机理复杂，各反应变量之间互相相关，常用的控制和辨识方法往往不能获得满意的效果，因此需要结合多变量系统的特点进行改进，所以研究多变量系统（尤其是多变量非线性系统）的新辨识方法就显得极为重要. 到目前为止，许多学者针对线性的多输入系统的参数辨识展开了研究，并获取了一定的研究成果. 文献［1］通过状态变换把系统转化为可辨识的状态空间模型，结合最小二乘原理，推导出了一种能够辨识线性多变量时滞系统未知参数的最小二乘递推辨识方法. 针对多个输入多个输出与多个输入单个输出的线性动态系统，文献［2］和［3］基于多信息理论和梯度搜索理论，给出了增广随机梯度辨识算法和多信息梯度辨识算法推导过程，并对这两种算法进行了收敛分析.

上述所提及的算法对线性多变量系统能够进行参数估计和辨识. 但涉及到具有多个输入的Wiener非线性系统，由于此类系统存在未知的中间变量，并且中间变量不可得到或测量，因此运用这些已有的算法估计和辨识多输入Wiener非线性系统的未知参数时，往往不能得到正确的结果. 针对这个存在的辨识问题，本文根据Levenberg-Marquardt搜索特性，研究一类新的迭代算法，该算法不仅可以达到牛顿迭代算法的二次收敛速度，而且具备梯度迭代算法计算量小的优点，并把该算法用于辨识多输入Wiener非线性系统，提出了针对该系统的Levenberg-Marquardt迭代算法.

1 多输入Wiener系统模型

如图1所示，通过把一个具有多输入的线性动态子系统和一个具有静态特性的非线性子系统进行级联，可构成多输入单输出Wiener非线性系统.

下式是具有多输入的线性动态子系统的表达式：

图1 具有多输入单输出的Wiener非线性系统

多输入Wiener系统的具有无记忆的非线性子系统，其结构一般可用一组非线性基函数（阶数已知）的和来表示［4-5］，即

非线性基函数一般可取三次样条非线性，在本文中，假设非线性函数ℵ(g)由s阶的多项式构成

多项式阶数s是已知的. 这里要注意的是系统输出z( t)与未知中间变量π(t)不是一一对应的映射关系，所以不能获得它们之间的可逆映射.

考虑随机白噪声对多输入单输出Wiener非线性系统的干扰，系统输出可表示为

为了对系统进行分解，这里用到了关键项分离技术，通过变换得到的多输入Wiener非线性模型如下：

定义信息向量和参数向量

2 Levenberg-Marquardt迭代辨识算法

Levenberg-Marquardt迭代算法同时具有牛顿迭代算法和梯度迭代算法的优点. 定义堆积的信息矩阵Ψ(N)、输出向量Z( N)和噪声向量V( N)如下：

定义如下的准则函数：

忽略高次项，准则函数能够被重写为

其中λ称为步长系数（阻尼系数）. 对准则函数J3()ϑ进行极小化，也就是令其导数为零，

从而得到的Levenberg-Marquardt迭代算法：

在Levenberg-Marquardt算法中，可用如下策略来调整参数. 首先令那么

在迭代点ϑk−1定义如下的函数：

基于给出的λ计算Πk，然后计算Ω( Π)和目标函数J3()ϑ的增量

用Γk表示两增量之比

参数kλ的一个更新规则如下：

在搜索中，如果Γk是一个在1附近的值，说明二次函数∆ϒ( Π)在ϑk−1处能够较好的拟合目标函数，此时需减小参数kλ的值从而增加Πk的模长，使Levenberg-Marquardt迭代算法能够求解非线性最小二乘问题. 换言之，此时Levenberg-Marquardt迭代算法更接近牛顿迭代法的效果. 相反，当Γk的值接近0时，说明函数∆ϒ( Π)在ϑk−1处不能很好的拟合目标函数，Πk的模长需要被减小，此时为了限制Πk的模长，应增大参数kλ的取值. 如果比值Γk在上述两种情况之外时，则认为参数kλ选取得当，不作调整.

3 数值仿真

仿真中，χ1(t)、χ2(t)是持续性激励信号序列，具有单位方差、零均值、不相关可测的特点. 白噪声序列v( t)具有零均值，方差的大小分别为0.50和1.00，并且相互独立于输入序列χ1(t)、χ2(t). 采用上文提出的算法估计模型参数如图2所示.

从图2可以获知，在算法开始阶段，Levenberg-Marquardt迭代算法的参数估计误差快速减小，随着迭代次数进一步增加，参数估计误差逐步减小并接近于零；从算法的收敛速度来看，Levenberg-Marquardt迭代算法能够获得接近最小二乘迭代算法的收敛速度，与最小二乘迭代算法相比，其计算负担要小.

图2 不同方差下的参数估计误差

4 结论

本文研究了多输入Wiener非线性系统，提出了新的Levenberg-Marquardt迭代辨识算法. 作为一种非线性最小二乘算法，Levenberg-Marquardt迭代算法不仅牛顿迭代算法快速收敛的优点，而且具有梯度迭代算法计算量小、全局收敛的优点.

［1］ GU Y, DING F. Parameter estimation for a multivariable state space system with d-stepstate-delay ［J］. Journal of the Franklin Institute-Engineering and Applied Mathematics, 2013, 350(4): 724-736.

［2］ LIU YJ, XIAO YS, ZHAO XL. Multi-innovation stochastic gradient algorithm for multiple-inputsingle-output systems using the auxiliary model ［J］. Applied Mathematics and Computation, 2009, 215(4): 1477-1483.

［3］ LIU YJ, DING R. Consistency of the extended gradient identification algorithm for multi-inputmulti-output systems with moving average noises ［J］. International Journal of ComputerMathematics, 2013, 90(9): 1840-1852.

［4］ ZHOU L, LI X, PAN F. Gradient based iterative parameter identification for Wiener nonlinear systems［J］. Applied Mathematical Modelling, 2013, 37(16-17): 8203-8209.

［5］ ZHOU L, LI X, PAN F. Gradient-based iterative identification for MISO Wiener nonlinear systems: Application to a glutamate fermentation process ［J］. Applied Mathematics Letters, 2013, 26(8): 886-892.

Abstract:In many practical process control processes, multi-variable or multi-input systems are widely existent. In order to solve this problem, this paper mainly studies the parameter identification problem of a class of multi-input system with Wiener nonlinear characteristics. First, using the key separation technology, a recognizable multi-input nonlinear Wiener model is derived, and then the Levenberg-Marquardt iterative algorithm is proposed to estimate the unknown parameters of the model. The numerical simulation shows the effectiveness of the proposed algorithm.

Key words:multi-input system; Wiener nonlinear model; Levenberg-Marquardt iterative algorithm; parameter estimation

Levenberg-Marquardt Iterative Algorithm for Multi-input Wiener Nonlinear Systems

ZHOU Lincheng, ZHU Jujiang, LI Xiangli
(School of Electrical and Automation Engineering, Changshu Institute of Technology, Changshu 215500, China)

TP273

A

1008-2794（2017）04-0046-04

2016-09-03

江苏省高校自然科学基金“生物发酵过程的非线性软测量建模及优化”（15KJB120001）；常熟理工学院校级科研项目“生物发酵过程的非线性软测量建模”（XZ1503，XZ1504）

周林成，讲师，工学博士，研究方向：非线性系统建模与参数辨识，E-mail：zhoulincheng@cslg.edu.cn.