传递函数辨识(20):有限脉冲响应滑动平均系统的递阶增广迭代参数估计

丁 锋,刘喜梅

(1.江南大学 物联网工程学院,江苏 无锡214122;2.青岛科技大学 自动化与电子工程学院,山东 青岛266061)

辅助模型辨识思想、多新息辨识理论、递阶辨识原理、耦合辨识概念[1-6]是研究新型参数估计方法的有用工具,连载论文先后研究了信号模型、传递函数的参数估计[7-11]。最近,针对输出误差系统,研究了辅助模型多新息随机梯度算法、辅助模型多新息递推梯度算法、辅助模型多新息最小二乘递推算法等[12],以及辅助模型递阶多新息梯度迭代算法、辅助模型递阶多新息最小二乘迭代算法等[13];针对有限脉冲响应滑动平均(FIR-MA)系统,研究递阶增广随机梯度(HESG)算法、递阶多新息增广随机梯度(H MI-ESG)算法、递阶增广递推梯度(HERG)算法、递阶多新息增广递推梯度(H MI-ERG)算法、递阶增广最小二乘(HELS)递推算法、递阶多新息增广最小二乘(H MI-ELS)递推算法等[14]。本研究针对FIR-MA系统,即受控滑动平均(CMA)系统,研究递阶增广梯度迭代(HEGI)算法、递阶多新息增广梯度迭代(H MI-EGI)算法、递阶增广最小二乘迭代(HELSI)算法、递阶多新息增广最小二乘迭代(HMI-ELSI)算法。文献[15]提出了CMA系统的交互随机梯度辨识算法。本研究提出的递阶辨识方法可以推广用于其他线性和非线性随机系统,以及信号模型的参数辨识[16-26]。

1 有限脉冲响应滑动平均系统

考虑下列有限脉冲响应滑动平均模型(FIRMA模型)描述的随机控制系统,

其中{u(t)}和{y(t)}分别是系统的输入和输出序列,{v(t)}是零均值不可测白噪声序列,B(z)和D(z)是后移算子z－1的多项式(z－1y(t)＝y(t－1)或zy(t)＝y(t＋1)),定义如下:

定义参数向量和信息向量:

注意到输入信息向量φ(t)包含了系统的可测输入数据u(t－i),噪声向量ψ(t)包含了未知噪声项v(t－i)。

定义不可测干扰噪声:

它是一个滑动平均过程。假设阶次n b和n d已知,记n＝n b＋n d。设t≤0时,各变量的初值为零:u(t)＝0,y(t)＝0,w(t)＝0,v(t)＝0。式(3)和(1)可以写为

定义虚拟输出变量

由式(6)可得

式(7)和(4)是FIR-MA系统(1)的递阶辨识模型。它们可以看作两个子系统,一个包含了系统模型的参数向量b,一个包含了噪声模型的参数向量d。由于分解,导致两个子辨识模型间存在耦合变量(关联项)b和d。因此在推导两个子辨识算法时,需要根据递阶辨识原理,协调它们间的关联项。

文献[14]利用递阶辨识原理,研究了有限脉冲响应滑动平均系统(1)的递阶增广随机梯度算法、递阶多新息增广随机梯度算法、递阶增广递推梯度算法、递阶多新息增广递推梯度算法、递阶增广最小二乘算法、递阶多新息增广最小二乘算法等。本工作研究FIR-MA系统的递阶迭代参数估计方法。

2 递阶增广梯度迭代辨识方法

2.1 递阶增广梯度迭代辨识算法

设L为数据长度。对于FIR-MA系统的递阶辨识模型(7)和(4),定义准则函数:

定义堆积输出向量Y(L),堆积信息矩阵Φ(L),堆积虚拟输出向量Y1(L),堆积噪声向量W(L)和堆积噪声矩阵Ψ(L)如下:

准则函数J1(b)和J2(d)可以等价表示为

令k＝1,2,3,…,是迭代变量和ℝn d分别是参数向量b和d的第k次迭代估计,μ≥0和μk≥0是迭代步长(收敛因子),设λmax[X]为实对称阵X的最大特征值。使用负梯度搜索,极小化J1(b)和J2(d),得到梯度迭代关系:

式(12)和(14)可以看作状态为和的离散时间动态系统,为了保证估计向量和^d k收敛,要求矩阵[I nb－μΦT(L)Φ(L)]和[I n d－μkΨT(L)Ψ(L)]的特征值均在单位圆内,且单位圆上没有重特征值,即步长μ和μk必须满足

故收敛因子μ和μk的保守选择是

由于特征值计算很复杂,故收敛因子也可简单更保守地取为

梯度迭代算法(11),(13)和(15)～(18)不可实现,因为只有{y(t),φ(t)}是可得到的观测数据,即堆积信息矩阵Φ(L)是已知的,而堆积噪声矩阵Ψ(L)是未知的,故需要构造Ψ(L)的估计。

根据ψ(t)定义式的结构,用v(t－i)的估计构造信息向量ψ(t)的估计:

从式(6)可得

其中未知的ψ(t),b和d分别用其估计和代替,则v(t)的迭代估计可以通过式(20)计算,

用ψ(t)的估计构造Ψ(L)的估计:

基于递阶辨识原理和辅助模型辨识思想,用分别代替式(11),(13)和(15)～(18)右边未知的Ψ(L),d和b,得到式(22)～(26)的梯度迭代估计和,联立式(8)～(9),(21),(2),(19)～(20)就得到辨识FIR-MA系统参数向量b和d的递阶增广梯度迭代算法(hierarchical extended gradient-based iterative algorith m,HEGI算法):

或

或

HEGI算法(22)～(35)计算量如表1所示(n＝n b＋n d),计算参数估计和的流程如图1所示,计算参数估计的步骤如下。

表1 递阶增广梯度迭代(HEGI)算法的计算量Table 1 The computational efficiency of the HEGI algorith m

图1 递阶增广梯度迭代(HEGI)算法计算流程Fig.1 Flo wchart of the HEGI algorit h m

1)初始化:假设在t≤0时所有变量取值均为零。令迭代次数k＝1,给定数据长度L和参数估计精度ε,置参数估计初值。置初值

2)采集观测数据u(t)和y(t),用式(32)构造信息向量φ(t),t＝1,2,…,L。

3)用式(29)构造堆积输出向量Y(L),用式(30)构造堆积信息矩阵Φ(L),根据式(23)或(24)确定一个尽量大步长μ。

5)根据式(26)或(27)确定一个尽量大步长μk,用式(22)刷新参数估计向量,用式(25)刷新参数估计向量。

2.2 加权递阶增广梯度迭代辨识算法

设L为数据长度,M(L)＝MT(L)∈ℝL×L为非负定加权矩阵(当然可以使用两个不同的加权矩阵)。对于FIR-MA系统的递阶辨识模型(7)和(4),将准则函数J1(b)和J2(d)修改为加权准则函数:

仿照HEGI算法(22)～(35)的推导,极小化J′1(b)和J′2(d),可以得到辨识FIR-MA系统参数向量b和d的加权递阶增广梯度迭代算法(weighteg hierarchical extended gradient-based iterative algorith m,W-HEGI算法):

或

或

设η为遗忘因子,在W-HEGI辨识算法(36)～(49)中,取加权矩阵为

就得到辨识FIR-MA系统参数向量b和d的遗忘因子递阶增广梯度迭代算法(f or getting factor HEGI al gorith m,FF-HEGI算法)。

3 递阶增广最小二乘迭代方法

3.1 递阶增广最小二乘迭代辨识算法

令准则函数J1(b)和J2(d)分别对参数向量b和d的偏导数为零:

假设ΦT(L)Φ(L)和ΨT(L)Ψ(L)是可逆矩阵,那么从上两式可以求得参数向量b和d的最小二乘估计:

因为在式(50)～(51)中,只有堆积输出向量Y(L)和堆积信息矩阵Φ(L)是已知的,而堆积噪声矩阵Ψ(L)是未知的,右边还包含了未知参数向量d和b,故无法由上两式求得参数估计。解决方案是基于递阶辨识原理和辅助模型辨识思想,用式(21)中的,以及前一次迭代参数估计和分别代替式(50)～(51)右边未知的Ψ(L),d和b,得到式(52)～(53)的最小二乘迭代参数估计和,联立式(28)～(35),就得到估计FIR-MA系统参数向量b和d的递阶增广最小二乘迭代算法(hierarchical extended least squares-based iterative al gorit h m,HELSI算法):

HLSI算法(52)～(61)计算量如表2所示(n＝n b＋n d),计算参数估计和的流程如图2所示,计算参数估计的步骤如下。

表2 递阶增广最小二乘迭代(HELSI)算法的计算量Table 2 The co mputational efficiency of the HELSI algorith m

图2 递阶增广最小二乘迭代(HELSI)算法的计算流程Fig.2 Flowchart of the HELSI algorit h m

1)初始化:假设在t≤0时所有变量取值均为零。令迭代次数k＝1,给定数据长度L和参数估计精度ε,置参数估计初值和为随机向量,或和置为随机数,t＝1,2,…,L。随机数初值是为保证式(52)～(53)中的矩阵可逆。

2)采集观测数据u(t)和y(t)。用式(58)构造信息向量φ(t),t＝1,2,…,L。

3)用式(55)构造堆积输出向量Y(L),用式(56)构造堆积信息矩阵Φ(L)。

5)用式(52)刷新参数估计向量,用式(53)刷新参数估计向量。

3.2 加权递阶增广最小二乘迭代辨识算法

仿照HELSI算法(52)～(61)的推导,极小化J′1(b)和J′2(d),可以得到辨识FIR-MA系统参数向量b和d的加权递阶增广最小二乘迭代算法(weighted hierarchical extended least squaresbased iterative algorith m,W-HELSI算法):

设η为遗忘因子,在W-HELSI辨识算法(62)～(71)中,取加权矩阵为

就得到辨识FIR-MA系统参数向量b和d的遗忘因子递阶增广最小二乘迭代算法(f or getting factor HELSI algorith m,FF-HELSI算法)。

4 递阶多新息增广梯度迭代辨识方法

4.1 递阶多新息增广梯度迭代辨识算法

设p为数据窗长度(p≫n b＋n d)。根据式(7)和(4),定义堆积输出向量Y(p,t)和堆积信息矩阵Φ(p,t),堆积虚拟输出向量Y1(p,t),堆积噪声向量W(p,t):和堆积噪声矩阵Ψ(p,t)如下:

根据辨识模型(7)和(4),定义关于参数向量b和d的二次准则函数:

令k＝1,2,3,…,是迭代变量,μ(t)≥0和μk(t)≥0是迭代步长(收敛因子)和ℝn d分别是参数向量b和d在当前时刻t的第k次迭代估计。使用负梯度搜索,极小化准则函数J3(b)和J4(d),得到梯度迭代关系:

故收敛因子μ(t)和μk(t)的保守选择是

由于特征值计算很复杂,故收敛因子也可简单取为

梯度迭代算法(75),(77)和(79)～(82)不可实现,因为右边包含了未知的堆积噪声矩阵Ψ(p,t),以及未知参数向量d和b。为此根据ψ(t)定义式的结构,用υ(t－i)的估计^υk－1(t－i)构造信息向量ψ(t)的估计:

从式(6)可得

其中未知的ψ(j),b和d分别用其估计和代替,则υ(t)的估计可以通过式(84)计算,

或

或

式(92)可以用下列2式代替:

递阶多新息增广梯度迭代算法又称移动数据窗递阶增广梯度迭代算法(MDW-HEGI算法)。H MIEGI算法(86)～(99)计算参数估计(t)和(t)的流程如图3所示,计算参数估计的步骤如下。

图3 递阶多新息增广梯度迭代(HMI-EGI)算法的计算流程Fig.3 Flowchart of the HMI-EGI algorith m

1)初始化:假设在t≤0时所有变量取值均为零。令t＝1,给定移动数据窗长度p(通常取p≫n),参数估计精度ε,最大迭代次数kmax。置参数估计初值

2)令k＝1,置n d。采集观测数据u(t)和y(t)。用式(96)构造信息向量φ(t),用式(93)构造堆积输出向量Y(p,t),用式(94)构造堆积信息矩阵Φ(p,t)。根据式(87)或(88)确定一个尽量大步长μ(t)。

4)根据式(90)或(91)确定一个尽量大步长μk(t),用式(86)刷新参数估计向量,用式(89)刷新参数估计向量

6)如果k＜kmax,k就增加1,转到步骤3);否则执行下一步。

4.2 加权递阶多新息增广梯度迭代辨识算法

设p为新息长度为非负定加权矩阵(当然可以使用两个不同的加权矩阵)。对于FIR-MA系统的递阶辨识模型(7)和(4),将准则函数J3(b)和J4(d)修改为加权准则函数:

仿照H MI-EGI算法(86)～(99)的推导,极小化J′3(b)和J′4(d),便得到估计FIR-MA系统参数向量b和d的加权递阶多新息增广梯度迭代算法(weighted H MI-EGI algorit h m,W-HMI-EGI算法):

或

5 递阶多新息增广最小二乘迭代方法

5.1 递阶多新息增广最小二乘迭代辨识算法

由于最小二乘迭代算法涉及矩阵逆,所以至少要求p≥n b＋n d,以及信息向量是持续激励的。令准则函数J3(b)和J4(d)分别对参数向量b和d的偏导数为零:

假设ΨT(p,t)Ψ(p,t)是可逆矩阵,那么从两上式可以求得参数向量b和d的最小二乘估计:

递阶多新息增广最小二乘迭代算法又称移动数据窗递阶增广最小二乘迭代算法(MDW-HELSI algorit h m,MDW-HELSI算法)。H MI-ELSI算法(118)～(127)计算参数估计(t)和(t)的流程如图4所示,计算参数估计的步骤如下。

1)初始化:假设在t≤0,时所有变量取值均为零。令t＝l,给定移动数据窗长度p(通常取p≫n),参数估计精度ε,最大迭代次数kmax,置参数估计初值,采集观测数据{u(j),y(j):j＝1,2,…,l－1},这里l≥p为一个正整数(请思考l的意义)。

2)令k＝1。置为随机数,j＝1,2,…,L。随机数初值是为保证式(119)中的矩阵可逆。

3)采集观测数据u(t)和y(t)。用式(124)构造信息向量φ(t),用式(121)构造堆积输出向量Y(p,t),用式(122)构造堆积信息矩阵Φ(p,t)。

图4 递阶多新息增广最小二乘迭代(HMI-ELSI)算法的计算流程Fig.4 Flowchart of the HMI-ELSI algorith m

4)用式(125)构造(t),用式(123)构造堆积噪声矩阵(p,t)。

7)如果k＜kmax,k就增加1,转到步骤4);否则执行下一步。

5.2 加权递阶多新息增广最小二乘迭代辨识算法

仿照H MI-ELSI算法(118)～(127)的推导,极小化J′3(b)和J′4(d),便得到估计FIR-MA系统参数向量b和d的加权递阶多新息增广最小二乘迭代算法(weighted H MI-ELSI algorith m,W-HMIELSI算法):

6 结 语

针对最简单的有色噪声干扰的有限脉冲响应滑动平均模型,基于递阶辨识原理,通过极小化两个最小二乘准则函数,研究了递阶(多新息)增广梯度迭代辨识算法和递阶(多新息)增广最小二乘迭代辨识算法等。提出的递阶迭代方法可以推广研究大规模线性随机系统和复杂非线性随机系统的迭代辨识,其干扰可以是有色噪声。