传递函数辨识(24):线性回归系统的变间隔递阶迭代参数估计

2022-01-20刘喜梅

青岛科技大学学报（自然科学版） 2022年1期

丁锋,徐玲,籍艳,刘喜梅

(1.江南大学物联网工程学院,江苏无锡 214122;2.青岛科技大学自动化与电子工程学院,山东青岛 266061)

参数估计方法是基于系统的观测数据,通过某种优化策略,极小化模型输出与系统输出之差的平方和而推导出的一些算式,这些算式通过递推计算或迭代计算出系统的参数,其前提条件是需要对系统观测变量进行采样。采样方式可以是均匀的等周期采样,也可能是非等周期的非均匀采样。如果均匀采样在某些点的数据缺失或不可信,剔除不可信数据产生损失数据系统。

对于一些均匀采样,而且在每个采样点的数据均可得到的情形下,许多方法探讨了这类系统的参数辨识问题,如系统辨识学术专著[1-6]和连载论文[7-18]中的一些方法。变间隔辨识方法是本研究首次提出的,它是通过引入变间隔概念来处理损失数据系统和稀少量测数据系统的辨识问题[5-6,19-23]。最近,连载论文研究了损失数据系统和稀少量测数据系统的变间隔递阶随机梯度辨识方法、变间隔递阶多新息随机梯度辨识方法、变间隔递阶递推梯度辨识方法、变间隔递阶多新息递推梯度辨识方法、变间隔递阶最小二乘辨识方法、变间隔递阶多新息最小二乘辨识方法[18]。

这里讨论线性回归系统的变间隔递阶梯度迭代辨识方法、变间隔递阶多新息梯度迭代辨识方法、变间隔递阶最小二乘迭代辨识方法、变间隔递阶多新息最小二乘迭代辨识方法等。这些方法中可以引入加权因子和遗忘因子派生出变间隔加权递阶(多新息)梯度迭代辨识方法、变间隔加权递阶(多新息)最小二乘迭代辨识方法、变间隔遗忘因子加权递阶(多新息)梯度迭代辨识方法、变间隔遗忘因子加权递阶(多新息)最小二乘迭代辨识方法等。提出的变间隔递阶迭代辨识方法可以推广用于其他线性和非线性随机系统,以及信号模型的参数辨识[24-31]。

1 线性回归系统的递阶辨识模型

考虑下列线性回归系统,

其中y(t)∈ℝ是系统输出变量,v(t)∈ℝ是零均值随机白噪声,ϑ∈ℝn是待辨识的参数向量,φ(t)∈ℝn是回归信息向量。假设维数n已知。不特别申明,设t≤0时,各变量的初值为零,这里意味着y(t)＝0,φ(t)＝0,v(t)＝0。

线性回归系统(1)可分解为N个虚拟子系统(fictitious subsystem),即递阶辨识模型(hierarchical identification model,H-ID模型):

其中子系统参数向量ϑi和信息向量φi(t)与整个系统的参数向量和信息向量的关系如下:

虚拟子系统的输出yi(t)∈ℝ定义为

在实际问题中,可能发生数据丢失的情况。为了使辨识算法跳过这些丢失的数据点,需要根据系统可得到的数据序列,定义整数序列(integer sequence){ts:s＝0,1,2,…},满足

0＝t0＜t1＜t2＜t3＜…＜ts－1＜ts＜…,且t*s＝ts－ts－1≥1。用ts代替式(1)中的t,得到

变间隔辨识模型:

用ts代替式(2)和(3)中的t,得到变间隔递阶辨识模型:

2 变间隔梯度迭代辨识方法

为便于研究变间隔递阶梯度迭代辨识方法和变间隔递阶多新息梯度迭代辨识方法,下面简单介绍变间隔梯度迭代辨识方法和变间隔多新息梯度迭代辨识方法,相关内容可参考《系统辨识:迭代搜索原理与辨识方法》[5]。

2.1 变间隔梯度迭代辨识算法

设L为数据长度,可得到的观测数据为y(ts)和φ(ts)。根据变间隔辨识模型(4),定义堆积输出向量Y(tL)和堆积信息矩阵Φ(tL):

定义变间隔准则函数

令k＝1,2,3,…为迭代变量,μ(tL)为收敛因子,即迭代步长,λmax[X]为实对称阵X的最大特征值,^ϑk是参数向量ϑ的第k次迭代估计。使用负梯度搜索,极小化J1(ϑ),得到梯度迭代关系:

故收敛因子μ(tL)的一个保守选择是

由于特征值计算很复杂,故收敛因子也可简单取为

式(10)～(12)和(8)～(9)构成了估计线性回归系统(1)参数向量ϑ的变间隔梯度迭代算法(interval-varying gradient-based iterative algorithm,VGI算法)[5]:

V-GI辨识算法(13)～(17)的计算步骤如下。

1)初始化:当t≤0时,所有变量的值都设为零。令迭代次数k＝1,给定数据长度L(通常取L≫n)和参数估计精度ε,置参数估计初值^ϑ0＝1n/p0,p0＝106。

2)采集观测数据y(ts)和φ(ts),s＝1,2,…,L。

3)用式(16)构造堆积输出向量Y(tL),用式(17)构造堆积信息矩阵Φ(tL),根据式(14)或(15)确定一个尽量大的步长μ(tL)。

4)用式(13)刷新参数估计向量^ϑk。

5)比较^ϑk和^ϑk－1;如果‖^ϑk－^ϑk－1‖＞ε,k就增加1,转到步骤4);否则获得参数估计向量^ϑk,终止计算过程。

在V-GI辨识算法中引入加权因子、引入遗忘因子,就得到变间隔加权梯度迭代(V-W-GI)算法、变间隔遗忘因子梯度迭代(V-FFGI)算法、变间隔加权遗忘因子梯度迭代(V-W-FFGI)算法[5]。

2.2 变间隔加权梯度迭代辨识算法

设wt≥0为加权因子,W(tL)＝diag[w1,w2,…,wL]∈ℝL×L为加权矩阵。在V-GI辨识算法(13)～(17)中引入加权矩阵W(tL),便得到估计线性回归系统(1)参数向量ϑ的变间隔加权梯度迭代算法(interval-varying weighted GI algorithm,V-W-GI算法)[5]:

2.3 变间隔遗忘因子梯度迭代辨识算法

在V-GI辨识算法(13)～(17)中引入遗忘因子λ,便得到估计线性回归系统(1)参数向量ϑ的变间隔遗忘因子梯度迭代算法(interval-varying forgetting factor GI algorithm,V-FFGI算法)[5]:

3 变间隔多新息梯度迭代方法

设整数p≥1为新息长度。根据变间隔辨识模型(4),利用可得到的观测数据y(ts)和φ(ts),定义堆积输出向量Y(p,ts)和堆积信息矩阵Φ(p,ts):

则由式(1)可得多新息辨识模型(multi-innovation identification model):

3.1 变间隔多新息梯度迭代辨识算法

根据多新息辨识模型(36),定义变间隔多新息准则函数

令k＝1,2,3,…为迭代变量是参数向量ϑ在当前时刻t＝ts的第k次迭代估计,μ(ts)为当前时刻t＝ts的迭代步长,即收敛因子。使用负梯度搜索,极小化J2(ϑ),得到梯度迭代关系:

故收敛因子μ(ts)的一个保守选择是

由于特征值计算很复杂,最简单的方式是使用范数,取

联立式(37)～(39)和(34)～(35),就得到估计损失数据系统(1)参数向量ϑ的变间隔多新息梯度迭代算法(interval-varying MIGI algorithm,VMIGI算法)[5]:

注1V-MIGI算法在时刻t＝ts刷新kmax次迭代参数估计而在区间[ts,ts＋1－1]上保持参数估计不变,即1]。

变间隔多新息梯度迭代算法的参数估计精度取决于新息长度p,因此新息长度p应足够大。VMIGI算法(40)～(45)计算参数估计的步骤如下。

1)初始化:当t≤0时,所有变量的值都设为零:采集观测数据y(t)＝0和φ(t)＝0。给定新息长度p(通常取p≫n),参数估计精度ε,最大迭代次数kmax。令t＝1,s＝0,t0＝0,参数估计初值

2)令k＝1,采集观测数据y(t)和φ(t)。

3)如果观测数据y(t)和φ(t)可得到,就跳到下一步;否则置t增加1,即t＝t＋1,转到步骤2)。

4)置s＝s＋1,ts＝t,t*s＝ts－ts－1,用式(44)构造堆积输出向量Y(p,ts),用式(45)构造堆积信息矩阵Φ(p,ts)。根据式(42)或(43)确定一个尽量大的步长μ(ts)。

6)如果k＜kmax,k就增加1,转到步骤5);否则执行下一步。

3.2 变间隔加权多新息梯度迭代辨识算法

在V-MIGI辨识算法(40)～(45)中引入p×p加权矩阵Ws≥0,便得到估计线性回归系统(1)参数向量ϑ的变间隔加权多新息梯度迭代算法(interval-varying weighted MIGI algorithm,V-W-MIGI算法):

设ws,i≥0为加权因子,取加权矩阵Ws＝diag[ws,0,ws,1,…,ws,p－1]∈ℝp×p,那么V-WMIGI算法(46)～(51)可以表示为

或

3.3 变间隔遗忘因子多新息梯度迭代辨识算法

3.4 变间隔加权遗忘因子多新息梯度迭代辨识算法

在V-MIGI辨识算法(40)～(45)中引入加权因子ws,i≥0和遗忘因子λ＝μ,便得到估计线性回归系统(1)参数向量ϑ的变间隔加权遗忘因子多新息梯度迭代算法(interval-varying weighted FFMIGI algorithm,V-W-FF-MIGI算法):

或

V-W-FF-MIGI算法(68)～(73)可等价表示为

或

4 变间隔递阶梯度迭代辨识方法

设L为数据长度(L≫n)。根据变间隔辨识模型(5),定义堆积输出向量Y(tL)和堆积信息矩阵Φ(tL),以及虚拟堆积输出向量Yi(tL)和堆积子信息矩阵Φi(tL):

定义变间隔准则函数

对固定的i,式(82)可看作状态的离散时间系统,为保证参数估计收敛,要求系统矩阵[Ini－μiΦTi(tL)Φi(tL)]的特征值均在单位圆内,且单位圆上没有重特征值,即μi必须满足－Ini≤[Ini－μiΦTi(tL)Φi(tL)]≤Ini,故收敛因子μi的一个保守选择是

由于特征值计算很复杂,故收敛因子也可简单取为

将式(80)代入式(82)得到

右边包含了其它子系统的未知子参数向量ϑj(j≠i),所以无法计算出子系统的参数估计^ϑi,k。为了实现参数估计的迭代计算,根据递阶辨识原理进行关联项的协调,上式中未知的ϑj用其在前一次迭代(k－1)的估计代替,得到

式(83)～(85),(78)～(79)和(81)构成了估计线性回归系统(1)参数向量ϑ的变间隔递阶梯度迭代算法(interval-varying HGI algorithm,V-HGI算法):

1)初始化:当t≤0时,所有变量的值都设为零。根据n值和计算量大小要求设置N和ni。令迭代次数k＝1,t＝1,s＝0,t0＝0,给定数据长度L(通常取L≫n)和参数估计精度ε。置参数估计初值

2)采集观测数据y(t)和φ(t)。

3)如果观测数据y(t)和φ(t)可得到,就跳到下一步;否则t增加1,即t＝t＋1,转到步骤2)。

4)置s＝s＋1,ts＝t,t*s＝ts－ts－1。如果s＜L,t就增加1,转到步骤2);否则用式(89)构造堆积输出向量Y(tL),用式(90)构造堆积信息矩阵Φ(tL)。从式(91)的Φ(tL)中读出子信息矩阵Φi(tL),根据式(87)或(88)确定尽量大的步长μi,i＝1,2,…,N。

注2算法的参数估计精度依赖于数据长度L,因此数据长度应该足够大,远大于待估计参数的数目。取收敛因子μi＝2‖Φi(tL)‖－2,在消除中间变量Y(tL),Φ(tL)和Φi(tL)后,V-HGI算法(86)～(93)可等价表示为

变间隔递阶梯度迭代辨识方法可以派生出许多算法,如变间隔修正递阶梯度迭代(V-M-HGI)算法、变间隔加权递阶梯度迭代(V-W-HGI)算法、变间隔遗忘因子递阶梯度迭代(V-FF-HGI)算法、变间隔加权修正递阶梯度迭代(V-W-M-HGI)算法、变间隔遗忘因子修正递阶梯度迭代(V-FF-M-HGI)算法、变间隔加权遗忘因子修正递阶梯度迭代(VW-FF-M-HGI)算法等。

5 变间隔递阶最小二乘迭代方法

令准则函数J3i(ϑi)关于参数向量ϑi的梯度为零:

假设信息向量φi(ts)是充分丰富的,即对于L≫n,数据乘积矩矩阵是可逆的,由上式可求出子参数向量ϑi的最小二乘估计

由于虚拟子系统的堆积输出向量Yi(tL)是未知的,所以将式(80)代入式(97)得到

上式右边包含了其它子系统的未知子参数向量ϑj(j≠i),所以无法计算出子系统的参数估计^ϑi,k。为了实现参数估计^ϑi,k的迭代计算,根据递阶辨识原理进行关联项的协调,上式中未知的ϑj用其在前一次迭代(k－1)的估计^ϑj,k－1代替,得到

联立式(89)～(93),便得到估计线性回归系统(1)参数向量ϑ的变间隔递阶最小二乘迭代算法(interval-varying HLSI algorithm,V-HLSI算法):

1)初始化:当t≤0时,所有变量的值都设为零。根据n值和计算量大小要求设置N和ni。令迭代次数k＝1,t＝1,s＝0,t0＝0,给定数据长度L(通常取L≫n)和参数估计精度ε。置参数估计初值1,2,…,N,p0＝106。

2)采集观测数据y(t)和φ(t)。

3)如果观测数据y(t)和φ(t)可得到,就跳到下一步;否则t增加1,即t＝t＋1,转到步骤2)。

4)置s＝s＋1,ts＝t,t*s＝ts－ts－1。如果s＜L,t就增加1,转到步骤2);否则用式(100)构造堆积输出向量Y(tL),用式(101)构造堆积信息矩阵Φ(tL)。从式(102)的Φ(tL)中读出子信息矩阵Φi(tL),i＝1,2,…,N。

注3在消除中间变量Y(tL),Φ(tL)和Φi(tL)后,V-HLSI算法(99)～(104)可以等价表示为

递阶最小二乘迭代辨识方法可以派生出变间隔加权递阶最小二乘迭代(V-W-HLSI)算法、变间隔遗忘因子递阶最小二乘迭代(V-FF-HLSI)算法、变间隔加权遗忘因子递阶最小二乘迭代(V-W-FFHLSI)算法等。

6 变间隔递阶多新息梯度迭代方法

设p为新息长度,可得到的观测数据为y(ts)和φ(ts),s＝1,2,3,…。设t＝ts为当前时刻。根据辨识模型(4)～(5),利用最新的p组数据,定义堆积输出向量Y(p,ts)和堆积信息矩阵Φ(p,ts),堆积虚拟输出向量Yi(p,ts)和堆积子信息矩阵

可考虑按下面的方式定义有关变量:

根据递阶辨识模型(5),定义关于子参数向量ϑi的准则函数:

令k＝1,2,3,…为迭代变量,μi(ts)≥0是当前时刻ts的迭代步长(收敛因子),是参数向量ϑ在当前时刻t＝ts的第k次迭代估计是参数向量ϑi在当前时刻ts的第k次迭代估计。使用负梯度搜索,极小化J4i(ϑi),得到梯度迭代关系:

故收敛因子μi(ts)的一个保守选择是

由于特征值计算极其复杂,一个简单方式是使用范数,取

将式(110)代入式(114)得到

右边包含了其它子系统的未知子参数向量ϑj(j≠i),所以无法计算出子系统的参数估计为了实现参数估计的迭代计算,根据递阶辨识原理进行关联项的协调,上式中未知的ϑj用其在前一次迭代(k－1)的估计代替,得到

式(115)～(117),(108)～(109),(111)和(112)构成了估计线性回归系统(1)参数向量ϑ的变间隔递阶多新息梯度迭代算法(interval-varying HMIGI algorithm,V-HMIGI算法):

注4因为线性回归系统参数估计误差与数据长度的平方根成反比[3],变间隔递阶多新息迭代算法每次计算参数估计时使用的数据长度为p,参数估计精度取决于新息长度p。因此多新息迭代算法中的新息长度p应足够大。

1)初始化:令所有变量的值都设为零:y(j)＝0,φ(j)＝0,j≤0。根据n值和计算量大小要求设置N和ni,给定新息长度p和参数估计精度ε,最大迭代次数kmax。令t＝1,s＝0,t0＝0,迭代次数k＝1。置参数估计初值

2)采集观测数据y(t)和φ(t)。

3)如果观测数据y(t)和φ(t)可得到,就跳到下一步;否则t增加1,即t＝t＋1,转到步骤2)。

6)如果k＜kmax,k就增加1,转到步骤5);否则执行下一步。

注5取收敛因子μi(ts)＝2‖Φ(p,ts)‖－2,在消除中间变量Y(p,ts),Φi(p,ts)和Φ(p,ts)后,HMIGI辨识算法(118)～(127)可等价表示为

V-HMIGI辨识算法(118)～(127)可以派生出许多算法,如变间隔修正递阶多新息梯度迭代(VM-HMIGI)算法、变间隔加权递阶多新息梯度迭代(V-W-HMIGI)算法、变间隔遗忘因子递阶多新息梯度迭代(V-FF-HMIGI)算法、变间隔加权修正递阶多新息梯度迭代(V-W-M-HMIGI)算法、变间隔遗忘因子修正递阶多新息梯度迭代(V-FF-M-HMIGI)算法、变间隔加权遗忘因子修正递阶多新息梯度迭代(V-W-FF-M-HMIGI)算法等。

7 变间隔递阶多新息最小二乘迭代方法

令准则函数J4i(ϑi)关于子参数向量ϑi的梯度为零:

假设信息向量φi(ts)是充分丰富的,即对于p≫n,数据乘积矩矩阵是可逆的,由上式可求出子参数向量ϑi的最小二乘估计

由于虚拟子系统的堆积输出向量Yi(p,ts)是未知的,所以将式(110)代入式(131)得到

上式右边包含了其它子系统的未知子参数向量ϑj(j≠i),所以无法计算出子系统的参数估计为了实现参数估计的迭代计算,根据递阶辨识原理进行关联项的协调,上式中未知的用ϑj其在前一次迭代(k－1)的估计代替,得到

联立式(122)～(127),便得到估计线性回归系统(1)参数向量ϑ的变间隔递阶多新息最小二乘迭代算法(interval-varying HMILSI algorithm,VHMILSI算法):

1)初始化:所有变量的值都设为零:y(j)＝0,φ(j)＝0,j≤0。根据n值和计算量大小要求设置N和ni,给定新息长度p和参数估计精度ε,最大迭代次数kmax。令t＝1,s＝0,t0＝0,迭代次数k＝1。置参数估计初值或随机向量,i＝1,2,…,N,p0＝106。

2)采集观测数据y(t)和φ(t)。

3)如果观测数据y(t)和φ(t)可得到,就跳到下一步;否则t增加1,即t＝t＋1,转到步骤2)。

6)如果k＜kmax,k就增加1,转到步骤5);否则执行下一步。

注6在消除中间变量Y(p,ts),Φ(p,ts)和Φi(p,ts)后,V-HMILSI算法(133)～(140)可等价表示为

V-HMILSI辨识算法(133)～(140)可以派生出变间隔加权递阶多新息最小二乘迭代(V-WHMILSI)算法、变间隔遗忘因子递阶多新息最小二乘迭代(V-FF-HMILSI)算法、变间隔加权遗忘因子递阶多新息最小二乘迭代(V-W-FF-HMILSI)算法。

线性参数系统参数估计误差与数据长度的平方根成反比,所以数据长度应该足够大,远远大于参数数目。而多新息梯度迭代方法和多新息最小二乘迭代算法在每次迭代计算中使用的数据长度为p,所以新息长度应该足够大,以保证参数估计精度。变间隔多新息梯度迭代方法、变间隔多新息最小二乘迭代算法、变间隔递阶多新息梯度迭代方法、变间隔递阶多新息最小二乘迭代算法等也是如此。