多智能体一致性的随机镇定研究

罗 琦，施力力，李镇东

(1.南京信息工程大学信息与控制学院，江苏 南京，210044；2.江苏省气象能源利用与控制工程技术研究中心，江苏 南京，210044；3.大气环境与装备技术协同创新中心，江苏 南京，210044)

多智能体一致性的随机镇定研究

罗 琦，施力力，李镇东

(1.南京信息工程大学信息与控制学院，江苏 南京，210044；2.江苏省气象能源利用与控制工程技术研究中心，江苏 南京，210044；3.大气环境与装备技术协同创新中心，江苏 南京，210044)

本文给出多智能体随机一致性的数学描述，模拟了环境噪声对多智能体系统一致性的影响，并提出一种运用随机噪声控制多智能体系统的方法。仿真结果表明，添加满足一定条件的随机噪声控制可以令在没有噪声干扰情况下非一致性的多智能体系统达到随机一致性镇定。最后对多智能体的随机一致性镇定进行理论分析，并得到满足控制要求的随机噪声强度的大致下界。所提出的多智能体协调控制方法具有系统能耗小、控制性能更佳的特点。

多智能体；多智能体系统；一致性；随机噪声；随机镇定；协调控制

一致性问题是多智能体协调控制领域一个基础而又重要的研究课题。早在1995年，Vicsek等[1]就提出一个能模拟一群粒子产生方向一致性现象的模型。2004年，Olfati-Saber等[2]提出了多智能体动态网络系统的一致性问题和一致性协议的理论框架。目前，对于多智能体一致性问题的研究已有很多成果[3-8]，但其中大多数研究都是基于理想情况，而较少考虑环境噪声或者机械设备自身的热噪声等对系统的干扰。在少数考虑了噪声对多智能体系统影响的研究中，所采取的对策一般是通过人为控制来增强系统自身的鲁棒性和增加能量以消除噪声影响，使得系统达到一致，但这些方法都增加了系统的能耗。

为此，本文首先给出多智能体随机一致性的数学描述，然后通过仿真实验来分析环境噪声对多智能体一致性的影响，并提出一种添加满足一定条件的随机噪声的多智能体控制方法，最后给出多智能体系统随机一致性镇定的理论证明，同时得到满足多智能体一致性控制要求的随机噪声的大致条件。

1 多智能体随机一致性的数学描述

在理想情况下，多智能体跟随领导节点的一致性算法如下：

ki(xi(t)-rd(t))

(1)

式中：N为跟随领导节点的智能体数量；xi(t)∈Rn(i∈[1,N])为智能体i的状态量；aij为邻接矩阵A的元素，表示各个智能体之间的通信拓扑关系；ki为智能体i趋向领导节点的速度；rd(t)∈Rn为领导节点的状态量。

在实际生活中，外界环境噪声干扰随处可见，因此有必要考虑含有随机噪声的多智能体工作环境。假设智能体i接收到相邻智能体j的状态信息yij(t)以及接收到领导节点的状态信息ri(t)分别为：

yij(t)dt=xj(t)dt+αij(t)dωij(t)，j∈Ni

(2)

ri(t)dt=rd(t)dt+βi(t)dvi(t)

(3)

式中：Ni为智能体i的相邻智能体集合；αij(t)和βi(t)分别为智能体i接收智能体j和领导节点状态信息时的噪声干扰密度函数；ωij(t)和vi(t)均表示一维布朗运动。此处所加噪声与智能体的位移状态无关。

结合式(1)～式(3)可以得到一阶多智能体跟随领导节点的随机一致性算法：

ckiβi(t)dvi(t)

(4)

式中：系数c为耦合强度,且c>1。令ei=xi-rd为位移状态误差，有

(5)

参照文献[12]给出多智能体随机一致性的定义。

定义1 如果xi(t)满足式(4)的随机一致算法，且有

i=1,2,…,N；γ为正常数,

则称多智能体系统实现随机一致性。

2 环境噪声对多智能体一致性的 影响

首先通过仿真实验来分析环境噪声对多智能体一致性的影响。设多智能体系统中有一个领导者，跟随者个数N=4。4个智能体之间的拓扑关系如图1所示，则邻接矩阵A=[0 1 1 0，1 0 0 1，1 0 0 1，0 1 1 0]。领导者起始位置rd(0)=0，并沿直线rd(t)=10t运动，4个跟随者起始位置为[102，98，103，97]。4个跟随者中智能体1、2和3能够接受到领导者的位置信息，且智能体趋向领导者的速度k1=k2=k3=2、k4=0，耦合强度c=3。

在没有噪声的理想情况下，多智能体系统仿真结果如图2所示。从图2可以看出，4个智能体都能很好地跟随领导者的运动轨迹，故此多智能体系统可实现一致性。

下面在控制函数中加入环境噪声(此处为通信噪声)。当环境噪声强度较低(αij(t)=15，βi(t)=10)时，多智能体系统仿真结果如图3所示；当环境噪声强度较高(αij(t)=30，βi(t)=20)时，多智能体系统仿真结果如图4所示。

Fig.2 Simulation results of multi-agent system without noise interference(1)

Fig.3 Simulation results of multi-agent system in the environment of lower intensity noise

Fig.4 Simulation results of multi-agent system in the environment of higher intensity noise

比较图2与图3可以发现，当环境噪声强度较低时，4个智能体的运动轨迹都出现了较小幅度的振荡，但它们能够跟随领导者，不会出现脱群现象，系统可实现随机一致性。环境噪声对多智能体的一致性起着阻碍作用，由于其强度较低，只是使智能体在跟随领导者的过程中位移出现些许偏差，位移误差并不会发散以至于智能体完全偏离领导者。在实际工程中，通常需要消耗一部分能源来抵消环境噪声对多智能体一致性的阻碍作用，这样就造成系统能耗增加。

比较图2与图4可以发现，当环境噪声强度较高时，4个智能体的运动轨迹都出现了较大幅度的振荡，但总的来说它们仍然能够跟随领导者，没有出现脱群现象，系统最终还是能够实现随机一致性。只不过在这种情况下，智能体与领导者的距离时近时远，这也使得在某些时间段里，多智能体对领导者的跟随效果要好于原系统。在实际工程中，如果能有效利用这部分环境噪声对多智能体一致性的有利影响，再使用一部分能源来抵消环境噪声对多智能体一致性的阻碍作用，这样就可以有效利用环境噪声，在一定程度上减少系统能耗。

3 运用随机噪声控制多智能体的一致性

如上所述，环境噪声对多智能体的一致性同时存在着有利和不利的影响。由于产生随机噪声较一般的人为控制所消耗的能源要少，因此可以在控制函数中添加一定的随机噪声控制，以较少的能耗使多智能体达到更好的一致性效果。

在多智能体系统中加入一定的随机噪声控制后，式(4)变化为：

(6)

式中：[W1(t),…,Wm(t)]T为m维的单位布朗运动；Bki(1≤k≤m)为噪声强度，Bki∈R。式(5)变化为：

(7)

参照文献[12]给出多智能体随机一致性镇定的定义。

定义2 如果xi(t)满足式(6)的随机一致性算法，且有

i=1,2,…,N；γ为正常数,

则称多智能体系统达到随机一致性镇定。

仍然通过仿真实验来分析添加的随机噪声控制对多智能体一致性的影响。设多智能体系统中有一个领导者，跟随者个数N=4。4个智能体之间的拓扑关系如图5所示，则邻接矩阵A=[0001，0011，0101，1110]。领导者起始位置为rd(0)=0，并沿直线rd(t)=10t运动，4个跟随者起始位置为[102，98，103，97]。4个跟随者中只有智能体1能够接受到领导者的位置信息，即k2=k3=k4=0，设智能体1趋向领导者的速度k1=2。系统环境噪声参数αij(t)=1、βi(t)=1，耦合强度c=3。

在不加噪声控制的情况下，多智能体系统仿真结果如图6所示，其中智能体2和智能体3的曲线基本重叠。由图6可以看出，4个智能体的位移状态误差随着时间的推移越来越大，即智能体会远离领导者，故这种情况下该多智能体系统无法实现随机一致性。

Fig.6 Simulation result of multi-agent system without noise control(2)

通过大量的仿真实验发现，当添加的随机噪声控制的噪声强度与智能体的位移状态误差相关时，其起到的控制作用非常明显。这也是所加随机噪声与环境噪声的一个区别。根据这一特点，式(6)和式(7)可改写成：

ki(xi(t)-rd(t))]dt+

rd(t))dWk(t)

(8)

(9)

为了进一步分析随机噪声强度对多智能体一致性的影响，在多智能体系统控制函数中分别添加噪声强度Bki为智能体位移状态误差ei(t)的2、10、15倍的随机噪声，得到多智能体系统仿真结果如图7所示。

图7 加入不同强度随机噪声控制的多智能体系统仿真结果

Fig.7 Simulation results of multi-agent system controlled by stochastic noises with different intensities

由图7(a)可以看出，4个智能体的位移状态误差曲线出现小的振荡，但它们的运动轨迹大致不变，最终仍是偏离领导者，多智能体系统无法达到随机一致性镇定。由此可见，当添加的随机噪声强度较低时，多智能体的状态不会发生大的改变，原来不能实现一致性的多智能体系统仍然无法达到随机一致性镇定。

由图7(b)和图7(c)可以看出，4个智能体的位移状态误差曲线振荡幅度较大，但它们都能在一定程度上跟随领导者，不会出现完全偏离领导者的现象，而且随着时间的推移，多智能体会慢慢地靠近领导者。因此，当控制函数中添加的随机噪声强度较高时，原来不能实现一致性的多智能体系统可以达到随机一致性镇定，这里就体现出了随机噪声控制的价值。

4 多智能体随机一致性镇定的理论分析

仿真实验表明，在多智能体系统的控制器中加入一定强度的随机噪声后，可以使系统达到随机一致性镇定。那么，确定所添加的随机噪声需要满足的条件就显得十分重要，如果能够求出其大致的条件范围，才会产生实际应用价值。

4.1 定理及证明

定理 设fi:R×R+→R、αij:R×R+→R、βij:R×R+→R是局部Lipschitz连续函数，满足:

(10)

式中：K1>0,K2>0,K3>0。设对于任意的ei(t)∈R，有

(11)

则有

证明[12]：使用It公式，取Lyapunov函数为V(t)=|ei(t)|2，则有

d(|ei(t)|2)=[2ei(t)fi(ei,t)+

故

log(|ei(t)|2)=log(|ei(0)|2)+M(t)+

2|ei(s)caijαij(s)|2]ds+

2|ei(s)ckiβi(s)|2]ds+

2|ei(s)Bkiei(s)|2]ds

根据式(10)和式(11)，可以得到：

log(|ei(t)|2)≤log(|ei(0)|2)+M(t)+

N(t)+P(t)+(2K1+λ-2ρ)t

(12)

参照文献 [13-14]可知，当t→∞时，M(t)/t→0、N(t)/t→0、P(t)/t→0几乎必然成立。故有

即

证毕。

因此，当满足下式时，

(13)

多智能体系统能够达到随机一致性镇定。

接下来通过前面的3个仿真实例来验证所得到的随机噪声强度条件的正确性。

4.2 推论

当不考虑环境噪声时，式(1)为理想状态下的多智能体系统模型，在式(1)中添加随机噪声控制，有

(14)

(15)

将针对系统模型式(8)的主要结论应用到式(14)，得到如下推论。

推论 设fi∶R×R+→R、αij∶R×R+→R、βij∶R×R+→R是局部Lipschitz连续函数，满足:

(16)

(17)

则有

4.3 可行性分析

要使本文提出的随机噪声控制方法具有可行性，必须能够求出满足式(13)的随机噪声的噪声强度Bki。

将式(10)和式(11)代入式(13)，得：

(18)

则有：

(19)

式(19)即给出所添加的随机噪声控制强度的大致下界。只要随机噪声强度大于该下界，就能使多智能体系统达到随机一致性镇定，但由于产生随机噪声也是要消耗能源的，故其强度应尽可能取满足条件下的最小值。

5 结语

本文研究了环境噪声对多智能体系统一致性的影响，并提出一种运用随机噪声控制多智能体一致性的方法。通过仿真实验发现，添加满足一定条件的随机噪声控制甚至可以令在没有环境噪声干扰的理想情况下非一致性的多智能体系统达到随机一致性镇定。最后，本文给出多智能体系统随机一致性镇定的理论证明，同时得到了满足控制要求的随机噪声强度的大致下界。文中提出的多智能体控制方法具有系统能耗小、控制性能更佳的特点。

[1]VicsekT,CzirókA,Ben-JacobE,etal.Noveltypeofphasetransitioninasystemofself-drivenparticles[J].PhysicalReviewLetters,1995,75(6):1226-1229.

[2]Olfati-SaberR,MurrayRM.Consensusproblemsinnetworksofagentswithswitchingtopologyandtime-delays[J].IEEETransactionsonAutomaticControl, 2004,49(9):1520-1533.

[3]HongYiguang,HuJiangping,GaoLinxin.Trackingcontrolformulti-agentconsensuswithanactiveleaderandvariabletopology[J].Automatica,2006,42(7): 1177-1182.

[4]TopazCM,BertozziAL.Swarmingpatternsinatwo-dimensionalkinematicmodelforbiologicalgroups[J].SIAMJournalonAppliedMathematics,2004,65(1):152-174.

[5]LuXiaoqing,AustinF,ChenShihua.Flockinginmulti-agentsystemswithactivevirtualleaderandtime-varyingdelayscoupling[J].CommunicationsinNonlinearScienceandNumericalSimulation,2011, 16(2): 1014-1026.

[6] 李韬.不确定环境下多自主体系统的分布式趋同控制与博弈[D].北京: 中国科学院数学与系统科学研究院,2009.

[7] 苗国英.线性多智能体系统一致性问题研究[D].南京:南京理工大学，2013.

[8] 吕淑玲,侍红军,刘峰.主从多智能体网络快速随机一致性[J].山东大学学报：理学版, 2014,49(1):65-70.

[9]KhasminskiiRZ.Stochasticstabilityofdifferentialequations[M].AlphenaandenRijn，Netherlands:SijthoffandNoordhoff,1980:134-141.

[10]ArnoldL,CrauelH,WihstutzV.Stabilizationoflinearsystemsbynoise[J].SIAMJournalonControlandOptimization，1983, 21(3):451-461.

[11]MaoXuerong.Stochasticstabilizationanddestabilization[J].SystemsandControlLetters, 1994,23(4): 279-290.

[12]胡适耕,黄乘明,吴付科.随机微分方程[M].北京:科学出版社,2008:62-64.

[13]LiptserR.Astronglawoflargenumbersforlocalmartingales[J].Stochastics， 1980，3：217-228.

[14]MétivierM.Semimartingales[M].Amsterdam:WalterdeGruyter,1982:78-83.

[责任编辑 尚 晶]

Stochastic stabilization of multi-agent consensus

LuoQi,ShiLili,LiZhendong

(1.School of Information and Control, Nanjing University of Information Science and Technology，Nanjing 210044，China；2.Jiangsu Engineering Research Center on Meteorological Energy Using and Control，Nanjing 210044，China；3.Collaborative Innovation Center on Atmospheric Environment and Equipment Technology, Nanjing 210044，China)

This paper provides the mathematical description of multi-agent stochastic consensus, simulates the effect of environmental noise on the consensus of multi-agent system, and puts forward a control method for multi-agent by using stochastic noise. The simulation results show that the multi-agent system which has no concerted actions in the environment without noise interference can reach stochastic stabilization by adding proper stochastic noise control. Finally, theoretical analysis of stochastic stabilization of multi-agent consensus is carried out and the general minimum of noise intensity meeting the control requirement is achieved. The proposed coordination control methodfor multi-agent uses less system energy and has better control performance.

multi-agent; multi-agent system; consensus; stochastic noise; stochastic stabilization; coordination control

2015-09-29

国家自然科学基金资助项目(61174077，61573193).

罗 琦(1958-)，男，南京信息工程大学教授，博士生导师.E-mail: hgy2-503@163.com

TP273

A

1674-3644(2015)06-0469-06