Markov 切换拓扑下二阶非线性多智能体编队容错控制

欧阳凌丛，杨凯军，张志雄

（陕西科技大学 电气与控制工程学院，西安 710021）

0 概述

近年来，系统编队控制作为多智能体系统的一个重要的研究问题一直吸引着学者们的关注，其目标是在运动过程中仅通过局部交互来保持多智能体系统预先指定的几何形状［1］，主要的应用场景是在持久性监测［2］、航天器编队［3］、无人机（UAV）群［4］、移动机器人协作［4］等领域。

目前大量学者致力于多智能体编队控制问题领域的研究，关于编队控制的研究大致可以分为基于领导者-追随者、基于行为和基于虚拟结构的方法［5-6］。此外，对共识问题的深入广泛研究也为编队控制问题提供了新的研究灵感。文献［7］利用自适应神经网络，研究了具有多个领导者的非线性多智能体系统的时变编队跟踪问题。文献［8］通过构建一种迭代学习分布式算法，获得了具有非线性动力学的多智能体编队控制问题的充分条件。文献［9］研究了固定拓扑和切换拓扑情况下的非线性多智能体系统的领导者-跟随者编队控制问题。文献［10］研究了具有时变通信延迟的多智能体系统的时变编队跟踪问题，利用相对邻接信息制定了一个具有时变延迟的编队跟踪协议。事实上，现有文献大多针对一阶问题进行研究，只有少数成果用于解决具有二阶非线性动力学的多智能体系统的编队控制问题。

在实际应用场景中，多智能体系统常受到复杂外部环境干扰，易导致系统通信信号丢失。针对此问题，可将通信拓扑结构之间的切换过程建模为马尔可夫过程，以确保多智能体之间的稳定信息交流。在马尔可夫切换通信拓扑结构下，文献［11-12］分别研究了一阶和二阶多智能体系统的共识问题，文献［13］研究了具有马尔可夫切换拓扑结构的离散二阶多智能体系统的共识跟踪问题，文献［14-15］分别考虑了连续时间和离散时间多智能体系统的共识问题，并得出了共识的充分条件。目前，多数文献仅研究随机切换过程中的共识跟踪问题，较少研究具有随机切换通信拓扑的多智能体系统编队跟踪问题。

随着多智能体系统规模及其复杂性的增加，控制器性能也日益提升，但系统的稳定性却难以提高，控制器故障［16-17］频发会影响到系统编队效果。为确保闭环系统的稳定，文献［18］研究了非线性随机切换系统的故障检测过滤问题，文献［19］研究了多智能体系统的分布式自适应事件触发的容错控制问题，文献［20］通过设计异构多智能体系统的鲁棒性自适应FTC 协议，解决了执行器故障和外部干扰的问题。

本文研究随机通信拓扑多智能体编队控制问题，提出一种马尔可夫切换拓扑下二阶非线性领导者-跟随者多智能体编队容错控制方案，主要进行以下研究：1）将马尔可夫随机切换拓扑与二阶非线性多智能体编队控制进行结合研究，使得多智能体编队系统具有更为广泛的适用性和拓展性；2）将容错控制和通信拓扑随机切换编队控制相结合，使得系统具有更强的鲁棒性。

1 问题描述

1.1 图论

多智能体系统的信息交换拓扑结构被建模为一个拓扑图G=(V，E，A)，其 中：V={1，2，…，N}和E ⊆{(j，i)：j，i∈V，j≠i}分别是节点和边的集合，Ni={j∈V：(j，i)∈E} 表示智能体i的邻居集合；A=[aij]N×N表示邻接矩阵，当且仅当j∈Ni时aij＞0，否则aij=0；D=diag{dii} ∈RN×N表示图的度矩阵，其中相应地，拉普拉斯矩阵用L=D-A表示。从节点j到节点i的有向路径是一串有序的边，形式为(j，i1)，(i1，i2)，…，(iq-1，iq)，其中的节点ik∈V，k=1，2，…，q是不同的。有向树是一个二维图，其中每个节点都有一个父节点，只有根节点没有父节点，但有一个直接通往其他节点的路径。有向生成树是一个有向树，它由G中的所有节点和一些边组成。如果一个有向图的一个子图是一个有向生成树，那么就可以说它包含有向生成树。

1.2 马尔可夫过程

设Gi(t)=Pr(hn+1≤t|Rn=i)为停留在状态i时的驻留时间分布函数。对于i，j∈S，i≠j，n∈N，马尔可夫过程{Rn}的转移概率被定义为qij=Pr(Rn+1=j|Rn=i)。由于Gi(t)只取决于当前状态i，因此可以得出下式：

将切换拓扑的状态转移概率定义为：

其中：gi(h)是Gi(h)的转移概率密度。整理可得马尔可夫模型的状态转移过程为：

1.3 引理与假设

为了推导出本文的主要结果，给出以下假设和引理。

假设1 假设在G所描述的拓扑结构中，领导者对所有追随者都是可到达的，也就是说，对于每个追随者来说，至少存在一条从领导者到它的有向路径。

假设2 存在非负的常数ρ1和ρ2，使非线性函数f满足以下不等式：

引理1［17］假设正定矩阵P和矩阵S满足，常数h＞0，0 ＜τ(t)＜h，则以下积分不等式成立：

其中：

引理2［21］设V(x(t)，t，m)和LV(x(t)，t，m)分别为李雅普诺夫函数和带有弱无穷小算子的李雅普诺夫函数并且他们是有界的，根据Dynkin公式可以得出：

引理3［22］假设f(t)是可测量的，对于i∈S并且E[f(t)1r(t)=i]存在，则有：

1.4 模型构建

考虑一组具有N个跟随者和1 个领导者的非线性多智能体系统，其跟随者的动力学模型描述为：

其中：xp(t)∈RN×N和vp(t)∈RN×N分别为领导者的位置和速度。为了进一步分析，令εi(t)=[xi(t)，vi(t)]T和εp(t)=[xp(t)，vp(t)]T分别代表跟随者和领导者。因此，领导者的动力学模型可以通过克罗内克积形式表示：

其中：Ap∈R2m×2m、C∈Rl×2m和y(t)∈Rl分别是系统矩阵、输出矩阵和领导者的输出信息。此外，F(εp(t)，t)=[0m，f(xp(t)，vp(t)，t)]T∈R2m表示多智能体系统的非线性项。

多智能体系统的执行器在现实情况中存在发生故障的可能性，因此令fi描述智能体i的故障状态，其中，0 ＜fi(t)＜1 表示控制输入有损失情况，fi(t)=0表示完全故障情况，fi(t)=1 表示无故障情况。

在下一节中将研究多智能体系统在随机切换拓扑下的编队控制和容错控制。

2 控制协议设计和稳定性分析与证明

在本节中，将提供线性矩阵不等式方面的充分条件，以确保通过设计反馈控制增益矩阵，在规定的性能指标下实现领导者-跟随者的编队控制。

对于式（2）所示的二阶非线性多智能体无控制器故障系统，本文设计如下控制律：

其中：k为控制增益矩阵；yi为智能体i相对于领导者的位置和速度；yp为领导者的当前位置和速度；aij为智能体i到j的连通关系；rt表示在t时刻下系统的通信拓扑关系。在式（5）所示的控制律中，第一部分表示多智能体系统中的跟随者之间保持预期队形的控制，第二部分表示跟随者与领导者的一致性控制。由于智能体i的故障状态fi是一个随机变量，其数学期望值为η，0 ＜η＜1，可以得到E[fi(t)]=η，因此跟随者i的容错控制表示为：

跟随者的克罗内克积表示形式如式（7）所示：

根据领导者、跟随者的定义可以得到拉普拉斯矩阵的结构如下：

其中：L1∈RN×N表示追随者之间的关系；L2∈RN×1表示从领导者到追随者的关系。L1的所有特征值都有正实部，是一个非负的矩阵，-2=0。由此，式（2）可以写成一个紧凑的形式，如式（8）所示：

其中：

假设式（2）和式（3）所示多智能体系统的初始状态是有界的，如果存在和则多智能体系统形成编队，其中，hix(t)是跟随者i和式（3）所示领导者之间的相对位置，hi(t)=[hix(t)，hiv]T是对应的连续可微分的编队，它描述了期望的编队队形。位置和速度跟踪误差变量定义为：

根据式（10）和式（11）可得：

定义1 如果以下条件成立，则称式（12）所示多智能体编队系统在随机故障和切换拓扑结构下能实现均方意义下的一致性：

式（13）成立说明式（2）、式（3）所示系统在均方意义下的编队稳定，并且保证稳态误差大幅度减少，即当任何误差δ(t)存在时，多智能体系统依然可以在较短的时间内形成并保持期望编队队形。

2.1 切换通信拓扑结构下的编队控制

在本小节中重点讨论非线性多智能体系统在随机切换通信拓扑下的编队控制。通过证明定理1 成立，可以实现在随机通信拓扑下无控制器故障多智能体系统预期编队。

定理1 在假设1 和控制器无故障的情况下，如果存在矩阵Q＞0，R＞0和S＞0，对于∀i∈N，使得满足式（14）和式（15）所示条件，则随机切换通信拓扑二阶非线性多智能体系统在均方意义下能够形成编队。

证明

首先构造李雅普诺夫候选函数：

带有弱无穷小算子的李雅普诺夫函数可以定义为：

定义L 为沿式（12）所示轨迹的弱无穷小算子，根据式（17）能够得到：

根据相同的步骤可以得到：

结合式（19）和式（20），式（18）能够化简为：

同理，式（17）能够化简为：

值得注意的是，非线性函数F(δ，t)在假设2 的基础上满足以下条件：

当存在一个对角矩阵Ψ＞0时，以下不等式成立：

然后，通过对式（22）～式（24）李雅普诺夫函数的求和，得到：

显然，Φi＜0 成立，从而得出LV(δ(t)，t，r(t))＜0，考虑一个足够小的ℓ＞0：

显然，可以得出式（32）对任何t＞0 都成立，当t趋向无穷大时存在式（33）。

因此，从定义1 可以得出结论：式（9）所示闭环误差系统在均方意义上是稳定的，这意味着式（2）和式（3）所示随机切换拓扑网络的领导-跟随多智能体系统的编队控制问题得到解决，证毕。

根据定理1 可以得出多智能体编队系统满足均方稳定，系统能够实现预期得编队效果，接下来进行多智能体编队误差精度分析。

利用文献［25］中的类似方法，则存在一个标量ρ＞0，使得T≥0 时有：

式（36）表示多智能体编队误差能够满足指数收敛。当多智能体系统存在编队误差时，系统能够快速收敛到稳定状态，因此系统具有较高的控制精度，能够实现对误差更为精确的调整。

其中：

对式（39）使用舒尔补定理，可以推导出式（39）等同于式（37），因此定理2 成立，证毕。

在定理1中，式（14）所示矩阵不等式由于存在耦合项，因此要得到合适的控制参数需要利用大量的非线性数值计算，增加了控制算法的计算量。定理2 通过解耦式（14）所示矩阵不等式降低了算法计算量并简化了控制算法流程，提高了所设计的控制算法的可操作性。

2.2 多智能体系统编队容错控制

本节研究马尔可夫拓扑随机切换下所设计的编队容错控制协议能够使得多智能体系统形成编队。

定理3 设假设1 和假设2 成立，则式（6）所示编队容错控制器使得式（7）所示具有随机切换通信拓扑结构的多智能体系统形成并保持参考编队。

证明

设李雅普诺夫候选函数为：

其中：Θ∈RN×N来自引理3。为了处理控制器带有随机故障的马尔可夫过程r(t)，定义李雅普诺夫函数的候选函数如下：

沿着子系统的轨迹对Vi(t)进行时间求导，可以得到：

而P是一个正定矩阵并且是不等式的唯一解。有了正定矩阵Θ和式（43）的求解矩阵P，进而得到LV≤0。对其两边进行积分并取期望值得到：

3 仿真实验

在这一节中，给出一个数值例子来证明理论结果的有效性。

考虑一个由8 个追随者和1 个领导者组成的多智能体系统。假定用1 或者0 分别表示通信拓扑图G的智能体之间存在信息交流和无信息交流。设F={1，2，3，4，5，6，7，8}和H={0}分 别为跟随者集合和领导者集合，S={1，2，3}为通信拓扑结构的集合。令δi(t)=[xix(t)，xiy(t)，vix(t)，viy(t)]T，假设每个智能体的非线性内在动力方程由以下列形式给出：

显然，非线性函数f满足假设1。利用定理1，可以找到K的可行方案。每个跟随者与领导者的相对位置如下：

其中：半径可以选择为R=10。可以很容易地推断出，跟随者的位置将形成一个封闭的队形，而领导者将位于圆形队形的中心，领导者的运动方向是队形的前进方向。跟随者和领导者的最终状态（位置状态和编队状态）分别由不同颜色的线表示。

假设拓扑结构满足马尔可夫随机切换，有3 种拓扑结构模式选择，如图1 所示。

图1 3 种可能网络拓扑Fig.1 Three possible network topologies

图2 显示了领导者和追随者之间的相对位置关系（彩色效果见《计算机工程》官网HTML版，下同）。从图中可以看出，追随者在围绕位于圆形中心的领导者移动，同时保持了一个圆形队形跟踪。经过一段时间编队形成，验证了定理的正确性。

图2 编队轨迹Fig.2 Formation trajectory

图3 显示了在水平和竖直方向上的控制信号。从图中可以看出，图中曲线存在不平滑的现象反映在当前时刻控制器存在故障的情况。

图3 控制器输入Fig.3 Controller input

图4 显示了30 s 内9 个智能体的随机通信拓扑切换，从图中可以看出，智能体之间的通信拓扑是由马尔可夫随机过程选择的。

图4 通信拓扑网络编号Fig.4 Number of communication topology network

图5 显示了跟随者和领导者之间沿水平和竖直方向的跟踪误差，从图中可以看出，所提方法实现了时变的编队跟踪控制。

图5 领导者与跟随者的相对误差Fig.5 The relative error of leaders and followers

图6 分别显示了执行器随机故障的情况。图中数值越小代表故障越严重。

图6 故障情况Fig.6 Failure situation

由表1 可知，当系统执行器不发生故障时系统达到稳态所用时间较短，且调节时间较短。在多智能体系统发生执行器故障情况下，系统需要的调节时间有所增加但是依然可以以较快的速度达到稳定状态，实现预期编队效果，而峰值时间则主要受到系统拓扑网络影响，受执行故障的影响较小。

表1 执行器有无故障用时对比Table 1 Time comparison of actuator with or without faults 单位：s

4 结束语

本文考虑随机切换通信拓扑的二阶非线性多智能体系统编队控制问题，提出基于马尔可夫过程的领导-跟随分布式控制协议。设计一种随机切换拓扑编队容错控制算法，并利用李雅普诺夫稳定性定理和最优控制理论证明系统在均方意义下编队稳定，在控制器故障情况下能够准确稳定的形成编队。MATLAB 数值仿真结果验证了控制算法的有效性。后续将把本文所形成的理论成果与实际应用相结合，同时根据实际应用的需求，在理论研究上进一步考虑通信时延、编队避撞等现实约束。