多智能体编队问题的研究

高炽扬　汤雅婷　徐海波

【摘要】    无人机或无人车等装备是军工领域中常见的现代作战装备之一。然而在很多作战环境下单一的无人作战装备难以完成复杂的军事任务，因此提出了多智能体协同作战的理念。多智能体在执行任务时往往需要实现不同的预设编队，进而实现避障、减小雷达反射截面积等任务，因此多智能体编队控制问题便成为需要解决的核心问题。多智能体编队控制问题有固定编队及时变编队等问题，时变编队显然更具有实际的工程意义。多智能体编队分布式控制算法可以有效解决上述问题。本文对基于二阶积分器模型的多智能体系统进行研究，通过设计分布式控制器实现了对多智能体时变编队的控制，并利用数值仿真验证了控制器的有效性。

【关键词】    多智能体;时变编队    分布式    无人武器装备

Abstract： Equipment such as unmanned aerial vehicles or unmanned vehicles is one of the common modern combat equipment in the military industry. However， in many combat environments， it is difficult for a single unmanned combat equipment to complete complex military tasks， so the concept of multi-agent cooperative combat is proposed. Multi-agents often need to implement different preset formations when performing tasks， so as to achieve obstacle avoidance， reduce radar reflection cross-sectional area and other tasks， so the multi-agent formation control problem has become a core problem that needs to be solved. Multi-agent formation control problems include fixed formations and time-varying formations. Time-varying formations obviously have more practical engineering significance. The distributed control algorithm of multi-agent formation can effectively solve the above problems. This paper studies the multi-agent system based on the second-order integrator model. By designing a distributed controller， the control of the time-varying formation of multi-agents is realized， and the effectiveness of the controller is verified by numerical simulation.

Key Words： Multi-agents;time-varying formation;distributed;Unmanned weaponry;

引言：

多智能体的协同在很多工程中具有广泛应用背景，如区域搜索、战场环境侦察、多战机协同作战、舰队协同作战、导弹突防、目标多点跟踪等[1]。在执行不同的任务时，需要依据不同的场景实现不同的编队形态，既能够实现既定任务，又能够保证协同作战时的灵活性。因此，对于多智能体的编队问题研究对于多智能体协同执行任务是有较大的意义的。多智能体编队问题包括固定编队控制和时变编队控制，其中固定编队控制是时变编队控制的特例。由于在实际问题中多智能体编队往往需要针对不同的任务场景采用不同的编队形式，如导弹突防时多智能体需要采用间距较小的编队形式，而在巡航阶段需要采用间距较大的编队形式，所以可以看出多智能体的时变编队研究具有更高的实用意义。基于上述的多智能体时变编队的优点，本文重点研究多智能体时变编队的控制问题。

一、多智能体编队控制的现状和当前存在的问题

针对多智能体编队的研究，目前对于固定编队的研究方法较为成熟，且研究成果较多。比较常见的一种方法是基于人工势场方法的编队保持策略，即系统建立多智能体之间的人工势场，通过感知势场梯度的變化来给单个智能体的控制器一个控制量，进而给出单个智能体的运动方向和运动速度。该方法要求多智能体系统之间具有通信能力，至少应该保证系统的通信拓扑能够生成一个以图论语言描述的有向生成树。简单来说就是任何一个智能体的状态信息发生变化时都可以通过通信网络将信息传递至整个多智能体网络。该方法被广泛的应用于“领导-跟随者”、“虚拟领航者”以及智能体避碰、避障等编队问题研究[2]。

但是人工势场法的建模方式过于理想，在实际场景中很难建立起较为理想的人工势场来实现多智能体编队，因此基于人工势场法的多智能体编队问题研究很难在实际工程中得到应用。因此目前的多智能体编队研究问题多数已经不再使用人工势场方法，而是基于成熟的传感器来对智能体之间的通信进行描述，进而建立起多智能体编队控制的控制模型。如基于图像传感器和雷达测距的数学模型建立，以及考虑极端条件下，难以直接获取全部状态参数时，引入状态观测器的方法来实现数学模型的建立等方法。上述方法具有较高的使用价值，是当前研究的热点。但基于图论和一致性等理论的分布式多智能体控制研究还是基于固定编队为研究目标的较多，对于更有军事实用意义的时变编队研究还有很多的问题。

1.1研究背景及意义

目前基于一阶积分器模型的多智能体时变编队控制的研究成果较多，但是一阶积分器模型在实际的工程应用中难以直接得到应用。二阶积分器模型能够更加接近实际的描述多智能体的动力学模型，但现有的基于一阶积分器模型设计的时变编队控制器难以直接扩展为二阶积分器模型的时变编队控制器。此外，在实际的系统中，往往采用分布式计算方法，系统中没有进行集中解算的主机。这是因为单个智能体有可能会出现故障，若是主机出现问题会给整个系统的通信造成影响，导致整个编队失控，因此采用分布式计算的多智能体编队的鲁棒性要更加优秀。多智能体时变编队具有更广的工程应用背景，因此，本文以具有实用意义的二阶积分器模型的多智能体时变编队为研究目标，以图论为理论基础对多智能体之间的通讯进行描述，研究多智能体时变编队的收敛性问题。

多智能体编队在实际的场景下，往往需要对期望的轨迹进行跟踪以实现任务目标。分布式计算式的多智能体时变编队控制对于提高智能体对期望轨迹的跟踪精度，具有较高的研究价值。

1.2预备知识与问题描述

1.2.1图论基础概念

令G={V，E，W}表示包含N个节点的带权重有向图，其中V={v1，v2，…，vN}表示图中节点集，每个点代表一个智能体。E={（vi，vj）：vi，vj∈V，i≠j}表示图中的边的集合，W=[wij]∈RN×N表示图的邻接矩阵，将eij=（vi，vj）记为图G的边。邻接矩阵中的变量W是非负的，也就是说，对于任意的i，j∈{1，2，…，N}，当且仅当eij∈E时wji>0，否则wji=0。令Ni={vj∈V：eji∈E}为vi的相邻节点集。将D=diag{degin（vi），i=1，2，…，N}定义为G的阶次矩阵。图G的拉普拉斯矩阵可以定义为L=D-W。对于图G，存在有向生成树意味着信息可以传递至图中的任意节点[3]。

1.2.2问题描述

考虑一个由N个智能体组成的二阶群智能系统，系统的动力学模型为：

其中 ，分别代表智能体 的位置状态，速度状态和控制输入量， 与均为已知的常数。N个智能体之间的通信拓扑可以用图论的知识来进行描述。既当智能体i与j之间的通信用图的边eij的取值来进行描述，也就是当智能体之间无通讯时eij=0，有通讯时eij≠0，在本问题中不将边的权值作为考虑因素，因此当有通讯时eij=1，此时邻接矩阵中对应位置上的元素为1。由此可知，邻接矩阵中的元素均是由0或1构成。

为了描述上述二阶系统多智能体的编队形状，这里引入 等参量，其中 为分段连续的可微向量。令 ，该向量用于表征智能体相对编队形状某一个参考点的偏移量。

由上述的条件与假设，可以得到以下数学模型：

其中，用于表征编队在空间中的位置，可以看作是编队形状参考点的位置，当发生变化时编队整体会在空间中发生移动，这期间会伴随着编队形状的变化，这也是时变编队在宏观上的最直观体现。由式（2）可知，若编队能够收敛到期望形状，则之间的残差应能随着时间的推进逐渐收敛至0。这也成为式（1）中的控制器的设计依据，既通过设计合适的控制器输入可以使得多智能体编队收敛至期望形状和位置。

图 1说明了由上述变量描述的时变编队，以由4个智能体组成的多智能体系统为例， 为编队在空间中的位置表征量， 是以为基准的编队形状表征量， 为二者之差。当编队是固定的时候为常数，而对于时变编队为一个变量。因此为了实现对时变编队队形的跟踪，需要式（2）所示的条件来保证队形的收敛。

此外，本文中所有的问题均可以通过矩阵的克洛内克积运算扩展至高维问题，为了简化问题的描述，这里不再考虑更高维度的情况。

二、多智能体时变编队控制器

基于上述的理论基础，可以知道我们需要基于（1）式设计一个分布式控制器来实现（2）式中的收敛条件。实际的多智能体系统中，智能体之间的相邻通信节点往往是变化的，因此，考虑基于变化通信拓扑图的分布式控制器如下：

式中 为常数增益矩阵，实际计算中会对其进行定义。令 。由于式（3）为控制器的定义表达式，为了实现与系统维度的匹配，进行克洛内科积矩阵乘法，系统的维度匹配后将（3）带入（1）中可以得到此时系统整体的表达式为：

在（3）中的控制器条件下，系统的状态空间方程如（4）所示，式中的表示克洛内科积，不对状态转换产生影响，只起到维度匹配的作用。在上述的分布式控制器作用下，多智能体可以实现时变编队的跟踪控制。

三、结果

为了验证上述控制器对时变编队的控制效果，对（1）式中的多智能体动力学系统进行建模并进行数值仿真计算，观察仿真条件下多智能体系统对指定时变编队队形的跟踪情况。以Matlab为仿真环境进行建模与计算[4]，并将计算结果可视化输出。在进行数值计算之前先对计算所需的参量以及前提条件进行定义。

考虑在平面坐标系（XY坐标系）下，由8个智能体组成的多智能体系统。每个智能体的动力学模型都可以由式（1）来描述，其中。每个智能体装备的距离探测器的极限探测距离为12，智能体的最大运动速度為40。

3.1通信拓扑图

由于计算中考虑智能体之间的通信不是固定的通讯模式，因此考虑设定三种随机的通信拓扑，在编队过程中随机进行切换，验证在此状态下多智能体系统是否能够收敛到期望队形。设定的三种通信拓扑图如图2所示

3.2编队队形

编队在空间中处于时变运动状态，无人机中较为常见的是一种围绕形状中心进行旋转运动的环航编队。该队形运动状态较为简单，容易实现，并且能够验证多智能体系统时变编队控制器的控制效果。由表征的环航时变编队队形由式（5）所示。

3.3仿真计算与结果分析

动力学方程、控制器以及编队参数给定后，开始进行数值仿真计算。计算中智能体的初始位置随机生成，观察最终是否能收敛到指定的编队形状。

仿真结果如图3～图4所示，图3表示式（3）的控制器能够对期望编队形状与轨迹进行跟踪。智能体随机生成的位置是在坐标系中的一个较小范围内的区域中，而随着迭代进行，智能体能够迅速对期望轨迹进行跟踪，图3表示智能体能够实现时变编队的指定形状，但是实际形状与期望形状的编队中心并不重合，有一定的误差，但总体上实现了对期望编队形状的跟踪。

四、总结与展望

4.1本文所做工作的总结

本文对二阶积分器模型多智能体系统的时变编队问题进行研究，依靠设计的分布式计算控制器对多智能体进行控制，实现了多智能体对动态时变期望编队轨迹和形状的跟踪。文中考虑了通信拓扑随机变化的状态下多智能体系统编队的收敛性，同时由于是基于更有实用意义的二阶系统，因此该方法更容易推广至实际的场景当中。文中最后对一个含有8个智能体的系统进行了数值仿真，验证了多智能体系统对期望编队形状的跟踪性，表明该控制器的有效性。

4.2存在的不足

根据最终的仿真结果可知，多智能体编队虽然能够实现期望的编队形状，但是对期望队形的位置跟踪误差较大，反映了控制器的不足。因此在后续的工作中仍需对控制器进行改进以实现编队形状和位置的跟踪，并尽量减小跟踪误差。此外，理論部分做了很多的理想化假设，例如并未考虑外界干扰的影响，通讯拓扑的可能情况考虑并不特别充分等问题。最后，实际的系统多为非线性系统，而这里只考虑了二阶积分器模型，该模型为线性系统，针对非线性系统的控制器设计要更加复杂，也更具有实际工程意义。上述问题都是本文可以进行改进的方向，可以作为后续工作的切入点。

参  考  文  献

[1]YU J， DONG X， LI Q， et al. Cooperative integrated practical time-varying formation tracking and control for multiple missiles system[J]. Aerospace Science and Technology， 2019，93： 105300.

[2]陈杰等. 多智能体系统的协同群集运动控制[M]. 科学出版社， 2017.

[3]等 美. 哈拉里 F. HARARY. 图论[M]. 上海科学技术出版社， 1980.

[4]陈杰等. MATLAB宝典[M]. 电子工业出版社， 2011.