无人机蜂群中的群体智能涌现机理

2023-10-07宫远强张业鹏马万鹏薛霄

兵工学报 2023年9期

宫远强, 张业鹏, 马万鹏, 薛霄*

(1.天津大学智能与计算学部, 天津 300354; 2.陆军航空兵学院, 北京 101121)

0 引言

随着信息技术和武器装备的快速发展,战争形态正朝着智能化战争演变,高度自主智能化蜂群武器装备的出现,使得战争由单平台遥控作战向着智能蜂群作战方向发展。无人机蜂群作战是指通过大量不同功能、不同种类无人机之间的协作,形成复杂强大的群体作战效能。未来,自主协同的无人机蜂群作战将成为颠覆现有作战场景的新作战模式,但与此同时也对当前的作战理论和作战模式提出了新的挑战。智能无人机蜂群的自主协同行为是在大量作战单元去中心化、分布式控制的基础上,个体之间、个体和环境之间交互的结果,并不存在“控制中心”发送作战指令,其发生机理难以量化分析,因此比较难以预测个体和整个系统的准确行为,可能导致作战结果朝着不可预知和不可控的方向发展。

无人机蜂群是一个复杂非线性决策控制系统,本质上是一个群体智能系统,其自主协同行为是其群体智能的表现形式之一。群体智能概念最早由Beni[1]提出,用以描述群居生物通过自主协作而涌现出的集体智能行为,以及受到自然界中群体协作行为启发来解决问题的启发式算法或构建人工集群系统的方法。通常认为,所谓群体智能就是指由一定规模的个体通过相互协作,在整个群体系统宏观层面所表现出来的一种分散的、去中心化的自组织行为[2]。虽然群体智能系统中个体的智能是非常有限的,但它可以通过分工和相互合作形成一个整体,涌现出高度的群体智能,完成复杂的任务,为解决各种复杂问题提供新的思路。经过30多年的研究与发展,群体智能研究由最初的蚁群优化算法[3]、粒子群优化算法[4]等群体优化算法,发展到集群机器人[5]、无人集群[6]等分布式群体智能系统,再由基于互联网的群体智能理论[7]、系统与应用[8]发展到人机物融合[9]的群体智能计算[10]。目前对群体智能在无人机蜂群中的应用研究主要集中在如何让大量相对简单的分布式作战单元通过局部的交互协同来完成系统的整体目标,从而在减少操作员人为干预的前提下提升无人机的自主与协同控制能力,涉及的内容包括无人机自主协同作战的分层控制结构、蜂群的自主编队控制方法和蜂群的协同作战建模与仿真技术等。Boskovic等[11]提出了无人机蜂群的分层结构,将无人机动态规划、任务分配、自适应机制和生物群体智能结合起来,形成了蜂群协同控制机制。张婷婷等[12]基于智能无人集群系统的结构机理,构建了无人集群系统的三级结构与关系模型,包括链路层、系统层和任务层,分层次研究了无人集群的群体智能。近年来,随着各种深度学习算法的兴起,群体智能算法被用于深度学习的算法优化。Houssein等[13]通过利用群体智能、自组织和涌现的相互关系,提出了一种集群任务中全局目标函数优化的替代方法,它能够适应数据空间中具有高维特征的数据结构。此外,用演化博弈理论解决多智能体协作问题,也是研究方向之一[14]。上述研究成果具有重要的理论和工程应用价值。但是,它们不能直接移植到无人机蜂群作战领域来解释蜂群自主协同行为的涌现问题。

为探索无人机蜂群自主协同行为的涌现机理,本文提出一种多Agent系统中自主协同行为的涌现分析方法,对系统的微观个体层、中观结构层和宏观网络层三个层面展开分析,自底向上地量化分析了系统动态演化过程,揭示了涌现现象从微观到宏观、从局部到全局的内在机理以及系统演变中的一些问题,系统地、定量地解释了多Agent系统中协同行为的涌现机理。本文希望深入分析无人机蜂群协同行为的涌现机理,进而通过模拟推演为无人机蜂群作战的协同机制优化提供策略支持。另外,本文引入计算实验方法,自下而上地构建了基于演化博弈的无人机蜂群计算实验模型[15-21],根据蜂群作战的关键特征设计无人机蜂群社团信息网络,引入公共物品博弈机制构建蜂群合作演化模型,并给出社团网络上蜂群的演化动力学过程。

1 群体智能涌现的分析方法

1.1 涌现分析的总体框架

在多Agent系统中,Agent是具有一定自主能力的智能体,与现实社会的生物个体或者生物群体相对应。Agent个体模型则是不同领域知识发挥作用的容器,可以根据应用问题进行定制化,包括Agent的结构、是否具有学习能力、相互间的交互机制等。群体智能涌现研究的一个重要目标,是希望通过设计Agent的微观的、局部的行为机制,影响和控制Agent的个体行为,以获得预期的宏观的、全局的系统特征[22]。多Agent系统涌现性分析,就是要揭示系统从微观到宏观、从个体行为到群体智能的内在逻辑。正因如此,多Agent系统涌现分析需要将涌现过程拆解开来,从微观、中观和宏观三个层面进行复杂系统的计算实验分析,其分析框架如图1所示。

复杂系统的计算实验分析采用自底向上的分析理念,从3个层次分析系统的演化规律。

1)微观个体分析。多Agent系统中的个体将能够根据其所在小生境的状态调整其行为,使整个系统具有适应性和自组织性。因此可以基于多Agent理论和演化博弈论,从个体微观个体的角度入手,对个体自适应行为的状态转移轨迹进行分析。基于多Agent系统中的微观要素,对于确定性要素,要进行定量分析,例如给出微观动力学方程;对于不确定要素,例如有限理性、学习能力,要进行定性分析,进而判断整个系统的自适应行为和系统鲁棒性。

2)中观结构分析。复杂系统中的个体在长期的演化过程中会涌现出复杂的结构特性,包括小世界特性和幂律特性[23]等。为了理解这些涌现特性的产生机理,本文以系统动力学理论和演化博弈理论为基础,分析系统演化过程的内在机制和反馈回路,构建系统动力学模型。基于数据分析研究模型参数的学习方法,分析不同要素对整个系统演化的影响,进而对整个系统的演化过程进行预测。

3)宏观网络分析。在宏观层面上,系统群体智能涌现现象的产生、发展与循环反馈的过程与复杂网络的自组织演化过程类似。微观个体和宏观整体之间形成一种关联网络演化模型,群体系统的组织结构、交互机制等关系体现为网络的自组织演化迭代机制,在无人机蜂群整体层面则表现为自主合作、对抗博弈等群体行为模态的涌现。

1.2 微观个体层面分析

复杂系统中的Agent是具有一定自主能力的智能体,Agent结构中的信息流和控制流将各个模块连接成一个整体:Agent在执行任务过程中,根据个体经验、环境信息和行为反馈,决策模块会制定出下一步行动计划;根据行动计划执行响应动作,调用相应的资源服务来做出应对;Agent的行为优化机制采用效用最大化的原则,在Agent与外部的交互中不断地进行反馈学习,逐渐优化Agent个体的行为机制和决策机制,使Agent采取更加接近完成目标的行为。在微观个体层面,Agent遵循必要的行为准则并具有一定的可控性,微观Agent并不关注系统宏观层面涌现出的属性和现象,只是遵循简单的行为规则采取对自己最有利的行为。

具备自主决策能力的Agent可以在外部环境中根据自身的目标或任务,产生自主行为。Agent具有感知环境的能力,并具有相应的动作行为集合,可以通过决策选择执行某一动作,改变自身外部环境,而环境的改变也会反过来影响Agent接下来的决策和行为,外部环境和Agent自身都表现出非确定性。其内部结构如图2所示。

Agent的行为模式可以总结如下:环境的最初状态为e,Agent通过感知模块See(e)感知到外部环境的信息;Agent最初的内部状态为i0,然后通过Next(i0,See(e))模块进行个体内部状态的更新,随后经由State(Next(i0,See(e)))模块决定将要执行的行为,完成个体内部信息流和控制流的传递,最后通过Action模块来执行动作。Agent按照这个行为模式不断循环执行,并不断更新自身状态信息。

在这种方法中,可以把任务定义成一个函数,把效用赋给状态的执行结果:

u:R→R

(1)

式(1)表示给Agent的每个状态的执行结果赋予一个值R。假设效用函数u存在一个最大值k∈R,使对所有r∈R都有u(r)≤k,则可认为此Agent是使效用最大化的最优Agent,定义Agent模型为Ag。假设用P(r|Ag,Env)表示个体Ag在外部环境Env中执行r这一事件发生的概率,则有

(2)

则在环境Env中的最优Agent定义为使得期望的效用最大化:

(3)

式中:AG表示群体Agent模型。

由此可以看出,在基于效用的多Agent系统中,Agent追求自身效用最大化的行为过程间接推动着系统整体的动态演化和涌现现象的产生。

1.3 中观结构层面分析

图3描述了多Agent系统的局部组织结构,Agent可以通过自身行为影响和改变环境,也可以进行通信和互动等交互行为,个体之间产生依赖关系,并在此基础上形成Agent的局部组织关系。

图3 多Agent系统的组织结构

首先,把多Agent之间的交互问题简化成两个Agent之间的交互,多Agent交互可以看作两个Agent交互的扩展,分别称这两个Agent为Agenti和Agentj。假设每个Agent都是有限理性的,即每个Agent都会选择对于自己最有利的行为。当两个Agent进行交互时,它们会独立地基于自身的策略做出行动,交互的结果取决于两个Agent所选择的策略。为了简化分析,假设每个Agent可以执行的策略有两个,其他多策略场景可以在此基础上扩展。两个策略分别用A和B表示,AC={A,B}是策略的集合。定义整个多Agent蜂群的状态为

ξ=[ξAξB]T

(4)

式中:ξ的分量ξA和ξB分别表示采取策略A和策略B的Agent在整个蜂群中所占的比重。因此,蜂群中属于策略A和策略B的分量ξx(x∈A,B)的变化,可以用下列动力学方程来表示:

(5)

rx(ξ,Ψ)=Ψxξ-ξTΨξ

(6)

式中:rx为Agent的行为在环境中选择x策略的执行;Ψ为Agent的博弈收益;Ψx为Agent选择x策略的博弈收益;Ψxξ表示Agent个体选择策略x(x∈{A,B})的期望收益;ξTΨξ表示此Agent所在群体的平均收益。由此可以看出,当个体持有的策略带来的收益高于平均收益时,其所在的小群体规模将会扩大,而持有收益较小策略的小群体规模将不断减小。个体在系统中的适应度取决于Agent的收益,在每一轮博弈中,Agent根据自身收益由适应度函数计算其适应度,反映了Agent以收益作为依据自适应地调整决策和行为,以适应环境的智能特性。

在演化过程中,Agent根据其收益情况进行策略和状态的更新,从而推动了蜂群的动态演化。可以根据系统需求的不同来设计不同的更新机制,例如,在模仿学习机制中,Agent比较自身收益与周围邻居的收益,并学习收益更高的Agent的策略。除此之外,Agent也可以事先设立一个期望的收益水平,并以此来自适应地评估和更新其策略,提高适应环境的能力。由于Agent具有的学习性,个体的策略更新是一个不确定的过程,策略更新机制的设计同样需要结合具体问题具体分析,既要与系统整体的目标相符合,又要考虑Agent的个体需求和条件限制,必须合理准确地设计Agent的期望值,适应系统的整体需求。定义策略x在t时刻的状态如下:

(7)

式中:η(x,t)=1意味着在t时刻Agent选择策略x所获得的收益高于周围个体的平均收益,反之η(x,t)=0意味着低于平均收益。如果收益高于平均水平(即η(x,t)=1),则Agent维持现在的策略不改变;若η(x,t)=0,则Agent以概率-ωrx(ξ,ψ),切换其策略。定义ω>0,代表选择强度,表征博弈所产生适应度的差异对个体决策的影响程度,满足-ωrx(ξ,ψ)<1。于是,经过一步更新后,种群的状态变为

(8)

式中:ω为选择强度,ω∈[0,1],反映了博弈过程产生的收益差异对于个体决策的影响程度;rA、rB分别为Agent的行为在环境中选择A策略或B策略的执行。

BOVET 播威表匠是特长动力机心专家，为Récital 22 Grand Récital搭载的专利双面陀飞轮可以微调机心精准度，机心摆频每小时18,000次，品牌自制的游丝及变量惯性摆轮合作无间，提升机心等时性能。

基于上述分析,系统中Agent可以自适应地调整其行为以提高自身效用,多Agent系统也在此过程中随之动态演化。通过合理的演化机制设计,在保证个体利益的基础上,Agent之间可以产生出自主合作等行为。

1.4 宏观网络层面分析

无人机蜂群作为一种复杂作战体系,其作战模式不再是众多作战单元的集中控制和机械配合,而是以侦察、攻击、指挥等无人机作为节点,以无人机之间的通信连接、资源分享等交互行为作为连边,根据一定的运行机制和组织关系所形成的复杂网络体系,其结构反映了蜂群系统的要素组成和要素间的作用关系。无人机蜂群中群体智能的涌现过程可以用复杂网络的自组织演变过程来表示,如图4所示,微观层次中的个体动作以及交互行为,在中观层次通过演化产生局部组织,最终在宏观层次的蜂群网络中产生模式涌现。在此基础上,当新的个体加入或原有的个体退出时,系统可能暂时偏离平衡状态,但通过不断地自适应演化之后系统又回到稳定态,无人机蜂群的组织产生、交互合作和结构变化等关系表现为网络的自组织演化机制,在整体上涌现为博弈对抗或自主协同等群体行为。

图4 宏观层面群体行为的涌现过程

对无人机蜂群系统中涌现现象的宏观层面分析侧重于从复杂网络的角度来进行。根据无人机蜂群的不同应用场景和任务目标,可以选择不同的复杂网络的相关指标分析蜂群的结构与特征,探索智能化背景下蜂群作战体系的网络特性和演化规律,为分析无人机蜂群中自主协同行为的涌现提供帮助。

2 无人机蜂群的计算实验模型

2.1 模型映射

当无人机蜂群执行作战任务时,智能无人机个体将不可避免地计算和评估其自身所具有的弹药等资源以及损失等行为成本,以趋利避害,保证其收益的最大化。因此可能会导致无人机个体之间利益冲突,产生个体利益和蜂群目标不一致的现象。例如,当具有自主智能的无人机在执行目标打击任务、面对强大的目标时,有限理性的无人机面临两个选择,一是选择合作,消耗自身能量来打击目标,完成作战任务;二是选择不合作,不攻击此目标,保存自己的力量。有限理性的无人机具体会选择哪个选项,取决于每个选项所带来的预期收益。从蜂群整体的角度,无疑是希望能够有更多的无人机选择合作策略。因此,如何提高蜂群的合作水平,是无人机蜂群自主协同机制研究中需要解决的重要问题。

当涉及到个体与整体之间的利益冲突时,公共物品演化博弈[25]为分析群体的交互机理、缓解各方的利益冲突奠定了理论基础。在该博弈过程中,个体通过局部之间的交互,依据自身利益自主调整其行为,保持个体收益与群体整体效用之间的一致,从而在整体层面涌现出自主协作的行为。作为一种自主协同机制,其优势在于保持个体的自主性,不直接控制个体的行为,而是通过个体之间的自组织演化从而完成整体的目标。无人机蜂群自主协同机制与公共物品博弈之间的概念映射关系如表1所示。

表1 无人机蜂群协同与公共物品博弈之间的概念映射

2.2 无人机个体模型

结合无人机的系统和功能特性,本文设定无人机蜂群是由多个无人机Agent构成的系统,每个无人机具有独立的感知、决策和行动能力。无人机Agent的决策和行为取决于其特征属性,Agent属性信息如表2所示。

2.3 无人机蜂群模型

在无人机蜂群中,随着多轮演化博弈的进行,单个无人机i根据自身及其邻居的收益不断更新其策略集{C,D}中的策略,直到蜂群中具有不同策略的Agent所占的比例达到稳定。

(9)

(10)

对于复杂网络上演化博弈的研究,其思路可以归纳为以下过程[26]:确定要使用的博弈模型,然后确定网络拓扑模型,并制定其策略更新规则。个体的策略更新体现为个体的学习和自适应行为。其中,费米规则[27]是一种基于个体期望的规则,该规则比较个体的实际收益与期望水平,在此基础上个体进行决策和行动,该规则重点研究个体的个体期望在博弈中发挥的作用。主观期望是个体行为的重要依据,反映了演化博弈中个体对于收益的主观预期,即“自利”的程度。在真实作战场景中,战场环境复杂多变,无人机控制命令传达不通畅、信息传输不完整、偏离预期策略等情况时有发生,因此无人机通过愿景机制可以实现一定程度上的自我管理,满足蜂群自主协同作战的需求。在这种更新规则下,可以体现出个体有限理性的特点,更加贴合实际。在这一规则的驱动下,个体i在策略集{C,D}中转换策略的概率如下:

(11)

无人机蜂群中的自组织行为主要依靠其信息交互,信息网络是多个无人机交互的桥梁,是无人机蜂群自主协同行为涌现的基础。无人机蜂群规模的扩大导致了更复杂的相互作用,如何根据无人机节点间信息交互的需求和蜂群作战的特点来建立蜂群信息网络拓扑,是建模过程中的重要问题。

如图5所示,在典型的无人机蜂群作战中,无人机蜂群可分为多个子群,执行不同的任务,如情报侦察、电磁干扰和打击。无人机个体通过适应、沟通、分工和协作,形成了一个紧密相连的协作网络,从而完成单个个体无法完成的任务。这些不同功能的无人机子群内部紧密耦合,而外部彼此松散耦合,表现出类似“社区网络[28]”的组织形式。因此,本节在传统信息网络的基础上结合社区网络,构建一个与无人机蜂群作战特征高度吻合的网络拓扑模型,它不仅具有传统作战网络的层次性和规则性特征,还具有蜂群的复杂作战网络特征。

图5 无人机蜂群通信网络示意图

从上述无人机蜂群作战体系的关键特征出发,本文对无人机蜂群的网络拓扑做出如下假设:在初始时,一个完整的无人机蜂群由M(M≥1)个具有异质功能的无人机子群构成,每个无人机子群中节点的作战功能由其所在的子群性质确定。每个无人机子群网络最初都是由m0(m0≥1)个完全连接的无人机节点组成,即初始时蜂群中没有孤立节点,任意两个无人机节点之间通过直接连接或间接连接建立通信协同关系。在每个无人机子群中都存在一个节点,负责与其他M-1个外部子群进行通信。在整个无人机蜂群中,任意两个子群之间均存在通信链路,以保证每个子群均可以与其他子群进行通信。如图6示是一个由M=3个不同功能的无人机子群,每个子群由m0=3架无人机组成的无人机蜂群网络拓扑结构。

图6 无人机蜂群协同作战的通信网络拓扑

无人机蜂群网络拓扑的动态演化过程描述如下:在每个时间步中,当一个新的无人机节点加入无人机蜂群中时,它会根据自己的功能加入与自己同质的无人机子群中。新节点通过m条通信连边与子群内部中的其他m(1≤m≤m0)个无人机节点建立连接,新节点与第j个子群网络内的其他节点i建立连接的概率πsij正比于节点i的内部连接度;新节点通过n条通信连边与其他M-1个外部子群中的n(0≤n≤m)个无人机节点相连,新节点与第k个子群外部网络中的节点i建立连接的概率πlij正比于节点i的外部连接度。

3 计算实验结果与分析

3.1 实验设置

本文使用Repast Simphony[29]建模工具作为计算实验平台,通过设计不同的Agent模型参数和交互规则,可以仿真构建出不同应用领域的各种多Agent系统,将实验系统作为数据发生器,观察系统可能产生的涌现现象,从各个角度分析系统的运行过程和演化规律。本文基于自底向上的理念,构建了无人机蜂群模型。相关实验参数的初始化设置如表3所示。在系统运行过程中,每个时间步内,新生成的无人机会随机加入一个无人机子群阵营,并且随机采用合作策略C或非合作策略D,随着后续博弈的进行,无人机会自适应地采取使自己利益最大化的策略。

表3 实验参数设置

由2.3节分析可知,为了提高生存能力,无人机个体在无外力作用下会优先选择非合作策略D,最终蜂群中所有无人机也都会选择非合作策略。但是,在无人机蜂群的群体智能作用下,无人机个体却有可能选择合作策略C,蜂群在整体层面涌现出具有稳定结构的自主协同行为。这种协同行为的涌现现象是如何产生的,又该如何提高蜂群的协同水平,是研究的重点。

因此本文选择将无人机蜂群整体的合作率fe作为试验评价指标,即用持有合作策略C的无人机在无人机蜂群中所占的比例来衡量蜂群的合作水平,计算方法如式(12)所示:

(12)

式中:Nc表示蜂群中合作者的数量。

3.2 微观因素对蜂群协同行为的影响

在无人机蜂群的微观层面,主要关注无人机的个体属性。在微观个体层面,探讨无人机个体的作战成本(如火力、通信资源)对蜂群合作行为的影响,具有很强的实践指导价值。在实战中,如果无人机的作战成本过高,则在蜂群作战中将得不偿失,蜂群作战目标是以最低的成本获得蜂群协同作战的最佳效能。因此,本节将探讨无人机蜂群的合作水平与个体作战成本之间的关系,从而优化无人机蜂群协同机制。

设无人机作战成本的基础值c=1,表示选择合作策略C的无人机个体向集群贡献的资源,则当c=2时表示无人机消耗的资源加倍。在实战中,无人机个体具备的资源是有上限的,因此本文设定c∈[1.0,2.5],既覆盖到了蜂群作战的一般情况,又考虑了极端情形。图7展示了不同选择强度下蜂群合作水平fc随着作战成本c的变化关系。

图7 蜂群合作水平与作战成本之间的关系曲线

3.3 中观因素对蜂群协同行为的影响

在无人机蜂群的中观层面,主要关注无人机之间的交互行为。在无人机蜂群中,无人机之间的局部通信连接是自组织合作行为涌现的关键。在本文构建的无人机蜂群系统中,通信连接分为无人机子群内部的内部连接和子群与子群之间的外部连接。即便两个无人机子群具有类似的组织结构,如果其内部和外部通信连接关系不同,也将表现出不同的组织特征,进而影响无人机节点之间的合作。本节分析无人机子群内部连接与外部连接对蜂群合作水平的影响。令无人机子群数量M=5,蜂群规模N=100,实验设置在分别固定内连接数m和外连接数n的前提下,仿真模拟m和n单独的变化情况对蜂群合作率的影响,结果分别如图8(a)和图8(b)所示。

图8 内部连接和外部连接的相对关系对合作水平的影响

如图8(a)所示,保持内部连接数m=3不变,通过实验仿真绘制出当外部连接数n={0,1,2}时,无人机蜂群整体的合作水平曲线图。从整体情况可以看出,fC(k)|m=3,n=0>fC(k)|m=3,n=1>fC(k)|m=3,n=2,因此在无人机节点内部度(无人机子群内部网络连通度)固定的条件下提高节点外部度(无人机子群外部网络连通度),将削弱蜂群整体的合作水平;如图8(b)所示,保持外部连接数n=1不变,通过实验仿真绘制出当内部连接数m={1, 3, 4}时无人机蜂群整体的合作水平曲线图,从整体情况可以看出,fC(k)|m=1,n=1>fC(k)|m=3,n=1>fC(k)|m=4,n=1, 因此在无人机节点外部度固定的条件下提高节点内部度,将削弱蜂群整体的合作水平。

3.4 宏观因素对蜂群协同行为的影响

图9 蜂群合作水平与网络平均度之间的关系曲线

根据实验结果可知,当网络平均度k在[2,10]的区间时,随着网络平均度的增大,无人机蜂群的合作率明显下降,即无人机节点之间连接越紧密,就越会抑制蜂群中合作行为的涌现。这是因为伴随网络平均度的逐渐增大,网络的密度随之提高,导致蜂群网络中的无人机节点之间连通性的增强,相邻节点邻域结构的相似度就会越高,因此各个节点从公共资源池中获得的收益就会趋近相同。然而在公共物品博弈中,选择合作策略的节点需要贡献出自身的资源,而选择不合作策略的节点则不需要,导致其收益会高于合作者。由于蜂群网络连通性的增强,无人机节点接触到不合作节点的概率也会增大,从而导致无人机节点倾向于收益更高的不合作策略。当网络平均度大于一定阈值时,网络连通性已经到达极限,此时度的增加对无人机策略选择的影响力度减弱,因此蜂群协同水平无明显变化。