基于群体OODA 的无人集群系统智能评价模型及方法

沈博，武文亮，杨刚，周兴社

西北工业大学 计算机学院，西安 710129

无人集群系统（Unmanned Swarm System，USS）是群体智能的重要载体和主流形态之一，具有自主组织、高效协作、紧密耦合等特征，既可激发个体技能，又能汇聚群体智能，以低成本、分散化形式满足复杂任务功能需求，并针对复杂环境自主协同规划、多域协同合作以及动态自适应调整，能够有效提高完成复杂任务的能力，已在协同侦察、联合作战、战场评估等军事领域与区域物流、城市安防、抢险救援等民用领域应用场景中得到初步验证与应用［1-4］。无人系统群体智能具体是指由众多相对自主、人工研发的无人智能实体通过相互协作与分工涌现出复杂智能行为的特性［5-8］。无人机集群、无人艇集群、工业智能机器人集群等是无人系统群体智能目前阶段的典型实例，跨域异构无人集群则进一步呈现出更为复杂的无人系统群体智能形态［9-11］。无人集群系统依据需求执行不同任务，运行环境复杂多变，系统行为自主与协同并存，并表现出鲁棒、适应、协同、涌现、演化等不同程度的群体智能特性［12-16］。

人工智能自问世以来，智能评价一直与之伴随而行。以“图灵测试”为智能判断标准，从智能机器评价准则到无人驾驶等级评价，从基于模型的评价方法到无人集群系统群体智能评价工具研发，从智能算法测试到智能系统竞赛等评价实践，有力推进了人工智能理论方法创新、工程实现优化以及领域应用发展［17-20］。人工智能的度量、解释与分布式人工智能为人工智能理论的5 个难点科学问题之一［19］。中国《新一代人工智能发展规划》［5］明确要求建立人工智能评价体系，评价人工智能产品和系统的关键性能；《国家新一代人工智能标准体系建设指南》［20］将开展人工智能相关产品智能能力等级评价作为基础共性标准建设重点之一。

无人集群系统的个体与群体智能特性是提升系统自主完成复杂任务能力的主要技术途径，智能程度直接影响着无人集群系统的技术先进性、运行鲁棒性、环境适应性以及任务高效性，使得无人集群系统智能评价不仅具有重要的理论意义，而且具有重要的工程价值。具体而言，开展无人集群系统智能的定性与定量评价不仅有利于促进此类群体智能理论方法的创新进步，而且必将推动无人集群系统的发展论证、系统选型、算法优化等，还可有效支撑无人集群系统应用优化设计和工程验证，提升应用效能。因此，智能评价是推进无人集群系统及其应用持续发展的主要驱动力。

无人集群智能评价的主要挑战在于集群面向不同环境、适应不同场景、执行不同任务，使得必须依据任务或场景实施智能特性评价过程，形成评价驱动的动态性问题；无人集群系统的群体学习与智能涌现存在不确定性，导致集群能力存在成长或衰退的多样变化，引发持续性评价问题；无人集群系统潜在能力与智能特性反映在不同层次、不同侧面，形成的表征参数多样化，难以用一种评价方法完成评价过程，导致评价指标与评价方法的多维化问题。

面向无人集群系统能力与智能特性评价的主要挑战性问题，在无人集群系统群体观察-判断- 决策- 执行（Observe-Orient-Decide-Act，OODA）行为模型基础上，提出评价对象与评价系统（Evaluation System， ES）协同演化模型，设计适应群体OODA 的等级评价模型，提出无人集群系统智能特性评价的多类方法及自主评价原型工具，并结合无人机集群系统及其典型应用场景组织初步验证，其宗旨是创新实现适应无人集群系统智能特性的评价模型、方法及其工程验证。

1 无人集群系统智能评价

随着无人集群系统技术与应用的快速发展，其评价研究与实践也伴随而行。已有无人集群系统智能评价以实现方式分为形式化分析和工程化验证，以评价内容可分为面向任务与面向能力，以评价结果可分为定性评价与定量评价，以评价方法可分为基于数学分析的传统方法和基于机器学习的现代方法。

在无人系统的早期发展中，自主性等级评价起了重要引领作用。自主性不仅直接反映了无人系统人工干预程度，是自我管理状态与质量的具体体现，而且也隐含了完成行为过程的感知、决策、执行等能力的高低。典型的自主性等级评价包括国防部空军研究实验室提出的UAV 自主控制水平等级（AutonomousControlLevel，ACL）［21-25］、Sheridan［26］提出了的自动化分级、美国国家标准与技术研究院的无人系统等级划分（Autonomy Levels for Unmanned Systems，ALFUS）［27］、NASA 飞行器系统计划高空长航部提出的UAV 自主性等级［28］等。ACL 等级框架按照OODA 将无人机自主性划分为10 个等级，其中1～4 级反映个体系统自主性逐步提升；5～7级则表达了无人机多机的自主性特征；8～10 级定义了无人机集群的自主，其中10 级是新型无人战斗机的群体作战方式，即多无人系统攻击。当前，全球鹰、影子和火力侦察兵等无人机处于第2等级到第3 等级之间，美国军队预计在2036 年全面实现第10 等级的群体作战。基于ACL 等级标准，陈宗基等［29］提出了中国无人机自主控制等级，在5 级以上考虑了多机协同。

由于无人系统的复杂性，从多个维度共同评价无人系统，是一种常见的评价方式。美国国家标准与技术研究院［26］提出ALFUS 评价维度模型，以任务复杂性、环境复杂性和人机交互度为评价维度构建了无人系统自主性三维评价模型，每一维度有更加细致的评价准则。ALFUS 模型较长时间内在无人系统自主性评价中起到重要作用，但其对后续发展的无人集群系统评价考虑不够充分。王越超和刘金国［30］提出的蛛网模型是一种多维评价模型，可以结合具体的无人系统进行评价内容实例化，例如从协同、交互、感知、导航及决策5 个维度分别评价无人集群系统自主性的关键技术，5 个维度共同得到的整体自主水平。吴澄等［31］参考ALFUS 评价模型，提出了中国智能海洋机器人集群等级划分，从群体智能、自主认知和自主控制3 个维度对海洋机器人及其集群智能进行评价。段海滨等［32］提出面向属性的群体智能评价模型，从行为、拓扑、环境和交互4 个维度对群体智能进行量化评价。

为了推动智能系统发展，对智能进行形式化定义并量化其数值，得到越来越多关注。算法信息论（Algorithmic Information Theory，AIT）是信息论在计算机科学中的扩展［33］。借助算法信息论框架，Chaitin［34］提出采用Solomonoff算法概率、Kolmogorov 算法复杂性和Chaitin 算法随机性评价智能算法或系统的智能。因此，智能可被认为是系统处理复杂性任务的能力。Legg 和Hutter［35］通过环境与智能体的交互，提出一种利用算法概率和价值函数的智能量化定义。Chollet［36］认为，一个系统的智能可用其在一系列不同任务中获得新能力的效率衡量，智能和系统的先验、经验、及任务的泛化难度相关。在此基础上，他分析了任务和智能系统的交互关系，使用AIT 建立了智能量化模型。罗杰等［37-38］认为，群体智能系统实质上是一类复杂非线性动力学系统，提出用群体熵量化描述群体智能。Iantovics 等［39］提出使用MetrIntMeas 度量评价群体系统智能，其出发点是基于问题求解的效能得到一组智能评价指标，进行变换衡量群体系统的智能。此外，还可以使用复杂网络［40］和Karp-Flatt度量［41］评价智能。

2 基于群体OODA 的无人集群系统智能评价模型

在分析无人集群系统行为以及已有相关评价模型与方法基础上，我们以评价协同演化模型为指导，以群体能力驱动的等级评价模型为核心，以等级和特性的评价方法为支撑，以原型工具为载体，以无人机集群典型应用场景做验证，形成无人集群系统智能评价模型-方法-实现综合方案，如图1 所示。

图1 无人集群系统智能评价综合方案Fig.1 Comprehensive solution to evaluation of intelligence of unmanned swarm system

2.1 无人集群系统及其智能评价协同进化模型

随着智能技术的不断进步与应用复杂性的不断增加，无人集群系统智能处于不断发展与进化中。为了评价其智能进化，相应评价系统的能力也需持续加强与提升。另外，按照无人集群系统智能进化合理预期趋势定义的等级评价标准可以更好地指导其智能发展路线，为其进一步进化提供借鉴。以“等级评价驱动无人集群系统智能进化”为基本思想提出了图2 所示的无人集群系统智能评价协同进化模型。

图2 无人集群系统智能评价协同进化模型Fig.2 Co-evolution model of intelligence evaluation of unmanned swarm system

该模型具体由无人集群系统和评价系统2 部分组成：

1） 模型左侧表示USS 及其进化，USS=＜N，C，F＞。在该三元组中，N={n1，n2，…，nn}表示无人系统节点集合；C表示无人集群系统的通信网络；F={f1，f2，…，fn}表示USS 的智能特征集合，包括鲁棒性、适应性、成长性等，|F|表示智能特征集合的势，|fi|表示智能特征的度量值。

2） 模型右侧表示ES 及其进化，ES=＜P，M，T＞。在该三元组中，P={p1，p2，…，pnP}表示评价参数集合；M={m1，m2，…，mnM}表示评价方法集合；T={t1，t2，…，tnT}表示评价对象集合；|P|、|M|、|T|分别表示3 个集合的势，U(A'，A)表示2个集合的并集。

无人集群系统与评价系统进化及其协同进化关系定义如下所示。

1） 若无人集群系统智能进化，F与F'分别表示进化前后的智能特征集，则至少需要满足如下2 条约束中的一条。

约束1所有|fi'|-|fi|≥0 且至少一项|fi'|-|fi|＞0，即USS 的智能特征至少有一项得到提升。

约束2|F'|-|F|＞0，且F'中至少新增一项|fj'|＞0，即USS 引入新的智能特征。

2） 若评价系统能力进化，ES 与ES'分别表示进化前后的评价系统，则要求满足如下2 条约束。

约束3|P'|-|P|≥0、|M'|-|M|≥0、|T'|-|T|≥0 且至少一项非零，即要求评价系统的评价参数、方法或对象至少一项进行扩展。

约束4U(P'，P)！=P、U(M'，M)！=M、U(T'，T)！=T且至少一项成立，即要求评价系统的评价参数、方法或对象至少一项进行更新。

3） 无人集群系统智能等级与评价系统能力协同进化要求。

约束5若无人集群系统进化，则要求评价系统能力进化，对其进行评价。

约束6若评价系统能力进化，则要求无人集群系统进化，以满足新评价要求。

无人集群系统智能特性参数集和评价系统评价参数集的具体映射实例如图3 所示。无人集群系统USS 向评价系统ES 提出评价请求，ES 将USS 对应的特征F映射为参数P。在USS 特征与ES 参数映射中，特征组合F与参数P可以满足不同的多对多映射关系。评价系统在工具T上基于方法M实施评价，向无人集群系统反馈评价结果。

图3 USS 的特征度量与ES 的评价参数映射实例Fig.3 Mapping instance between USS feature measure and ES evaluation parameter

该模型能够从理论、方法与实践有效指导无人集群系统智能进化及其评价研究与实现。从理论上，给出了无人集群系统智能与其评价的相互依赖及其进化关系；从方法上，可以有效指导评价系统及无人集群系统智能的研究方向与实施策略；从实践上，可以有效指导无人集群系统智能评价原型工具集的开发与不断优化。

2.2 基于群体OODA 的无人集群系统智能等级评价模型

2.2.1 无人集群系统的群体OODA 行为模型

观察（Observe）-判断（Orient）-决策（Decide）-行动（Act）的OODA 环从基于行为主义的行为计算模型出发，描述了适应环境变化的各种反应过程，得到了广泛认可［42］。无人系统行为同样遵循OODA 模型，观察主要负责根据自身的传感设备实现对自身和外界环境信息的自感知、自诊断与自监测，判断将感知数据自主转化为有用信息，通过智能推理有效进行行为决策，进而依据决策结果执行具体动作，如此周而复始，形成具有鲜明自主性与时空性的无人系统OODA 行为环，如图4 所示。无人集群系统各无人节点相互配合、密切协同，涉及各无人系统能力的有效集成。为此将OODA 行为模型扩展为群体OODA 模型，具体如图5 所示。图5 描述了各无人节点能力纵向聚合，在此基础上聚合后的群体观察、群体判断、群体决策和群体执行能力还符合集群的OODA 能力环。因此图5 刻画了纵向聚合产生的能力协同，也能够描述群体聚合能力横向协同产生的能力环。

图4 无人系统OODA 行为模型Fig.4 OODA model of unmanned system

图5 无人集群群体OODA 模型Fig.5 Collective OODA model of unmanned swarm

例如，集群内各节点的观察能力通过各自不同类别的观察器或者同一类别不同性能的观察器聚合成为能力更加强大的集群观察能力。群体OODA 模型有效集成了无人集群内多个无人系统的能力，集群成员在各个环节不仅完成自我任务优化，并主动协调彼此行为，实现无人集群效能的最大化。群体OODA 模型是对无人集群行为的高度抽象，不仅能够描述整个集群的能力聚合，还能刻画集群任务行动全过程，体现了无人集群的群体涌现。

2.2.2 无人集群系统智能等级评价模型

无人集群系统智能是一个渐进过程，不同发展阶段形成不同的智能特性，并成为不同等级的划分依据。针对无人集群智能评价的现状及需求，宏观上应以定性等级评价为先导。在遵循等级划分的计划性、渐近性、均衡性、易用性及时效性等原则基础上，提出基于群体OODA 的无人集群系统智能等级定性评价模型，将无人集群系统智能等级划分为如表1 所示的6 级：团队协调、行为规划、任务重构、合作博弈、协同认知和群体理智。其中，团队协调是集群系统智能的最低要求，能够完成静态任务并协调简单动作行为；行为规划要求集群能够观察并处理预期内变化；任务重构要求集群能够自主协同以执行突发任务，具备集群任务重规划能力；合作博弈要求集群能够在对抗环境中自主决策并完成突发任务；协同感知要求集群能够完成小范围态势构建，自主进行战术层级任务决策；群体理智要求无人集群能够自主完成战略层面的态势判断与任务执行，涉及完成多种未知环境下的未知战术任务，体现了集群的综合能力及通用智能。

本文提出的智能等级划分以群体OODA 模型为横向构建依据，给出各个等级的详细刻画，明确了各等级在群体观察、群体判断、群体决策和群体执行4 项能力的具体表现。该模型有助于从多维度实施无人集群系统智能等级验证评价，并推动系统智能逐步提升。

美国国防部自2000 年起每隔几年提出一版无人机发展路线图，其中多个版本采用ACL 等级划分作为发展基准。与ACL 等级相比较而言，本文所提出的智能等级划分有3 点不同：①评价目标不同，ACL 划分针对的是自主性，本文所提等级划分主要针对的是群体智能；②评价对象不同，ACL 划分面向的是包含单机、多机和集群在内的无人系统，本文所提等级划分面向无人集群系统；③可扩展性不同，ACL 主要面向军用无人机，因此很难向其它形态的无人系统及其应用场景扩展，本文所提等级可以扩展为无人机集群、无人船集群、无人车集群等各种形态的无人集群在民用、军用等不同应用场景下的无人集群系统智能等级划分标准。

中国工程领域提出一种装备智能水平划分，已成为该领域评价装备智能的标准。与该分级标准相比较而言，本文所提出的智能等级划分有3 点不同：①评价对象不同，该领域标准主要面向特定装备，本文划分主要面向无人集群系统；②评价准则不同，该标准主要以自主性、协同性、学习性3 个智能特性为分级依据，以感知、决策、行动3 个行为过程为主要要求，本文标准主要以系统智能特征为分级依据，以群体观察、群体判断、群体决策和群体执行4 个行为特征为主要要求构建；③可扩展性不同，该领域标准主要面向特定装备，较难向其它领域扩展，本文智能等级划分的可扩展性较好。

2.3 场景驱动的无人集群系统智能评价过程模型

无人集群系统作为一类复杂系统，对静态固有能力指标数据的分析是评价群体智能的一个维度。无人集群通过群体协同观察、分析、决策和执行能力，呈现出协同性、适应性、鲁棒性、涌现性、演化性、成长性等群体智能特性。由于无人集群的智能具有涌现性会阶跃变化，智能会不断增长，故本文采用面向能力的智能系统评价，并建立能力指标网。为了综合评价无人集群系统智能，还需要采集无人集群在特定场景中执行任务的过程指标数据与结果指标数据，因此构建如图6 所示的基于群体OODA 的无人集群系统智能评价过程模型。无人集群中个体的基础能力构成了集群的群体能力，通过分析不同能力无人集群在多种环境不同任务获取的过程指标与结果指标，综合判定集群是否达到某一等级或智能特性的要求。因此，评价集群的环境应具有普适性，涵盖了各种复杂度；执行的任务要具有充分性，能够体现等级或特性对集群OODA 能力的不同要求。该过程模型比较清楚地解释了无人集群系统能力、场景集合与其智能等级划分、群体智能特性之间的相互关系。

图6 无人集群系统智能评价过程模型Fig.6 Evaluation process model of intelligence of unmanned swarm system

3 无人集群系统智能评价实现方法

3.1 无人集群系统能力聚合方法

无人集群系统能力具有嵌套层次性，可以分为原子能力、复合能力、行为能力和群体能力。例如，群体能力是群体OODA 4 个环节群体行为能力的聚合。由此，可构建基于群体OODA 的层次化无人集群能力网。无人集群能力指标集合具体如表2 所示，现对无人集群能力组合关系进行分析。首先定义支持能力聚合运算的能力半群ℊR=＜ℵ，op ＞，其中ℵ表示能力集合，op 表示定义在ℵ上的能力组合算子，且能力子集ℵi满足ℵ=∪ℵi，op={⊗，∩，∪，∧，∨}。考虑无人集群聚合能力形成的特殊性，依据能力群间能力组合方式及其算子，将无人集群能力群进一步细化为⊗群、∩群、∪群、∧群和∨群。对能力群而言，能力群二元算子⊗运算结果为两元素之和，二元算子∩运算结果为两元素间较小元素，二元算子∪运算结果为两元素间较大元素，二元算子∧运算结果为两元素并集，二元算子∨运算结果为两元素交集。

表2 无人集群系统能力指标集Table 2 Capacity metric set of unmanned swarm system

以群体续航能力Csna为例对能力聚合算子说明，假设ℵCsna=｛Cina1，Cina2，…，Cinai，…，Cinan｝，其中Cinai表示第i个无人系统续航能力，以剩余续航时间为指标。若集群中每个节点为对于任务执行都必不可少，则剩余续航时间最短节点决定群体续航能力，以能力替代下限算子组合运算，ℊRCsna=＜ℵCsna，∩＞；若集群中任一节点均可独立完成任务，则剩余续航时间最长节点决定群体续航能力，以能力替代上限算子组合运算，ℊRCsna=＜ℵCsna，∪＞。基于代数系统的集群能力组合可以对集群能力进行统一刻画描述，方便根据集群特性选择合适的能力算子，对集群能力做相应的评价，提升集群资源评价的准确性。

3.2 无人集群场景描述方法

在无人集群评价实施过程中，场景由无人集群运行的环境及所执行的任务2 部分组成，是其工作空间中所有相关条件及任务流程的总和。无人集群在各种交互执行过程中，通过场景中事件间的因果关系将各节点及子系统之间发生的事件连接起来形成一条系统执行路径，这种因果关系的形式化表示即无人集群的场景描述。无人集群场景描述语言（Scenario Language for Unmanned Swarms，SL4U）是设计用以描述无人集群场景的语言。SL4U 基于XML 语法规范，通过特定的XML 元素、属性、及元素与元素之间的关系来形成SL4U 语法规范，具备描述集群场景中各组成部分的能力。使用SL4U 时，首先形式化地定义一个集群场景文件，利用SL4U 解析器和规划器，对场景文件进行解析、规划步骤，生成多个可由单系统执行的任务，最终实现底层控制的剥离，完成无人集群的管理。

为了实现这一目标，设计并实现了SL4U 的规划器和解释器。规划器在地面站上运行，将结合任务目标进行能力匹配，筛选满足任务需求的无人系统，随后进行协同规划，将场景中区域任务及线任务分别确定为一组或多组点任务，并将点任务分配给不同的无人系统，最终将SL4U 文件转为若干个单系统文件。无人系统上运行的解释器读取单系统文件并解析为任务队列，通过协同事件触发，操控无人系统能力接口执行任务，同时对异常事件进行处理。单系统文件内容也可以通过消息的方式，从地面站发送给无人系统，若无人系统发生异常，可将剩余的任务队列发送给地面站进行重规划和重分配。

SL4U 可以通过任务引用方便快捷的实现任务的调用和复用，而不需要针对相同的任务，每次都由用户给出具体的描述，提高了任务描述的效率，可以在更短的时间内实现无人集群场景描述，并快速部署执行任务。此外，支持场景文件的动态绑定，以便对无人集群任务执行过程中的动态变化做出处理，进一步提高了无人集群系统的可靠性。采集并分析集群在特定场景中的指标数据，是开展评价活动必不可少的环节。当前，SL4U 支持无人机、无人车的场景任务定义，有效降低了集群评价数据的获取难度，缩短了评价周期。图7 为SL4U 描述的一种场景示例。

图7 无人集群系统搜索任务的SL4U 描述Fig.7 A SL4U description of searching scenario of unmanned swarm system

3.3 无人集群系统智能评价方法

针对无人集群系统智能评价需求的多样性，应采用不同方法对具体评价目标开展评价，以判断其是否满足特定等级或特性的要求。常见的评价方法包括模糊综合评价、逼近于理想解的排序技术（Technique for Order Preference by Similarity to an Ideal Solution， TOPSIS）评价、云模型评价与神经网络评价等。除上述常规方法外，本节介绍2 种当前研究的评价方法，即基于算法信息论和基于机器学习的评价方法，前者侧重于评价无人集群在不同环境中的综合表现，后者适宜对无人集群某一维度能力或特性开展评价。

3.3.1 基于算法信息论

最初的基于算法信息论方法评价了单一智能体在任务中的智能，综合了智能体在任务执行过程中的表现。对该方法进行了面向无人集群场景的改进，评价中融入OODA 环行为时间刻画任务复杂度及系统能力，并用环境熵刻画环境复杂度。该方法能够根据无人集群在不同环境中的任务结果进行评价，例如城市搜索中无人机集群穿越空间障碍搜索目标，主要包括以下4 个步骤。

步骤1环境复杂度量化

熵被认为是对无序的量度，熵的大小取决于无序程度，是一种特征的统计形式。图像的一维熵统计了灰度分布聚集特征所包含的信息量，通过获取每个灰度出现的次数及概率，计算环境地图的信息熵。

步骤2复杂度概率分布统计

采用Kolmogorov-Smirnov 检测对环境地图的熵值数据进行检测。Kolmogorov-Smirnov 检测是比较概率分布f(x)和理论分布g(x)或者2 个观测值分布的检验方法。为了准确评价无人集群，应该得到多个不同环境下集群的指标数据。Kolmogorov-Smirnov 检测可以判断环境数据是否符合某种分布。

步骤3环境采样

对环境数据合理采样，选取无人集群在不同复杂度环境中的指标数据，以更加准确评价无人集群，记每个环境的概率值为P(e)，采样后的环境集合为E。

步骤4评价指标及其度量函数

针对搜索任务，评价指标可选如指标1～指标3 所示的3 种。

指标1搜索成功率

无人机集群搜索到的目标占mg个总目标的比值，记为其中若目标i搜索到记Hit(∅i)=1，否则Hit(∅i)=0。

指标2搜索的平均时间

无人机集群搜索进间使用群体OODA 环时间TOODA表示，每个目标点被搜索成功消耗的平均时间记为

指标3面向搜索场景的无人集群智能指标

式中：w1和w2为不同指标的权重，且满足w1+w2=1。

为了有效确定指标间的权重，一种常用的方法 是 采 用 CRITIC （Criteria Importance Through Interia Correlation）权重法进行客观权重的计算，此时需要对各场景获取的评价指标进行归一化处理，以消除量纲和数据方向的不一致。在无人集群智能指标公式中，(·)'表示对该指标通过预处理归一化后的标准数据。根据指标公式计算出智能评分后，再次对评分结果进行归一化处理，得到最终智能等级评价得分。在此基础上，将无人集群得分与由专家设计的无人集群系统智能阈值进行比较，判定是否通过该等级场景任务能力验证。

3.3.2 基于机器学习

XGBoost 是一种基于梯度提升和决策树的学习方法，通过加法模型将多个弱学习器集成为一个强学习器，获得高准确率的机器学习模型［43］。该方法便于得到各个输入特征的重要性，这与传统评价方法中对指标进行人工赋权具有相似性，提升了基于机器学习评价模型的可解释性与可信性，得到定性评价结果后便于对系统设计给出指导性反馈。此外，基于XGBoost 的评价方法属于数据驱动，由于对数据项缺省具有一定适应性，并不严格要求数据难度数量与准确性，适用于针对部分场景个别参数指标获取困难的集群评价。因此，采用XGBoost 对无人集群进行指定特性或能力的评价，主要包括以下4 个步骤。

步骤1集群指标体系构建

指标体系建立需遵从系统性、完整性、层次性和科学性原则，要考虑系统本身和应用的多样性、多维性、层次性，才能对目标能力或特性进行全面评价，避免集群描述的模糊性，要包括单体系统的固有能力指标，也要涵盖集群涌现出来的能力。

步骤2任务数据采集及处理

按照集群指标体系完成数据采集。由于XGBoost 要求输出变量是数值型，需要将部分采集到的数据进行类型转换；利用DBSCAN 算法对获取的集群指标集进行数据聚类分析，聚类时剔除异常点，并与专家经验知识进行比对，以确认聚类的合理性及每一类代表的含义；随后，将评价数据集分为训练集和测试集。

步骤3XGBoost 评价模型训练

XGBoost 模型的训练过程与梯度增加决策树（Gradient Boosting， GB）基本一致，包括初始化模型和迭代生成多个基学习器。其中，子模型树依赖节点递归分裂的贪心准则实现树的生成。

步骤4评估目标集群所属的能力等级

利用训练好的模型对待评集群数据进行处理，以确定该集群是否通过能力或特性指标要求。

4 无人集群系统智能评价原型工具与评价实例

4.1 原型工具

为有效支撑智能评价工作开展，我们设计并实现无人集群系统智能评价工具。工具整体采用B-S 架构，具有评价要素管理、评价过程管理及系统仿真管理三大模块。评价要素管理支持评价管理人员构建包括无人机集群、无人车集群在内的不同无人系统，定义集群任务、环境及智能等级，管理历史评价数据或注入新数据，支持评价方法重新训练及参数更新。评价过程管理支持评价用户选择评价的对象、场景、等级及方法，并可视化展示评价结果。系统仿真管理集成了Pygame 和Gazebo 等无人集群仿真工具，支持用户自定义仿真对象及场景。工具内嵌了参数已调节好的评价方法模型，支持上传真实无人集群系统数据开展评价，同时也支持先仿真获取数据再进行评价。此外，工具支持对比同一集群的多次评价结果，以开展持续评价衡量无人系统的成长性，评价结果为相关系统开发人员参考，为后期的系统改进和创新做出依据，并为评价系统与评价对象协同进化提供支撑。图8 描述了无人集群系统评价原型工具的架构与基本功能模块。

图8 工具架构与功能设计Fig.8 Architecture and functionality of evaluation tools

4.2 评价实例

考虑目标搜索为当前较为广泛的无人机集群场景，以此为例，对提出的集群评价模型及方法开展验证。

4.2.1 无人集群系统智能等级划分标准实例

2.2.2 节中提出的无人集群系统智能等级划分标准可针对不同的无人集群进行实例化，本节针对无人机集群目标搜救场景，对等级划分标准进行场景实例化，如表3 所示。

表3 无人集群目标搜索等级划分实例Table 3 Intelligence level instance of unmanned swarm for object searching

4.2.2 基于SL4U 的评价场景构建

为了描述无人集群场景，获取无人集群系统评价数据，使用SL4U 构建了一个无人机搜索场景，并生成任务代码分别部署在实物飞行与仿真环境，以验证两者的一致性。任务开始后，由3 架无人机构成的集群前往目标区域执行搜索任务，确认目标位置后另外2 架无人机从原点出发前往救援，如实物飞行场景图9 所示，图10 显示了无人集群的飞行轨迹。无人机集群实物飞行实验与基于Gazebo 的仿真飞行实验具有一致的飞行轨迹，验证了基于SML 获取无人集群系统评价数据的有效性。因此，后续实验以Gazebo 仿真为主，获取评价数据。

图9 无人集群搜救飞行场景Fig.9 Searching scenario of unmanned swarm

图10 无人集群搜救飞行轨迹Fig.10 Flight trajectory of unmanned swarm searching scenario

4.2.3 基于算法信息论的评价实例

基于算法信息论的评价方法主要步骤是环境熵值计算和指标获取，以计算评价指标。选取100张同一城市不同区域地图，主要分为4 类环境，包括校园环境、城市环境、乡村环境以及山地环境。利用地图处理方法，得到原始地图栅格表示，根据障碍物数量、密度等计算环境熵值，随后100 组数据进行异常及无量纲化处理，最终得到91 组有效数据，并计算这些地图熵值的概率分布。

设在群体OODA 行为环中，完成“群体观察”“群体判断”“群体决策”“群体执行”各阶段行为所需最大时间分别为Δt1、Δt2、Δt3和Δt4，则无人集群搜索完成的时间为

TOODA中各时间点由仿真日志记录。设定无人机集群由10 个无人机组成，在91 组有效地图中随机选取10 张，针对如下3 种场景进行比较。

场景1环境中有20 个静态目标，没有无人机坠毁。

场景2环境中有20 个静态目标，并引入5 个动态目标，没有无人机坠毁。

场景3环境中有20 个静态目标，并引入5 个动态目标，1 架无人机坠毁。

静态目标指集群起飞前已知晓的目标，动态目标是指集群起飞后才得知的待搜救目标。根据场景栅格地图信息，采用A*算法为每一个无人节点生成实际飞行路径。集群在运行中受到突发障碍物、节点失效和动态任务目标3 种干扰。针对突发障碍物，将其更新到栅格地图中并使用A*算法重规划路径，其它无人节点按照遇到动态任务目标的方式处理。根据3.3.1 节中的智能评价方法，同一无人集群在3 种环境下的智能量化值如表4 所示，其中指标权重由CRITIC 方法确定。

表4 无人集群系统在不同场景的智能值Table 4 Intelligence value of unmanned swarm system in different scenarios

评分结果与直观一致，在引入动态目标后，集群搜救难度提升，智能得分下降。与专家设计的无人集群系统搜救场景等级2 智能阈值0.6 进行比较，集群完成3 个场景评价，通过该等级场景任务能力验证。由于地图集涵盖了某地的基本地貌，选取的测试地图具有随机性，选取的任务要求集群具备路径重新规划等能力，体现了等级2 的基本要求。因此能够刻画集群在某城市执行动态搜索的基本表现，反映了其智能的高低。

4.2.4 面向对抗任务的成长性评价实例

无人集群智能特征不仅是评价其智能等级的重要依据，而且有助于反应其智能的渐近提升与发展。成长性是无人集群系统智能发展处于协同认知阶段时的重要特征体现，是其在群体判断方面的主要评价要求。以集群围捕为典型对抗任务，建立无人集群系统成长性评价分析案例。

围捕任务要求指定区域的围捕集群在既定时间内尽可能多的围捕逃逸集群中的个体，初始时围捕机和逃逸机随机分布，围捕机漫游搜索；若围捕机发现了逃逸机，则进入集结态；随后对逃逸机持续追踪，使围捕机对逃逸机形成合围，进入围捕态。当围捕机集群在逃逸机周围形成封闭区域时，则围捕成功；若逃逸机逃离，则围捕机根据当前信息推断可能出现的区域，并进入预测搜索态。

针对成长性评价要求，首先以规定时间内完成任务的情况为依据，选定无人集群系统成长性的评价指标并给定其测度。

1）围捕率：被围捕的逃逸机个数与逃逸机总数之比。

2）协同围捕率：围捕态无人机个数与围捕无人机总数之比。

3）协调率：最合理围捕机数量与围捕态围捕机数量之比。

4）协同追踪率：集结态围捕机个数与围捕机总数之比。

5）漫游搜索率：漫游搜索态无人机个数与围捕机总数之比。

其次，将CRITIC 赋权方法与模糊综合评价理论相结合，确定了无人集群系统成长性评价模型，如式（3）所示：

式中：n和m分别表示评价指标的数目与模糊评价集的规模；pij表示第i个评价指标在第j个评语上的评分；wi表示第i项指标的权重，通过CRITIC 法可在评价样本集上由评价指标的辨别力与冲突性乘积归一化得到。

基于MAgent 多智能体强化学习平台对集群围捕对抗场景进行评价分析，如图11 所示［44］。实验在200✕200 的区域内进行，初始时随机分布300 个红色的围捕机，100 个蓝色的逃逸节点与100 个灰色的静态障碍物，两方无人节点皆对周围环境零认知，在深度递归Q 网格（Deep Recurrent Q-Network，DRQN）算法引导下完成围捕和逃逸，围捕机/逃逸机的飞行速度为1/1.5，观察范围为5/4。

图11 无人集群追捕场景［44］Fig.11 Pursuit scenario of unmanned swarm［44］

基于上述实验，可对围捕机集群在使用DQRN 算法训练模型时的成长性进行分析。经计算，本实例中5 个指标所得权重分别为0.173 6、0.182 7、0.212 0、0.169 3 和0.262 4。图12 给出了不同迭代轮次对围捕集群成长性的影响，可以看出算法迭代轮次能够提升无人集群成长性，但成长性的增长会随着迭代轮次的增加逐渐平缓。

图12 迭代轮次对成长性综合评分的影响Fig.12 Influence of iterations on growth composite score

上述实例验证本文评价框架能够客观对无人集群开展评价，与专家评价具有一致性。当前，原型工具已结合某试飞基地研制需求，开展应用验证评价。

5 结 论

1） 针对无人集群系统智能评价的迫切需求，根据应用场景的复杂多样性特征，提出了基于群体OODA 模型的无人集群智能等级划分。该划分以定性等级评价为先导，以群体OODA 模型为横向依据，遵循前瞻性、渐近性、均衡性、实践性和易用性等原则构建，明确了各等级在群体观察、群体判断、群体决策和群体执行4 个方面的具体表现，有助于从多维度实施智能等级评价并推动其发展。该划分更关注于无人集群智能及其特性，更能体现其智能行为发展过程，且可针对不同类型集群结合应用场景进行等级实例化。此外，当前人工智能更多是场景智能，无法采用一种通用方法对所有集群评价。

2） 针对无人集群智能的相对性，构建了场景驱动的评价方法，根据评价需求针对指定集群的发展水平构建相应评价场景，体现了对集群不同发展阶段的能力要求，可准确评价无人集群智能的发展。