无人集群试验评估现状及技术方法综述

赵蕊蕊, 于海跃, 游雅倩, 张 涛, 陶 敏, 姜 江

(国防科技大学系统工程学院, 湖南 长沙 410073)

0 引 言

人工智能技术的迅速发展使得智能化的网络信息体系成为军事领域的重要变革趋势,未来战争逐渐呈现出无人化和智能化的特征[1]。近年来,各国高度重视无人装备的相关研究,单体无人装备的性能大幅提升,但其完成任务的能力始终有限,无人集群协同作战应运而生。无人集群最初由无人飞行器发展而来[2],是群体智能与无人系统相结合的产物[1]。其概念可描述为:无人集群是由一定数量的智能和非智能无人装备,以单平台装备的作战能力、自主协同技术和集群控制算法为基础,以平台之间的自组网通信为支撑,围绕任务目标,模拟自然界生物集群形成的具有功能分布化、行为涌现性特征的作战体系[1,3-4]。目前,无人集群大致可分为无人机集群、地面无人车集群、水面无人艇集群、水下无人潜航器集群以及上述无人装备的跨域联合[5]。上述同构或异构无人集群通过个体之间的自主协同实现作战能力涌现,达到“1+1>2”的效果,成为未来战场中的颠覆性力量。无人集群自主协同是指在无人参与或人工监测下,具备一定自主性的集群个体既能够独立地完成给定任务,又能够自发地交互协同完成群体任务[6-7]。实现自主协同是构建无人集群的根本目的,也是其最终发展目标。近年来,世界各主要军事强国面向自主协同的无人集群开展了大量的研究项目,内容集中于无人装备平台技术研发、集群自主协同技术探索、作战样式设计以及相关演示验证等方面。但在整体上,无人集群的研究仍处于技术探索和发展融合阶段,为验证能否满足理想的作战需求,还需要进行大量的试验评估工作。

试验评估是试验鉴定的重要环节,装备试验评估是在科学组织试验的基础上,依据对试验所得数据的综合分析,得到装备性能、作战效能、适用性等方面的正确评价结论,为确定装备是否满足研制要求和使用需求提供依据。无人集群的试验评估是其从作战概念走向实际应用的重要桥梁,对于检验无人集群发展水平、指导无人集群实战化应用具有重要意义。在概念界定上,无人集群试验评估尚无统一定义。梁晓龙等[1]在已有研究和实践基础上认为,无人集群试验评估是通过提供科学规范的评估过程、方法,以及置信度高、适应性广的评估模型,得到对集群自主协同能力、系统健壮性和作战效能等的量化评价。基于该认识,本文将现阶段的无人集群试验评估描述为:基于高置信度的评估指标和模型,实现对无人集群自主协同特征的有效描述,以明确试验数据需求并完成数据获取与综合分析,达到对无人集群的性能、作战效能及潜在的作战适用性、体系适用性等进行评价的目的,为无人集群是否满足研制要求和使用需求提供依据。

区别于传统的装备系统,自主协同的无人集群执行任务时具有鲜明的系统涌现性特点,整个集群在作战过程中需要对瞬息万变的作战环境做出动态的智能决策和协同调整。因此,无人集群试验评估存在着评估指标设计难、评估模型要求高等特点[8],传统试验评估理论已难以适用。针对这一现实问题,本文在对国内外无人集群试验评估规划和项目实践现状进行总结的基础上,重点对评估指标设计和评估方法选取两个关键技术环节的研究进行了系统地分析和梳理,为后续无人集群试验评估工作提供借鉴。

本文结构组织如下:第1节介绍国内外在无人集群试验评估规划和项目实践方面的研究现状;第2节在对已有无人集群评估研究中使用的指标进行梳理和分析的基础上,进一步对各无人集群关键技术涉及的评价指标进行了描述总结,给出了对各关键技术能力进行评估的指标设计思路;第3节按照具体含义和计算方式将无人集群评估指标分为基础指标和综合指标,并分类介绍了无人集群试验评估方法;第4节对本文内容进行总结。

1 无人集群试验评估规划与项目实践

目前,世界主要军事强国针对无人集群相关概念、技术与应用展开了顶层规划探索和大量的试验研究项目,把握国内外无人集群试验评估研究的最新进展,对于指导相关领域的发展规划具有重要意义。本节将对国内外无人集群试验评估规划和项目实践现状进行总结。综合来讲,美国对无人集群的试验评估研究处于领跑地位,国内则尚处于起步探索阶段。

1.1 无人集群试验评估规划

在无人系统发展相关的顶层规划方面,美国国防部分别于2000年、2002年和2005年发布了3版无人机路线图,其中2005年8月发布的《无人机系统路线图2005-2030》[9]沿用至今。该路线图将无人机自主等级划分为1至10级,包括单机自主、多机自主和集群自主3个层面,预计2025年后无人机将具备最高等级的集群能力。美国陆军、空军和海军相继在2010年4月、2016年5月和2018年3月分别发布了《无人机系统路线图2010-2035》[10]《小型无人机系统飞行规划2016-2036》[11]和《海军无人战略路线图》。其中,空军发布的规划从战略层面肯定了小型无人机系统的前景和价值,对“蜂群”“编组”“忠诚僚机”3种集群作战概念进行了阐述,从侧面印证了无人机集群发展的重要性[12]。随后,美国国防部在2018年8月发布的《无人系统综合路线图2017-2042》[13]中强调无人系统应聚焦全域作战,并指出无人系统的集群能力是需要近远期发展的关键技术之一。2017年,美国国防部高级研究计划局(Defense Advanced Research Projects Agency, DARPA)提出实现无人集群完全自主协同作战的高级愿景——“马赛克战”的概念[14]。随后,美国战略与预算评估中心在2020年发布报告《马赛克战:利用人工智能和自主系统实施决策中心战》[15],把人工智能辅助作战决策与指挥控制、人机/集群智能协同和自主作战作为支撑新的制胜机理和作战概念的核心技术。

我国针对无人系统发展建设的顶层规划工作起步稍晚。2017年,国务院印发了《新一代人工智能发展规划》[16],在规划中列出的8项基础理论中,有多项与集群智能直接相关,包括混合增强智能理论、群体智能理论、自主协同控制与优化决策理论等。2019年,国防部刊发的《加速推进军事智能化》评论[17]中,把智能集群战、人机协同作战等列为智能化战争的基石。2020年1月,中国科学院大数据挖掘与知识管理重点实验室发布了《2019年人工智能发展白皮书》[18],所列的取得较大突破且在各界引起较大关注的8项人工智能关键技术包括群体智能技术和自主无人系统技术。2021年11月,中国电子技术标准化研究院等27家单位发布了《智能无人集群系统发展白皮书》[19],对无人集群的发展需求、趋势、未来愿景、国内外发展现状、关键技术以及技术标准体系等进行了阐述。

在无人集群试验鉴定方面,美国早在2011年就率先制定了无人自主系统试验鉴定体系结构框架,该框架面向5类作战空间的自主系统,关注7类自主性支撑技术,内容涵盖基于OODA(observation, orientation, decision, action)环的混合仿真试验环境、5类自主系统评价指标和4层试验类型[20]。结合经验认知与实践积累,美国认为无人集群自主性技术给传统试验鉴定与评估带来的挑战包括[1,20]:技术方面,无人集群通过个体间的自组织和自同步,实现面向不确定威胁的自主态势认知和自适应决策,会涌现出学习、合作等复杂社会行为,已有的试验鉴定技术难以适应这些特点;算法方面,常用的深度学习等人工智能算法内部空间规模巨大且具有黑箱特性,不具有可解释性;自主性技术的嵌入和发展给跨域无人集群联合试验鉴定带来挑战。针对这些挑战,美军近年来致力于多路布局、一体推进[20],从多渠道持续投资无人自主系统试验鉴定项目;美国国防部积极组织召开试验鉴定相关研讨会,宣传其在自主性及试验鉴定方面的需求,以牵引各方研究力量突破所需的关键技术,并对工业部门和大学开展的自主性试验鉴定项目的成熟成果进行采购;试验资源管理中心和DARPA则以建立无人自主集群集成试验床作为相关项目的重要目标。

我国装备试验鉴定标准的总体框架包括纵向和横向两个维度,纵向上分为通用层、专用层和型号层3个层次,分别对应试验鉴定的共性需求、个性化需求和具体的装备型号;横向上则分为基础类、过程类、技术类和保障条件类4类标准。蒋平等[2]初步探索了无人集群作战试验的设计框架和流程,依次包括作战任务分析、评估指标体系构建、影响因素分析、试验活动设计等。但是目前,我国关于无人集群试验评估的顶层设计和规范性理论框架探索仍处于空白阶段。

1.2 无人集群试验评估项目实践

除了开展具有指导意义和探索性的顶层规划研究,世界各国近年来注重开展无人集群项目实践,通过试验评估验证理论成果的可行性和有效性。美国从2008年开始,就陆续资助军地相关单位开展无人集群自主协同作战研究,试验内容涉及性能试验和作战试验;我国目前主要进行了不同规模的飞行试验,仍以性能试验为主。

国外近些年开展的部分无人集群试验项目汇总如表1所示[21-27],研究范围涵盖无人机集群、水面无人艇集群、无人水下机器人集群、海上跨域无人集群等。

表1所列内容表明,各国开展的无人集群研究项目所涉及内容主要包括集群协同作战样式设计验证、集群自主协同技术研究验证以及无人装备平台技术研发验证等。其中,美国开展无人集群相关试验项目数量多且研究较早,试验内容从无人集群性能试验逐渐走向较成熟的作战试验,目前已经进行了较复杂环境下的作战任务研究,包括核生化区域、复杂的城市环境和海底环境等。另外,美国在多项项目研究中都关注无人装备自主协同的实现,且注重系统及技术之间的集成,提升体系整体效能。试验空间方面,美国在提升单个无人装备性能和自主能力的基础上,注重多域装备的研发和协同试验研究。同时,美国开展的典型项目持续周期较长,一个项目具有多个研究阶段,每个阶段都有一定的主要技术突破点,研究内容具有持续性和系列性。除美国以外的其他国家所开展的研究项目数量有限且起步较晚,但近几年在逐渐加大相关试验的研究力度。

近年来,我国开展的无人集群相关试验研究项目以无人集群飞行试验为主,目前公开的主要项目和试验研究如表2所示。由表2内容可知,我国已公开的无人集群相关试验研究起步较晚,时间集中在2018年之后。试验内容仍然以性能试验为主,主要集中于集群平台技术研究、编队队形设计、集群关键技术的研究和验证等,其中集群关键技术主要关注了基本的编队集结、队形保持和变换、协同避障和目标跟踪等。试验任务由简单的侦察监视、编队集结逐渐向集群围捕、对地察打等较复杂的任务方向发展。试验空间逐渐趋于多样化,但大多是针对同一任务空间中无人装备的性能和技术研究,跨域协同研究较少。总体上而言,我国目前的无人集群试验项目还处于比较初步的研究阶段,需要进一步开展更加复杂任务环境中的试验研究。

表2 国内无人集群试验评估项目实践汇总

1.3 小结

总体上而言,美国在无人集群试验评估规划和项目实践方面均积累了大量具有指导意义的成果,处于领跑地位。我国目前在无人集群试验评估领域则尚处于起步探索阶段,与美国相比,还面临着以下一些挑战。

(1) 无人集群试验评估顶层设计尚不明确。无人集群依靠自组网实现复杂交互,进而完成复杂多样的任务,具有鲜明的自主协同性和系统涌现性,传统装备系统的试验评估理论体系、框架标准和试验环境已难以适用。美国近20多年来陆续发布了一系列具有较高权威性的无人集群领域发展规划和新式作战概念,重视试验评估相关标准规范的研究,已初步建立相关标准体系。同时,早在10多年前,美国就已经率先制定了无人自主系统试验鉴定结构框架,明确了试验环境、评价指标类型、试验类型等,为无人集群试验评估工作奠定了坚实的基础。而我国相关研究起步较晚,在无人集群试验评估顶层设计方面与美国差距还比较大,暂时仍处于跟跑研究阶段,相关单位提出了智能无人集群系统标准化工作建议[19],但还未出现相关研究成果。明确无人集群试验评估基本要素和流程、制定具有统筹指导作用的无人集群试验评估框架标准是亟待解决的问题。

(2) 无人集群试验评估项目实践比较有限。装备体系的试验评估内容包括性能试验、作战试验和在役考核,其中作战试验评估需要在近似真实的作战环境中开展,是检验无人集群能否能够投入实际作战任务的前提。美国开展无人集群试验评估项目实践时以所提新式作战概念为指引,试验统筹规划、技术运用较为成熟,且注重对多渠道研究力量的融合,形成了较完整的研究和发展体系。同时,美国已经进行了较复杂环境下的试验项目,试验内容涵盖性能试验和作战试验。然而,由于我国无人集群试验评估顶层设计尚不明确,相关项目实践研究没有形成清晰的体系化特点;项目中涉及到的集群任务和环境也都相对简单,试验内容仍以性能试验为主,还未开展无人集群作战试验评估工作。

综合来看,我国无人集群类智能化装备体系的试验评估规划和理论方法研究尚不成熟,将阻碍无人集群技术的规范性验证以及实战化应用。从试验评估过程看,评估指标选取和评估方法确定是两个关键环节,对得到高置信度的试验评估结果、生成试验鉴定最终结论而言有着重要意义。因此,本文将对已有无人集群研究中涉及到的评估指标和评估方法进行详细的梳理和总结。

2 无人集群试验评估指标体系分析

评估指标的确定是试验评估工作的首要和基础环节,决定着最终评估结论的合理性和有效性,如何设计合理的评估指标,实现对无人集群的自主协同性和群体涌现性的有效描述,是目前无人集群评估研究领域需要重点关注的难题。在已有的无人集群自主协同关键技术的探索研究中,一般会使用一些描述无人装备自身性能、算法有效性的指标进行模型构建、算法设计和仿真试验验证等。基于此,本节将首先对已有的无人集群评估研究涉及到的指标进行梳理,得到对无人集群综合评估指标的分析总结。在此基础上,对各关键技术研究涉及的技术指标进行分类描述,给出各项关键技术能力指标的设计思路。

2.1 无人集群综合评估指标

近年来,国内外学者关注的无人集群评估内容包括支撑技术、作战能力和作战效能等[8,46-67],如图1所示。支撑技术评估是集群性能试验阶段的关注点,作战能力和作战效能评估则是集群作战试验阶段的重要工作。现有研究中,讨论较多的是无人集群支撑技术和作战效能的评估。支撑技术评估研究内容涵盖较广,主要是算法设计等软技术;作战效能评估研究着重从整体效能出发,而作战能力评估研究则覆盖面较单一,以集群侦察能力评估为主。同时,作战能力通常作为作战效能评估的一个中间过渡指标,体现出两者之间的相互关系。总体而言,目前无人集群评估研究内容比较分散。

图1 无人集群评估研究关注内容Fig.1 Research focus of unmanned swarm evaluation

基于现有研究的上述特点和问题,本文基于OODA环理论从感知、分析、决策和行动4个方面,分类梳理上述评估研究中使用的评估指标,最终结果如表3所示。第3列内容中加粗显示的为中间过渡指标,其余均为底层指标。

表3 无人集群综合评估指标体系梳理

表3表明,目前针对无人集群“行动”环节开展的评估研究众多,包括协同能力、编队集结能力、组队能力、攻击能力、通信能力等,其中编队集结能力的评估指标比较全面,针对通信能力的相关研究也较多、评估指标选取具有较大共识。对于无人集群“感知”环节中的态势感知能力,从完备性、准确性、连续性、时效性等方面构建评估指标体系是较公认的思路。针对无人集群“分析”环节的评估研究还比较有限。针对“决策”环节的相关能力,已有研究则会使用航迹规划、任务分配等关键技术能力进行衡量。

同时,综合分析各评估文献和表3所列内容发现,已有研究在评估指标选取方面存在如下特点和问题:

(1) 3种不同评估内容研究中存在一些通用的指标,主要包括无人集群的基础能力指标和基本性能指标;而同一评估内容在指标选取上却可能有所差别,比如文献[8]和文献[46]中生存能力的衡量指标、文献[46]和文献[64]中的通信能力衡量指标均不完全一致。

(2) 在指标名称方面,不同文献对一些相同或近似含义指标的名称描述不一致,比如文献[46]中的数据传输速率与文献[47]中的数据包传送率、文献[61]中的攻击能力与文献[64]中的打击能力。

(3) 在底层指标可量化性方面,支撑技术评估研究中的底层指标最为规范,基本能够直接获得具体取值;在作战能力评估文献中,存在少数底层指标难以直接量化;在作战效能评估中,难以直接量化的底层指标则较多。相关文献示例计算部分,均直接给出底层指标取值而未考虑实际应用中的指标值计算问题。

(4) 关于评估指标体系构建方法,除文献[8]和文献[59]按照无人集群中包含的作战节点功能类型分类分析得到评估指标体系,研究人员主要借助层次分析(analytic hierarchy process, AHP)法和ADC(availability, dependability, capacity)法,结合头脑风暴的思想构建指标体系。以作战效能评估为例,一般先确定若干集群能力,将其作为二级指标,再基于指标之间相互独立的假设得到层层递进的树形指标体系,较容易出现指标之间的相关性强、不易量化、指标不全面等问题。

2.2 无人集群关键技术能力指标

关键技术能力是针对“决策”和“行动”环节进行评估时常用的综合评估指标或中间过渡指标,针对现有研究在评估指标选取方面存在的指标名称不一致、指标选取主观性强、底层指标不易量化等问题,本节着重对无人集群关键技术能力指标进行分析和设计。

由于任务执行环境、无人系统平台本身复杂多样的特点,无人集群自主协同控制问题具有较大挑战性,是近年来学术界的研究热点[68]。总体上,实现无人集群自主协同需要关注的关键技术包括集群任务分配、集群路径规划、协同编队控制和集群组网通信。其中,任务分配、路径规划和编队控制技术解决的是集群执行任务的过程中所涉及的规划决策和指挥控制问题,组网通信技术则是实现集群个体间协同的基础。本节主要面向以上4项关键技术能力进行指标梳理和评估指标体系设计。

2.2.1 集群任务分配

无人集群任务分配是指在满足资源、平台及时间等的约束条件下,建立集群个体与任务或任务集合之间的映射关系,并确定个体执行任务的时序,目的是以最小的执行代价获得最大的任务收益,是一类复杂的组合优化问题[68-70]。集群任务分配问题的研究成果丰富,一般的解决思路是:将任务分配收益作为目标函数,考虑资源能耗、任务时序、任务类型等约束条件构建数学模型。常用的模型包括:多旅行商问题[71-72]、多维多选择背包问题[73]、混合整数线性规划问题[74]、指派问题[75]、车辆路径问题[76]等。在此基础上,采用合适的算法求解模型,目前有集中式和分布式两种求解思路。

分析相关文献发现,任务分配研究中使用的指标主要体现在问题模型的目标函数、约束条件以及算法评价三部分[70-80]。其中,目标函数和算法评价两部分的指标结合可直接用于评估任务分配算法的性能。而任务分配模型中使用的约束条件主要包括集群个体自身性能约束、资源约束和协同约束3大类,如图2所示。任务协同考虑的是集群个体数量与任务数量之间的关系;时间协同约束则考虑集群内个体到达任务区域的时间和任务执行时间等,以保证任务有序执行。

图2 任务分配约束条件涉及指标Fig.2 Indexes involved in task allocation constraints

综合梳理任务分配研究文献中涉及的指标,得到的任务分配能力评估指标选取思路如表4所示。

表4 无人集群任务分配能力评估指标

2.2.2 集群路径规划

无人集群路径规划是集群协同执行任务的关键,指根据集群所处环境态势信息及要完成的任务或任务序列信息,考虑集群内个体在时间、空间和任务上的协同问题、个体之间及个体与环境之间的碰撞避免问题等,在使集群性能最优化的前提下得到集群个体从当前位置至目标位置的最佳路径[68]。进行协同路径规划过程中涉及到的关键技术包括地形获取及建模、威胁及代价建模、路径规划算法选择以及路径平滑处理等[81]。

与集群任务规划问题类似,路径规划本质上也是一个复杂的多目标优化问题[82]。类似地,路径规划研究文献中所使用的指标在大多数情况下也体现在问题模型的目标函数、约束条件以及算法评价三部分[76,83-88]。但路径规划问题中的目标函数和约束条件并不像任务分配问题中那么规范和明确,有时直接与算法参数融合,比如文献[89-91]中均是将路径长度、障碍威胁、飞行高度、油耗、俯仰角等作为适应度函数的一部分来判断粒子优劣,而不是直接作为约束条件。路径规划过程中考虑的约束条件大致可以分为集群个体自身性能约束、环境约束和集群协同约束3类[81-82],如图3所示。综合梳理路径规划研究文献中涉及的指标,可得到如表5所示的指标选取思路。

图3 路径规划约束条件涉及指标Fig.3 Indexes involved in path planning constraints

表5 无人集群路径规划能力评估指标

2.2.3 协同编队控制

无人集群协同编队控制是指无人集群在执行任务过程中,使集群形成并保持一定的几何构型,以适应平台性能、环境和任务等需求的技术[68,92]。编队控制研究的主要问题包括:编队生成、编队保持和编队动态重构[92-93]。与路径规划类似,在进行编队控制研究时,需要综合考虑集群个体间及集群与环境之间的碰撞避免问题。编队控制技术的一般研究思路是:确定集群个体并对其建模;明确研究目标,选定合适的编队控制方式;结合个体性能和环境信息,利用数学原理及控制理论设计个体控制律和编队控制律,实现具体的控制算法,并证明算法收敛性和稳定性等[93]。

目前,无人集群编队控制方式一般可分为领航跟随法、虚拟结构法、人工势场法、基于行为的方法和基于一致性的方法[93-95]。其中,领航跟随法和虚拟结构法属于集中式控制结构,其他方法属于分布式控制结构。采用不同的编队控制方式,编队生成、保持和重构过程不同,集群个体之间的信息交互方式也有所区别,单一的控制方法很难适应复杂多变的任务环境。因此,许多学者将不同方法结合,提出了一些改进的编队控制方法[96-97]。

通过分析一些编队控制研究文献中所使用的评价指标[93,97-102],可得当评估无人集群编队控制算法性能或者编队控制能力时,可采用的指标选取方式如表6所示。

表6 无人集群编队控制能力评估指标

2.2.4 集群组网通信

无人集群组网通信技术是保证集群执行任务时涉及的控制指令、侦察图像、飞行状态等信息在相应传输链路中实时高效传输的手段,是集群进行信息交互、顺利协同完成任务的基础[103]。在进行相关研究时,首先要确定集群通信网络架构。架构分为基于基础设施的架构和基于自组网的架构,后者具有分布式、节点高速移动、自组织性、拓扑结构动态变化等特点[104-106]。在此基础上,进一步关注集群网络拓扑结构和路由协议设计。在研究集群网络拓扑结构时,将集群内个体视为网络节点,将个体之间的交互视为网络的边,涉及到拓扑结构优化、关键节点识别、网络结构性能评估等研究[3,106-111]。整体上,无人集群组网通信研究所涉及的主要评价指标如图4所示[3,106,112-114]。

图4 无人集群组网通信能力评价指标Fig.4 Evaluation indexes of networking communication capability of unmanned swarm

图4所示结果可直接作为相应研究的指标体系。比如,通信网络拓扑结构评价指标可选用节点度、介数中心性、最大连通系数等网络结构参数,弹性、韧性和鲁棒性是对集群网络结构性能的综合衡量。在目前的研究中,集群结构弹性与韧性的含义相同,均是衡量集群在受到干扰的情况下,能否尽快恢复至特定状态的能力[107-110];鲁棒性则反映了集群在失去部分无人机后仍能保持功能并完成任务的能力[111]。

2.3 小结

评估指标的选取和构建是无人集群试验评估工作的重要基础和关键,但目前无人集群综合评估研究内容零散,还存在着指标名称不一致、指标选取主观性强、底层指标不易量化、指标体系构建结果与无人集群特点不契合等亟待解决的问题。而在无人集群关键技术研究中,不同文献使用的指标类似且指标名称描述较为一致,即具有较高共识,各项指标也比较容易理解和量化,能直观有效地反映出关键技术模型和求解算法的性能。本文基于已有评估研究,分类梳理了无人集群综合评估指标,并基于关键技术研究,提出了面向无人集群关键技术能力的评估指标设计思路,对未来相关领域的评估指标构建及指标规范性等研究工作具有一定借鉴意义。

3 无人集群试验评估方法与技术

无人集群试验评估过程中的另一个重要部分是选定适当的评估方法,利用获取的试验数据计算出评估指标的值或指标体系的层层聚合结果。第2节所介绍的研究指标包括两类:一类是可以直接测量计算、具有实际物理含义的指标,称为基础指标,比如表3中的底层指标、第2.2节各表中列出的指标;另一类是无法直接测量和计算、具有派生含义的指标,称为综合指标,比如表3中的评估内容与中间指标。本节将结合现有研究,对基础指标和综合指标的评估方法分别进行介绍。

3.1 基础指标评估方法

基础指标值的评估方法可分为数理统计方法和非统计方法。非统计方法进一步根据评估数据来源的不同,分为等效折算法、模型评估法、经验评估法和不确定性数据评估方法,基础指标评估方法如图5所示。

图5 基础指标评估方法Fig.5 Evaluation methods of basic indexes

3.1.1 数理统计方法

数理统计方法是最基础、最常用、最严格的方法,其基本原理是将需要评估的基础指标表示为随机变量或者随机变量的数字特征,如均值、方差、标准差等。通过多次试验获得的数据,采用数理统计方法对该数字特征的值进行估计及检验,从而得到基础指标的评估结果。采用数理统计方法评估基础指标值的关键在于合理构建随机量,并进行科学的统计估计(包括点估计和区间估计),以及假设检验过程。

数理统计方法应用众多。比如,文献[46]采用多个样本点数据的平均值计算整个编队的末端位置/姿态/速度误差、航迹误差等;文献[57]中的目标数量完备性、离散属性准确性、最长航迹段比、时效性等基础指标均采用多样本的平均值或比值直接求取;文献[64]中的协同规避能力、协同攻击能力分别采用平均值和求和得到;无人集群关键技术研究文献中,在计算路径长度、结果稳定性、编队位置/速度误差、队形结构差异等评价指标值时,一般会直接采用统计估计的方法根据试验数据求取。

3.1.2 非统计方法

无人装备本身以及无人集群所处的任务环境复杂,由于人类认知的局限性,有些试验数据的分布特征难以确定,无法科学合理地采用数理统计方法。此外,试验数据的获取、传输、分析等过程伴随着多种不确定性。因此,需要采用等效折算法、模型评估法、经验评估法等非统计方法评估基础指标值。

等效折算法是指在改变应力的情况下进行试验,获得无法直接获取的无人装备基础性能指标值,例如无人机的抗寒性指标。等效折算的数据可能有多种来源,比如应力加速(非标准条件下)试验数据、各种类型的仿真试验数据、相似装备的试验数据等。这些数据隐含着装备在标准条件下的性能,但是需要对获得数据的试验条件、试验精度等进行折算。在等效折算过程中,需要考虑折算结果的置信度。

模型评估法是指利用经典的或者已经经过验证的经验模型计算基础指标值。这是在目前研究中被广泛应用的一种方法,常用的经典模型包括欧氏距离公式、信息熵、网络结构参数计算公式等。比如,文献[46]根据欧氏距离公式给定末端位置/姿态/速度误差等;文献[57]采用圆的面积公式计算区域覆盖率;文献[55]和文献[59]中的部署熵和信息熵的计算则均来自于香农所提的信息熵公式。模型评估法得到的结果客观、可量化,但是在构建计算模型时一般需要简化无人装备自身性能和试验环境,得到的基础指标值与真实情况可能存在一定差距。

经验评估法是指由领域专家依据个人经验直接给出基础指标的评估值。这种方法的主观性最强,对领域专家知识和经验的要求较高,一般情况下,需要依据多名专家的主观评估结果进行进一步处理和计算,以尽量消除基础指标值的随机性。

不确定性数据处理方法是指针对无人集群试验数据存在的模糊性、灰色性、随机性、未确知性等多种不确定性,利用模糊数学、灰色系统理论、可能性理论、区间分析等方法确定基础指标值。比如,文献[8]针对无法精确获取指标值的情况,使用不确定性集合评估每个基础指标。

3.2 综合指标评估方法

综合指标的值通常需要两个或两个以上基础指标聚合得到,一般评估思路为:深入分析综合指标的含义,有针对性地构建评估指标体系;然后,利用适当方法获得基础指标值,给出基础指标及中间指标的权重;最后,使用合适的评估方法将指标体系从下至上层层聚合,得到综合指标的评估值。

目前,综合指标评估方法有很多,本文根据各方法的内部机理和本质,将其分为经验驱动方法、数据驱动方法、模型驱动方法和不确定性处理方法[115],如图6所示。最底层加粗显示的为目前无人集群评估文献中已经使用的方法,未加粗的是理论上可行但还未被应用到无人集群评估研究中的方法。

图6 综合指标评估方法Fig.6 Evaluation methods of comprehensive indexes

3.2.1 经验驱动方法

经验驱动的评估方法属于传统方法,是指以人的主观经验或专业知识为主要依据的方法,常见的有专家经验法、AHP和模糊综合评价法。其中,专家经验法的主观性最强,一般可以采用德尔菲法、头脑风暴法等具体操作方式。

AHP的核心思想是将复杂问题层层分解,然后借助人的主观经验,利用两两比较的方式确定每一层各元素之间的相对重要性[115-116]。AHP能够将主观的思维过程数学化,思想简单、步骤简洁、易于理解,在无人集群评估研究中应用广泛;其不足之处在于,确定判断矩阵的过程受人的主观因素影响较大,且要求同层指标之间相互独立,在实际情况中较难实现。文献[8]将AHP评估结果用作与所提方法进行对比的基础。文献[56]和文献[57]基于群AHP提出了一种区间变权求取策略。文献[61]则使用AHP确定各层指标的权重,是评估研究中比较常用的一种应用方式。

模糊综合评价法是一种以模糊数学为基础,应用模糊关系合成原理,从多个因素对被评价事物隶属等级情况进行综合性评价的方法。模糊综合评价法主要用于处理那些难以用简单的好与不好评价的事物,且该事物的评价指标难以进行定量化的评估。文献[117]在已有的无人集群网络结构鲁棒性评估结果基础上,利用模糊综合评价法对不同集群网络结构的鲁棒性进行对比寻优。

目前,经验驱动的综合指标评估方法在无人集群评估研究中常被用作多方案对比寻优分析。在4类评估方法中,经验驱动方法的主观性最强,但其能够有效利用专家已有经验和知识,具有较好的解释性和灵活性。由于无人集群试验评估中涉及的指标体系涵盖范围通常比较广泛,很难保证各个指标都能通过试验获得具体量化值,对于一些不易量化的指标,经验驱动方法依然是比较合理、有效的评估方法。

3.2.2 数据驱动方法

数据驱动的评估方法在大数据和人工智能技术基础上发展而来,是指利用无人集群试验过程中产生的海量数据,通过对历史数据的处理和学习,建立指标输入与输出之间的非线性模型。当获得新的指标输入值时,该模型可以直接算出最终评价结果。这类方法包括神经网络、支持向量机等[115]。

神经网络方法是一种机器学习算法,具有强大的拟合表示能力。利用神经网络进行无人集群综合指标评估主要有两种思路:一是利用神经网络对作战过程中采集到的图像进行处理和分析,得到对作战效能或作战能力的评估结果,例如文献[63]的研究;二是将底层指标值或已计算出的中间指标值作为输入,将未知综合指标值作为输出,通过已有的大量历史试验数据训练出最优的神经网络评估模型。当有新的输入数据时,可直接计算对应的综合指标评估结果。神经网络方法功能强大,能够自主学习与调整;但是神经网络隐藏层的设置是较难解决的问题,而且当指标体系更新时,需要重新进行模型训练工作。

支持向量机是一种广义线性分类器,其主要思想是在求解空间或者利用核函数转化后的高维空间中寻找一个能够实现样本最优分类的超平面,用于解决分类或者回归预测问题。支持向量机具有完备的数学理论基础,同样是机器学习领域的研究热点,在小样本情况下性能表现良好。利用支持向量机解决综合指标评估问题的思路与神经网络类似,在体系效能评估中应用较多,但目前无人集群评估文献中还未涉及。

近年来,以数据为核心的评估方法研究逐渐增多,这也将是未来的主流研究[116]。无人集群本身具有智能化和交互涌现性的特点,在日常检测和试验过程中会产生大量数据,神经网络等数据驱动方法能够有效利用这些数据开展具有洞见性的评估工作,将成为不可或缺的智能化试验评估手段。同时,机器学习领域已有的数据驱动算法可以为无人集群试验评估模式提供启发性的帮助。

3.2.3 数学模型驱动方法

数学模型驱动的评估方法,是以数学模型为基础的方法,是指根据评估指标的含义及其相互关系,建立求解综合指标的函数表达式,即数学评估模型。典型的数学模型驱动方法包括ADC法、数据包络分析(data envelopment analysis, DEA)法和指数法等。

ADC法由美国工业界武器系统咨询委员会在1965年提出,以有效性、可信性和能力3个要素为驱动来分析影响因素并评估作战效能等综合指标E=ADC。ADC法分析问题全面,思路清晰,最终得到的是无人集群作战效能这类综合评估值的评估结果。但是ADC法对使用者的要求较高,需要确定无人集群在执行任务过程中可能会出现的几种状态以及处于某种状态的概率。另外,该方法对于瞬息万变的战场环境没有自适应能力。文献[65]采用仿真数据,基于ADC法对无人集群的协同作战效能进行评估,并完成了不同方案的对比分析。

DEA法是运筹学、经济学与统计学交叉研究的一个新领域,根据多指标投入、多指标产出,利用线性规划的方法,对具有可比性的同类型单位进行相对有效性评估。DEA法的客观性强,主要用于多案寻优分析问题中的综合指标值计算。文献[52]引入了11个投入指标和7个产出指标,基于DEA法对已有多无人侦察机编配方案的相对有效性进行科学评估后给出了优化建议。

数学模型驱动方法提供了比较成熟的评估框架和流程,能够快速得到综合指标的评估值,也常被用作多种可行方案的对比分析。由于无人集群评估涉及的指标范围较广,数学模型驱动的评估方法不仅能够给评估指标体系的构建提供一定思路,还能够科学计算综合指标评估值,将是无人集群试验评估初步探索研究中的重要方法。

3.2.4 不确定性处理方法

不确定性处理方法是指在评估指标聚合计算过程中,能够有效处理由于试验平台本身、数据采集手段、人类认知有限等因素带来的底层输入指标取值不确定的评估方法。目前,评估决策领域常用的可以有效融合不确定性数据的方法包括贝叶斯网络和证据推理规则(evidential reasoning rule, ER Rule)。

贝叶斯网络是一个有向无环图,节点表示评估指标,有向边表示节点之间的作用关系,条件概率和先验概率分别用于量化表达有父节点的边和无父节点的边的关系强度[116]。基于贝叶斯公式和全概率公式,贝叶斯网络具有强大的推理能力,可在得到综合指标评估值的同时,帮助直观地分析各项基础指标的影响程度,而且能够图形化描述并有效处理多源不确定性信息,适用于不确定环境下的无人集群特点。文献[8]利用贝叶斯网络解决战场环境及任务执行过程中存在的不确定性因素,构建了无人机编队作战效能评估模型,并采用K2算法和最大似然估计分别进行结构和参数学习。

ER Rule由杨剑波等[118]在完善Dempster-Shafer理论的基础上提出,与贝叶斯网络相比,ER Rule构成了一个通用的联合概率推理过程,能够处理更多类型的不确定性信息。使用ER Rule时,需要首先确定各评估指标的评估等级及参考值,从而能够结合专家经验或历史数据。同时,最终评估结果一般用不确定形式表达,便于进行更深入的分析和决策。文献[58]结合无人机集群态势感知过程中面临的强不确定性,基于ER Rule提出一种考虑扰动的评估方法,通过仿真试验验证了所提方法在不确定性表达和集群环境适应性研究方面的有效性。

无人集群系统平台本身、无人集群所面临的作战环境等都存在着多种不确定性,人们在试验评估过程中的知识和经验也比较有限,因此无人集群试验评估工作需要重点关注评估指标取值具有不确定性的问题。除上述已有应用研究,不确定性处理方法还能够解决无人集群试验评估指标取值类型多样(比如区间值和精确值共存)以及评估指标之间的相关性无法轻易忽略等问题。

3.3 小结

对于基础指标,大多数已有研究都是采用数理统计和构建合理数学模型的方法进行评估计算。其中,无人集群评估文献中,采用数学模型计算基础指标值的研究较多;而在关键技术研究中,多数指标值直接由仿真试验输出得到。总体上而言,集群关键技术研究中基础指标的计算都比较简单,即比较容易实现量化,集群评估研究中基础指标的评估方法则稍复杂些。

已有研究针对综合指标所使用评估方法的特点、数据和适用情景进行了总结,结果如表7所示。其中,AHP法和ADC法的应用最为广泛,前者仍然是确定指标权重的常用方法,能够减少对专家知识的依赖性,并使评估结果更加合理。总体而言,虽然目前研究中使用的无人集群综合指标评估方法类型较为广泛,但是每种方法的应用数量还不多,大多数研究将主要创新点体现在研究问题分析、评估指标体系构建和底层指标量化计算研究中。另外,无人集群在任务执行的过程中是个不断移动和变化的整体,一般需要动态地得到作战能力和作战效能的评估结果,才能支持实时动态的决策,实现整个集群的自适应重组,目前该领域的研究还处于空白状态。

表7 常用评估方法总结

4类综合指标评估方法分别提供了一种特殊的评估计算范式和流程,无人集群具有典型的自主协同性和系统涌现性,明确评估的目标和角度是确定具体评估方法的基础。综合来看,由于无人集群试验评估指标数量较多、类型丰富,试验中产生的数据量比较大,数据驱动的智能化评估方法将成为未来研究和实际应用中的主流。其基于已有数据进行学习和训练,无需考虑指标之间的关联关系,而且得到的模型能够直接用于后续类似的试验场景中。但是,数据驱动方法需要一定数量的历史数据,这就需要先借助其他3类方法获得相应的评估结论。经验驱动方法和数学模型驱动方法是比较传统的评估方法,原理和计算过程简单,适用于初期的无人集群试验评估。不确定性处理方法则可看作是对其进行泛化处理,能够处理确定性数据和不确定性数据混合的情况,融合底层数据的不确定性,从而使基于试验评估的决策工作更加符合实际。总之,数据驱动方法与其他3类方法结合是比较合理的评估模式。

4 结束语

为了促进我国面向无人集群类智能装备系统试验评估的理论发展,加速无人集群相关研究成果向实战化应用迈进,本文首先总结了国内外开展的无人集群试验评估规划和项目实践成果,对我国相关试验评估工作处于初步探索阶段的现状进行了分析。然后,从感知、分析、决策和行动4个方面分类梳理了无人集群综合评估指标,进而分析了目前无人集群评估研究中指标选取的特点和存在的问题,并针对集群任务分配、路径规划、编队控制和组网通信4项关键技术能力,提出了对应能力评估指标的设计思路。最后,按照指标含义及计算方式,将其分为基础指标和综合指标,分类介绍了相应的评估方法,并总结了常用方法的特点和适用场景等。

总体而言,针对无人集群试验评估,美国已经在相关领域开展了充分的理论框架探索和试验项目,经验积累充足;我国则还需要在无人集群试验评估规范性理论制度研究、体系化项目统筹、标准式评估指标构建和评估方法选取等多方面进行探索和努力。本文研究对后续无人集群试验评估中的指标体系构建和评估方法研究工作具有一定的参考意义。