多智能体系统中的几个问题

文 陈 杰

近年来，陆、海、空、天等领域对无人系统的需求与日俱增。随着人工智能技术以及智能控制理论研究的不断发展，无人系统智能自主控制的创新研究出现在人类视野范围内。基于“制造强国”的战略目标，无人系统已成为社会重点研究对象，而多无人系统中的协同控制问题无疑是未来无人系统发展的核心研究内容之一。

无人系统发展历程

无人系统由单个无人平台或多个无人平台构成，能够自主或通过远程操控完成指定任务，该系统高度融合机械化、信息化和智能化平台形成智能无人系统，包括单个的无人飞行器、无人车辆、无人舰船、无人潜器等典型对象。多机器人、多运动体以及多系统之间的协同操作将分布式的多无人平台连接起来，形成一个基于网络空间有机联系的复杂系统。这个复杂系统能够实现时间、空间、模式和任务等多维度的有效协同，最终形成对目标的探测、跟踪、识别、智能决策和行为及评估的完整的链条，我们称之为多系统协调能力。

早在上世纪30年代美国发明了第一款地面无人爆破车辆，之后，地面无人系统呈现一个螺旋式的发展趋势。截至2010年9月，美军在伊拉克和阿富汗战场上一共投入了大量的地面无人作战平台，完成了多项作战任务。整个战争过程中，暴露出协同问题主要有3个：指挥无序、故障频发、控制不利。之所以存在这一类问题，是由于多运动体与运动平台之间缺乏协同控制和优化的有效机制。有人/无人间的有效协同，将成为未来地面战争主要的模式。

截至2013年美国已经完成开放式架构体系的开发。美国的有人、无人系统的协同，前期经历了从有人到无人的遥控、有人无人协同阶段，目前正处于开展全自主协同的研究阶段。1916年3月美国推进了分群式的无人机研究，即多个无人机能够协同飞行作业；2017年3月美国的相关部门启动终身学习机器项目，以推动人工智能机器人在实际行动中的应用；2017年6月，美国在“真北”的神经元系统上研究开发类脑超算系统；2017年12月，美国开始研究人工智能芯片，提出通过将人工智能芯片植入到大脑以改变人的基本情绪的设想；2018年3月，美国无人机项目采用谷歌人工智能技术来提高无人机识别精度。2018年4月25日，美国在未来地面人机组合计划中，专门研究了机器人和人工智能如何与人类协同行动问题。

2015年12月，俄罗斯亮相了天王星-9无人车辆系统，通过有人和无人协同作战击毙了70余名武装分子并占领阵地，这个战争被视为有人和无人协同作战系统中协同作战的一个典范。在智能交通中，有人/无人协同可以提高无人车的自主性、安全性，这也是目前无人车研究的一个重要发展方向。谷歌公司已经有50辆智能车安全行驶了20万公里，截至2018年1月，美国全境有40多家企业拿到了无人车的上路牌照。目前有4个州通过了有关的允许无人车上路的法律，驾驶无人车已经成为一个势不可挡的重要发展趋势。

据预测，到2035年，全球无人车的销售量将达到1200万辆，其中有相当的数量将在中国销售，由此多车之间的协同将成为无人车的一个主要的运营模式。基于多车协同的新运营模式，值得思考的是今后的交通设施是否还需要像现在这样的红绿灯管控，是否需要靠左行驶，是否需要学习驾驶车辆，如何来界定事故责任等的一系列问题。

目前，我国在智能化无人系统方面进行了大量研究工作。2018年3月，中央电视台首次公布了无人行动系统的实验室。同年5月，电科集团有200架固定翼编程的无人机进行飞行，虽然目前仍停留在编程飞行过程中，但是成功实现了小型窄翼、折叠翼无人机双机低空的投放和模态转换的试验。

我国在人工智能2.0的研究规划中，将自主式智能无人系统作为人工智能发展的一个重要内容，其中人工智能2.0的八大基础理论研究之一，就有智能无人系统自主协同控制优化与决策的方法。自主无人系统的智能技术成为八大关键技术之一，同时，自主智能无人系统支撑的平台成为五大基础支撑平台之一。我国智能化无人系统关键技术的发展路线图，描绘了各个相关的技术领域在每个阶段的发展水平，分别按照智能无人系统、智能自主控制等6个等级进行划分。

多无人系统协同控制技术面临的挑战及应对方法

在该技术领域，面临诸多挑战，其中最为主要的有如下4个：

第一，多无人系统需要具备智能化的指挥与决策能力，以此解决指挥无序的问题。

第二，多无人系统需要设计分布式的控制算法，以完成复杂的控制任务、解决任务复杂性问题。

第三，多无人系统应该具备自主故障监测和容错控制能力，由此解决无人系统中的故障频发问题。

第四，如何借助人的行为进行人为干预以提升协同控制能力，以无人系统中控制不力的问题。

俄罗斯天王星-9（Uran-9）无人战车

针对这4个挑战，可以凝练成4个科学问题，包括：协同中的智能指挥与决策；分布式协同控制；协同的故障监测和诊断；共享控制。

智能指挥与决策。对于决策与控制所面临的挑战，首先是要考虑无人系统所处的环境不确定，决策信息不完备，以及通信是受限制的情况下，如何提高多智能体协同决策的智能化程度，从而实现对任务完成更加有效和高效，这是我们面临的根本问题。由此，解决问题思路是将角色的概念引入到多智能体中，以解决复杂条件对多智能体协同任务的影响，包含以下几个内容：

第一，协同决策模型的构建。该模型的构建主要利用部分可观的马尔科夫决策过程，对不确定的观测信息和不确定的行为效果进行分析，以建立起多智能体的角色模型。

第二，基于角色模型，考虑角色的分析和指派问题，针对多指标动态态势下多智能体角色指派问题，提出了角色评估和指派方法，该方法能够根据环境态势变化和武器平台、运动平台性能的差别得到不同的角色分配，从而形成角色的动态调节能力。

第三，隐式协同决策。特别是智能体交互通讯条件比较受限的情况下，仿照人类协同的方式提出了不依赖直接交互，而是通过一种基于角色的隐式协同框架来实现多智能体的隐式协同决策。

第四，基于时序逻辑约束下的多智能体协同规划问题。假设存在两个机器人，要求用最短的时间、最小的能耗走遍所有房间。房间是黑的，而且房间门是关闭状态，但是某个房间有两个按钮，一个绿色一个黑色，分别用来控制开灯和开门。可以看到，所描述的是基于时序逻辑约束下的协同，能够通过使用两个或三个机器人，将所有的黑屋子、关了门的屋子在最短的时间内走一遍。

第五，决策中的优化问题。我们提出了控制思想驱动的协同决策优化方法，智能体仅利用自身的指标和协同的通信就可以得到整体任务最优的决策策略，利用自身信息来得到整体任务指标最优的决策策略。我们主要采用输出/导数反馈的方法来设计决策优化算法，使得算法更具有良好的收敛性。相应地给出了一个基本收敛速度的定义。

分布式协同控制。由于系统模型是强非线性的，所以在分布式协同控制时，会存在通信受限以及通信信息不可测等问题。针对以上问题，通过利用坐标变化和状态重构来简化系统的模型，借助分布式来实现多智能体任务，解决信息不完整对多智能体系协同任务的影响。

首先是输出反馈的状态控制方法，由此设计状态观测器和控制器的框架，具有实现跟踪控制能力。其次是编队控制问题，主要通过设计分布式控制策略以解决在交互信息比较薄弱环节下的编队控制问题。基于此编队，3个机器人编队在遇到障碍物之后，其搜索队形能够快速的通过障碍物。相应可以考虑5个机器人是如何实行编队控制问题，从而能够规避障碍物和规避相互之间的碰撞问题。然后是分布式控制器问题，保证多智能体系统能够集聚。未来考虑在未知通信的情况下，实现多智能体系统的稳健协同控制问题。

协同的故障监测和诊断。协同的故障监测和诊断问题，即所构成的多智能体网络，在某个节点出现故障的情况下，整个网络出现异常的问题。解决这一问题的主要方法是协同检测方法设计，简单来说就是针对一个多节点的系统模型，利用观测到的输入输出信号来进行检测设计。例如当某个智能体出现故障时，整个多智能体系统就得考虑如何对该故障智能体实现隔离余下的智能体依然能完成原指定的任务。在协同的故障监测和诊断问题方面，未来主要考虑多智能体网络拓扑结构对于故障监测算法的影响。

共享控制。面向共享控制，如何利用人为干预来辅助机器人系统，利用机器的自主算法来简化人为的干预，降低人机的比例是我们需要解决的重点问题。提出从智能体控制层面对人、群机器人交互进行改善的方法，并通过共享控制实现完全自主化和完全遥控之间的切换。简而言之，人能够拉着机器人去公园溜弯、散步，之后再进行交互。当然，就现在的发展水平，实现这一控制的难度还是非常大的。

首先是人为干预意图的理解和建模，建立起人的干预意图到干预行为的映射关系。其中，把人的干预意图进行建模，这是意图模型。其次，基于干预模型优化的共享控制问题，即在最优性能力保证下，保证人为干预的稳定性问题。然后，基于意图场的共享控制，要求构成一个人与多机器人交互干预意图的干预场，其共享控制能够通过意图场和自主行为控制的意图实现，建立起一个人为干预场，利用共享控制来实现一对多的灵活的干预控制，这给出了一个意图场模型稳定性的定义和共享控制器稳定性的定义。未来的发展，对干预的指标应该是可调可控，实现鲁棒的共享控制问题。

总结与展望

陈杰院士在2019国家机器人发展论坛上发言

基于刚才提到的无人系统发展问题分析以及所提出的解决方法，我们初步构建了陆用智能体分布式指挥与控制系统，该系统基于协同作战特征自动生成3个任务小组，允许指挥席在特定情况下产生人为干预，从而对自主生成的协同机制进行调整，以获取最佳行为力量。另外，系统可以通过主控终端下达集结任务，各任务小组向各个集结点靠拢，其中各无人平台在利用分布式运动规划技术，完成向某区域的路径规划与协调运动。期间，可以通过判断式决策干预技术迅速生成，以协助任务小组快速穿越雷区并完成集结。最后各无人平台利用多平台协同编队控制技术，向目标区域快速前进。

在面对复杂、恶劣环境的情况下，智能化、无人化是今后的重要发展方向。本文主要对陆用多无人系统协同中的智能指挥决策、多无人系统的分布式协同控制、多无人系统的协同故障/攻击检测、以及多无人系统共享控制等几个重要的科学问题进行分析，旨在从信息科学的角度将控制论计算机科学、通信科学和多智能体协同的理论发展相结合起来，实现未来多无人系统的发展。未来多无人系统协同控制发展的研究的着力点在稳健协同控制、故障监测算法以及提升共享机制问题的鲁棒性等方面。