面向多智能体系统的“云网边端”一体化架构

岳 靓 郑 松

工业网络通过对人、机、物的全方位链接,不断改变工业传统生产方式和生产的组织形式,成为与新型信息通讯科技和现代产业文化深度结合的重要基础设施,形成全要素、全价值链的工业生产与控制体系,加快了企业间、产业间的协同,提升了企业效率和全社会全要素生产率[1-2].随着制造业数字化程度的加深,人工智能技术在企业智能制造领域中的应用也日益深入,多智能体技术的规划、学习、推理、协调、互动等工作机理和方式,以及在MASs 中各智能主体间既紧密协调合作又独立自治的特性,在处理企业内优化生产调度、资源配置、产业链区域协调发展等复杂的现实问题中,有着重要优势[3-4].MASs和工业互联网的融合,将会促进更多的制造业、交通运输行业或其他领域的技术创新,并推动工业互联网技术在生态智能方面的蓬勃发展.

在智慧生产领域中,MASs 可被置身于非全知、非合作、动态变化的复杂性工作环境中,且具有独立工作、群体合作能力.此外,由于多智能体自身具有一定的计算与通讯能力,所以它与工业互联网融合起来会构成更加复杂的混合系统.这种混合系统会增加工程复杂性,具体可以总结如下: 系统不确定性增加；复杂情境、复杂工作条件的机理模型复杂性加大；复杂工作环境下的系统求解难度增高；泛在连接的系统结构高度复杂化等.这需要混合系统提供高容量网络带宽、高性能计算资源、高度自适应软件架构和智能设计框架[5-7].为了完成对这样一个混合系统的控制,常规的控制方法无法达到控制目标,从而需要一个全新的控制方法来对混合系统实施控制.

云控制理论是一种集大数据储存和管理、控制器设计与系统运行改善为一体的新型控制理论.云控制系统（cloud control systems,CCSs）是对网络化控制系统的进一步扩展,一般包括被控对象、通信网络和云端[8].云控制的核心技术是将数据上传至云端,并使用云计算技术为传统控制算法服务,将存储的海量测量数据聚合为大数据分析,然后再将控制信息反馈给被控系统,完成控制[9].云控制是工业互联网的基本功能,是工业数据在工业互联网中形成闭环运动的基本形式,是数据驱动的主要形态.在云控制的基础上,工业互联网各级计算资源高效流动,依托网络连接云计算节点,统一接入调度,用户可以无感知计算节点位置,保障节点间数据流向,提升工业互联网的计算能力,全面提升系统的稳定性.通过将多智能体技术与云控制技术融合,将能够达到两种控制技术的优势互补,是一种针对复杂混合系统的新型控制模式.

本文提出了面向MASs 的“云网边端”的一体化架构总体框架,并结合云控制,更有效地促进各智能体的协同.所提架构中,多智能体所获取的工业数据将通过泛在网络实现动态分布和闭环运动,从而打通了异构信息获取、处理和分发共享的全链路流程,更加便捷地实现其内部的通讯和外部的通讯,包括与人的通讯,建立人机共融的机制.“云网边端”的一体化架构,为MASs 的研究提供“数据、算法、算力”融合的自主学习云环境,支持智能体在环境中不断探索,从大数据中分析复杂因素的关联性,提升任务处理信息的完备性,为解决智能制造领域MASs 的相关研究提供了新的解决方案.

1 MASs 研究需求

MASs 是指由多个智能体组成的集合,其本质上是一种分布式问题求解系统.MASs 通过相互合作以弥补个体处理和获取信息能力有限的不足,但要求系统中每个智能体之间的交互具有自组织能力.现阶段MASs 的研究主要处理以下几个方面的需求：

1）MASs 的体系结构和机理建模.系统复杂性研究和数据技术的不断发展,给MASs 的建模提出了新的需求.MASs 内各子系统需要统一的建模框架与方法,实现子系统间的数据/信息共融.此外,子系统之间和系统内各智能体之间的关系需要描述准确、全面[10].此外,模型需要体现MASs 运行和管理的动态特性,能够清晰地反映系统在动态演化时数据的联接和交互.在智能制造领域,智能体与工业互联网相结合形成了更加复杂的混合系统,研究工业数据在这种混合系统中的运动规律是控制科学与工程学科一个新的研究方向.

2）多智能体间的通信能力与合作机制.多智能体间的相互通信是建立MASs 合作机制的基础,包括底层通信机制的构造和智能体间的通信原语构造.合作机制是指通过智能体相互通信,系统能趋向总体一致性[11].因此,打通异构智能体的信息流是MASs 的研究基础.此外,MASs 与工业互联网相结合组成的混合系统必然是复杂大系统,这种复杂大系统每时每刻都有海量的数据产生,现阶段常用的海量数据处理方法依赖终端的本地化处理,但这常受限于终端本身的计算能力、样本空间大小、能耗等因素.因此,亟需灵活扁平的新型基础设施架构,将MASs 的各子系统或个体连接起来,让数据流通,并通过数据分析、建模进行各个层面的优化,打通MASs 的数据流和决策流,形成数据闭环,构建多方位数据协同体系.

3）MASs 对外界环境的感知与交互.智能体与周围环境有着密切关系,环境为智能体提供感知的对象和需要完成的任务,智能体则通过动作作用于环境.从本质上来说,环境是智能体感知对象的集合.此外,环境还应具备开放型特征,以便于承载智能体间的信息交互[12].针对现有环境下MASs 协同控制存在的局限性,应突破现有范式采用的单一网络承载结构,依托丰富的计算、存储与互联、传送等资源构建基础环境,创新通信网络发展范式,支撑异构MASs 在同一网络基础环境和计算环境中协同控制的一致性.

4）MASs 的自适应机制.MASs 应在运行时自主感知环境变化和自身状态,进而根据情况作出决策,并据此对自身的系统参数、体系结构、功能需求等进行动态调整,从而主动适应各类变化,确保实现系统设计阶段确立的目标[13].因此,在设计MASs 自适应机制时,需要充分考虑系统的耦合方式和特殊需求,且快速考虑运行环境、系统所辖的各类计算资源、系统状态及组织结构给系统带来的变化,实现对MASs的计算资源、组成单元、整体结构、系统参数、对外行为等进行分层调整.

2 “云网边端”一体化架构设计

2.1 架构设计思想

“云网边端”一体化架构体系是以云为中枢,网络为载体,向边缘节点、现场设备终端层层发散扩展,形成了运算、储存、数据传输、管理、分发等功能.其中,大数据计算与存储功能支持实现海量信息的储存、分析和挖掘,形成物理位置分散、逻辑寻址一致的存储体系；数据和信息传输服务主要实现系统的数据接口规范,给客户带来即插即用、随遇入网的安全、快捷数据传输业务；信息融合处理功能对异构设备的非同源数据进行实时采集和预处理,以完成对异构智能体不同观测数据的关联；资源发布功能支持实现对各个层次信息业务的发布连接,并根据客户的使用需求、访问权限等设定信息业务发布的内容和所要覆盖的范围.“云网边端”一体化架构设计思想如图1 所示.

图1 “云网边端”一体化架构设计思想Fig.1 The design concept of the integrated architecture of"cloud network edge"

本文所提架构面向的对象是多智能体结合工业互联网所形成的混合系统.在智能制造领域,传统的多智能体技术面临分布式控制算法复杂,对设备的通信、计算等资源要求过高、与现有生产系统兼容性差等问题.因此,需要建立面向MASs 的“云网边端”一体化架构,将操作技术（operation technology,OT）层面的异构智能设备和信息技术（information technology,IT）层面的异构网络环境连接起来,打通智能制造生产过程中的数据流和决策流,构建多方位数据协同体系,促进工业企业数字化转型.

工业互联网中“云网边端”架构与CCSs 的技术架构完全一致.其中,“云”作为大脑,负责集中计算与全局数据处理；“网”作为互联互通手段,容纳广泛的接入场景；“边”作为CCSs 的触点延伸,灵活解决近实时业务需求,减轻数据通讯和云计算环境数据处理的负荷,实现计算负荷均衡；“端”主要指现场电子看板或工业应用软件等终端设备,创建人机交互环境,满足人工辅助监控和管理的需求.混合系统中的数据将通过网络实现动态分布和闭环运动,工业互联网中的数据采集等同于云控制的反馈,数据驱动等同于云控制中的控制输出,从而构成云控制服务架构,并利用基于CCSs 的方法论、将物理世界的系统动力学模型和运行规律在信息空间中精确地建模表示,实现物理实体和数字虚体之间的虚实映射,为MASs 的设备模型提供理想的云控制服务,进一步开展MASs 的理论研究.

某数据加工中心（无人产线）的“云网边端”架构如图2 所示.该生产系统分为现场设备层、自动控制层、智能制造层和生产管理层.其中,现场设备层包括由自动化系统控制的工业机器人、数控机床、机械臂、可编程逻辑控制器（programmable logic controller,PLC）等智能设备.自动控制层主要由工业互联网网关组成,负责对现场所有设备的技术参数、运行参数、故障数据等进行采集或写控制指令,并将数据通过以太网传输至智能制造层和生产管理层.

图2 某无人产线的“云网边端”架构示意图Fig.2 The architecture schematic diagram of"cloud network edge"for a certain unmanned production line

智能制造层和生产管理层主要通过“云网边端”架构实现制造资源、数据的集成共享,保证产线的精益控制和智能反馈.“云”侧的透明工厂负责向下发送订单数据,并收集和展示订单生产过程反馈的报工报表等信息.“网”侧依托工业互联网强大的网络基础设施,以工业以太网、Wi-Fi、4G/5G 等多种接入方式实现系统数据传输.“边”侧的云盒,向下连接多个边缘网关或边缘控制器,与下层的自动控制层进行数据交互；向上连接透明工厂,打通设备层到管理层的关键路径.另外,“边”侧云盒承载云平台和工业互联网网关等设备的运行,具有存储生产资料、历史数据、报警数据、系统操作日志等信息的功能,同时负责订单计划、生产调度、线内库流程工艺等生产过程管理.“端”侧的工程师站和信息看板主要用于实时监视系统和生产现场中各设备的实时运行数据与关键状态.

基于“云网边端”一体化架构的无人产线打破了异构生产设备间的“信息孤岛”,实现了制造资源的互联互通与智能控制,降低了生产过程中的成本,提高了生产信息的透明度和制造过程的柔性化与精益化水平,是推进工业企业智能化发展和数字化转型的解决方案.

2.2 一体化架构设计

提出了一种面向MASs 的“云网边端”一体化架构.将“云网边端”划分为4 个层,即设备层、边缘层、平台层和应用层.架构如图3 所示.

图3 “云网边端”一体化架构Fig.3 The integrated architecture of"cloud network edge"

1）设备层

在智能生产过程中,通常使用由多种智能设备构造的MASs,其主要功能在于利用具备一定程度自主性的智体间相互配合实现复杂智能,特别是针对在实际制造流程中,往往存在着知识、效益、时间上的博弈关系等复杂问题,MASs 能够在减少其综合模型复杂度的同时,实现问题最佳解.同时,MASs也是完成人工智能协同、海量物联网系统自治管理、自适应排产、多任务生产调度、物流系统匹配管理等各类任务领域的有力工具.因此,作为底层结构的工业生产与管理的实体,设备层包括被赋予了认识、感知、控制、预测性分析能力的智能设备,是实现对整个工业生产环境的数据采集、监测和分析的重要组成部分,用于设备状态感知以及设备数据接入.智能设备还有以下特征：能连接到网络,有通信能力；具有唯一标识；能获得自身、其他要素和环境的感知数据,且能把获得的工业数据传输到工业互联网平台.

2）边缘层

边缘层主要包括工业边缘网关,实现数据采集、协议解析和数据预处理等边缘应用.一方面边缘层提供基础的工业互联网应用如智能网关、边缘计算以及数据库等,通过大范围的数据采集、异构数据的协议解析和边缘预处理,接受并存储来自设备层的工业数据,并利用泛在感知技术建立云边一致的计算环境,对多源设备、异构系统、生产要素信息进行实时高效采集和云端汇聚；另一方面利用低代码或无代码的编程工具实现边缘计算,完成数据价值挖掘,支持系统动态重构.同时,靠近边缘侧的平台部署拉近了数据与业务应用之间的距离,提高了服务响应速度,有效减少网络传输负担,提高工业数据实时性及安全性.

3）平台层

平台层利用云计算、云控制等技术实现对接入的各类资源与可用状态进行统一管控、信息资源按需共享和系统的互通开放性[14].如图4 所示,平台层包含了整个操作系统中可以调用的所有重要资源,如运算数据资源、传感器数据资源、存储器数据资源、网络通信数据资源、大数据分析资源、文件资源.基于平台及服务（platform as a service，PaaS）架构的工业云平台把所有不同的应用模块都封装为服务,同时还对外给出了一个服务程序接口,为实现其他业务的调度与整合创造条件,从而达到实现系统动态服务的目的.分布式数据库按照用户的任务特征、服务要求和工作属性进行分类存储,有助于对不同业务的统一管理.利用工业网络信息服务与资源虚拟化,建立了信息领域的业务服务和物理领域的信息服务之间的映射关系.工业互联网平台可以采集海量实际生产过程中的数据,并通过网络节点控制向设备层各智能体输出反馈信息,同时借助相关软硬件更好地验证MASs 机理建模方法或相关优化/协同算法的实用性[15].与此同时,智能体具有一定的算力和数据通讯能力,将智能体接入工业互联网,有助于进一步实现工业互联网技术中复杂多变的连接、交互、协同、优化能力,使其具有更强的智能性.

图4 工业PaaS 平台结构Fig.4 The structure of industrial PaaS platform

4）应用层

应用层提供客户端的人机交互服务,为MASs 的人机共融机制与人机协同功能搭建桥梁.实现形式包括PC 端、移动端、显示看板等.在应用层,系统管理者实现服务平台的维护及对客户端用户的统一管理,包括用户信息建立、修改、可用资源授权、使用资源情况等.

2.3 功能模块设计

基于MASs 的“云网边端”技术架构需要承担大量的用户请求,因此,如何规划系统、界定模块的大小和边界、设计各模块之间的通信将变得极为重要.在本文所提的架构中,设备层处于工业现场底层包含众多的生产制造设备,需要工业智能网关通过不同通信协议进行接入,利用数据引擎技术实时采集汇聚多源异构的原始工业数据.之后将数据上传到边缘层,进行进一步的数据处理和分析,同时也可以接受平台层下发的任务指令完成对工业现场设备的控制,根据不同决策对生产任务进行动态调整优化；边缘层作为系统架构的中枢起着承上启下的作用,底层工业数据可以通过4G/5G/工业以太网等多种通信方式,经工业网关传输并存储到边缘服务器中,提供基础的可视化数据分析处理服务,实现边缘计算、弹性资源分配和应用管理.向下对于设备层可以编写工业生产逻辑算法生成自动化任务指令控制工业现场设备,向上对于平台层提供处理完的实时工业数据和设备状态,动态展示底层设备的数据变化趋势；应用层面向用户或企业,通过PC 和移动设备登录管理界面,实现远程运维管理或监控等智能化工业应用.平台层是“云网边端”技术架构的核心,平台层各子系统所包含的主要功能模块如图5 所示.此外,根据所属原则,“云网边端”技术架构所包含的具体功能模块如表1 所示.

表1 “云网边端”一体化架构功能模块Table 1 The functional modules of"cloud network edge"integrated architecture

图5 工业PaaS 平台层功能模块Fig.5 The functional modules in the industry PaaS platform layer

2.4 相关技术分析

2.4.1 CCSs

CCSs 的基本结构一般包括云基础设施、云控制器、泛在网络、传感器/执行器以及被控对象,其中,云基础设施包括公有云和私有云.通信网络包括各类异构泛在通信网络；传感器和执行器可通过边缘网关或直接接入云计算平台；被控对象与传统网络化控制系统相比更宽泛.CCSs 中,一切即服务.软件即服务,平台即服务,基础设施即服务构成了云计算分层服务架构[16].即运用服务器资源研发出云计算平台环境作为服务提供给用户或者企业,帮助其自定义开发自己的应用产品而不需要管理云端基础设施.

针对多智能体研究需求,本文所提出的CCSs 采用云计算通用开源的可移植容器编排管理工具（Kubernetes，K8s）作为研究基础,具有如下优点: 采用PaaS 的业务化软件结构,管理操作模块可灵活复用；基于开放式体系架构设计,控制系统设备和控制软件达到了规范化和通用性化；具有对大型复杂系统的快速部署和柔性重构能力；云边协同控制架构使CCSs 兼具实时性、可靠性与高性能等特点.其组成如图6 所示.

图6 云PaaS 架构Fig.6 The architecture of CCSs

图7 MASs 结合工业互联网机理模型Fig.7 The mechanism model of MASs combined with industrial internet

2.4.2 混合系统建模

MASs 与工业互联网在机理模型上具有分布式、异构特性等相同特性,因此,充分利用工业互联网中的相关资源,建立并计算MASs 相关模型或算法是现在研究的重点.现有研究方法主要包括复杂网络建模方法[17]、基于图论的建模方法[18]和基于Petri 网的建模方法[19]等.其本质方法是将智能体作为系统的最小抽象单位,即每一个智能装备或智能装备中的每一个单元表示为一个智能体,并赋予智能体一定的行为、属性以及智能性,然后在多个智能体之间设置具体的交互方式,从而得到相应的MASs 机理模型.现有方法致力于研究系统的拓扑特性,及其节点与链接的网络系统的多样性和动力学复杂性,将多个相互作用、相互关联的子系统组合起来,获取整个复杂系统的社团化、模块化、层次化、小世界和无标度等特性.利用理论研究和仿真技术,对各种分布式系统进行抽象,并对宏观特性进行研究,尝试建立这些网络的结构模型,研究其拓扑结构,最终实现控制复杂系统的目标.

2.4.3 云边端协同机制

对于端侧智能体来说,受自身功能影响,本身算力有限,需要通过边缘侧设备获得运动控制或逻辑控制策略,例如视觉伺服、声音识别、运动控制等.同时,边缘侧主要承担网络连接、协议转换等功能,提供丰富的网络接口连接工业设备,支持Modbus/TCP/ProfiNet/Profibus/OPCUA/MQTT 等多种工业通信协议,适配大量工业设备具备数据采集、指令下发等功能,提供丰富的接口,连接设备层和平台层,从而实现边端协同机制.此外,边缘计算作为云计算的扩展,通过边缘设备和终端设备之间的连接,一方面减轻了资源受限设备处理负担,另一方面本地化处理提供更低的延迟,降低核心网传输数据量[20].然而网络架构的改变带来了新的问题,如边缘计算环境下终端数量规模大,移动性强,层次复杂,多种安全域并存,新的特性使得云边计算环境不一致,降低系统稳定性.本文架构中的边缘网关采用数据引擎技术和图形化组态,提高系统的云边端协同能力.

针对制造领域中,工业设备种类繁多且多为行业定制,接口协议复杂等实际问题,本文架构中的边缘网关采用数据引擎技术来完成对异构设备数据的采集以及跨平台的传输.数据引擎技术是一种基于MASs 的中间件软件技术,用于解释和处理控制器配置算法[21].数据引擎技术将所有问题先转化成计算问题,再用数据模型来表征,最后通过数据驱动的方式取代代码驱动,完成协议解析功能.数据引擎由实时数据库和数据处理机两大部分组成,实时数据库基于内存管理存储着具有控制组态功能的数据模型,数据处理机根据控制器以及相关数据的驱动定义,以特定周期不断完成对实时数据库的扫描和更新,形成数据引擎“软CPU”的作用.同时,数据引擎中的数据可存储到内存数据库中循环更新,通过数据接口与外部环境中其他容器或者设备通讯.数据引擎技术原理架构如图8 所示.将数据引擎技术应用在边缘网关中,可保证整个计算环境的相对独立性和通用性,有利于保障MAS 机理建模研究中的适应性和可移植性.

图8 数据引擎技术原理架构Fig.8 The technical principle architecture of data engine

本架构采用图形化组态技术为数据引擎技术提供无代码编程技术,结合图计算技术,有效降低编程成本,提高算法的灵活性[22].图形化组态技术如图9所示,将各类型控制算法封装成组态算法元件,利用这种可视化的操作方式仅需将元件拉取到编程界面并连接排列和连接便完成相应逻辑控制算法的编写,数据变化也可以在线监测.另外,图形化组态内置了通信模块可直接读取数据引擎中实时数据库中的数据,通过离线或在线的方法将逻辑算法上传到指定的控制器中,这样便可远程连接控制器在线修改元件参数,动态调整控制系统的运行状态.同时还封装了大量的算法库和插件库,可极大地提高工业互联网应用的开发效率,并提升软件资源的复用性.

图9 图形化组态技术Fig.9 Graphical configuration technology

3 应用场景

为了验证整体架构的可行性,本章依托前述内容的研究基础,将“云网边端”一体化架构应用到智能制造领域的MASs 中,将一组高度自动化装备组成的无人工厂作为研究对象,验证了所提架构的可行性.根据生产加工环境的实际需求,面向智能制造的一体化架构“端”侧包含数控机床、激光雕刻机、包装机器人和3 台加工设备、1 台移动机器人（automated guided vehicle,AGV）、1 台终端设备以及进出线台和立体库等智能设备.智能设备可通过边缘网关中数据引擎技术实时采集数据和状态反馈,同时也可以下发控制指令.根据生产加工业务流程,平台层按照功能分为订单管理、生产管理和远程运维三大模块,涵盖从远程人机交互界面提交订单到控制指令下发到现场设备执行整个自动化生产任务、订单实时跟踪、信息查询以及流程监控,实现现场无人化工业生产模式.应用层包括PC 端、移动端、Web 界面和大屏看板,实现远程人机交互功能.其架构和功能模块构成如图10和图11 所示.

图10 系统架构图Fig.10 The system architecture diagram

图11 系统功能模块组成Fig.11 The composition of functional modules of the system

整个生产流程如图12 所示,远程操作人员在Web 界面提交新增工单的请求,系统首先判断工业生产线是否正在执行加工任务,如自动化生产线是否处于准备或停止状态.之后系统便会解析工单数据,根据工单需求确认加工任务,如有错误便会取消工单并反馈系统.创建好的加工任务会根据现场设备上传状态信息检查设备是否正常运行,而且还会检查库位原料是否足够执行本次加工任务,当一切都准备完毕后,系统分配AGV 和原料库位等生产资源信息并将相应的控制指令下发到现场的工业设备,加工任务便开始执行.移动机器人取料将原料运输到指定设备处依次进行加工处理操作,加工完成后打包成产品,再运输到放货点,整个加工任务结束.

图12 生产流程Fig.12 Production process

根据2.4.2 节所述的混合系统建模方法,本文将MASs 看作为工业互联网的一个节点,通过图论将整个生产流程过程建模为一个切换拓扑图.图12 中用红线表示的一个案例的拓扑结构分析如图13 所示.

图13 系统拓扑模型Fig.13 The topology model of the system

综上,智能制造无人工厂以MASs 结合工业互联网形成的混合系统为研究对象,以“云网边端”一体化架构为基础,采用云控制服务方法,给出其业务模型与设备模型的机理模型,研究工业数据在混合系统中的运动规律,实现智能制造企业IT/OT 融合.

4 结论

MASs 的研究是智能制造的重要理论基础.面对MASs 的科学建模存在复杂性、异构性等情况,需要协同云、网、边、端的算力、存储空间、网络资源等基础资源,设计面向MASs 的“云网边端”一体化架构,建立MASs 结合工业互联网的混合系统,结合CCSs 理论,实现数据动态分布和闭环运动,人机协同机制,提高多智能体技术在解决产业复杂问题时的实际部署能力,加速智能制造领域迈进数字化和智能化的新时代.

在面向MASs 的“云网边端”一体化架构的未来建设中,需要保障智能体数据跨域流通时的私密性和安全性,同时进一步发展边端协同、边边协同和云网协同等技术,全面提升智能体面向局域场景和广域场景的运营能力.在以后的研究中,将开展敏感数据发现、智能数据脱敏、内网防护等相关研究,加强数据确定性保障,提高体系架构自身的安全性.此外,将结合机器学习、强化学习等人工智能技术优化调度系统各类资源,提高企业供应链以及上下游协同管理能力,推动智能制造产业集群高质量发展.