6G-ADM：基于知识空间的6G 网络管控体系

廖建新，付霄元，戚琦，王敬宇，孙海峰

（北京邮电大学网络与交换国家重点实验室，北京 100876）

0 引言

随着立体覆盖、极致性能、虚实融合、泛在智能等6G 愿景达成共识，个性化服务定制、网元种类激增、场景叠加多变等问题将给网络管控体系带来更加严峻的挑战。对6G 网络而言，网元、协议、应用、架构等都将呈现高度异构性与复杂性。智慧内生与至简网络为6G 网络架构与功能设计提供了可行思路。智慧内生的6G 网络，其网元具备不同级别的智能性，可自主生成策略完成传统人工配置策略实现的网络功能，为更高效的网络管控提供基础条件。从大道至简的网络设计思想出发，由高效的网络管控入手，可通过全网多层级资源的快速高效组织与调配，简化网络架构、精简复杂协议、减轻人工运维，实现全场景网络按需服务。当前5G网络管理、控制和运维系统独立封闭，重点解决具体场景问题，其安全性、智能性、协同性缺乏全局规划和统一设计，难以应对未来沉浸式、个性化的全场景服务和性能需求，亟待面向6G 按需服务的网络管控体系构建与关键技术突破。

根据现有的研究成果，6G 网络将向空、天、地、海泛在融合的物理空间拓展，集地面无线通信、高中低纬度卫星互联网和海洋互联网于一体，形成具有最大化容量、密集泛在连接和高致密频谱的全覆盖空间[1-3]。6G 关键指标将全面提升，网络呈现极致性能，将服务边界从物理世界延拓至虚拟世界[4]。智能化在6G领域的必要性和重要性已成共识，深度学习广泛应用于资源管理、参数调优、策略控制、智能运维等领域[5]。目前，针对6G 的国内外研究形势总结如下。

1) 全场景全域泛在接入与自主组网。美国已推出星链计划，有望实现全球低成本互联网服务[6]。针对自主组网管控，美国弗吉尼亚理工大学提出6G自维持网络[7]，在高动态和复杂环境下保持关键性能指标，按需调整网络功能与资源使用。文献[8]提出建立信息与价值的可信通道，着力网络态势感知与资源可信共享，满足网络资源、数据、服务等全域可信共享需求。

2) 打通虚实空间泛在统一的智联网络。文献[9]提出6G“人-机-物-灵”四维通信对象，满足认知增强与决策推演需求，实现意念驱动网络。文献[10]提出6G 的服务对象将从物理世界的人、机、物拓展至虚拟世界的“灵”，满足人类精神和物质的全方位需求。文献[11]提出以Cybertwin 网络架构实现虚实融合的数字孪生世界。针对全息通信、数字孪生等新业务的高精度通信需求，6G 将打破传统网络“统计复用、尽力而为”的原则，提供细粒度精准控制。中国移动提出将构建“按需服务的网络”，提供动态、超细粒度的服务能力供给，为用户带来极致性能体验[12]。

3) 全网智能化已成为重要共识。香港科技大学提出以人工智能为中心的6G 网络架构[13]，华为开展自动驾驶网络研究[14]，基于海量数据提升电信网络预防和预测能力。芬兰奥卢大学及众多学者提出6G 将实现边缘原生智能与算力网络[15]，协同优化边缘资源，并提供分布式智能环境。然而，“数据孤岛”是限制移动通信智能技术发展的主要瓶颈之一，美国麻省理工学院的Clark 等学者提出网络“知识平面”概念，基于人工智能与认知系统来实现网络的自配置、自适应、自修复，为解决全网智能化开辟了一条新途径[16]。

上述文献较少涉及资源管理和控制的管控体系，因此有必要对6G 网络管理和控制的人工智能（AI,artificial intelligence）支持技术和实现方法进行进一步探索。随着6G 愿景成为共识，如6G 网络的全球覆盖、服务的最终性能和网络控制的无处不在的智能，一个合适的网络管理和控制架构已变得越来越重要，迫切需要构建一套完整的6G 按需业务管控架构，并取得关键技术突破。图1 展示了6G全场景全域网络按需管控架构。下一代服务管控体系预计将实现“服务随心所想，网络随需而变和资源随愿共享”，即及时处理按需需求，实现用户想要的服务，网络将随着需求而变化，在6G 基础设施之上共享用户服务所需的资源。目前，5G 网络管控运营方案是孤立封闭的，需重点解决具体的场景问题。其安全性、智能性和协作性缺乏整体规划和统一设计，很难处理未来沉浸式和个性化的服务需求[17]。具体来说，5G 需要在时延、能量、成本、硬件复杂度、吞吐量和端到端可靠性等方面进行权衡。例如，移动高带宽和低时延通信的要求通过不同的5G 网络配置来解决，无法同时满足[18]。6G 突破性技术和当前演进相结合。6G 网络将具有按需服务、极简、柔性、内生智能、内生安全五大特征。和5G相比，6G 关键性能指标将提高10 到100 倍，且期望以整体方式同时满足这些严格的指标。

图1 6G 全场景全域网络按需管控架构

智简网络的设计思想强调实现极智能化的终端节点和极简约化的网络通信协议结构，通过内生智能简化通信网络本身，实现网络智能化和简约化之间的相互促进和协同[19-20]。面向智简网络的设计需求，本文将网络内生智能的管控知识空间引入6G管控体系，知识空间负责收集和提取超级智能网络节点通过智能计算生成的网络管控经验和知识，构成网络管控知识库，对网络需求的感知、网络资源的共享及全域网络管控策略的生成起到“超级大脑”的作用，最终实现下一代网络基础设施之上只有一层知识空间作为管控决策层的6G 管控架构内生智能与极简优化。基于此，本文提出基于知识空间的6G 网络管控体系，简称为6G-ADM（6G admin），主要贡献总结如下。

1) 为了实现6G 业务的个性化定制，提高6G业务的性能，阐释网络管理、控制和运维的一体化集成趋势，网络的管控体系的发展将顺应“智简网络”的趋势发展形成“智简的管控一体化体系”。管控体系内生智能，智能管控的概念和策略生成过程趋于简约化，将以更细粒度的方式分配资源。

2) 6G 网络将支持全场景的个性化、沉浸式服务，要为用户提供极低时延、极高可靠等极致性能体验。6G 资源很丰富，但仍然是有限的，需求增长和资源消耗存在矛盾，对细粒度资源的高度适配提出了重要挑战。本文提出6G-ADM 完善网络管理和控制知识，旨在形成一个闭环来支持按需服务，并有效地处理6G 网络中需求增长与资源消耗之间的矛盾。本文考虑通过网络知识的内生智能实现可持续的按需服务，建立知识空间来协调人工智能和传统人工定义。

3) 作为实现6G-ADM 闭环管控功能的两项关键技术，本文提出了一种新的网络切片方法和基于知识空间的异常检测方法。6G-ADM 将包括资源分配和异常检测在内的闭环服务策略转化为全局网元的执行行为。本文通过仿真实验验证了所提方法的有效性。

1 6G 网络管控的动机和挑战

1.1 6G 的复杂系统特性

复杂系统及系统行为经常涉及涌现、适应性和自组织，可以描述为分散、非层次、扁平、无定形和分布式的“网络”。复杂系统中组件逐渐增多，系统中的信息流也在快速增长。复杂和异构的6G网络是迅速扩展的复杂系统。6G 网络将拥有更密集部署的基站与无数的终端用户，以及预计将在6G网络中引入的新技术，如人工智能、机器学习、太赫兹波段通信等，使任何已知的信息理论都无法直接模拟行为及其动力学。同时，网络功能软件化和网络服务动态编排的趋势进一步加剧了这种情况的发生。

6G 结合人工智能和机器学习技术的“连接智能”对性能提出了更严格的要求，这将不可避免地改变基本的网络概念，并增加网络的复杂性。为了实现“连接智能”，需要非常高且可靠的数据速率（单个数据速率约为1 Tbit/s[21]）、极低的端到端时延、非常高的能效，以及高效的网络服务。此外，地面无线通信系统与卫星和网联车辆、网联无人机等设施连接将进一步增加6G 系统的复杂性。

1) 动态拓扑。用户通过其设备接入6G 网络，同时，物联网的大量智能设备也将动态连接到提供最佳服务质量的网络，使6G 网络呈现完全动态性。自动驾驶车辆、无人机、卫星和雷达设备，以及诸多快速移动的节点将进一步增加复杂性。由此需要新的数学模型和智能分析模型，准确建模网络的动态干扰特征，使节点能够快速切换到提供最佳服务质量的接入设备。

2) 复杂结构。6G 网络的自组织与演化特性，以及节点和连接多样性，使其网络具有复杂的拓扑结构与动力学特征。常见的复杂网络，如随机网络、小世界网络和无标度网络等结构，都将成为6G 网络的一种形态。这对6G 网络建模表征与优化提出了挑战，需要更好地了解其动力学和功能行为。

3) 自主行为。6G 网络可以由不同类型与功能的智能网元节点组成，通过具有不同特性和方向的链路互连，为全场景应用提供至简的网络功能。然而，内生智能的网元在一定约束条件下的自主行为决策，在降低了人工成本的同时，诸多不确定性因素也给网络管控带来了新挑战，亟须利用网络的内生智能性探索统一的网络自治方法，保障6G 网络的可靠性。

1.2 管理、控制和运维一体化需求

管理、控制和运维是实现当前网络管控的3 个关键领域。网络管理的功能包括网络故障管理、网络配置管理、网络性能管理、网络计费管理和网络安全管理，具有静态、长周期的特征。网络控制一般指实现通信网络控制面的指令下发的功能，具有动态实时性特征。目前，由于各种新兴业务场景的需求，网络管理的很多功能要求的管理周期越来越短，网络管理与网络控制的边界越来越模糊。网络运维的本质是对整个网络的生命周期各个阶段的运营与维护，通过人工和自动化方法监控和保障网络正常运行。网络运维中需要配置监控指标，其策略是配置监控对象的条件，出现故障问题要对具体网元进行处理，这就需要管理和控制相协同来解决运维事项。由此可见，管理域、控制域和运维域已经开始呈现相互融合的趋势。然而，当前网络管理、控制和运维系统独立封闭，现有网络管控体系受限于单一平面部署，封闭网元设计，网络管理、控制、运维等系统孤立分散，制约了全域网络统一科学管控，无法实现资源、数据、策略有效共享与协作，难以发挥6G 使能技术优势。

1.3 网络智能策略的一致性挑战

一般而言，通信网络中需要管控的资源对象包括计算资源（虚拟机、容器、函数级服务）、存储资源、网络资源和业务资源等。对于网络资源，从数据面来看，有网络切片、动态切片（子切片）、具有优先级的路由、主动管理的队列，以及可调度的流、帧、包（最小粒度）等；从控制面来看，可以细分到将“协议交互”封装为一个“原子能力”的级别。上层业务能力也可以分为各级别的业务能力和复合能力、平台能力和基础能力等。目前，随着未来沉浸式、个性化的全场景服务和性能需求的不断涌现，资源管控的差异性将越来越大，资源调配的粒度也会更加丰富。

在智能化管控场景下，管理域、控制域和运维域通常将独立运行一些智能化管控策略。例如，网络管理的切片划分、网络控制相关的路由选择和运维系统中的关键性能指标（KPI,key performance index）采集。上述各个管控域将使用各自的智能化算法进行策略生成，例如随机森林、深度学习和强化学习（RL,reinforcement learning）等。资源管控的差异性将导致管理、控制和运维3 个域的管控策略不一致。具体表现在管理域、控制域、运维域生成的策略在不同网络层次中可能存在矛盾，不同厂商设备之间的配置歧义也可能导致策略不一致。因此，在管理、控制和运维融合的场景下，需要设计合理的管控架构，把不同域内的管控策略映射到同一个潜空间，针对资源管控的差异性进行全域网络管控策略对齐，支撑“三域”管控策略的深度融合。其中，域域融合的重点是将管理、控制、运维中管理同一个对象的策略转换到同一个表征空间中，消除其矛盾和歧义。然而，目前的网络管理、控制和运维方案是孤立的，这限制了6G 按需服务的统一监管。如果没有集成的管理和控制架构，很难充分利用6G 技术的优势。因此，随着管理、控制和运维的一体化，有必要设计合理的管理和控制架构，将不同领域的管理和控制策略映射到相同的潜在空间；然后，根据资源需求的差异调整全球战略，以消除其矛盾和模糊性。

2 6G-ADM 设计

2.1 管控体系结构

本文从“三域”融合的6G 网络管控理念入手，突破网络管理域限制，深入网络控制层面，设计6G-ADM，按需提供有效资源，以确保网络通信的极致性能，力求实现服务随心所想、网络随需而变和资源随愿共享，支撑提供个性化、沉浸式的6G服务。例如，可为个性化的驾驶服务（全息会议、个性化自动驾驶等）提供资源管控的支撑，车移动到不同位置时，根据环境和需求的实时变化，进行动态组网，协同调配网联车、路、边、云等资源，根据需要封装资源功能为支撑服务进行资源共享。图2 展示了三横三纵棋盘式的6G-ADM 结构。

图2 三横三纵棋盘式的6G-ADM 结构

从网络管控视角，由下到上包含跨地域、跨空域、跨海域的空天地海全域无缝覆盖网络的3 个逻辑层次，即接入层、网络层、业务层。以可信自主接入、知识定义调配、能力协同互联为核心技术设计安全管控、智能管控、联动管控3 个平面。逻辑平面层间通过相对应的适配接口与3 个平面交互，网络开放架构下核心技术之间相互承载与联动，实现智能化、可信化与定制化等技术的深度交叉融合，为6G 网络提供持续演进动力。建立全域网络复杂场景下的智能化异常检测与自愈的基础理论框架，实现棋盘式管控体系的闭环控制，增强6G网络稳健性与抗毁能力。以全局视角观测网络层间行为，通过状态预警、异常检测、根因分析、协作自愈四阶自治实现网络无人值守。利用知识空间与数据可信共享机制，打通异常检测、网络容量预测与网络资源管理等多个网络管控领域，实现全域网络管控数据的特征共享、模型公用、策略互通。

6G-ADM 是内嵌的三横三纵形式。从管控对象的视角分为横向的三层，从业务层到网络层，再到接入层，进行服务意图的转达，逐层映射翻译为下层的控制策略。从管控功能的视角细化了3 个纵向的管控平面：安全管控平面保证资源可信，智能管控平面对各层的资源进行优化调配，联动管控平面确保各层分散资源进行有效协作。各平面协同进行高效的细粒度资源管控，实现个性化的按需服务，从而把不同域内的管控策略映射到同一个潜空间，支撑管理、控制和运维的“三域”管控策略的深度融合。

2.2 细粒度的资源管控

6G-ADM 的主要特点是细粒度的资源管控，可实现灵活的资源复用和供需平衡，主要体现在以下几个方面。

1) 资源的逐层映射。将网络功能、业务系统进一步解耦，按照接入、网络与业务逐层抽象资源，归为五类资源（简称为5C），即捕捉（capture）、计算（computing）、通信（communication）、存储（cache）、控制（control），资源之间可以相互转换，资源可以继续封装为业务能力。

2) 资源的多粒度封装。通过虚拟机、容器以及函数级服务提供不同粒度的服务能力，并支持将原子能力动态组合为复合能力，便于资源快速流动与精准按需适配。

3) 资源的精准需求。分析挖掘业务场景特征，针对业务场景，提供按需服务。例如，捕捉用户视角，根据目光位置调整局部直播码率为高清。

4) 资源的实时调配。提供超低时延管控，减少策略生成的时间周期。在不同的场景中，端到端管控时延可降低的程度是不一样的。在实施过程中，可能需要根据特定场景和应用，建立柔性专网，采取资源预留和边缘计算的方式，用资源代价换取时延的降低。同时，实时监控需求情况，资源动态回收。采用AI 算法优化，针对场景提供按需服务策略，利用细粒度网络管控策略的优势，为具体场景调度充足资源，降低现有整体管控时延。基于知识空间采用离线预训练和在线推理结合的方式，用模型推理来实现策略生成，可以大幅度减少策略生成的时间周期。另外，还可以通过减少状态空间输入和神经网络压缩技术，甚至模型并行推理技术，进一步降低模型推理时间。

在6G-ADM 中，从全局角度观察网络层的行为。无人值守网络的管理和控制可以通过状态预警、异常检测、根本原因分析和协同自愈4 个阶段的功能来实现。借助于知识空间和可信数据共享，可以实现异常检测、网络容量预测、网络资源管理等多个网络管理和控制领域。这些领域的开放将实现全网络数据的特征共享、模型公用和策略互通。6G-ADM 将重塑全场景全域网络管控，建立网络管理、控制、运维融合的按需服务网络管控体系，将安全、智能、联动内化为棋盘式管控平面，融合网络运维构建自治自愈闭环。

6G 通信系统逐渐解耦并与各类网络融合，5C资源在网络节点中大规模分散部署，6G 资源管控处于一种高度开放动态的环境中。同时，资源管控的随需而变和随愿共享的技术需求又进一步增加了网络架构复杂性。本文从网络内在功能层次与管控之间的关系着手，设计可演进、可扩展、可定制的管控架构，同时考虑安全、智能、联动等原生属性。其中，知识空间是赋予6G 管控网元认知能力的关键部分，将对6G-ADM 中安全、智能、联动三重属性的实现奠定“知识基础”。

基于与现网兼容的架构，本文提出了6G-ADM。在上述结构下，考虑到通过网络知识的内生智能实现可持续的按需服务，建立知识空间来协调人工智能和传统人工定义。细粒度的资源管控的实现目标是生成知识定义的智能管控策略，其基础和核心是构建管控知识空间，下面将阐述管控知识空间的构建过程。

3 6G-ADM 管控知识空间

3.1 网络管控知识空间的定义

随着6G 系统向立体空间覆盖扩展，各种无人系统及远程控制等新兴应用将不断涌现，大规模人机物混合接入成为业务常态。网络将呈现架构动态多变、设备异构、流量指数级增长、服务质量需求差异巨大、资源复用性与耦合性强等现象，直接导致网络运行机理极其复杂，管控十分困难。为提供沉浸式、个性化的6G 服务，且满足超高可靠、极低时延性能需求，解决全域大规模分散自主网络资源可信共享与业务需求的实时自主适配，考虑通过知识定义的内生智能实现可持续演进的按需服务，构建管控知识空间，统筹人工智能与人工定义方法。

本文提出的管控知识空间包含4 个部分的内容，表示为(G,D,E,R)。其中，G代表历史记载，D代表客观事实，E代表经验积累，R代表客观反馈。具体来看，历史记载指由运维手册、配置文档、日志、记录等构成的知识图谱；客观事实指由拓扑、性能指标、业务需求等构成的网络基础数据；经验积累指由网络特征表示、业务质量体验建模等确定的资源特征映射关系；客观反馈指网络构建、流量调度、资源分配等瞬时决策对网络的影响效果。

上述提出的知识空间中，D和E包含了网络各层的数据与特征，此外还有更丰富的日志和文档等文本信息、网络知识图谱，以及智能模型实际应用中的反馈效果，其中部分参数可作为知识进一步提供给其他模型复用。6G 网络内生智能的愿景，已经开始研究将人工智能模型应用于网络各个层次的管控中。例如，智能接入策略、网络层智能路由、智能切片编排、业务层智能服务选择与组合等。然而，针对具体任务的智能模型扩展性差，难以应对6G 网络的高动态特性，亟须提高内生智能的认知能力。研究网络层管控重点关注智能管控平面，本节提出人机协同赋能“网络知识”，构造知识空间，建立“感知、决策、验证、适配”的知识定义资源调配机制，并且可持续增量学习，以应对变化，使模型在未来网络中能够长期稳定高效运行。

本文把“知识驱动”理解为对传统“数据驱动”的升级，以全局视角代替局部视角，打通多个网络管控问题域，将相关网络规律、机理、策略都凝练为知识，包括历史记载、客观事实、经验积累、客观反馈等形式，包含了人类所能总结的知识库、常识库，以及机器所能理解的知识，即智能管控模型所能理解的知识。因此，管控架构可以更好地解决可解释性和逻辑推理的问题。构建管控知识空间旨在发挥人工全局目标把控力和机器利用数据的细节调配敏锐性，实现特征共享、模型公用和策略互通。同时，网络通过不断学习，知识空间可以变得更加丰富。

3.2 知识空间与策略生成

网络管控架构的实现重点是管控单元的研制，承载是服务器，把新提出的管控策略机制内置进去，包含3 个管控平面的实现。其中，知识定义功能将通过单独的管控知识空间来利用各方面的知识基于AI 基础实现策略的生成，比如构建神经网络模型，再把模型部署到管控单元中，实现策略注入。这样把这些管控功能运行起来，验证其效果，对照网络管控整体的目标不断调优管控策略。知识空间与策略生成简单来说就是抓取网络状态，通过学习方法训练模型。由于模型的训练过程仅靠端到端机器学习可能效果不好，应该不排斥人工经验知识库，使用先验知识补充模型，结合规则与人工经验。最终，知识空间的结果（模型）将会发送给管控架构下的控制网元。

网络管控中，有非常多的任务需要用机器学习算法来配置，之前的各种模型是面向具体任务的，不能重用。网络是千变万化的，流量特征是最基础、最本质的特征，应该更多地关注流量数据并深入挖掘。本文提出知识驱动的学习模型，探索一种通用的方法，可以应用于不同的任务，允许在最小修改的情况下重用现有的管控模型。最后，将分布式的神经网络部署在6G 网元上，分布式学习流量特征，提供通用的全场景智能策略的生成与验证。

知识空间在网络智能管控的实施过程，即“流量感知、知识获取、调配策略生成和策略验证”4 个步骤中持续迭代更新。通过基于知识空间的管控体系实现模型与策略在现实网络中长期稳定的高效使用。知识空间的更新与策略生成过程如图3 所示。

图3 知识空间的更新与策略生成过程

1) 知识增强的全网络流量感知

利用深度神经网络通过少量流量信息有效提取语义特征，形成流量知识，实现基于全场景认知的流量分类和流量预测。基于深度学习的知识增强的跨设备多任务通用流量信息感知模型，利用迁移学习等理论提高对缺乏数据的新任务流量信息的感知能力。利用多任务流量识别方式感知流量信息，设计公共知识层和多个私有层，从不同任务不同侧面对神经网络通用流量知识进行提取，为深度学习模型复用提供新思路。使用轻量级神经网络模型，减少模型部署对计算资源的消耗，提高感知效率。

2) 可增量学习的网络知识表征与获取

利用网络内容缓存收集数据，获取网络设备和网络状态中对资源调配的影响力，通过数据分析提取知识。根据大规模网络中设备的角色、功能和性能差异，将其聚集成簇形成功能体。从设备特征和复杂的设备间关系入手，利用网络历史流量数据流转信息，发现设备间重要的特征和其运行中的一般规律，并形成知识描述。网络拓扑和用户习惯会随时间推移发生变化，设计可以支持增量学习的网络知识获取模型，使模型可自动感知、自主适应知识发生的迁移。

3) 知识定义的全场景资源调配策略生成

在全场景视角下，依据路由选择需求动态获取网络状态，学习网络资源变化的模式，更准确地预测未来网络中流量的趋势。以自学习方式获取不同网络状态的资源分配模式，实现资源弹性提供和优化部署，支持大量数据传输的需求。通过深度学习模型求解链路权重、判断给定路径是否拥塞或给出流量传输路径等方式调配网络资源。利用适合网络资源调配策略生成的深度模型，实现对网络资源高精度调配，通过分布式计算实现资源调配模型的快速训练和推理，实现网络资源实时控制。

4) 基于知识的网络资源调配策略验证

利用知识图谱推理技术和知识冲突检测技术实现网络策略中的隐式冲突检测。运用知识图谱存储与更新机制，将设备接口、功能和协议、配置等依据路径信息、拓扑信息、流量服务等内容以知识图谱的形式统一存储，并随网络真实状态更新。为了解决图谱信息不准确、不一致的问题，通过无监督学习技术获取知识图谱中节点特征表示，并利用特征的相似关系对图谱中同一概念的节点发现一词多义现象。

4 基于知识空间实现的网络管控关键技术

基于与现网兼容考虑，网络管控架构实际上属于控制平面的范畴，为了利于讨论，需要进一步解耦其内部功能，通过知识空间特别赋予了网络认知能力，可以对6G 网络资源进行智能化、自动化调配、预留和分配，实现闭环的网络管理和控制。为了验证所提出的6G-ADM，本节介绍了闭环网络管理和控制的两项关键技术，一是基于知识的智能网络策略生成，为服务提供资源分配方案；二是基于知识的智能异常检测，可有效解决网络故障的发现或预测问题。两项关键技术的实现都基于管控网元可以获得的知识，然而知识空间的生成、建立和优化将促进两者的算法性能提升，两者的实施和部署的过程反过来也将补充和促进知识空间的完善和发展。

4.1 知识赋能的切片资源管控策略生成

与6G-ADM 提出的管理、控制融合的理念一致，将网络切片这一粗粒度的资源管理概念细化为多个服务功能链的资源和路由选择问题。基于所建立的知识空间指导资源分配策略生成，基于6G-ADM 整体架构下发和验证策略结果，将网络资源管理和路由选择控制相结合。本文使用多任务深度强化学习减少复杂任务决策的动作空间维度，并通过其共享的神经网络层协调多个路由任务之间的资源竞争。

知识赋能的多任务深度强化学习生成资源管控策略如图4 所示，其中，se和he分别表示当前输入状态和隐藏层的输出，FC 表示输入的特征矩阵。在多任务学习中，不同任务之间没有区别，其目的是提高所有任务的性能。在这些学习任务中，所有任务或它们的至少一个子集被假定为彼此相关。与单独学习这些任务相比，共同学习它们可以大大提高性能。因此，多任务学习旨在提高多个任务相关时的泛化性能。在本文中，多个动态切片的实现过程通过多任务深度强化学习得到，控制器或者管控单元以多个切片的资源调配为一组并行任务同时进行决策。对多个学习任务进行联合学习是一种很有用的方法，因为一个任务中包含的知识可以被其他任务利用。在多任务学习中，不同任务之间没有区别，而其目的是提高所有任务的性能。

图4 知识赋能的多任务深度强化学习生成资源管控策略

在多任务学习期间，单个智能体将借助强化学习算法同时学习一组紧密相关的任务。通过这种方法，单个智能体将定期与全局网络共享每个智能体的神经网络参数。通过组合所有单个智能体的学习参数，全局网络会导出一组新的参数，这些参数将与所有智能体共享。此方法的主要目的是通过在相同环境中运行的多个相关任务之间共享知识来增强RL 智能体的整体性能。多任务学习的关键之一是强化学习智能体应开发一个常识库并学习可以在各种相关任务中共享和使用的常规技能。此外，在多个任务的资源必要性之间竞争学习系统内的可用资源之间应该保持平衡。多任务的强化学习模型一定能够提供相比单任务学习更好的结果。同样，在经常竞争有限资源（这些资源属于强化学习智能体使用的单个学习系统）的多个任务的资源需求之间应该建立适当的平衡。

另外，通信网络从根本上用图结构表示，但是，大多数现有工作都采用深度神经网络（DNN,deep neural network）或者卷积神经网络作为基础深度学习模型。这些模型不适用于通信网络中的问题。由于它们无法利用网络的拓扑结构，因此当面对具有不同网络拓扑的资源管理问题时，这些方法的通用性很差。为了解决这一挑战，本文利用图卷积网络从常见的图结构网络状态中捕获切片的拓扑信息。近年来，在通信网络中有很多使用图神经网络（GNN,graph neural network）架构的研究可以有效地处理拓扑输入数据，但是其模型仅旨在学习节点级别的特征，而不是全局级别（即图级别）的特征（这是因为它们的模型大多用于节点分类任务）。因此，本文将一种可微池化（DiffPool,differentiable pooling）机制集成到图卷积模型中，以将节点级特征转换为全局级特征以生成全局决策。DiffPool 是在图结构中做池化操作的神经网络层，能够与任意的图神经网络组合来学习网络信息。图卷积模型是将图节点的特征A和邻接矩阵X作为输入，最后输出节点的特征表示矩阵Z。

每层的池化操作都是将上一层的特征和邻接矩阵作为输入，并对应输出池化之后的特征和邻接矩阵。

赋值矩阵Sl其实本质上也是定义在图结构上的矩阵，因此可以将该赋值矩阵也通过GNN 结构来实现。DiffPool 可以学习到在图的层级表征上运行的深度GNN 模型，和卷积神经网络中的空间池化操作相似，DiffPool 的每一层都能使图形越来越粗糙，然后训练后的DiffPool 就可以产生输入图形的层级表征。

在深度强化学习的建模过程中，本文将环境状态定义为底层网络拓扑信息、拓扑中节点和节点之间的流量速率、时延和丢包信息以及服务的流量需求信息。将动态行为空间定义为网络切片的资源配置问题，由带宽资源的分配方案和网络路径的选择方案来描述。将深度强化学习的优化目标定义为提升网络资源的利用率和服务的满意度。在基于多任务深度强化学习的智能网络切片训练中，网络策略是在先验知识的辅助下，通过人工智能算法生成的。此外，切片策略的反馈会产生新的知识。

如图4 所示，智能策略的生成和应用产生的新知识作用于网络的状态空间，网络的业务运行和资源状态都在时刻发生变化，6G-ADM 将继续感知和捕捉这些状态的变化，进行自动自主的智能运维，捕捉网络状态的异常行为，并入知识空间，并根据已有的知识做出正确的反馈行为，对异常的产生进行溯源跟踪，产生新的策略阻止或从源头避免异常的产生。

4.2 知识赋能的网络异常检测机制

作为6G 网络管控闭环的一个重要部分，本节介绍6G-ADM 智能运维中的一种知识赋能的异常检测机制Graph-VAE 方法。

基于6G-ADM 可以快速感知网络状态，以补充知识空间。反过来，可以从知识空间中提取网络状态的重要信息，从而实现智能决策，如预测未来趋势或故障产生。通过6G-ADM 中的策略反馈进行策略调整，确保网络能够独立、快速地响应网络紧急情况，不断优化资源管理方案。作为6G-ADM 闭环控制的关键技术，本节提出一种基于GNN 和变分自动编码器（VAE,variational automatic encoder）的时间序列智能异常检测方法。

GNN 是一种通过图形节点之间的信息传递来获取图形依赖性的连接模型。它主要扩展了现有的神经网络用于处理图领域中的表示数据。在一个图中，每个节点都是由其特征和相关节点定义的，而GNN 的目标就是学习一个包含了每个节点的邻域信息的状态嵌入。自动编码器是一种通过训练在输出节点复现输入向量的深度神经网络。在训练神经网络时，目标输出设置为x，测试时的输出值是x的估计值。VAE 被视为自动编码的概率版本，其中解码器不再直接输出x的估计值，而是输出x的估计值的概率分布参数。同样地，编码器输出的潜在表征z也不再是固定值，而是其概率分布。

本文将多指标时间序列建模为图形表示，对于 一个具有n个节点的图，假设其节点表示为{v1,v2,v3,…,vn}，其中节点vi代表第i个指标的时间序列特征。图注意层为每个节点计算输出表示，即

其中，hi表示节点i的输出表示向量，σ表示sigmoid 激活函数，αij代表节点j对节点i的贡献度的注意力分数（j为节点i的邻接节点），L表示节点i的邻接节点的个数。

皮尔逊相关系数又称为皮尔逊R 统计检验，它可以衡量不同变量之间的关系强度。给定2 个随机变量X和Y，它们的皮尔逊相关系数计算式为

其中，cov(X,Y)是X和Y的协方差，σX和σY分别是X和Y的标准差。皮尔逊相关系数主要用来度量2 个变量之间的相关程度，其值介于-1 与1 之间。当皮尔逊相关系数为-1 时，说明2 个变量之间存在较强的负相关关系；当皮尔逊相关系数为0 时，说明2 个变量无相关关系；当皮尔逊相关系数为1 时，说明2 个变量之间存在较强的正相关关系。

对于2 条指标时序曲线，皮尔逊相关系数也能在一定程度上反映其线性相关程度，因此，本文将图注意层的输出修改为

其中，ρij表示节点vi与节点vj所代表的2 条时序曲线之间的皮尔逊系数。基于上述过程，Graph-VAE通过图注意层对时间序列中的各关键指标的相关关系进行了显式建模，并提供了各指标曲线之间的皮尔逊相关系数作为先验知识。

知识赋能的网络异常检测机制如图5 所示。每个单变量时间序列的相关特征由图注意层提取，时间序列的时间相关特征由门控循环单元（GRU，gated recurrent unit）捕获，图注意层和GRU 都可以作为6G-ADM 智能运维Graph-VAE 机制的组件。具体来说，Graph-VAE 的结构主要包括编码器和解码器2 个部分。在输入数据xt后的第一层，使用完全连接的DNN 提取每个时间序列的高维特征。然后，将提取出的高维特征作为输入，使用一个图注意层来加强每个时间序列之间的关系。第一层DNN的输出与图注意层的输出拼接，作为后续GRU 的输入，用于捕获多元时间序列之间复杂的时间依赖关系。通过DNN 和激活函数学习一组均值和方差向量，多元时间序列数据的输入映射到潜在的随机变量（即Z空间，Z假设服从高斯分布）。为了更好地捕捉输入数据的分布，采用平面正则化流（PNF,planar normalizing flow）方法学习势随机空间中的非高斯后验分布。解码器网络的结构与编码器网络相似，根据输入的潜在变量重构整个模型的原始输入。在训练阶段，模型学习整个多元时间序列的正态模式，并尽可能减小重构误差。在推理阶段，模型根据解码器最终输出与原始输入之间的重构误差判断数据序列是否异常。

图5 知识赋能的网络异常检测机制

在6G 网络中各种业务的运行过程中，通过智能异常检测生成更多的网络状态知识，然后反馈给智能算法生成新的策略。动态生成更新和修改的策略，实现网络管理中的闭环控制，实现6G-ADM 网络的自主自愈。

5 仿真实现和结果

5.1 切片资源分配策略的仿真设置和实验结果

对于实验的仿真环境，采用Mininet 工具作为转发平面，选用SDN 控制器OpenDaylight 控制器作为切片资源的管控代理，使用真实拓扑HARNET（包含20 个节点和26 条链路）和有标签的不同服务的流量包数据集进行算法的实现和测试。深度学习模型是由PyTorch 实现的，在基于GCN 的表示网络中，第一层和第二层中的节点数分别为32 和64。在多任务Actor-Critic 模型中，每个任务特定的完全连接层包含64 个节点，批量大小为50，学习率为0.005。网络的每条链路都有100 Mbit/s 的默认带宽容量和1 ms 时延。仿真实验是基于开放数据集Tor 中的数据包生成用户流量的。Tor 数据集是一个标记真实世界流量的数据集，其数据来自18 个以上具有代表性的应用程序，具有21.3 GB 的流量数据，并根据用户行为将数据包分为8 类。由于训练模型的轻量级结构，模型可以运行在台式机上，配置如下：CPU 为Intel i7-8700 3.2 GHz，内存为8 GB DDR3 2 666 MHz，操作系统为64 位Ubuntu 16.04LTS。

为了验证知识增强的智能切片算法的效果，采用的对比实验分为两组。

第一组实验。目前常用来做资源调配任务的 2 个基于单任务的深度强化学习算法：ACKTR（actor-critic with Kronecker-factored trust region）和DDQN（dueling deep Q-network）算法，都采用全连接网络进行任务训练。在第一组实验中，管理中心没有学习到拓扑中含有的有效信息（网络知识），并且业务需求之间的资源竞争信息（经验知识）也没有被学习和利用。

第二组实验。基于图的多任务深度强化学习算法没有采用图池化的机制，同样采用全连接网络。在第二组实验中，管理中心学习了拓扑中的节点知识，多业务之间的资源竞争知识也在训练中得到了强化。另外，值得一提的是，在上述所有的实验算法的优化目标和所涉及的重合的优化参数都是相同的。

以服务时延指标为例，图6 展示了知识赋能的智能切片算法的时延性能。如图6 所示，随着服务需求的增长，服务满足的时延随之增长。优化的资源配置方案使服务质量得到了明显提升。图7 展示了知识赋能的智能切片算法的收敛效果，图7 中奖励曲线取自图6 中的流量需求为20 Mbit/s 的情况。为了便于展示，本文将奖励归一化，用于表示资源利用效率和服务质量满意率的联合优化效果。如图7 所示，本文提出的知识赋能的智能切片收敛速度快，并且抖动较小，能够稳定在较高的优化目标值。本文提出的方法在效果和性能上都有一定的提升，主要原因是其充分利用和增强了对网络状态和资源状态知识的理解。算法通过图卷积和图池化获得了增强的知识信息，这些知识包括网络拓扑连接信息、流量状态信息和服务需求信息。基于一般知识和增强的知识，管控代理能够实现灵活高效的切片资源调度和更好的资源利用效果。

图6 知识赋能的智能切片算法的时延性能

图7 知识赋能的智能切片算法的收敛效果

5.2 网络异常发现机制的仿真设置和实验结果

本文主要通过准确率、召回率以及F1 分数3 个指标来评估和比较所提方法与其他方法的性能。

使用SMD（server machine dataset）来验证所提Graph-VAE 方法的有效性。SMD 是一个持续时间为5 周的数据集，主要从一家大型互联网公司收集得到。本文将SMD 分成2 个大小相同的部分，前一部分为训练集，后一部分为测试集。SMD 测试集中的异常及其导致异常的主要维度已经由领域专家根据事件报告进行了相关标记。在该数据集中，异常诊断的对象为一个服务器实例，一共包含28 个实例，每个实例包含38 个相关指标。该数据集收集的时间间隔为1 min，测试集中的异常时间点占比为4.16%。在仿真实验中对模型的超参数设置如下：输入数据序列的长度设置为100。GRU 和全连接层的节点数均为500；标准差层的ε值设置为1×10-4；Z空间变量的维数固定为3；平面正则化流的长度为20；训练的batch size 大小为50，运行10 轮并支持提前停止；在模型训练过程中，本实验使用Adam 优化器进行随机梯度下降，初始学习率为1×10-3。在本文的仿真实验中，主要验证先验知识对模型学习的影响。

1) X-without Hybrid。在该变体中，本文保留了图注意力层，但不再为其提供带有先验知识的特征间关系，即将图的邻接矩阵由原来的皮尔逊相关系数计算结果替换为单位矩阵。

2) X-without Graph。在该变体中，不再保留模型中的图注意力层，与其他对比方法类似，只对时间序列的时间依赖关系进行学习，而不再学习多个时间序列特征之间的相关关系。对于实际异常段中的任何一个检测点，如果检测到异常，本文就认为该段检测正确，该段中的所有检测点都被认为是准确检测到的异常。

知识赋能的异常检测方法的性能比较如图8所示。没有皮尔逊相关系数作为先验知识，F1 分数明显下降。这充分体现了接入一定的先验知识对模型学习的帮助。Graph-VAE 在一定程度上完成了正常模式与异常模式的更有辨识度的学习，使正常模式与异常模式下的异常分数更容易被区分开。而在完全去掉了图注意力层后，准确率发生了明显下降。Graph-VAE 采用变分自动编码器利用了随机信息，提高了模型性能。在实际场景中，许多时间序列由于存在各种各样的不可控因素而不可预测。Graph-VAE 是一种基于重构的模型，旨在学习多元时间序列的正常模式，可同时适用于可预测的时间序列与不可预测的时间序列。Graph-VAE 通过GRU 记录时间序列的时间依赖关系，同时又通过图注意层学习多个时间序列特征之间的相关关系，这些设计使它展示出了比较好的检测性能。Graph-VAE 在异常诊断方面也具有一定的优势，该优势主要来自图注意力层对于各时间序列曲线之 间的相关关系的学习。图注意力层学习到的相关关系可以帮助模型理解异常，例如，当相关关系较弱的时间序列之间忽然产生了强相关性，或原本具有强正相关的时间序列忽然变为负相关，这些相关关系特征的突然变化都可以被模型顺利捕捉到，模型可利用这些信息完成异常判断与诊断。

图8 知识赋能的异常检测方法的性能比较

6 结束语

本文首先介绍了一种集成了网络管理、控制和操作技术的6G 随需应变服务网络管理与控制体系6G-ADM。然后，本文重点解释了智能网络管理和控制的知识空间。最后，本文介绍了6G-ADM 实现的2 个关键技术，并验证了它们的有效性。未来，通过6G 网络的知识定义内生智能，有望在6G 网络中实现按需服务的可持续实现。