基于人工智能的6G网络技术

2021-11-24管婉青张海君隆克平

无线电通信技术 2021年6期

王东，管婉青，张海君,2*，隆克平

(1.北京科技大学计算机与通信工程学院，北京 100083；2．北京科技大学人工智能研究院，北京 100083)

0 引言

在最近的几十年中，移动通信网络从1G发展到6G，通信关键技术层出不穷、迅速发展，广泛应用在人类社会的各行各业，成为社会信息化变革的重要支撑。为了满足未来6G网络更加丰富的业务应用以及极致的性能需求[1]，需要在现有的新型无线网络架构基础上，实现关键技术上的重要突破。而随着人工智能(Artificial Intelligence，AI)的深入应用，如何实现AI赋能新型无线网络架构，也是一个研究热点。现有的无线网络架构不具备支持AI原生的能力，缺少原生AI算法的运行环境和基础插件[2]。此外，随着新型垂直行业应用的井喷式涌现，无线网络资源利用率低、业务匹配性差，差异化实时性业务需求引起资源管控复杂度的急剧提升。未来，AI技术将赋能移动通信系统，通过与无线架构、无线数据、无线算法和无线应用结合，构建新型智能网络架构体系。AI原生的6G网络不仅仅是将AI技术作为一种优化工具，而是实现AI原生的新型无线网络架构和空口技术。AI原生的6G网络通过赋能网络架构，实现接入网和核心网网元的智能化管理和部署实现，支持智能的多类型资源跨域管理。而AI原生的新空口技术能够通过调用AI算法支持无线资源的智能调度，实现实时的业务需求匹配，将AI需求考虑在接口协议栈的设计中[3]。

1 AI原生的新型无线网络架构

AI原生的新型无线网络架构，要充分利用网络节点之间的通信、计算和感知能力，通过分布式学习、群智式协同以及云边端一体化算法部署，使得6G网络原生支持各类AI应用，构建新的网络生态，并实现以新型网络使用者为中心的业务体验。利用原生的AI能力，6G可以更好地对无处不在的具有智慧感知、通信和计算能力的网络、基站和终端进行统筹管理，利用大规模的智能分布式协同服务，使网络中的通信和算力效用最大化[4]。这将会带来三点趋势的转变：① AI将会融入到6G网络中，并对外提供服务，将创造新的市场价值，即AI引擎，利用AI引擎的智能化能力，可以对外提供智能管控等服务；② AI将在端-雾-云间协同实现包括通信能力、计算、存储等多种类型、多种维度资源的智能调度，并使网络总体效能得到提升；③ AI能够实现对6G中广域的数据测量与监控，实现网络的快速自动化运维、快速检测和快速自修复，即AI原生的网络维护。

1.1 支持AI引擎的无线智能管控组件架构设计

1.1.1 AI引擎

AI引擎主要由数据采集、数据清洗、预训练模型和机器学习算法4部分组成。在 AI 引擎中嵌入了多种预训练模型和机器学习算法，能够依据智能管控方式提供元数据匹配多种类型的管控目标，实现AI使能的智能管控。将数据清洗、机器学习算法以及神经网络模型等AI组成元素嵌入引擎中，以开放接口形式为协同管控体系提供构建神经网络及获取元数据的能力，为实现AI原生智能管控提供架构基础。将AI算法和预训练模型引入智能管控架构，为动态匹配差异化实时业务需求、快速适配网络行为的未来网络资源管控新模式提供技术支撑和保障，同时提升AI在无线网络架构领域的应用与发展。

同时，AI 引擎为智能管控方式端雾云协同管控提供互操作接口，以这种开放接口形式提供神经网络构建及元数据获取能力，最大程度地提升端-雾-云多层次多维度资源管控效率，依据业务需求实时调整管控结果，提供匹配业务实时性需求的动态智能管控策略，最终实现管控性能优化。广域测量模块为AI引擎提供了海量的6G网络中的数据和状态信息。AI引擎使用这些数据进行学习，将管控的结果运用于6G网络中。AI引擎部署在边-端-云-网多层次系统体系下的计算平台上，为其他需要智能化需求的6G网络组件提供AI服务。支持AI引擎的无线智能管控组件架构如图1所示。

图1 支持AI引擎的无线智能管控组件架构Fig.1 Wireless intelligent control component architecture supporting AI engine

1.1.2 全局化细粒度网络状态实时测量机制

在测量模块中，基于未来无线网络的可编程控制能力，建立统一高效的测量体系架构，该体系架构向上层应用提供抽象和简单的编程接口，统一管理测量任务、分配资源和收集状态信息，同时数据平面能够实现功能完备的细粒度状态测量。建立统一高效的测量体系架构可以在网络构架层面为实施精细化的网络测量功能提供保证。开发支持AI引擎的智能业务使能组件和智能无线管控组件，使无线网络能够快速自适应于环境变化，且具备面向未来的可扩展性。构建全局化的细粒度网络状态实时测量机制，主要由状态测量和测量控制模块组成，准确及时地精细化测量网络流量和性能指标，统一管理测量任务、分配资源和收集状态信息。在流量测量方面，使用基于概要结构的细粒度流量测量方法；而在网络性能指标测量方面，使用基于IN-Band Telemetry技术[5]的精准测量。考虑到6G无线通信网络的差异化实时性业务需求[6]，建立统一的网络状态测量体系架构，设计全局化的细粒度网络状态实时测量机制，支持高效、可扩展的网络流量和网络性能指标测量。综上所述，可以为实现AI原生智能管控提供架构基础。

1.1.3 AI原生的新型端雾云多层次协同管控体系

AI原生的新型端雾云多层次协同管控体系，其核心组成为：移动微集群、雾计算节点、网络远端公有云和雾控制节点。研制端雾云资源协同管控的雾计算平台，包括智能雾计算节点、支持端雾云资源协同管理的基础开源组件。雾计算节点之间采用高速光纤低时延通信组网，支持深度学习功能和流数据实时处理。基于雾计算节点通过高速预处理的方式提升大型计算任务的实时响应性能，基于雾控制节点构建协同控制智能雾中心实现海量数据驱动的高效资源管理与全局性能优化。考虑端-雾-云三者之间的协同工作，云端的中心控制策略会对雾端的计算与存储进行有效的管理，使得雾端的分布式计算处理模式发挥最好的效果。

新型端-雾-云多层次协同体系中，利用统一资源模型数据库和服务化机制的分布式通信机制，结合AI的智能管控，实现了端-雾-云三端协同管控、融合多层次计算、通信和存储资源，形成异构资源差异性优势互补，克服云、边缘和终端等单一模式的固有缺陷，从而以更好的性能、更低的成本和更高的能效实现智能管控[7]。

支持AI引擎的无线智能管控组件运行流程如图2所示，当AI引擎开始工作时，需要从6G网络获取需要的相应数据，进行数据采集。而全局化的细粒度网络状态实时测量机制，即测量模块为数据采集提供了基础。完成采集后，AI引擎通过其开放接口将集成在其中的AI算法所需要的数据进行数据清洗。然后将数据交由集成的人工智能算法进行处理，新型端-雾-云多层次协同体系将为AI引擎的部署以及算法的训练提供计算、存储、通信的基础能力。

在AI引擎中集成了多种智能算法，可以对无线资源进行管控，包括双重深度Q网络(Double Deep Q-Network,DDQN)、决斗深度Q网络(Dueling Deep Q-Network,Dueling DQN)以及异步优势演员评论家(Asynchronous Advantage Actor-critic,A3C)等算法。DDQN算法通过解耦目标Q值动作的选择和目标Q的计算，达到消除过度估计的问题。Dueling DQN算法改变了神经网络结构，Q网络输出由价值函数网络输出与优势函数网络输出线性组合，以解决数据样本和网络训练之前的相关性问题。A3C算法是一种分布式深度强化学习算法，是一种基于策略的算法，结合Actor-Critic网络机制，采用多线程方法和异步学习框架，能够解决DDQN算法的回放经验池数据相关性强、训练不佳的问题，并且不需要存储样本，所需内存极少。

图2 支持AI引擎的无线智能管控组件运行流程Fig.2 Workflow of wireless intelligent control component supporting AI engine

1.2 AI赋能的网络智能维护

支撑6G网络建设的设备种类和数量都会激增，对网络运维提出了严峻的考验。同时，随着网络智能化演进，网络自动化维护作业能力大幅提升，现有人员仍按照传统的维护作业计划配置，人员配置过剩、维护效率低的情况日益突出，急需一套适应网络技术发展需要的维护模型[8]，6G网络需要高效、极简的运维，最终达到零触碰的运维方式。在此过程中，需要借助AI能力来挖掘网络中运维数据的潜力，最终做到运维成本的最低化，同时做到尽可能地提升网络效用。采用大数据分析和AI智能算法等创新手段，构建基于网络资源、业务收入、用户规模及地理分布等多维度立体网络维护效能标杆模型，建立科学的网络维护效能量化评价体系，重构和增强网络线队伍能力[9]。

利用AI引擎以及新型端-雾-云多层次协同体系中海量数据的支撑，大数据和AI可以更好地助力6G网络中智能化运维，实现AI赋能的网络智能维护。AI将海量的维护信息转化为信息，不断从实际维护中学习并积累经验知识，最终提供数据分析和运维决策的建议，支撑起海量数据处理。

AI与大数据技术可以从3个纬度对网络中的海量数据进行学习，从而产生对6G网络智能化维护的能力。① 从空间角度来说，AI可以进行拓扑学习，其学习的数据来源就是协同体系中收集到的海量运维数据，包括6G网络运维中各个网元的监控数据、报警数据以及各个网元的配置信息等。根据这些信息，AI进行拓扑学习之后可以认知到6G网络中各个网元的拓扑结构。在故障发生后，AI将能准确定位故障发生的位置，从而实现快速精简的故障定位。② 从时间角度来看，AI可以进行历史学习。在历史数据中，利用机器学习等AI技术，可以得出正常的性能指标波动范围，当在运行时各项指标超出利用历史学习产生的波动范围，AI赋能的网络智能维护就会上报警告。③ 从逻辑的角度来看，AI可以进行逻辑学习，根据历史告警指标和最终故障的严重程度之间的相关程度进行学习。利用AI的网络智能运维可以更早、更准确地发现6G网络中发生的故障。

2 支持AI引擎的无线智能管控

长期以来，基于数值迭代优化的解决方案在无线通信、信号处理任务中发挥了重要作用。在迭代算法中，需要优化的问题参数作为迭代算法的输入，多次迭代后的结果是迭代算法的输出结果。在6G中，需要优化的问题规模通常比较大，使用迭代优化算法往往会使计算复杂度非常高，无法满足资源调度的实时性要求。而深度神经网络具有黑箱式强大的函数逼近能力，其能够在接近迭代优化算法性能的同时，不会造成过高的计算复杂度。

如何利用神经网络实现智能化的无线网络资源管理是一个值得研究的问题。首先，需要设计出一种针对某一类无线资源管理问题的迭代资源优化算法；对神经网络进行设计，设计时可以巧妙利用迭代优化算法的特点对神经网络网络的参数进行设置，具体来说，就是可以将迭代优化算法的输入参数作为神经网络的输入参数，而迭代优化算法的输出结果将作为神经网络的输出结果；对于单独不同的问题实例，可以使用迭代资源优化算法计算得到最优的资源管理策略作为参考结果，从而形成训练样本集；选择损失函数，利用训练样本集进行训练神经网络可以得到网络模型；当遇到新的问题实例时，可以利用神经网络模型计算资源管理策略。

利用上述设计思路[10]，可以求解几乎所有无线资源优化问题，同时可以较为有效地提升资源分配策略的计算速度并节省计算开销。当在进行神经网络类型选择时，除了一般的前馈神经网络，也可以考虑诸如卷积神经网络或图神经网络等，后者已被证明能够有效求解整数规划问题。而在进行神经网络设计时，一般无线资源优化问题的目标函数通常是系统效用，如系统频效、能效等。因此，对于面向无线资源智能管理所使用的神经网络，除了可以选均方误差函数作为神经网络的损失函数，也可以直接使用系统效用函数作为神经网络的损失函数；还可以利用无线资源优化问题的最优解结构，将算法的先验信息融入到神经网络设计中，从而达到简化神经网络的输入输出设计，这样不仅可以加速神经网络训练速度，而且同时能够极大提高神经网络逼近迭代算法的能力。

2.1支持AI引擎的接入网侧智能切片管控原理

在无线传输领域，现有的无线通信系统在下行控制资源的交互传输过程中，不同用户设备会共享接入的同一基站的下行资源，并对其他用户产生干扰。为了基于通用基础设施网络平台满足垂直行业多种类型业务的差异化资源需求，5G网络引入网络切片的概念按需构建多个虚拟化的、相互隔离的逻辑网络。网络切片作为5G关键技术，将会在6G网络中进一步继承和改进，在接入网中会有定制的接入网切片,对切片的智能化管控有助于实现更高效的资源管理，图3展示了接入网切片实现的一种原理，在基站中的MAC层实现了切片间调度，即在此轮调度过程中将原本需要分配给不同用户设备的无线资源先分配给接入网切片，然后在切片内部对其所属的用户设备进行切片内部调度。

图3 接入网切片实现示意图Fig.3 Schematic diagram of radio access network slicing

AI引擎将有能力对接入网切片进行智能管控，实现更为快捷且合理的资源分配[11]。

接入网切片的智能管控利用AI引擎的智能化能力来实现智能管控，在未接入AI引擎智能管控时，需要手动在管理系统中对切片参数进行修改以满足不同用户的SLA以及优化基站资源利用率。为了减少嵌入在接收的服务水平协议(SLA)、满意率(SSR)以及频谱效率(SE)中的随机性和噪声的影响，提高运行多种接入网络切片时的资源利用效率。通过利用AI引擎对不同用户的流量进行细粒度测量，并识别与分类。然后再在接入网内创建和编排出一系列合适的接入网切片，并将用户分配到合适的接入网切片内。当用户数据流量类型发生变动时，AI引擎也会改变其所属的接入网切片。

AI引擎能够基于DDQN、Dueling DQN以及A3C等DRL算法进行学习，智能体通过在动作空间中选取特定动作，为不同切片进行无线资源的预分配。通过观测系统回报、系统状态转换以及更新其有关环境的信息来与环境进行交互，最大化长期累积回报，如图4所示。利用智能体稳定收敛后输出的动作结果对多个接入网网络切片进行无线资源的分配。在训练AI引擎中流量识别与分类算法时，使用移动流量数据图像集(IMTD17)，将公共网络收集到的网络流量可视化为计算机的数字图像，使用此数据集对CNN网络进行训练。

图4 深度强化学习示意图Fig.4 Schematic diagram of deep reinforcement learning

AI引擎对不同网络切片进行资源分配的过程可以转化为MDP过程，将基站作为智能体，状态空间为：

(1)

式中，rates为多个不同的网络切片的当前数据吞吐速率。

动作空间为：

(2)

即时奖励与不同的网络切片是否达到目标速率以及总分配的资源块(ResourceBlock，RB)数量rb有关，即：

(3)

式中，RATES为不同的网络切片的速率需求。算法的优化目标是在满足速率需求的同时，使得每个不同的网络切片与其目标数据吞吐速率之差的绝对值和最小。

2.2 3种下行智能网络切片调度算法

算法1：基于DDQN的下行智能网络切片调度算法步骤如下。

步骤②：根据当前所处状态，进行动作的选取，动作包括不同网络切片资源块数量的选择。动作的选取依据当前状态所采取的资源分配策略导致的Q值大小，选取最大Q值对应的动作作为当前状态下输出的动作决策。

步骤③：与环境进行交互，获得即时奖励，依据状态转移概率获得系统的下一状态，将其存储到经验池中。在之后学习的过程中，采取小批量样本进行学习，目的是减小数据之间的相关性。

步骤④：判断存储的经验数量是否达到要求，若满足则开始进行训练。

步骤⑤：采用DDQN算法，根据贝尔曼方程可获得即时奖励，进行学习，消除DQN中的过估计问题。

步骤⑥：在学习和训练的过程中，系统的奖励会不断减少，当算法趋于收敛，即长期奖励函数在一定范围内不再发生变化后，表明系统已获得最优资源分配，终止该下行网络切片资源分配的优化过程。

算法1中引入了两个神经网络，以解决数据样本和网络训练之前的相关性，通过解耦目标Q值动作的选择和目标Q的计算这两步，来达到消除过度估计的问题。DDQN算法不是直接在目标Q网络中找各个动作中最大Q值，而是先在当前Q网络中找出最大Q值对应的动作；然后利用这个选择出来的动作，在目标网络中计算目标Q值，以最大限度减少估计的动作价值与目标动作值之间的差异来学习；最后，通过将智能算法输出的对不同网络切片的无线资源分配结果，通过API接口进行实施。

算法2：基于Dueling DQN的下行网络切片智能调度算法步骤如下。

算法3：基于A3C的下行智能网络切片调度算法步骤如下。

步骤②：根据当前所处状态，将全局神经网络参数同步到本线程神经网络中。

步骤③：基于策略π(a(t)|s(t);θ′p)进行动作的选取，动作包括不同的UE资源块数量的选择。

步骤④：与环境进行交互，获得即时奖励，依据状态转移概率获得系统的下一状态。在之后学习的过程中，采取小批量样本进行学习，目的是减小数据之间的相关性，计算累积回报并更新策略。

步骤⑤：更新线程参数θ′p、θ′v，再异步更新全局参数θp、θv。

步骤⑥：在学习和训练的过程中，系统的奖励会不断减少，当算法趋于收敛，即长期奖励函数在一定的范围内不再发生变化后，表明系统已获得最优资源分配，终止该PRB资源分配的优化过程。

3 AI 原生的新型空口

3.1 AI赋能的新型协议栈

AI赋能的新型协议栈，即深度融合AI、机器学习技术，突破了现有空口的模块化设计框架，实现无线环境、资源、干扰以及业务等多维特性的深度挖掘和利用，将会显著提高6G无线网络的效率、可靠性、实时性和安全性[12]。

图5展示了AI引擎在对6G接入网中新型空口协议栈进行AI赋能的具体示意图。AI引擎中集成了一系列包括针对MAC、RLC以及物理层等资源的智能调度算法，为6G新型空口协议栈提供了智能化的基础。在6G中，一系列基于AI引擎的应用将不断地对无线网络进行智能优化。如针对MAC层的智能资源调度、针对物理层的编解码进行AI加速等。

图5 AI赋能的新型空口协议栈Fig.5 AI enabled new air interface protocol stack

新型空口技术可以通过端到端的学习来增强数据平面和控制信令的连通性、效率和可靠性，允许针对特定场景在深度感知和预测的基础上进行定制，且空口技术的组成模块可以灵活地进行拼接，以满足各种应用场景的不同要求。借助多智能体等AI方法，可以使通信的参与者之间高效协同[13]，提高通信传输能效。利用数据和深度神经网络的黑盒建模能力可以从无线数据中挖掘并重构未知的物理信道[14]，从而设计最优的传输方式，提高频谱利用率。

AI赋能的通信系统能够根据流量和用户行为主动调整无线传输格式和通信动作，可以优化并降低通信收发两端的功耗，对6G网络中功率进行智能管控[15]。在多用户系统中，通过强化学习等AI技术，基站与用户之间可自动协调并调度资源。每个节点可计算每次传输的反馈，以调整其信号的波束方向，进行AI使能的波束赋形等[16]。

尽管在未来，通过空天地一体化、太赫兹等关键技术的应用，6G新型空口的无线资源会得到极大的拓展，但在实际移动通信系统中，可用的无线资源相对于6G网络的需求是极其有限的[17]。6G中应用场景和应用的复杂化、多样化，带来了新的无线资源的管理和调度问题[18]，所以在6G移动网络中亟需较为适应这些问题的智能无线资源调度方案。

而在进行资源调度时，需考虑的KPI性能指标主要有4个：频谱利用效率、能量利用效率、服务质量(Quality of Service，QoS)和公平性需求。从整个6G新型空口系统来看，频谱效率和能量效率是较为重要的，而从使用者的角度来说，QoS以及公平性需求的满足更加重要。一个合格的调度分配优化算法需要对所有的关键性KPI指标进行综合考量。随着AI技术，包括无监督学习、监督学习、强化学习等技术的发展，AI在6G新型空口中大规模应用已成必然趋势。

3.2 AI赋能的物理层技术

虽然AI技术在早期就被广泛用于物理层信号识别或者调制中，但在6G中使用到的超大规模MIMO技术也需要用到很多基于机器学习的优化方案，包括但不限于无线信号检测、无线信道估计、波束功率分配以及预编码等技术来降低超大规模天线导致的计算难度急剧提升问题。在6G超大规模MIMO系统中，当用户数量规模很大时，预编码和功率控制的计算难度也会急剧上升。使用基于深度神经网络优化方法的调度结果也能够较为接近使用迭代资源优化算法的调度结果[19]，而使用基于深度神经网络的优化方法可以使在进行功率分配时所需的计算资源在较大程度上有所降低[20]。

在6G超大规模MIMO系统中，传统的对信道建模的方法产生的信道模型将不再适用，需要设计新的信道建模方式。该系统需要解决的另一个问题是如何对信道的状态进行可靠、快速、高效率的估计，而在文献[21]中，作者提出了一种基于学习去噪的信道估计方法，可以将信道矩阵看作二维自然图像，使卷积神经网络得以在通信领域引入。随后，经过对感知压缩算法的大量研究，文献[22]提出了一种新型的被称为信道状态信息网络(ChannelStateInformation-Net，CsiNet)的神经网络[23]，其能够在基于其他神经网络优化算法的基础上减少大规模MIMO系统中进行信道反馈的开销，信道状态信息网络的结构，是通过对压缩感知的结构进行模拟得到信道状态信息网络的结构。

3.3 AI赋能的MAC层技术

未来，面对日趋复杂的6G网络环境，如果MAC协议不能很好地适应复杂的网络环境，就无法支持6G网络极致的性能需求，所以需要设计一个能够对不同网络环境和各种应用需求都能兼顾的灵活的MAC协议。6G网络环境的相关特征和变化的大致趋势可以通过机器学习、强化学习等AI技术从海量的环境数据学习得到[24]。因此，AI与接入层相关技术的结合就显得很有必要。

在6G时代，无线终端数量将会极速增长，对空口频谱资源的需求也将迅速增加，动态频谱共享就可以解决这个问题。而经典的使用有监督学习方法的基于频谱预测的频谱共享策略，需要在算法部署前进行大量标记数据的收集来进行有效的模型训练，并且无法适应快速变换的环境，很难对各个场景都收集大量的数据来保证训练出模型的有效性。深度强化学习的出现，解决了这个难题。深度强化学习不需要通过对标记数据进行学习，而是通过深度强化学习中的智能体在环境中不断进行尝试、执行调度、获取调度结果以及计算反馈收益等不断的交互来获取环境变化的规律从而学习出较优的解决策略。

例如，在动态频谱检测和MAC协议的选择上就有相关使用到深度强化学习获得较优解的案例，有一种使得整个网络吞吐量最大化的解决方案是基于ResNets网络的深度强化学习优化算法来实现的[25]，通过较长时间对频谱空闲时段的观察和预测行动，逐渐学习并掌握其变化规律，从而生成最优的时隙共享方案。