5G网络大数据智能分析技术

李爱华，吴晓波，陈超，魏彬，史嫄嫄

（1.中国移动通信有限公司研究院，北京 100053；2.维沃移动通信有限公司，广东 东莞 523000）

0 引言

作为信息通信的基础设施，5G将从“服务于人”走向“全面服务于数字化社会”。5G支持大带宽、低延时和海量连接等场景，可服务于自动驾驶、工业控制、XR、云游戏等多样化业务；同时，5G网络云化带来资源调度和运营管理的新挑战，多接入制式共存的网络环境引发网络协同的新难度，切片和边缘计算等新技术对网络可灵活编排和部署提出新诉求。5G多样的业务需求、复杂的网络形态以及灵活的部署要求，对网络的规划设计、开通部署、运维、运营都带来了重大挑战，传统的方式已经无法适应。但与此同时，多样化的业务和海量终端，将为网络提供更丰富的数字信息，为 5G网络的发展和演进带来新机遇。

人工智能（artificial intelligence，AI）技术在解决高计算量数据分析、跨领域特性挖掘、动态策略生成等方面，具备天然优势。5G网络拥有海量数据，为人工智能赋能5G网络大数据分析提供了重要基石。网络大数据智能分析技术通过将网络技术与人工智能技术、大数据技术深度融合，实现5G网络的自动化和智能化功能，提高5G网络的部署效益，优化运行效率和资源利用率，降低网络的运维成本。

网络智能化在实际开展时，会面临网络体系大、领域多、规模大、端到端协同困难、网络资源受限以及实时性、安全性、可靠保障性要求高等挑战。因此，5G网络大数据智能分析技术迫切需要思考并解决3个热点问题，包括数据隐私的安全保护问题、跨平台的模型共享问题以及网络对业务识别的实时性和精准性问题。本文在总结 5G网络大数据智能分析标准进展的基础上，提出了 5G大数据智能分析系统架构和特征，并进一步分析和研究了5G网络大数据智能分析的关键技术。

1 标准进展

本节介绍了国际化标准机构在 5G网络智能化方向的研究进展，包括第三代合作伙伴项目（3rd Generation Partnership Project，3GPP）、国际电信联盟（International Telecommunication Union，ITU）和欧洲电信标准组织（European Telecommunications Standards Institute，ETSI）。

1.1 3GPP标准

3GPP SA2 工作组在 3GPP Release15（Rel-15）首次引入了 5G网络大数据分析网元网络数据分析功能（network data analysis function，NWDAF），其功能单一，主要用于智能化切片选择，于2017年12月完成；3GPP Rel-16定义了面向5G大数据分析服务的集中式架构，引入用户体验分析等6个特性，但在部署灵活性、可扩展性上存在局限，于2019年6月完成；3GPP Rel-17设计了分层智能网络架构，提供AI平台化能力，并将应用拓展到垂直行业，具备在大型5G网络商用的条件，于2021年12月完成；3GPP Rel-18面向toB/toC行业，研究分布式智能架构、新型分析机制、新应用场景和跨域智能协同等课题，全面适应智能化试验落地的需求，于2022年2月启动相关研究工作。

面向网络生命周期自动化的规划、建设、维护、优化等方面，3GPP SA5工作组开展了意图驱动网络、网管数据分析、5G能耗优化等多项标准化工作，提出了管理数据分析功能（management data analytic function，MDAF），为网络服务管理与编排带来了智能化和自动化。MDAF基于网络管理数据的数据处理和分析功能，可实现对网管领域数据价值挖掘，还可结合人工智能和机器学习技术输出分析报告及相应的网络管理操作建议，实现网管域的闭环管理。

1.2 ITU标准

ITU的 SG13研究组，聚焦于下一代网络发展，工作重点是云计算、泛在网络、分布式服务网络、网络虚拟化、软件定义网络、物联网和节能网络。SG13研究组于2017年11月成立了ML5G（Machine Learning for Futurre Netwok including 5G ，包含5G的未来网络机器学习）焦点组，该小组在面向包括 5G在内的未来网络方向起草了机器学习技术规范，包括接口、网络架构、协议、算法和数据格式。ML5G焦点组在2019年6月至2020年7月，发布了“面向 IMT-2020 及未来网络的机器学习数据处理框架标准”“面向IMT-2020和未来网络的机器学习用例”“AI集成跨域网络架构”以及“基于AI辅助分析的网络切片管理编排”等智能化项目。

1.3 ETSI标准

ETSI于 2017年 2月成立体验式网络智能（Experiential Networked Intelligence，ENI）行业规范小组，定义了认知网络管理架构，即使用人工智能技术为 5G网络提供自动化的服务提供、运营、保障以及优化的切片管理和资源调度。ENI致力于研究使用人工智能技术来协助包括 5G在内的未来网络的部署和运营等工作，并发布了应用案例、网络需求与架构、网络自治、智能等级分级及其评估方法、数据处理机制等多个系列规范和报告。

2 总体架构及特征

为了使AI更好地融合于5G核心网，在5G网络中构建了以网络数据分析实体 NWDAF为中心的智能化闭环运行网络。NWDAF作为独立的逻辑功能，专门负责数据采集、数据分析和分析结果反馈，5G大数据智能分析系统总体架构如图1所示。

图1 5G大数据智能分析系统总体架构

NWDAF是5G网络的AI+大数据引擎，具备AI能力标准化、汇聚网络数据、实时性更高、支持闭环可控等特点，满足5G多样化业务场景的需求。NWDAF作为3GPP在5GC中引入的标准化网元，其网络架构、能力特性、接口及交互流程皆已规范化；NWDAF可打通5G控制面、管理面以及应用提供者应用功能（application function，AF），同时还具备获取5G用户面数据、UE侧数据的能力，是网络数据的汇聚点；NWDAF支持基于场景的定制化软采的数据采集能力，其实时性处理和输出能力更高；遵循 5G服务化架构，NWDAF分析结果能以服务调用的形式直接提供给策略控制等相关网元，形成基于信息感知的反馈和进一步闭环优化，实现5G网络的自优化、自治、自愈。NWDAF为5G网络端到端引入基于数据分析的AI提供了规范化的能力依据，可从根本解决异厂商割据等问题，有效凝聚产业力量，促进5G网络和AI技术的深度融合。

3 关键技术

本节针对目前行业内聚焦的5G网络大数据智能分析技术迫切需要解决的热点问题，提出了3项关键技术。其中，分布式可信智能数据分析技术能够基于联邦学习解决由于隐私保护等原因产生的数据“孤岛”问题；跨平台AI/ML模型共享技术基于公共的模型表示标准生成中间模型以实现跨平台模型共享；智能业务识别技术能够基于网络数据结合NWDAF来解决应用标识与数据流量匹配的问题。

3.1 分布式可信智能数据分析技术

出于数据隐私保护考虑、漫游数据难以聚合、运营商和垂直行业之间数据无法互通等原因，5G网络大数据往往以“孤岛”的形式出现，且无法汇聚，数据集中式的模型训练将无法开展，这在一定程度上制约了网络智能化的发展；同时，移动网络状态随机性高，在一些场景下，用于训练的数据呈现分布式、碎片化、小样本的特点，模型性能无法保障。因此，如何合理合法、充分高效地利用数据，成为5G网络智能化迫切需要解决的问题。本文提出基于联邦学习的5G分布式可信智能数据分析技术，通过5G与联邦学习的结合，可在参与各方数据不出本地的基础上，基于加密机制实现联合训练和共同建模，既保证了数据隐私的安全，还能充分利用各方数据，减少数据传输所带来的带宽占用。

3.1.1 分布式可信AI架构

为推动联邦学习技术与5G网络的结合，以及满足用户、运营商和行业的联合建模需求，中国移动提出了面向联邦学习的分布式可信AI架构，如图2所示。

图2 面向联邦学习的分布式可信AI架构

在 5G网络面向联邦学习的分布式可信 AI架构中，根据联邦学习涉及的领域，可分为域内联邦、跨域联邦以及全局联邦 3个层次，涉及对象包括用户、运营商和行业等建模需求方。中心协调者（central coordinator）提供跨界互通、任务协同、资源调度、安全认证等功能，运营商作为用户与行业的纽带，可作为中心协调者，在提供优质服务的同时，协助用户与行业解决跨域隐私的问题，打通数据“孤岛”，打造先进的数据生态链、构建共享的产业生态、形成良好的智能商业模式。运营商侧主要涵盖网管和网络功能节点（network function，5GNF），这些节点可承担客户（client）和协调者（coordinator）的双重角色，作为协调者时协调域内/域间各节点间的联邦学习，作为客户时参与域内/域间各节点间的联邦学习，例如核心网中 NWDAF既可协调域内NF/其他域联邦学习，又可参与域内NF/其他域联邦学习；用户侧UE与行业侧AF均可作为协调者/客户实现域内/域间联邦学习。

3.1.2 关键使能技术

5G与联邦学习需从场景、数据安全特性、网络数据特点等角度进行定制化的深度融合。本文从场景角度考虑，介绍了面向5G网络的横向联邦学习方法和纵向联邦学习方法；从安全角度考虑，介绍了加密技术；从网络数据特点及网络性能需求角度考虑，介绍了面向联邦学习的5G QoS保障技术。

（1）面向5G网络的横向联邦学习

横向联邦学习也称为特征对齐的联邦学习（feature-aligned federated learning），即横向联邦学习的参与者的数据特征是对齐的，适用于参与者的数据特征重叠较多、而用户ID重叠较少的情况。在横向联邦学习中，协调者负责模型安全聚合以及聚合后的模型参数加密分发，参与方负责本地模型学习、加密上报。其典型应用场景（如不同区域的切片或子网）中 UE或者业务流的数据特征相同，需要联合学习提高模型的泛化能力，如联合业务检测、联合用户行为分析等。

横向联邦学习在5G网络架构中的应用如图3所示，可以在5G核心网内部同一类型网元上针对不同用户做相同特征的分析。中心NWDAF作为协调者，统一负责触发模型训练、终止模型训练、获取模型。区域 NWDAF及与 NF合同设立的NWDAF作为参与方，负责本地模型学习、加密上报与本地模型更新。5G NF并不直接参与数据共享，而是先由内部合设NWDAF进行数据分析，再发送加密后的子模型梯度给中心 NWDAF，中心NWDAF进行安全聚合后再发送更新后的模型梯度给区域 NWDAF或与 NWDAF合同设立的5G NF，区域NWDAF或与NWDAF合同设立的5G NF对模型进行更新。

图3 横向联邦学习在5G网络架构中的应用

（2）面向5G网络的纵向联邦学习

纵向联邦学习也称为样本对齐的联邦学习（sample-aligned federated learning），即纵向联邦学习的参与者的训练样本是对齐的，适用于参与方的用户ID重叠较多，但是数据特征重叠较少。在纵向联邦学习中，协调者主要负责公钥分发、模型参数加解密以及判断模型训练是否终止，参与方负责样本对齐、本地模型参数学习、加密上报。其典型应用场景如同一个 UE或者同一个业务流的数据分布在不同域（如终端、网络或者业务提供方）上，需要跨域数据分析，如业务体验分析、联合信用等级评估等。

纵向联邦学习在5G网络架构中的应用如图4所示，可以用来解决5G网络中基站、核心网、与应用服务器之间的数据隐私与数据隔离问题。无线基站、核心网以及应用服务器之间由于数据加密的限制，无法进行数据直接共享。NWDAF作为协调者，统一负责触发模型训练、终止模型训练、获取模型。

图4 纵向联邦学习在5G网络架构中的应用

在数据采集过程中，每个数据隔离源都包括两部分：可上报数据和不可上报数据。以线性回归为例，需要考虑非线性模型的复杂度，并结合特征维度、样本个数、迭代次数等评估中间变量传输带来的信令开销。比如，以线性回归为例考虑在每次迭代时，各个数据隔离源都需要传输每个样本的数据中间结果给AI训练平台，AI训练平台再传输每个样本的数据中间结果给各个数据隔离源，辅助更新本地模型。纵向联邦学习在5G网络架构中的算法如图5所示。

图5 纵向联邦学习在5G网络架构中的算法

（3）面向5G网络的加密技术

面向5G网络的联邦学习研究，需面向网络场景，研究联邦学习技术、安全多方计算、同态加密、差分隐私、可信执行环境等隐私计算技术，进行定制化的研究、优化和应用，实现联邦学习在信息通信中的高效可靠落地。

纵向联邦学习在 5G网络的中的框架如图6所示，可采用隐私集合求交进行基于用户的数据对齐，对非交集内的用户数据进行保护；可引入同态加密技术等来加密保护中间过程的信息，如梯度和参数信息，但是加密会带来额外的计算代价，降低了运算的效率。

图6 纵向联邦学习在5G网络中的框架

在5G网络中的联邦学习场景下，客户端和服务端会传递梯度数据，而梯度的本质是原始数据的函数，所以通过梯度可以反推得到参与方的原始数据。无论是回归方法还是深度学习，梯度的泄露可能会导致原始数据的泄露。为了避免原始数据的泄露，可采用差分隐私技术添加噪声实现梯度的隐私保护，然而这种方式会降低分布式学习的收敛速度，一定程度上会损失训练模型的精度。可信执行环境是一种芯片级的硬件安全计算技术，联邦学习可以依靠这种方式实现更高的硬件层面的安全性能。总之，针对网络智能化应用场景，需选择合适的安全解决方案，构建安全的大数据联合学习框架，通过网络、联邦学习与其他安全技术有机融合、协同发展，在数据加密、计算加密、模型加密的基础上，实现安全和效率的合理平衡。

（4）面向联邦学习的5G QoS保障技术

面向5G网络的联邦学习研究，考虑5G网络的数据特点以及对AI的性能需求特点，引入面向联邦学习的QoS调度机制的网络技术，从传输、QoS保障等方面支持联邦学习，实现联邦学习在信息通信中的高效可靠落地。

在联盟准备阶段，为选择合适的节点进行联邦学习，5G网络需要将每个参与方节点的性能信息提供给协调者。联邦参与方节点的性能需要从节点本身进行 AI处理的计算时间和模型结果的传输时间两方面进行考虑，联邦节点的性能分布如图7所示。

图7 联邦节点的性能分布

其中，模型结果的传输时间与模型结果大小、QoS策略有关。因此，5G网络应能够感知UE的AI处理时间和需要传输的模型大小，从而相应地调整QoS策略。此外，参与联邦学习的节点形成一个群体（flock），对于一个群体，总资源应该保持不变（或保持最大），以避免占用太多的无线资源而影响其他服务的正常使用。群体中的一个或几个节点因上述的节点性能差异而落后于其他节点，会直接影响整个联合学习的迭代效率。因此，可采用一种新的基于群组的QoS参数，从而使得网络可以通过新的QoS策略，对组中各节点的QoS参数进行调整。由于整个群组的输出性能受群组中最弱节点的性能的限制，因此，当这种情况发生时，网络可以根据群组的QoS参数调整一些终端的 QoS 参数，为那些计算性能落后的UE分配更多的通信资源，为那些计算能力领先的终端分配更少的通信资源，分配给不同终端的资源至少保持一次迭代。通过这种方式，可以在保证不超过为整个群组分配的总资源的情况下，平衡不同节点的性能差异，实现联邦学习的同步。

3.2 跨平台AI/ML模型共享

由于存在多个运营商网络、多个终端/芯片厂商以及多个网络设备厂商等复杂场景，如果AI/ML模型无法跨厂商/跨平台共享，将极大限制5G智能化应用。因此，需要一个合适的模型共享方式，以保证在不同的操作环境（如Windows、UNIX等）、不同的编程语言（如C、Python等）以及不同的AI框架下都可以共享网络结构和权重参数，实现不同节点之间AI模型信息的交互。

3.2.1 跨平台模型共享通用架构

3GPP SA2在3GPP Rel-17定义了NWDAF的分析逻辑功能（analytics logical function，AnLF）和NWDAF 的模型训练逻辑功能（model training logical function，MTLF）之间的AI/ML模型交互机制。AI/ML模型作为一个文件，只能在同厂商或者同一AI框架下使用，导致AI/ML无法跨厂商跨平台共享，如图8所示。

图8 3GPP SA2 定义的单厂商AI/ML模型共享

3GPP Rel-18将研究AI/ML模型是否标准化、如何标准化等问题，并讨论UE和网络之间如何交互AI/ML模型，即终端可能需要使用从网络下载的AI/ML模型。本文提出了一种跨平台模型共享的通用架构来解决上述问题，如图9所示。模型训练平台所使用的AI框架平台为“TensorFlow”，模型消费者平台所使用的AI框架平台为“Caffe”，由于所使用的AI框架平台不同，如果将TensorFlow平台的模型直接传递给Caffe平台，后者将无法识别和使用该模型。因此，对于这种不同AI框架平台间的模型共享，首先需要将模型训练平台中的AI模型转化为公共AI模型描述语言下的中间模型，再由模型消费者识别该中间模型，并转化为自己所支持的框架平台格式。

图9 跨平台模型共享通用架构

3.2.2 基于ONNX的跨平台模型共享技术

开放式神经网络交换（open neural network exchange，ONNX）是深度学习网络的描述标准，是一种开放式的文件格式，可以用于存储训练好的模型。常用的深度学习框架都可以支持ONNX模型的加载和保存，其中，官方支持加载ONNX模型的框架包括 PyTorch、CNTK、Caffe2、MXNet等，TensorFlow等也有非官方的支持。本文提出了基于ONNX的模型跨平台共享方式，如图10所示，NWDAF（MTLF）通过把训练完成的AI模型转换为ONNX格式的中间模型，NWDAF（AnLF）再把ONNX中间模型解析成推理所用的AI模型。

图10 基于ONNX的模型跨平台共享方式

其中，ONNX标准的基本结构如图11所示，ModelProto包含了模型的作者版本等信息，GraphProto用于记录模型结构并保存整个网络结构和参数，NodeProto、ValueInfoProto和TensorProto完成网络的基本描述，具体如下。

图11 ONNX标准的基本结构

• NodeProto用于描述网络拓扑结构，ONNX将网络的每个算子都描述成一个节点，每个节点的输入和输出的名称都是全局唯一的，通过名称的匹配关系来描述整个网络的结构。ONNX通过 NodeProto所属的AttributeProto字段来记录节点功能，如卷积层、乘法层等，赋予对应的节点功能。节点功能的权重参数保存在TensorProto字段，其维度保存在ValueInfoProto字段。

• ValueInfoProto用于描述所有输入、输出的信息，包括维度和元素类型，表明了对应元素的大小，每一个输入、输出的名称和NodeProto中的记录对应。

• TensorProto用于存储具体权重参数的数值，根据每个节点输入、输出的名称去存储位置获取对应的参数。

ONNX应用于通信系统中，ONNX标准可以进一步改良。一方面，ONNX的基础模块需要被重新定义以符合通信中常用的网络，使得同一个网络的 ONNX描述是相同的并同时减少 ONNX的开销；另一方面，ONNX结构可进一步压缩，如将节点所占的bit数固定，并按照约定的顺序排列，减少数据标识开销。

3.3 智能业务识别

业务识别技术作为一种基础的运营商网络能力，可以辅助运营商针对不同的业务流进行差异化处理，如QoS保障、切片或者网元负载均衡、空口资源调度。现有业务识别技术中的深度流检测（deep flow inspection，DFI）方法可以基于应用功能（application function，AF）提供的业务流描述（packet flow description，PFD）信息，即业务标识（application ID，App ID）与IP三元组（服务器地址、服务器端口号、通信协议名称）的对应关系做业务识别。在实际操作中，业务的IP三元组往往不断发生变化，当AF不及时更新时，UPF就无法检测新的IP三元组所对应的App ID。因此本文基于DFI业务识别技术提出了一种智能业务识别技术，通过引入NWDAF来构建App ID对应的业务分类器或者业务流量特征，来解决UPF无法确定业务流对应的App ID问题。

3.3.1 智能业务识别架构

DFI技术架构如图12所示，NWDAF可以通过网络开放功能（network exposure function，NEF）获取AF的App ID信息，通过SMF获取UPF的流量信息，UPF可以通过SMF返回流量信息，也可以直接反馈给NWDAF信息。NWDAF根据AF提供的历史App ID以及通过SMF获取UPF对应的流量数据（IP1），在NWDAF内部进行模型训练与智能分析，构建业务分类器或者App ID对应的流量特征。当新的流量信息（IP2）产生时，NWDAF可以根据其流量特征分析，辅助UPF将该流量信息（IP2）对应到与流量信息（IP1）相同的App ID上。

图12 DFI技术架构

此外，NWDAF经过长时间的推理后，还可以进一步地学习确定某个特定的IP三元组是对应到某个App ID的，在后续推理过程中，无须通过上述多分类器或者业务特征匹配确定App ID，只需提取新的流量数据中的IP三元组，即可确定新的流量数据对应的App ID。

3.3.2 智能业务识别技术

NWDAF的训练功能模块根据App ID对应的历史PFD信息以及流量信息训练业务分类器或者学习每个业务的流量特征，然后将其安装在NWDAF的推理功能模块，在推理过程中，将实时的业务流对应的流量数据输入业务分类器或者与业务的流量特征进行匹配，即可以确定该业务流的App ID。具体步骤如下。

步骤1NWDAF通过SMF向UPF订阅并获取流量信息，具体内容见表1。

表1 流量信息输入数据

步骤2假设NWDAF在生成训练数据集的过程，训练数据集中只有3个App ID，共N个样本数据，见表2。针对一个来自UPF的流量信息，NWDAF首先从其IP五元组中抽取得到服务器IP地址、服务器端口号以及协议号，然后从PFD信息中查询该服务器IP地址、服务器端口号以及协议号对应的App ID，进而通过这种数据关联方式就可以确定一个样本数据。

表2 用于训练业务识别模型或者确定业务流量特征的训练数据集

步骤 3在此过程中，为了避免 AF提供的PFD信息欺骗网络情况，也就是说存在PFD中的某些IP三元组原本应该对应到App IDX，但是实际用来传输App IDY的情况。在生成App IDX的训练数据集过程中，NWDAF需要对App IDX的原始训练集进行聚类。假设有K个类别，NWDAF取K个类别中包括样本数据最多的样本数据集，作为该App IDX处理后的训练数据集。

步骤 4基于上述训练数据集，一方面，NWDAF可以针对多个业务（如上述3个业务）训练业务识别模型；另一方面，NWDAF可以针对多个业务中的每个业务训练或者学习该业务对应的流量特征。

NWDAF训练业务识别模型的过程采用有监督的机器学习算法，如逻辑回归（logistic regression，LR）、支持向量机（support vector machine，SVM）等训练分类器。以逻辑回归为例，该分类器（以二分类为例，App ID 1以及非App ID 1）可以表示为：

其中，

其中，yi为第i个业务数据流的流量数据的业务分类结果，如果yi=1，则为App ID 1，如果yi=0，则非App ID 1；zi为xi经过线性回归所得中间数据值；xi={xi0,xi1,xi2,xi3, … ,xiD}是由第i个业务数据流的流量数据转换成的向量，其中xi0,xi1,xi2,xi3, … ,xiD为业务数据流的流量数据，如通信或交互的起始时间、上行或下行包时延、上行或下行包个数等；w= {w0,w1,w2,w3, … ,wD}为权重。

NWDAF确定每个业务的业务特征的过程，采用无监督学习的方法（如K-Means）。如针对App ID 1对应的训练数据集，NWDAF采用K-Means算法将训练数据集聚成K个类别，并取K个类别中包括样本数据最多的类别的质心，作为App ID 1对应的流量特征。

步骤5当NWDAF通过UPF获取新的IP五元组对应的流量数据后，通过业务识别模型或业务特征的推理数据直接确定对应的App ID。

步骤6NWDAF经过统计分析，对大量出现并且不存在该业务历史PFD信息的业务，生成一条新的PFD信息，并更新给NEF。NEF新产生的PFD信息分发给 SMF/UPF，UPF在安装新 PFD后可以直接推断得到业务标识，不再需要重复的模型推断和特征匹配过程。

此外，针对 AF不提供 PFD信息的情况，NWDAF可以学习得到某个IP三元组对应一个业务，则可以借助第三方确定该业务的 App ID。NWDAF通过无监督的学习方法，确定IP三元组对应到某个业务，发送给NEF后，NEF可以与第三方AF查询，确定该IP三元组对应的业务标识，然后得到完整的PFD信息，辅助用户面业务检测。

4 结束语

面向5G及未来网络的多样化业务、差异化需求和极致化体验要求，核心网作为网络和业务的枢纽，其发展和演进对运营商网络有着举足轻重的作用。在5G核心网中引入人工智能技术，可实现网络向自动化和智能化的跃迁，以应对网络所面临的需求和挑战。当前网络智能化产业正处于快速发展阶段，本文希望通过对5G网络大数据智能分析技术中架构及关键问题的分析，为业界同仁在网络智能化的发展和落地研究中提供参考和启示，推动网络逐步实现智能和智慧。