面向电力物联网URLLC业务的智能网络切片管理方法

叶万余

(广东电网有限责任公司 清远供电局，广东 清远 511510)

电力物联网是物联网技术在电力领域的应用。随着5G通信技术的迅速发展，5G电力物联网将5G通信基础设施与电力系统设施有效融合，使得电力系统高度信息化，从而提高电力设施的利用效率，为电网服务的各个阶段提供重要的技术支撑[1]。5G电力物联网衍生出很多基于5G的电力物联网业务，如用电信息采集，输变电状态监测以及精准负荷控制等[2]。这些业务也对5G接入网和承载网络的时延和可靠性有更高的要求。为了实现对电力设备的精准控制，电力业务需要低时延与高可靠性的5G通信技术进行支撑，为了处理海量的电力业务，也需要更加强大的算力。目前，随着计算任务和通信业务的迅速增加，只有轻量级算力的终端设备已经无法承受业务对算力的需求。利用远端云中心进行计算卸载的现有方案也不能满足电力业务超低时延的要求[3]。综上所述，电力物联网需要一个能够应对大量计算任务，又能保证低时延与高可靠性的智能网络切片管理方案。

因此，本文利用5G切片和移动边缘计算技术(MEC)来进行电力物联网资源的控制和调度。随着云计算、软件定义网络 (SDN)以及网络功能虚拟化(NFV)等新技术的发展，5G切片技术应运而生。运营商利用5G切片技术，在一个物理平台上构建多个专用的逻辑网络，可以满足客户对不同网络能力的需求，实现业务的灵活定制，从而最大化网络资源利用效率[4]。另一方面，移动边缘计算是一种使计算机数据存储更接近终端用户的分布式计算模式。其将数据与应用程序等下放到边缘服务器节点上，相当于将云计算的功能下沉到用户近端执行，可以有效降低网络时延，提高网络资源的利用率，保证高效可靠的数据传输与计算[5]。

目前，国内外积极开展了5G切片、移动边缘计算技术在降低时延与提高可靠性方面的研究与应用。唐昊洋等[6]从5G的URLLC切片技术入手，提出利用分布式CRC-Polar码，减少电网下行通道时延，并增加系统的可靠性。吕聪敏等[7]讨论5G切片技术与MEC边缘计算技术在电力物联网下的框架设计思想，以满足电网业务的低时延与高可靠性等新需求。魏向欣等[8]讨论5G网络切片技术用于降低电力物联网业务时延的可行性。Elbamby等[9]提出利用用户本地设备与边缘小云集群以减少计算时延并提高可靠性的算法。Ji等[10]讨论5G下行链路中的高可靠与低延迟通信的可行性。Liu等[11]提出低延迟与高可靠性的代码分区卸载策略。Yilmaz等[12]提出从5G无线接口入手提供超高可靠与超低时延的通信。

当前，国内利用多个MEC服务器进行5G切片资源分配，实现多业务处理的研究较为欠缺。基于此，本文针对电力物联网领域，提出一种基于URLLC业务的智能网络切片管理方法。电力业务将计算任务卸载到MEC，设备的时延、能耗与可靠性的影响主要体现在数据传输以及计算卸载两个环节上[11]。因此，本方法首先针对上述传输和计算两个环节，建立系统时延、能耗以及可靠性模型；然后利用深度强化学习算法[13]，将所有资源管理方案转化成Agent (能模拟人类学习行为的智能体)的状态，并给予满足约束条件的状态奖励；最后让Agent不断地进行迭代学习，自主选择最优的资源管理策略。

1 系统模型

云计算拥有庞大的服务器集群，其强大的性能可应对大量计算任务。然而，由于成本高昂以及地理分布不均匀的问题，云计算的部署存在着一定的挑战性。另外，长距离的数据传输和海量的电力物联网业务数据会导致云计算服务器产生业务堵塞和较大的时延，造成其处理效率低下[9]。在网络边缘部署MEC可以解决业务对高可靠和低时延的需求等上述问题。基于此，本文建立基于5G的电力物联网MEC卸载系统模型。

如图1所示，电力物联网业务的计算任务可以卸载到MEC服务器，以降低本地设备计算的压力并满足电力物联网业务的时延要求。另外，本文考虑5G电力物联网业务的可靠性问题，5G电力物联网业务对时延和可靠性的要求很高。计算与传输的时延超过最大容忍时延会导致任务的失败，并给电力用户的体验带来巨大的负面影响。因此，本地任务在MEC切片上进行卸载时，需要建立合适的时延模型。

图1 系统模型Figure 1 System model

实际情况下，MEC服务器在整个系统运行的过程中，可能会受到环境等外界不良因素影响，出现通信中断或者软件和硬件计算失败等情况，这些都是不可控的灾害。因此，在实际工程中，电力企业为了在遇到不可控的灾害的时候仍能让系统正常运行，以及应对灾害可能造成的数据丢失问题，会做好防护措施，即容灾备份。综上所述，针对电力物联网业务，本文提出一种具备容灾备份机制的5G切片方法，其可以满足5G电力互联网业务的高可靠性和低时延的要求。该方法使用多MEC服务器，保证本地设备或者一部分MEC服务器出现故障的时候整个系统仍能够继续正常运作，提升系统的容灾能力。同时，利用MEC服务器也能够为用户提供更便捷的数据异地备份，以应对数据丢失问题。

1.1 传输和计算时延模型

1.2 传输和计算能耗模型

1.3 可靠性模型

2 目标函数及解决方法

2.1 问题描述

设计一个面向电力物联网的切片容灾备份承载方案，在保障超低时延与较低能耗的限制下，优化计算任务的稳定性。因此，将系统的可靠性函数作为优化目标，得出以下优化问题。

2.2 问题分析

考虑上述的优化问题，可以知道不同电网用户的不同业务，会分配到不同的带宽以及计算频率。这是一种目标函数和约束关于优化变量部分可分的结构，且目标函数连续可微，可考虑用一种经典方法，即坐标块下降法 (block coordinate descent，BCD)来将原问题划分为多个子问题求解。已知BCD算法在目标函数在连续可微的情况下是收敛的[15]。

按上述求解过程求解本文的优化问题，能够得到可用结果。然而，BCD算法需要逐次对逐个变量的逐个元素优化，是一种串行计算算法。因此，在解决一些多变量、数据量大的实际问题时，该算法的计算效率极低，寻找最优解能力差。尤其是处理一些时延敏感的电网业务时，该算法效果极差。这时候，为了提高计算效率，使用一种能够并行优化多个变量，自适应能力强的算法尤为重要。因此，考虑使用深度强化学习算法来进行模型的训练优化。

2.3 智能网络切片管理方法

为了实现电力物联网业务的海量数据的智能处理和自主决策，引入深度强化学习算法中的DQN(deep Q network)进行数据训练和模型优化。该算法在强化学习中的Q-learning算法基础上，引入深度神经网络。深度学习在解决高维数据问题上表现良好[16]，再结合强化学习，非常适用于处理电网业务。DQN算法的结构如图2所示。值输入DQN模型中进行训练，选择最佳动作，即自主选择出最优的方案进行部署。

图2 DQN结构Figure 2 Structure of DQN

图3 切片管理方法流程Figure 3 The flow chart of the slicing management

3 仿真结果

3.1 仿真准备

DQN算法是用来优化电力业务通信资源的分配问题，因此DQN算法中的状态、动作和回报等相关要素与通信领域相关，相关参数主要借鉴文献[17]和[18]。另外，所采用的电力业务数据包括电力用户数目、电力用户到基站的距离范围、电力业务数据包的大小、电力业务每比特的数据复杂度、电力业务单个用户的最大容忍时延和电力设备电容开关参数，主要借鉴文献[17]和[19]。实验主要选用Matlab作为仿真平台。

本文的仿真环境中，电力用户数目为I=[2 ～4]，MEC切片数目为J=2，电力用户到基站的距离范围为di=[0 ～400] m，白噪声N0=-114 dBm。

设置两种切片管理实验方案对比。

1) 基于资源平均分配的切片管理方案。该方案将电力用户平均分配到正在使用的各个MEC切片上，然后把MEC切片上可分配资源平均分配到其管理的每个用户上。

2) 基于坐标块下降算法的切片管理方案。该方案使用坐标块下降算法，将每个电力用户的任务卸载到MEC切片上，然后找出每台MEC可以满足时延与能耗要求的最佳资源分配方案。

由于真实环境下MEC切片不可能分配给同一个用户过多的资源，为了突出比较，本文仿真中设置的两个MEC切片可分配资源有差别，且一台MEC设备最多可以分配给每个用户的带宽资源为Bmiax=4×106MHz，最多可以分配给每个用户的计算资源为Fimax=2×109MHz。其他具体参数的取值见表1。为了体现本方案结果的合理性，可参照表2的常见AI模型的推断准确率数据。

表1 仿真参数Table 1 Simulation parameters

表2 常见AI模型推断准确率Table 2 Common AI model inference accuracy

3.2 仿真算法效果

使用BCD算法并输出其损失量变化曲线，如图4所示。实验的迭代一次时间较长，可以找到局部最优值。为了检验DQN算法寻找最优方案的效果，图4输出agent学习过程中的损失量变化曲线。

图4 BCD算法的迭代次数与损失量关系Figure 4 The relationship between interation and cost of the BCD algorithm

如图5所示，该曲线并点，其输入数据是一步步改变的，并且会根据当前学习的具体情况去获取不同的数据。可以看出，损失量曲线整体上是往最小的值收敛，可以找到最优值。

图5 DQN算法的训练步数与损失量关系Figure 5 The relationship between training steps and cost of the DQN algorithm

3.3 仿真分析

图6给出在不同用户数目下，3个方案的系统可靠性的条形对比图。系统可靠性的精度要求较高，稍小的差距也会造成巨大的影响。如图6所示，在允许用户数目的范围内，本文提出的切片资源管理方法的可靠性均胜于其他两种方案。

图6 不同方案下的电力用户数目与系统可靠性的关系Figure 6 The relationship between the number of power users and system reliability in different cases

图7给出不同计算复杂度下，3个方案的系统可靠性的条形对比图。实际环境下，不同电网业务的数据计算复杂度也有所不同，有些要求更加精细的业务也需要用到更加复杂的算法，其计算量也会有显著的提升。如图7所示，在3种不同计算复杂度下，本文提出的切片资源管理方法的可靠性也要优于其他两种方案。

图7 不同方案下的不同计算复杂度与系统可靠性的关系Figure 7 The relationship between computational complexity and system reliability in different cases

本文提出的切片资源管理方法能够利用深度强化学习算法，让agent不断地进行学习训练，从而找到最优的资源分配方案。平均分配方案只是将不同MEC的资源平均分配给其管辖的用户，大多数情况非最优。坐标块下降方案进行一维搜索找到的是局部最优方案。因此，本文的方案优于这两种方案，实验结果也很好地验证了这一结论。

4 结语

5G通信技术为电力物联网带来诸多便利，能够更大程度地优化电网业务的用户体验。为了满足某些特定的电网业务的低时延、高可靠性的新需求，本文设计了面向电力物联网URLLC业务的智能网络切片管理方法。该方法具备容灾备份机制，可将电力业务卸载到多个MEC服务器上进行计算，并满足其低时延要求。本文利用深度强化学习算法中的DQN模型自主优化带宽资源与计算资源的分配，最大化电力业务的可靠性要求。仿真结果说明，相较于基于坐标块下降算法和基于资源平均分配的资源管理方法，本文提出的方法可靠性更高，能够最大程度优化用户体验。