基于马氏决策的5G网络切片虚拟资源分配研究

曾坚毅，许济金

(1. 福州理工学院，福建 福州 350506；2. 福建农林大学机电工程学院，福建 福州 350002)

1 引言

随着5G网络的快速发展，各大网络运营商需要通过有限的物理资源为用户提供不同的定制服务，这便造成了通信业务不断扩大的局面，由此产生了网络切片技术。传统网络切片技术在资源调度和利用方面存在诸多不合理之处，尤其当用户需求突增的情况下，用户的服务保障会受到较大影响。为了解决网络切片资源在时间与空间的整体利用率问题，保障网络运行商收益和高质量用户体验，不少学者针对网络切片资源的部署、运营和调度等问题进行研究。

文献[2]将用户中断概率、切片队列积压和切片总速率作为约束条件和回报，建立资源自适应动态优化模型，通过自适应虚拟资源分配算法与外界环境不断交互，对资源分配进行调整，从而优化切片的性能。该方法可以提高系统性能，但切片的时延性有待提高。文献[3]通过SDN技术对网络切片资源进行自适应分配，完成虚拟资源的调度，并根据资源的属性分类及网络聚类结果，优化资源分配，该方法在分配网络切片资源的过程中具有较好地自适应性，但分辨能力较差。文献[4]将最大化平均切片与速度作为目标，建立随机优化模型，并引入PDS概念对系统转移概率进行优化，使系统可以根据当前状态为每个网络切片分配合适的资源，该方法大大降低了网络宽带的压力，但该算法针对状态空间维数较大的情况需进一步研究。

基于以上研究，针对网络切片虚拟资源的分配问题，本文提出基于马氏决策的5G网络切片虚拟资源分配方法。根据检测的切片信息对虚拟资源进行分配，对5G网络切片虚拟资源存储结构进行设计与异构有向分析，构建虚拟资源节点分布模型，最终求解出5G网络系统的最大长期收益。

2 5G网络切片模型

2.1 调度模型

为了使5G网络能够充分利用资源、满足超高宽带的需求。通过对网络切片调度模型的建立，为用户定制最佳的虚拟资源分配方案。在系统中，假设有

A

个网络切片，每个网络切片拥有

K

个用户，并支持

A

种类型的不同业务。在时间

T

内，根据检测的切片信息对虚拟资源进行分配。假设在时刻

t

时用户数为

B

(

t

)，则它可表示为

(1)

(2)

2.2 用户速率

系统中整个信道均服从瑞利衰落模型，信道中的噪声为高斯白噪声。假设切片

a

所接入的资源模块具有同一个子载波

b

的用户为

k

，，网络总发射功率为

E

，则功率

E

可表示为

(3)

其中，

e

，表示子载波

b

的用户分配功率。在链路中，子载波

b

的用户接收信号可表示为

x

，=

f

，

D

+

δ

，

(4)

其中，

f

，表示子载波

b

从基站到接收端信道的系数；

δ

，表示子载波

b

的噪声。由香农公式可知，子载波

b

的用户

i

对应速率可表示为

(5)

其中，

G

表示子载波

b

的带宽；

H

，表示用户

i

的干扰噪声比。假设切片

a

总共接入子载波集合为

J

，那么切片的总速率可表示为

(6)

3 虚拟资源分配

3.1 虚拟资源模型

为了实现对5

G

网络切片虚拟资源分配，首先对5

G

网络切片虚拟资源存储结构进行设计与异构有向分析。构建虚拟资源节点分布模型。对链路模型中接入网络切片资源分配的相关性采取提取调度，通过联络特征分析方法对虚拟资源分配的特征集进行构建，网络切片虚拟资源的相对贴近度用公式可表示为

(7)

其中，

φ

表示虚拟资源的相对贴近度；(

α

，

β

)，…，(

α

，

β

)表示5

G

网络切片虚拟资源的特征分布集；

γ

表示虚拟资源的权重系数。建立5

G

网络切片虚拟资源的分析模型，对接入系统的网络切片资源进行统计分析，采用双馈入的特征模拟方法对虚拟资源分配进行加权融合，并对虚拟资源的相似度信息进行描述。假设5

G

网络切片虚拟资源数据集为

Y

={

y

，

y

，…，

y

}，

m

为虚拟资源分配目标的个数，

Y

为虚拟资源分布特征点，可以采用均值聚类的方法对虚拟资源网络属性进行识别。

3.2 虚拟资源特征

在异构有向图分析方法的基础上，结合特征空间重组技术对虚拟资源结构进行构建，对虚拟资源进行优化设计，5

G

网络切片虚拟资源的约束参数用公式可表示为

(8)

在负反馈环节，对网络中接入的信号进行控制，建立网络信道的均衡模型，对虚拟资源进行相关性分析，得出5

G

网络切片虚拟资源的调度模型，用公式可表示为

(9)

依据共享度水平，对网络中接入的切片资源进行构建，得出网络切片虚拟资源的分配模型，用公式可表示为

(10)

根据网络中接入系统的虚拟资源定量评价模型的描述，可以得出子系统网络线输出的评价集，用公式可表示为

(11)

进而可求出5G网络切片虚拟资源的均值聚类最优解，用公式可表示为

(12)

根据提出的最优聚类分析方法，结合特征空间重组技术对虚拟资源的结构进行重组，并对虚拟资源的相关特征变量进行提取，有利于提高资源分配能力。

4 马氏决策

马氏决策是顺序决策的经典形式，也是一种理想化的数学形式。基于马氏决策，本文建立5G网络切片资源管理模型，结合贝尔曼方程及马氏决策过程的动态规划求解运营商最优收益解和网络资源利用率。

马氏决策过程主要通过构建问题来实现目标，其中学习者和决策者称为代理，与代理交互或者代理之外的事物称为环境。在每个时间步长

t

内，代理会接收到环境的状态

S

＿，并对其作出相应的动作

A

＿。在下一个步长内，代理便取得收益

R

＿+1，并取得新的状态

S

＿+1。马氏决策过程产生的序列用公式可表示为

S

＿0，

A

＿0，

R

＿1，

S

＿1，

A

＿1，…

(13)

马氏决策过程产生的状态、动作以及收益都是有限的，离散的概率分布受到前一个随机状态和动作的影响，在

t

时刻离散的随机概率用公式可表示为

(14)

(15)

进而期望收益用公式可表示为

(16)

代理获得的收益由它采取的动作决定，这种动作行为称为策略。若代理在

t

时刻执行的策略为

ξ

，那么在状态

S

＿=

s

时所执行策略

A

＿=

a

的概率为

ξ

(

a

|

s

)，预期收益函数用公式可表示为

(17)

(18)

其中，

μ

表示折扣率，在状态

s

下采取策略

ξ

时的策略函数用公式可表示为

(19)

在马氏决策过程中值函数具有递归特性，因此对于任何状态和策略，在下面的状态值时，会保持一致性，状态值公式可表示为

(20)

通过迭代计算，可以求出下一个状态的收益值函数，这便是卡尔曼方程。在卡尔曼方程中通过对事件的概率进行加权可以把事件的可能性平均化，对于有限的马氏决策过程，可以对最优策略进行准确描述。若预期收益

V

(

s

)≥

V

(

s

)，那么有策略

ξ

≥

ξ

，若最优策略为

ξ

，由最优策略可求出最优值函数，公式可表示为

(21)

最优策略的动作值函数可表示为

(22)

考虑到5

G

网络资源的管理特性，管理策略的选择很有可能导致网络运行商的收益受到影响，所以通过马氏决策过程的动态规划算法求出最优值函数和最优策略函数，同时求出运营商长期收益的最优解，公式表示为

(23)

综上所述，求出的解就是5G网络系统的最大长期收益。

5 仿真与结果分析

为了验证基于马氏决策的5G网络切片模型的准确性，本文设置不同的参数分析网络切片资源分配系统的性能。假设5G网络由4个VRU组成，并且每个网络切片服务有2个VRU，为了验证收益值的最优解，将本文提出的方法与传统网络资源分配方法进行对比。实验在Matlab仿真软件上进行，通过不同参数值的设置，随机重复100次实验，得到切片资源管理的最大收益值对比结果如图1所示。

图1 切片服务到达率与最大累积收益的关系

从图中可以看出，随着切片服务到达速率的增加，5G系统长期最大收益不断增加，在新切片请求增加时，采用本文提出的马氏决策5G网络资源分配方法能够保证系统具有充足的资源来处理切片请求，服务协议中的每一个策略均使收益值达到最优状态。

将5G系统资源VRU作为变量，通过增加虚拟资源块的个数，测试系统最大收益，仿真对比结果如图2所示。

图2 VRU数量与最大累积收益的关系

从图中可以看出，当虚拟资源块个数较少时，两种方法求出的累积收益值相近，随着虚拟资源块个数的增加，本文方法明显优于传统方法，传统方法每次都会为切片请求分配最大的VRU，导致资源利用率较低，使系统长期收益不理想。

保持实验参数不变，得到最大长期累积收益值与切片服务离开率之间的关系，结果如图3所示。

图3 切片服务离开率与最大累积收益的关系

从图中可看出，随着切片离开率的增加，5G系统最大长期累积收益也不断增加，当离开率为10时，累积收益最大。随着离开率的继续增加，由于新切片请求到达率一定，切片服务离开率会增大到极限值，使5G系统的处理速率超出预定值，导致过多的资源处于等待状态，因此累积收益会不断降低，通过仿真可以看出采用本文算法的累积收益明显优于传统方法，具有一定的实用性。

最后通过仿真比较两种方法在相同切片服务请求到达率情况下的服务阻塞率，以及本文方法在不同切片服务请求离开率下的切片服务阻塞率变化情况，结果如图4和图5所示。

图4 两种方法阻塞率对比结果

图5 本文方法在不同离开率下的阻塞率变化

从图中可以看出，随着切片服务请求到达率的增加，切片的阻塞率不断增加，而且采用本文方法的阻塞率明显低于传统方法。通过不同切片服务离开率的对比结果可知，随着切片服务离开率的增加，系统服务单位时间内可允许接入的切片增多，因此切片的阻塞率明显降低。然而当切片服务请求到达率达到20时，阻塞率将保持稳定状态，由于系统到达了服务处理的极限能力，因此5G网络系统会通知阻止切片的到达服务请求。

6 结束语

对于虚拟资源分配问题，本文提出一种基于马氏决策的5G网络切片管理模型。通过对网络切片调度模型的建立，为用户定制最佳的虚拟资源分配方案，基于马尔科夫决策理论对虚拟资源进行建模，分别对系统转移函数、状态值以及网络运营商的收益进行分析。为了验证基于马氏决策的5G网络切片资源分配模型的准确性，在Matlab软件上进行仿真，设定5G网络由4个VRU组成，并且每个网络切片服务有2个VRU。实验结果表明，采用本文方法后，无论VRU与切片服务如何变化，5G网络运行商的长期累积收益均得到显著改善，且切片的阻塞率呈现明显降低趋势。