基于Actor-Critical架构的5G Massive MIMO波束能效的研究与应用*

乔 勇，葛昌帅，张天兴，鲁晓峰

（1.中国移动通信集团江苏有限公司连云港分公司，江苏 连云港 222004；2.中国移动通信集团江苏有限公司，江苏 南京 210000）

0 引言

大规模阵列天线技术（Massive Multiple Input Multiple Output，Massive MIMO）是第五代移动通信（5G）的无线核心技术。5G采用的Massive MIMO技术天线通道数达到64个，天线阵子数为192个，甚至更高，从而实现5G波束空间覆盖增强[1]。然而5G Massive MIMO天线的满功率、全通道、多波束发射导致5G射频单元功耗占5G基站总能耗的90%，5G基站满载功耗是4G的3～4倍，使得运营商运营成本增高[2]。5G Massive MIMO多波束发射产生相邻小区波束碰撞，干扰增加，从而造成5G网络性能下降，影响用户体验[3]。随着5G基站数量的成倍增长，为了更好地“提质增效”，需要打造绿色、智能、高效的5G网络，以满足5G发展及网络运营要求[4]。

本文通过研究人工智能技术对5G Massive MIMO网络进行栅格信息AI预测，并按需灵活配置波束。基于3D数字地图、5G基站工程参数、终端上报的测量报告/最小化路测（Measurement Report/Minimization of Drive Test，MR/MDT）数据、用户分布和业务分布构建的三维数字化栅格，通过Conv-LSTM算法对栅格内的用户分布、业务分布进行分析和预测，通过Actor-Critic架构对5G波束配置和优化策略进行评估，实现不同场景、不同时段的5G波束最佳能效，智能适应网络用户潮汐效应，实现“网随业动”。

1 构建三维数字孪生栅格

为构建三维数字化栅格，首先对基站工参、3D数字地图、MR/MDT数据、子波束信息、初始参数配置等数据进行采集、筛选、储存、分析和处理；其次基于3D地图构建三维数字化栅格，并构建5G用户分布和业务权重模型。如图1所示，构建流程具体分为4步。

图1 构建三维数字化栅格步骤

基于栅格内的用户数和业务量，对用户分布和流量分布做非线性计算，构建数字化栅格模型。在5G数字化栅格中，每个栅格标识了用户和业务的权重信息，对5G Massive MIMO的覆盖需求更有指向性。

2 数字孪生栅格信息的AI预测

2.1 数字孪生栅格的“潮汐效应”

将采集到的不同场景、不同时段的MDT/MR大数据匹配到三维数字孪生栅格中，每个栅格中用户和业务分布在5G网络忙、闲时段呈现明显的“潮汐效应”，如图2所示。

图2 忙、闲时段下栅格用户的“潮汐效应”

2.2 AI预测算法设计

基于AI的用户分布预测中，与天气、日夜相关的变量是时间上变化但空间上静止的，而用户分布变量在研究期间在空间和时间上都是变化的。

在AI预测框架中，通过堆叠的卷积长短期记忆（Convolutional Long Short Term Memory，Conv-LSTM）层来提取时间特征，并捕获日夜相关变量之间的时间相关性，可看成1个时间切片time_step有多个特征feature，1个特征feature相当于1个指标。堆叠的Conv-LSTM层捕获用户分布变量之间的空间和时间特征，然后将这两种类型的数据集的层次特征合并在一起，并输入到多个完全连接的层中，以生成最终的预测用户分布，如图3所示。

图3 基于Conv-LSTM的网络预测

基于Conv-LSTM网络预测的主要步骤如下：

（1）输入维度（input_shape）将终端上报数据在每个时刻形成的样本数据输入3D栅格权重模型。

（2）配置多层Conv-LSTM，如果reurn_sequence为true，即每个时间切片单元都有输出，则输出多对多的预测结果，并将最后一个层的reurn_sequence参数改为flase形成多对一预测。

（3）Conv-LSTM输出的维度就是预测的3D栅格权重模型。第一个维度可以通过调整一次训练所选取的样本数（batchsize）来调整模型的优化程度和速度。最后一个维度和filter个数直接相关，1个卷积核对样本做1次特征feature提取，多个卷积核进行相应数量的特征提取。接下来N层Conv-LSTM均按照以上规则进行操作。

（4）接一个3D/2D维度转换（Conv3d/Conv2d），最后维度回归到1，所以Conv3d/Conv2d的filter这才设置为1，以此类推，如果一个数据是三通道的图像，filter设置为3与label维度对应。

2.3 预测结果验证

将前N时段的终端上报数据输入到含有用户分布和业务权重信息的数字化栅格中，输出后一时段的用户分布，利用Conv-LSTM预测模型对比栅格化信息分布，结果如图4所示，可以得出真实用户分布与预测用户分布基本一致，准确率约为98.57%。

图4 真实用户分布与预测用户分布对比

3 Massive MIMO波束配置研究

3.1 5G Massive MIMO波束精准覆盖栅格

5G Massive MIMO的同步信号（块）（Synchronization Signal Block，SSB）、信道状态信息参考信号（Channel State Information-Reference Signal，CSIRS）等静态波束均具备多个窄波束赋型能力，通过波束赋型参数的优化可以明显提升覆盖性能，提升系统容量和频谱效率[5]。5G Massive MIMO系统可调整波束配置，包括子波束水平波宽、子波束垂直波宽、水平方位角、垂直俯仰角、子波束个数等[6]。

将通过AI算法预测的含有用户分布和业务权重信息的数字栅格匹配到5G Massive MIMO网络波束配置参数，实现5G波束精准覆盖栅格。

3.2 5G Massive MIMO波束灵活配置

基于精准覆盖需求来配置5G Massive MIMO波束能效组合参数，具体地，对Massive MIMO天线定义波束数量、权值配置、通道参数配置，形成“网随业动”的波束配置，如表1所示，主要对波束个数、子波束水平/垂直波宽、波束方位角/俯仰角、天线通道进行灵活配置。基于栅格化的网络覆盖需求，子波束按需精准覆盖栅格，形成N种水平维度、垂直维度的波束权值配置组合。表1中的X表示灵活设置。

表1 SSB波束能效组合

3.3 按需配置Massive MIMO波束

针对CBD楼宇区域的数字化栅格，根据网络“潮汐效应”，AI预测算法按需发射SSB波束，5G网络由高层参数ssb-PositionsInBurst通知用户终端设备（User Equipment，UE）实际传输的SSB时刻位置和个数，具体采用比特值“1”或“0”映射的方式在InOneGroup参数中指示是否发射SSB波束[7-10]，如图5所示。

图5 潮汐效应下波束智能配置

然后通过Actor-Critic评估框架结合能效评分规则对覆盖小区的波束配置进行调整，实现最佳Massive MIMO能效。

4 波束能效智能评估

4.1 5G Massive MIMO网络能效定义

根据5G网络能效评估要素——无线性能、业务体验、设备功耗[11]，将网管和测试指标分为无线质量、业务性能、功耗3部分，根据综合评估算法公式计算得出测试区域的综合评估得分情况。5G Massive MIMO波束能效综合评估算法公式为：

式中：W1，W2，W3分别取值为0.4，0.2，0.4。

4.1.1 无线质量评分部分

无线质量评分公式为：

无线质量评分=RSRP得分×W11+SINR得分×W12式中：W11，W12取值为0.5。5G网络参考信号接收功率（Reference Signal Receiving Power，RSRP）得分和信干噪比（Signal to Interference plus Noise Ratio，SINR）得分分别为：

根据RSRP、SINR对业务的影响将其取值范围分别划分为10个区间范围，对应的不同的评分系数，如表2和表3所示。

表2 RSRP区间评分

表3 SINR区间评分

4.1.2 网络性能评分部分

式中：W21，W22分别取0.3，0.7。

下行速率评分：当下行速率大于1 000 Mbit/s时，评分取值为满分100；当下行速率为0至1 000 Mbit/s时，评分=100-(1 000-上行速率)×0.1。

上行速率评分：当上行速率大于150 Mbit/s，评分取值满分100，当上行速率为0至150 Mbit/s时，评分=100-(150-下行速率)×0.5。

4.1.3 功耗指标评分部分

功耗指标评分公式为：

功耗指标评分=电源功率评分×0.1

有源天线单元（Active Antenna Unit，AAU）电源功率评分：当AAU电源功率为0至2 000 W时，电源功率评分=100-电源功率测量值×0.01；当AAU电源功率大于2 000 W时，则不得分。

4.2 基于Actor-Critic框架的波束能效智能优化方案

基于Actor-Critic框架，根据数字栅格权重模型的时间或者场景的规律性变化配置相应数量的5G Massive MIMO波束组合，得到最佳5G波束能效。

Actor-Critic框架模块中，评估以能效公式为准则，Actor处理网络配置策略，Critic评估波束能效，两个模块同时进行训练，如图6所示。

图6 Actor-Critic框架

该框架中采用Critic模块对当前的5G波束能效进行打分评估，并智能寻优最佳5G Massive MIMO波束能效。

处理过程如下：

（1）通过MDT和MR信息构建5G数字化栅格模型，通过预测模块中的Conv_LSTM算法得到栅格化的5G用户分布和业务量权重信息，从而得到基于时间序列的5G数字化栅格切片，并记录不同时间切片的State。

（2）根据不同时间切片的State，Actor模块通过AI启发式寻优算法（如粒子群算法）形成5G Massive MIMO 波束配置策略。

（3）Critic模块对当前State下Actor模块输出的5G Massive MIMO波束配置策略，进行5G波束最佳能效评估。

（4）根据Critic的评价和Actor模块迭代，更新不同时间切片下的5G Massive MIMO波束配置和最佳能效策略。

以上步骤循环操作，直到收敛完成。

其中，Actor模块中的AI启发式寻优算法如图7所示。

图7 粒子群算法迭代寻优

5G Massive MIMO小区中每个子波束（作为粒子）在自定义的N个子波束寻优空间中，通过AI启发式寻优算法（粒子群、进化算法）找到最优5G Massive MIMO波束配置Xbest，包括空间子波束个数、方位角、下倾角、子波束水平波宽、子波束垂直波宽。

AI启发式寻优算法以粒子群算法为例，具体算法流程为：在子波束寻优前，根据5G Massive MIMO小区中的SSB、CSI-RS的子波束配置，其中每个子波束的当前配置都表 示问题的一个解，并依据目标函数，计算寻优空间中新的波束配置。

在每次迭代时，每个波束将跟踪两个“极值”来更新自己，一个是子波束本身寻优到的最优波束配置Pbest，另一个是整个波束粒子群当前全局搜索到的最优波束配置Gbest。此外，每个子波束都有各自的波束配置的变化幅度V，当两个最优解都找到后，每个子波束根据如下迭代式更新：

（1）波束权值变化幅度V的向量迭代公式（子波束的权值变化幅度迭代）为：

式中：ω为惯性系数；c1为子波束学习因子；Pbesti为第i子波束本身寻优到的最优波束配置；c2为整个波束粒子群学习因子；Gbest为整个波束粒子群全局搜索到的最优配置；r1，r2为（0,1）的随机概率值；k为迭代系数。

（2）波束权值配置X的向量迭代公式（子波束的权值配置迭代）为：

式中：Xi，Vi分别为子波束配置的变化幅度和变化权值配置。

粒子群寻优算法的具体步骤如下：

（1）子波束权值（水平方位角、垂直俯仰角、子波束水平波宽、子波束垂直波宽、子波束个数）按照专家经验进行初始化；

（2）根据各个子波束的目标函数，找到各个子波束当前的最优波束权值极值Pbest和整个波束粒子群的当前全局最优配置Gbest；

（3）各个子波束的速度和位置迭代更新；

（4）所有子波束达到最优权值；

（5）若没有达到所有子波束的最优权值配置，则跳转至步骤（3）。

粒子群寻优算法是在不同迭代次数下，粒子在寻优空间中找到最优解的过程。

5 波束能效评估效果

选取某区域网格5G站点进行试点应用，通过灵活的SSB波束配置组合，寻优评估最佳能效的组合。将波束组合11与波束组合17进行测试对比，结果如表4所示。从表中可以看出，波束组合11能效策略的RSRP、SINR、下载速率以及上传速率均比波束组合17指标性能高，但能耗相对低。此外，从表4可以看出，波束组合11覆盖明显强于波束组合17。

表4 波束组合5与波束组合12指标对比

在试点区域的N种波束组合配置中挑选24种典型波束组合进行能效评分，结果如图8所示，其中，波束组合15和波束组合11的5G综合能效最佳。

图8 波束组合能效综合评分

如图9所示，在不同覆盖场景下对不同种波束组合配置进行能效评分，选出最佳波束能效组合。

图9 波束组合能效综合评分

6 结语

本文主要研究通过AI技术对5G Massive MIMO网络进行栅格信息AI预测、按需配置广播波束和能效评估，首先利用3D数字地图、5G基站工程参数、终端上报的MR/MDT数据、用户分布和业务分布构建三维数字化栅格；其次通过Conv-LSTM算法对“潮汐效应”下的栅格进行分析和AI预测，并验证其准确性；最后通过Actor-Critic架构对5G波束配置策略进行评估，动态寻优最佳能效的波束配置，实现5G Massive MIMO最佳能效。