5G 场景下面向M2M 巨连接的无线接入控制策略

［何独一］

1 引言

5G 场景下海量设备的接入对接入网和核心网产生巨大的服务压力，为了保证不同场景下网络管理效率和数据传输的效率，支持多样化移动互联网和物联网的业务需求，5G 网络的连接管理方式需要进行转变以满足各类业务灵活的流量调度和高效数据转发需求[1]。因此，如何大幅度提升5G 网络的接入能力以期缩小供需差距是当前5G 网络快速发展亟待解决的问题。在众多5G 应用场景中，面向M2M 低功耗巨连接的应用场景受到学者极大的关注，这是因为海量的M2M（Machine-to-Machine，机器对机器）业务终端向基站发送接入请求时，由于请求数量过多极容易造成接入网过载和信令拥塞的现象，进而导致业务接入时延增大、分组数据包丢失严重甚至服务中断的现象。Zhou 等人[2]一种两阶段的访问控制和资源分配算法，第一阶段基于契约的激励机制来激励一些延迟容忍机器型通信设备延迟其接入需求，以换取更高的接入机会，第二阶段基于Lyapunov 优化的长期跨层在线资源分配方法实现工业自动化控制；Hussain 等人[3]提出一种基于蜂窝的M2M 通信中自适应业务负载时隙MACA 接入控制策略，通过信道占用率的统计信息，估计基站业务负载，计算RTS 传输概率并向成员广播以此控制终端对系统的访问，提升接入访问的成功率；Ho 等人[4]提出一种联合大规模访问控制和RA（Resource Allocation，资源分配）方案，方案结合传输、电路能量消耗等约束条件实现机器的分组，实现M2M 通信的节能大规模接入控制和资源分配；Reshmy 等人首先通过对M2M 业务分配给有限前导序列，然后在学习自动机中引入了一种新的带变换的因子分解函数，从而实现FF-LA 的增强LA 算法方案，仿真表明，该方案能够有效地控制机器的通信流，进而消除过载的现象。从上述的研究可知，M2M 接入控制大部分聚焦于随机接入控制的优化和改进，主要包括分类接入控制、随机接入信道分配、分时接入等。分类接入控制主要对分类接入机制进行扩展和改进；随机接入控制主要通过对前导序列进行划分或者资源共享，提升随机接入的效率；分时接入则采用机器分组的形式实现接入时间控制，从而降低接入碰撞的概率。由此可见，面对M2M 通信的海量接入请求，由于基站用于随机接入的资源很有限，一旦海量的MTC（Machine Type Communication，机器类通信）与基站单独建立连接时，必然造成大量的碰撞，进而造成巨大的网络拥塞，因此，随机接入控制决策首先要解决网络拥塞问题，必须寻找一种兼具拥塞控制和接入控制的机制，实现巨连接的无线接入控制策略[6～7]。在相关研究成果的基础上[9～13]，本文提出一种海量连接场景下M2M 业务接入过程中具有拥塞控制功能的无线接入控制策略：基于M2M 的群组特性，通过将各终端数据汇聚到汇聚设备节点后再由汇聚节点向基站发起接入过程，通过有效控制向基站发起接入请求的终端数量来缓解基站接入的拥塞，提升设备的无线接入效率；在完成终端数据汇聚后，必须考虑M2M 终端的智能接入点选择的问题，处于多基站重叠覆盖范围内的M2M 终端，在发起接入之前必须要选择其中的一个基站，选择不同的基站可能会对其接入结果产生不同的影响。M2M 终端可以运用强化学习的方式通过独立观测和学习，预测每次切换后所获得的回报函数，从中选择一个能够满足其最小平均时延的基站进行接入。

2 面向M2M 巨连接的无线接入控制策略

2.1 系统建模

假设基站覆盖范围内的MTC 设备具备之间具备直接通信的能力，每一MTC 设备都具有充足的带宽和多个载波频点，并且每个设备的帧包含多个时隙，一旦某个节点发现邻居节点建立新的通信链路时，将两个节点商定好的时隙填充到节点的帧中，此时，节点完成信道分配并在对应的时隙进行后续的数据传输，传输完成后释放连接和信道资源。

MTC 设备在发送数据之前，需要向基站发送前导序列。当MTC 设备选择相同的前导序列以及相同的载波频点与基站进行通信时，那么前导序列必然在基站处产生碰撞，由此产生采取避让的行为。如果在网络拥塞场景下进行数据包的发送，随机接入信道分配的方式会降低数据发送的成功率。因此通过事件触发MTC 设备发其接入请求，汇聚节点开启邻居发现，在成功建立连接后，开始汇聚节点的数据汇聚，采用汇聚方式形成无线接入拥塞方案，减少同一时刻向基站请求接入的MTC 设备。在完成接入控制之后，通过汇聚节点向基站发其随机接入请求，实现基站成功接入。

2.2 无线接入拥塞控制机制

假设MTC 设备是均匀分布的，基站覆盖半径为R，MTC 设备总数为K，基站提供的前导序列数量为n，随机接入的时隙间隔为T，MTC 的通信范围为r。那么基于上述的参数，k 可以计算MTC 设备的部署密度为，MTC 设备邻居节点数量为。为了求解系统的MTC 设备的平均接入时延，需要分为两个阶段来求解：①拥塞控制阶段汇聚数据的平均时延；②MTC 汇聚节点向基站发起接入请求后的随机接入时延。

（1）拥塞控制阶段汇聚数据的平均时延

假设汇聚节点的监听长度时间为Tm，在监听结束后，汇聚节点没有收到邻居节点发送的邀请消息则主动发送邀请，广播邀请消息，邻居节点在等待随机时间Tw后应答广播消息。汇聚节点与邻居节点在完成时隙对和频率分配前，会经历四次握手。在完成的时隙和频率分配后进行消息传输，四次握手的时延为4Ts。那么拥塞控制阶段汇聚数据的平均时延为：

一般来说，Tm和Tw设为10 ms，Ts设为5 ms。

（2）汇聚节点向基站发起接入请求的随机接入时延

汇聚节点在拥塞控制阶段汇聚数据后，会向基站发送接入请求，由于MTC 设备一般采用随机接入的方式接入无线信道，因此只需知道第i（i=1,2,……,n）次随机发送请求的MTC 设备，便能计算该MTC 设备的接入时延。为了计算接入时延，首先需要计算碰撞概率。某一个MTC 设备的碰撞概率为：

基于碰撞概率，可以算出某一个MTC 设备在基站覆盖范围内第i 次发起随机接入请求的第Ki个MTC 设备的平均时延为：

那么某一个MTC 设备从第一次发送数据传输的请求到数据成功接入无线信道所需要的时间可以表示为：

由于MTC 设备之间是能够互相通信的，那么系统接入的平均时延有可能被精确估计，那么我们求解的目标就是保障每一个MTC 设备在最低的信噪比（signal-noise Ratio，SNR）以及最大时延要求限制下接入无线信道。那么问题就转化为最小化系统的MTC设备的平均接入时延。

实现最小化系统的MTC 设备的平均接入时延的最有效的方法是选择能够使其接入碰撞次数较低的基站，因此，MTC 设备选择合适的接入点是降低时延的有效方法。那么，在多个基站覆盖环境的MTC 有多种接入选择，如何选择满足自身QoS 需求、负载均衡较小并且碰撞最小的基站，是解决MTC 设备的平均接入时延的根本所在。在这种情况下，采用一种强化学习的方法，让MTC 设备在有限的探索下选择合适的基站接入。

3 基于人工智能的MTC 设备智能接入基站选择策略

假设MTC 设备在时间t 内只能选择一个无线基站接入，并且每个事件t 做出是否需要重新选择一个新的无线基站接入。本文将t 划分为时隙，中间在to时刻发出接入请求，在每一个时隙起点MTC 设备随机接入到某一个基站，基站给MTC 设备分配一定带宽。而且在每一个时隙终点，执行相关的动作都会收到反馈到MTC 设备，激励MTC 设备在当前反馈下合理选择下一个时刻的动作。学习的最终目标是最小化总的接入平均时延，对于MTC 设备而言，最小化总的接入平均时延可以等价于最小化总的切换次数，而最小化总的切换次数也等价于最大化下一次切换时间内的数据传输总量。本文基于强化学习将上述决策过程映射到强化学习模型中，具体的参数如表1 所示。

表1 强化学习模型相关参数表

采用强化学习将MTC 设备切换决策过程映射到强化学习模型中，需要将每一个MTC 设备看成为一个agent。MTC 设备收集到周围各个无线基站的速率、信号强度状态后，选择一种最优的切换策略后执行。Agent 的强化学习采用下一次切换的数据传输量作为奖励值。

Agent：k，每一个MTC 设备可以视为一个agent。

State：在t 时刻，系统状态S 可以定义为，q 表示当前可用信道数量；v 表示当前时刻的上传速率；s 表示当前时刻的信号强度。

Reward：系统奖励：MTC 设备传输数据量最大化。

公式9 表示如果MTC 设备Ki选择切换基站m，在发生下次切换时间内所传输的数据总量。由于单个汇聚MTC 设备更新的时间比较长，考虑到MTC 设备之间能够实现通信，本文采用同一业务类型的MTC 设备所选中的基站m 的平均传输数量作为汇报函数，更新公式（10）。

基于UCB 算法，MTC 设备每次选择的基站策略为：

其中，Wj表示基站j 被选中的次数，而W 表示截至到目前为止，所有基站m 被选中的总次数。表示基站索引值。

4 仿真验证及结果分析

4.1 环境说明

整个实验平台的实现分为硬件部分和软件部分，硬件部分包括台式计算机、小基站以及MTC 设备。台式计算机的配置如下：CPU 采用Intel 酷睿i5 处理器4570，内存4G，硬盘剩余空间要求100 M 以上，操作系统为Window10 版本。小基站可用RB 大小为180 kHz，每个子载波带宽是15 kHz，覆盖半径在50～100 m 之间，上传速率设置在0～160 kbit/s 之间，热噪音密度为-175 dBm/Hz，信号强度在-50～ -100 dbm 之间。MTC 设备随机接入时间间隔为5 ms，随机接入退避时间为20 ms，传输间隔为5 ms，设备帧长度为10 对时间隙，通信的频点数为10，MTC 设备数量在0～500 个之间。

软件部分是一款无线网络接入选择算法的性能评测软件，可以细分为无线信号强度测试软件WirelessMon 和网络服务软件，无线信号强度测试软件提供当前网络环境中的各种无线参数，包括信号强度、数据上传速度、信道数量、发射功率、频率等信息；客户端软件部分是采用pycharm开发的基于当前网络环境各种参数采用强化学习实现网络接入的决策。

4.2 结果分析

为了对比本文提出算法的性能，采用基于信号强度的基站选择方法与之进行对比，采用MTC 设备的平均接入时延和平均碰撞次数的对比情况说明本文算法的可行性。

（1）接入平均时延对比

本文的实验结果是基于2 个基站重复覆盖范围内MTC 设备的接入情况。图1 显示基于信号强度的基站选择平均接入时延与本文算法接入时延的对比情况。基于信号强度的基站选择策略是根据基站发射的信号强度来决定MTC 设备的选择，而本文的方法是基于无线接入拥塞控制机制进行MTC 设备的分组汇聚之后，由汇聚MTC 设备基于强化学习来实现基站的选择。

图1 接入平均时延对比图

从图1 可知，随着设备接入数量的不断增大，平均时延也在不断增大，相比基于信号强度的基站选择策略，本文的算法的平均时延增速较小，平均时延降低约40 ms左右。

（2）碰撞次数对比

碰撞次数反映基站的拥塞程度，侧面反映了基站成功接入的难易程度。图2 展现基于信号强度的基站选择平均接入时延与本文算法碰撞次数。

从图2 可知，随着设备接入数量的不断增大，碰撞次数也在不断增大，相比基于信号强度的基站选择策略，本文的算法的平均碰撞次数较小，平均碰撞次数约0.54 次，而基于信号强度的基站选择的平均碰撞次数约0.89 次，那就间接说明，本文策略下MTC 设备的总切换次数是信号强度的基站选择策略的一半，在面向巨连接场景下，切换次数减少一半将会在很大程度提升整个网络场景的整体性能与能耗。

图2 碰撞次数对比图

由于该算法采用小基站覆盖在较为封闭的场景下进对MTC 设备进行无线接入控制，因此，该算法的适用于低速运动状态下的MTC 设备无线接入控制，对高速运动场景的MTC 设备的无线接入控制有待验证。

5 结束语

为了应对未来M2M 场景下终端数量与密度急剧上升所带来无线接入控制的问题，本文就如何大幅度提升5G网络系统的接入能力问题进行探讨，提出了一种5G 场景下面向M2M 巨连接的无线接入控制策略，采用无线接入拥塞控制机制，通过有效控制向基站发起接入请求的终端数量来缓解基站接入的拥塞；在此基础上，运用强化学习的方式通过学习每次切换基站后所获得的回报函数来实现接入时延最低基站的选择。从仿真可知，基于强化学习的方法能够有效降低MTC 设备的接入时延和碰撞次数，提升网络整体性能。