基于深度学习的多波束卫星通信系统中动态波束调度技术研究

朱倪瑶 张波

【摘要】    针对多波束技术为卫星通信系统带来更大用户容量，提升覆盖能力的同时，也面临波束控制难度高、资源浪费的问题。本文简要阐述了多波束天线的工作原理与波束调度方法，并基于深度学习分析了动态波束调度技术，在未考虑延时优化的前提下，利用线性规划得到适用稳态实践平均值的波束调度技术，希望提升一般波束调度方案适应环境动态变化的能力。

【关键词】    多波束天线    卫星通信系统    动态波束调度    深度学习

引言：

传统的固定多波束卫星通信系统普遍存在波束资源浪费问题，所以有必要对全域动态波束调度技术进行研究，以此大幅度提升系统的通信容量，满足地面用户对通信质量的需求，进而达到改善无线通信能力的目的，实现多波束卫星通信系统整体资源利用效率提升的目标。

一、多波束卫星通信系统研究

1.1多波束天线的工作原理

多波束天线中的每个天线均使用一个独立天线结构，卫星通信系统配置多波束天线之后，可具有较高的系统吞吐量、更加集中的波束能量，并且能够实现区域的全覆盖。多波束天线包括透镜、阵列等多种类型，其中，多波束透镜天线具有较强的功率放大能力与重构天线方向图的能力，适用于军事卫星。多波束阵列天线是指在直接辐射的基础上，通过增加一个反辐射面来提升资源利用效率，使得相位不同的电磁波信号叠加成特定天线方向图之后，向卫星空间发射相应的辐射单元，进而实现快速的波束跳变。

1.2波束调度方法的介绍

多波束卫星通信系统中的波束调度，需要每一时刻都要调整每个波束的方向，然后运用时分复用的方法，实现卫星波束发射机减小的目标。调度方法包括：1.轮询调度法。所有波束会按照特定的顺序覆盖到全部小区，每个波束覆盖的小区的时间几乎相同，资源越均衡调度效果越佳。2.固定时隙调度法。一段时间内每个小区获得波束的时间均是固定的，波束控制具有较强的公平性，但是业务请求量会随人口流动、时间变化、气候变化而改变。3.最长队列调度法。主要是针对每个小区内带传输的业务对波束进行排序，所以卫星通信系统只需考虑系统容量，但是对信道容量的要求存在一定不合理性。4.基于遗传算法的调度法。这种方法会寻找到当前时隙的最优解，通过适度函数的运算对个体波束进行选择，然后对每一时刻的波束进行迭代，充分考虑了用户请求业务量与信道容量[1]。

二、基于深度学习的动态波束调度技术分析

为减少卫星通信系统发射机的数量、节约发射卫星成本，在多个小区内覆盖少量波束就能解决流量需求不均衡的问题。因此，基于深度学习对当前时刻的动态波束调度技术进行分析，可按照特定顺序将所有小区内待传输的业务量进行排序，然后利用遗传算法寻找优化调度方案的最优解，综合考虑的内容包括信道容量、业务请求量以及数据等待时长，以此提高卫星通信系统全局性能。

2.1系统模型

地面用户终端作为互联网接入服务的主要对象，由多波束卫星通信系统的前向链路将用户终端与网关站联系起来。进行调整后的影虎链路具有跳波束功能。假设卫星通信系统在全波小区覆盖了K个有源波束，且有源波束数量远小于小区个数，则可用集合来代表具有跳波束功能的卫星通讯场景相关模型。在动态波束调度技术对卫星通信缓冲区的数据包进行决策的过程中，可在某一时刻运用动态波束调度技术来表示若干个小区分配到的波束，综合考虑信道容量与用户业务请求，对有效载荷参数与信道条件进行相应的决策优化。同时，通过动态波束调度技术对小区内的流量进行优化，将最小化数据包延时作为优化目的，使用时延定义请求时间与数据包到达的时间之间的关系，超出时间限制的数据包将会被丢弃。此外，考虑到不同地理位置处用户以及用户群的可移动性，动态波束调度还应具有一定的追踪能力，势必利用有限的硬件资源，充分发挥出波束调度技术的优势，以此为用户提供更加优质的通信服务。

2.2动态波束调度方法

2.2.1整体架构

卫星通信系统中的动态波束调度方法，主要是将DRL-DBS算法作为构建多波束卫星智能体的基本思想，然后对特定传输环境中各个待请求发送、传输的数据包进行建模。建模的过程即为马尔可夫决策过程，当决策智能体输出当前波束状态之后，卫星通信系统会在第一时间收到决策动作，并对输出做出相应的奖励，然就将能表征的动作值函数输入到传输网络中，进而得到有关波束的映射动作值，经过经验池、目标网络以及优化器，输出的决策会被进一步优化，以此实现卫星通信系统多波束调度性能的优化，在最大程度上满足不同小区用户的通信质量要求。

2.2.2决策过程模型

对马尔可夫性决策过程模型进行一系列分析之后，会综合考虑特定场景下数据包的到达率以及信道条件的时变性，由于决策过程中的信道条件时变性较难获取，运用深度学习算法对决策过程中状态、动作以及奖励进行优化，从而达到全局性能提升的目的。其中，状态主要是从特定环境中抽象出来的，能够为波束调度提供最优解，是智能体决策的重要依据。在深度神经网络中输入状态之后，会对结构固定状态下的时延计划进行重构，进而保证时延的均衡性。动作用来表示智能体决策过程的推进程度，将最小化数据包平均时延与可知向量的非零元素结合之后，可得出波束调度出现的全部动作。奖励是马尔可夫决策过程模型中智能体能够获得的最大回报，若当前累计时延越大，则证明智能体获得的奖励越少。

2.2.3网络结构设计

基于深度学习算法的动态波束调度技术包括网络结构、网络训练与动作策略选择。其中，网络结构可对给定状态进行评估，利用累计奖励值强化传统卫星通信系统中动态波束调度方案。由于状态被重构，需要将卷积神经、深度神經网络相结合的结构作为网路的主体，以此将系统中的类像素值矩阵模拟出来。网络训练主要是用来表示动作函数值与非线性函数的逼近程度，针对传统学习难以收敛的问题，利用深度学习算法来提高网络的稳定性，将阶段系统容量清空、存储组数据容量小于经验池数据容量之后，进行相应的网络训练，从而实现多波束的批量归一化处理。动作策略的选择一般发生在完成智能体训练之后，考虑到智能体经历的状态空间不完整性，需要利用权衡方法对可能影响网络动作值的因素进行优化，以此保证智能体在探索新动作时能够随着迭代次数的增多而获得最佳的输出效果。进而减少多波束调度探索的概率[2]。

2.2.4算法的实现

算法实现流程如下：1.根据多波束卫星通信系统参数、初始化算法参数、系统吞吐量参数进行网络的初始化操作。2.依据优先级对每一波束的子载波进行排序，以此保证波束获得最佳的子载波。3.寻找多波束中信道条件、信噪比最优的子载波，并将其分配给若干个波束，然后按照信道容量的差值，为从小到大排序的波束优先分配最佳子载波。4.重新计算智能体实际信道容量，在保证信道质量最佳的情况下，优先为用户匹配最佳的子载波，进而提升资源的利用效率，保证通信质量。

2.3动态波束调度方案

以波束为主导的多波束卫星通信系统资源方案，主要是在保证用户通信质量的基础上，对资源重新分配，然后频繁计算系统运行复杂度，对加权系数、资源更新频率进行加速处理，避免在变化微小、用户数量过多的情况下，系统无法满足用户对卫星通信的个性化需求。在原则上，多波束调度方案能够在终端接入新用户之后，将波束覆盖在小区的全部范围之内，并且会对未被波束覆盖的小区进行重新资源分配，以此保证资源利用效率的提升。同时，在用户移出一定量的波束之后，卫星通信系统会随着用户位置以及数量的变化，对未满足波束覆盖条件的小区进行资源的再分配。在重新分配资源的过程中，多波束调度技术还会根据用户反馈对源数据组合进行重新排列，并将条件相似的波束整合在一起，产生的新资源分配方案对提升系统容量具有十分重要的现实意义。

三、仿真结果分析

3.1系统吞吐量

对每个小区内多波束覆盖情况进行分析，以此得到关于多波束卫星通信系统吞吐性能的仿真结果。基于深度学习算法的多波束调度技术能够有效增强系统的吞吐量，并且当小区负载增加量超过一定值之后，基于深度学习算法的多波束调度技术收敛情况较好，经过一定周期的训练之后，系统吞吐量能够达到最大值。由此证明，利用深度学习算法对传统固定多波束卫星通信系统进行优化，可有效提升資源的利用效率，最大程度解决动态资源管理问题。

3.2用户公平性

当多波束卫星通信系统吞吐量增多之后，每个小区内的用户公平性会发生相应的变化。为最大用户公平性，动态多波束调度技术根据系统吞吐量最大的理论值，运用稳态时间平均值可根据用户不同的需求提供进行资源配置，在保证公平性合理情况的基础上，最大户多波束卫星通信系统的吞吐量[3]。

四、动态波束调度技术未来展望

基于深度学习的动态多波束调度技术能够有效减少传输数据包的平均时延，对保证提升系统吞吐量、用户公平性具有重要意义。针对多波束调度技术中的性能指标，还可对变换的卫星场景构建起相应的学习模型，然后利用多个智能体来强化深度学习算法，同时针对固定业务、移动业务、广播业务等层面，对链路中的数据包传输业务进行调整，能够进一步发挥出深度神经网络学习的优势与作用。随着人工智能、大数据、物联网、互联网等技术的发展与进步，还可实现多波束卫星通信系统的动态多波束调度技术在线管理的升级，为解决动态资源问题具有重要意义。

五、结束语

综上所述，由于多波束卫星通信系统快速移动会增加星间切换的复杂性，有必要从资源利用率角度出发，利用动态波束调动技术对传统固定多波束卫星通信系统进行调整，通过对仿真结果的分析与讨论，明确动态波束调度技术能够为用户提供有针对性的服务，在时延性能、归一化系统吞吐量上具有显著优势，对波束技术进一步开发与利用具有十分重要的现实意义。

参  考  文  献

[1]刘婉莹，夏师懿，姜泉江，等.低轨卫星网络基于跳波束的资源调度算法[J].中国科学院大学学报，2020，37（06）：805-813.

[2]徐顺清，石晶林，张宗帅，等.5G通信中基于混合波束成型的多用户MIMO调度算法研究[J].高技术通讯，2020，30（06）：545-552.

[3]王艺鹏.多波束卫星通信系统中的动态波束调度技术研究[D].北京邮电大学，2019.

[4]刘依，胡哲，景小荣.多输入多输出—非正交多址接入系统融合用户调度的下行波束赋形设计[J].计算机应用，2018，38（11）：3282-3286.