基于毫米波雷达感知的CNN-ConvLSTM多时刻阻塞预测方法

罗文宇，钟云开，邵 霞，段臣续

（华北水利水电大学电子工程学院，河南郑州 450046）

0 引言

为了满足未来无线通信日益增长的高数据速率、低延迟和高可靠性的需求，更高的频段在各种移动通信场景中被广泛使用，其中毫米波［1］和亚太赫兹是满足用户高数据速率需求的突出方向。然而，高频段的传输特性导致毫米波/亚太赫兹通信系统十分依赖视距（Line of Sight,LOS）链路以保证足够的信号接收功率，同时其高穿透损耗使通信系统对阻塞非常敏感，一旦链路被移动的物体阻塞，可能会导致系统性能突然下降甚至链路中断，极大影响网络的可靠性和延迟。这激发了国内外学者对克服高频无线通信系统阻塞问题方法的广泛讨论和研究。对于LOS 链路而言，是否发生阻塞取决于通信终端和可能造成阻塞的移动物体的位置、高度、大小等。因此，感知无线环境中的有用信息并在链路阻塞发生之前主动实现预测，能够使通信系统做出积极主动的决策。在文献［2］中，毫米波基站获取用户的位置信息进行波束选择，在阻塞发生之前，利用波束序列的循环神经网络对未来的阻塞情况实现静态预测，主动切换到另一个基站或者波束。文献［3］与低于6 GHz的电磁波通道结合，实现毫米波的动态阻塞预测。在有缓慢移动的接收器和障碍物的环境中，文献［4］使用相邻路径来预测未来毫米波通信链路的阻塞情况。

近年来，关于计算机视觉辅助无线通信预测阻塞的研究备受关注，文献［5］和文献［6］采用了摄像机附加传感器信息的深度卷积模型进行LOS链路阻塞预测。文献［7］提出一种利用双峰机器学习实现阻塞预测和用户切换的视觉辅助无线通信解决方法。虽然视觉感知方法的相机部署方便，但在感知的过程中会涉及用户的隐私问题，同时光线不足或者过强以及恶劣天气的情况会严重影响相机感知数据的可信度。文献［8］利用模拟数据和深度学习对室内障碍物限速情况下的毫米波阻塞进行了预测，研究场景和目标均具有一定的局限性。针对固定基站和用户场景，文献［9］提出了一种多元学习框架和循环神经网络，利用瑞利衰落信道模型预测毫米波链路阻塞。文献［10］提出激光雷达作为另一种用途十分广泛的感知方式，主要适用距离阻塞物体较近的移动场景，同时成本过高会使激光雷达难以大规模部署实际场景。因此，本文采用毫米波雷达感知无线环境信息的方式，在保护用户隐私的基础上具有较低成本、方便部署、高精度低延迟感知等优势。

现阶段对毫米波雷达感知移动通信场景中的阻塞预测研究主要基于神经网络对未来某单一时刻的阻塞情况进行预测。文献［11］基于长短期记忆网络（Long Short-Term Memory,LSTM）实现雷达辅助毫米波无线通信系统的单一时刻阻塞预测，尽管这种预测方法准确率较高，但无法反映LOS链路在未来一段时间内的总体情况，难以适应复杂多变的无线环境。如果通过模型的堆叠实现多时刻阻塞预测，会大量增加训练时间，使得文献［12］实际移动通信场景中可能针对每一时刻的阻塞情况发生频繁的波束切换，增加波束开销。在文献［13］中，通过感知阻塞前发生的数据速率波动表示潜在的堵塞。然而，这种方法可实现的平均预测时间是相当有限的，最高可预测90 ms 内的阻塞情况，没有足够的时间实现波束切换以对抗阻塞带来的链路中断。因此本文提出能够利用连续帧雷达热图之间时空关系预测多时刻阻塞情况的解决方法。为了评估该方法的性能，采用文献［14］中的DeepSense 数据集，使用毫米波和雷达共存的数据对网络进行大量训练。实验结果表明，我们提出的解决方法不仅能对下一时刻的阻塞情况实现精准预测，也能实现预测未来多个时刻内的阻塞情况。这些结果为复杂动态环境下高频段通信的高可靠、低时延QoS保障方面贡献了一个很有前途的解决方法。

1 系统模型

本文提出一种毫米波雷达感知无线环境信息预测多时刻阻塞的系统模型。在实际通信中，该模型的通信效果易受高速移动物体（如:客车、轿车等）阻塞造成链路中断进而受到影响，具有研究的典型性。如图1所示，将放置有毫米波雷达的基站和用户分别位于道路的两侧，道路中的移动车辆会随时对LOS 链路发生阻塞，毫米波雷达发射的啁啾信号与移动车辆的反射信号发生混频形成中频信号，中频信号经过预处理后生成连续多帧的雷达热图，用于输入CNN-ConvLSTM 混合网络模型实现多时刻阻塞预测。

图1 毫米波雷达感知多时刻阻塞预测方法系统模型

1.1 毫米波雷达感知模型

毫米波雷达发射的是一种频率随时间线性增加的正弦信号，又称啁啾信号，该信号的发射信号如式（1）所示:

式中fc为初始频率，ATx为发射增益，ψc为初始相位，B为啁啾信号带宽，T为一个啁啾信号的持续时间。STxchirp(t)由毫米波雷达的发射天线射出，在无线环境中传播，遇到移动车辆后发生反射，反射信号如式（2）所示:

式中ARx为反射信号的增益，ψr为反射信号的初始相位，fr为反射信号的初始频率。发射信号和反射信号进行混合得到中频信号，中频信号如式（3）所示:

1.2 通信与阻塞模型

在该系统模型中，我们采用毫米波收发器和M根天线的基站，并采用窄带信道模型实现基站与单天线用户之间的通信。

式中hLOS和hNLOS为由视距和非视距链路引起的信道系数。在下行链路中，毫米波基站利用波束形成向量f∈CM传输给用户。在此模型下，用户接收到的信号可以表示为

因此，有效信道表示为

阻塞模型采用合并信道衰落模型表示t时刻的信道增益。我们定义t时刻的阻塞b(t)∈｛0,1｝，当b(t)=1 时表示LOS 链路被阻塞。反之b(t)=0时，链路没有发生阻塞。

2 毫米波雷达感知多时刻阻塞预测方法

2.1 基于卷积神经网络的特征提取方法

卷积神经网络作为深度学习的代表算法之一，是一类具有深度结构的前馈神经网络。其内部的卷积层和池化层是实现卷积神经网络提取图像特征的核心架构。输入雷达热图进入网络中并与滤波器进行卷积，提取图像的局部特征，神经元的输入与局部感受野连接，对提取的特征进行二次提取求局部平均形成特征映射层，多个特征映射层构成卷积神经网络。在卷积层和池化层之间加入批次标准化（Batch Normalization,BN）和层标准化（Layer Normalization,LN）对雷达热图特征本身和序列进行归一化处理，避免训练过程中出现梯度爆炸或梯度消失的问题。将数据保持在均值为零、方差为1 的状态下，加快数据训练的收敛速度，防止过拟合，如图2所示。

图2 卷积神经网络内部工作原理

该网络模型采用梯度下降法使损失函数Sigmoid 最小化，对网络中的权重参数逐层反向更新，层中的神经元实现权重同步共享，通过频繁的迭代训练提高网络模型的精度，有效地提取雷达热图的重要特征。

CNN-A 模型输入每张雷达热图的尺寸为（256,256,3），卷积层中的卷积核大小为（3,3），激活函数为Relu，网络结构如表1所示。

表1 CNN-A网络结构

为了能够充分提取图像中的重要特征，定义一个网络深度更深，卷积核大小为（7,7），并对输入通道进行分组的CNN-B模型，如表2所示。

表2 CNN-B网络结构

在时间分布层将两个卷积神经网络模型结合并实现跳跃连接。输出的雷达热图特征输入到神经元个数128，卷积核大小为（3,3），激活函数为Relu 的ConvLSTM 模型中。整合后的模型采用Binary-Crossentropy 作为损失函数，Adam 函数优化，学习率设置为0.000 5。

在训练过程中为了提高深度神经网络性能，防止网络模型深度过大引发的收敛速度慢、梯度消失或梯度爆炸等问题，模型采用了跳跃连接的优化方法，该方法能够通过神经网络层传播线性分量，缓解非线性的优化困难问题，实现输入和输出之间的合理调节机制，完成模型的优化。

2.2 基于ConvLSTM 的时空信息处理方法

ConvLSTM 是LSTM 的变形结构，该网络结构不仅能处理和LSTM 相同的时序建模问题，还具有CNN 刻画局部特征的能力，时空特性兼备。将CNN 与其相连，能够深刻获取毫米波雷达热图的特征信息，捕获特征信息之间的时空关系，处理连续帧雷达热图的输入问题。

在网络结构内部计算中，LSTM 中门与门之间的连接计算原理是矩阵对应元素相乘。因其网络内部的计算流程与前馈式神经网络类似，所以LSTM 能够有效地处理时间序列问题，在预测未来单一时刻的阻塞情况中有较好的效果。但对于具有丰富性和很强局部特征的空间数据，LSTM 无法刻画空间数据的局部特征。因此本文采用Conv-LSTM 来解决此问题，如图3所示，该网络能够从多维度对输入特征进行处理，实现连续帧毫米波雷达热图的多时刻阻塞预测。

图3 ConvLSTM的内部结构（c是通道数（R,G,B）,h是图像高度，w是图像宽度）

LSTM 无法有效处理时空数据的主要原因是输入到状态和状态到状态的转换中使用了完全连接，其中没有编码空间信息，而ConvLSTM 中的输入与各个门之间的连接由前馈式替换成了卷积，同时状态与状态之间也换成了卷积运算，其中Wxi,Whi,Wci是矩阵权重向量，bi是偏移向量，σ为Sigmoid函数，X1…Xt为输入，C1…Ct为输出，H1…Ht为隐藏状态，it，ft，ot是最后两个维度为空间维度（行和列）的三维张量，“*”代表卷积运算。具体计算公式如下:

2.3 基于CNN-ConvLSTM 多时刻阻塞预测方法

本文提出一种基于毫米波雷达感知的CNNConvLSTM 相结合的多时刻阻塞预测方法。该方法首先利用毫米波雷达对移动通信场景中的目标进行测量，构建包含距离、角度、速度信息的雷达立方体用于检测可能发生阻塞的移动目标。为了从雷达测量数据R（t）中提取距离、角度、速度信息，分别从时间样本、啁啾样本和天线样本方向上应用距离、多普勒、角度傅里叶变换获得经过预处理后的雷达立方体。在雷达立方体中每个啁啾样本的二维矩阵包含距离-角度映射，通过对不同的啁啾样本求和减少距离-角度映射数量，得到的不同时间样本的距离-角度图可用于神经网络处理。

获得连续帧的雷达热图后，经过CNN 进行特征提取，在不改变特征维度的前提下按时间顺序将提取到的重要特征存储在时间分布层中，如图4所示。该结构可以实现网络模型从二维到三维的过渡。CNN 提取的雷达热图特征以连续八帧为一组封装在时间分布层中，并将这些封装好的特征作为ConvLSTM 的输入完成多时刻阻塞情况预测，建立雷达热图特征之间的时空关系，解决CNN 每次提取多张热图可能存在的特征丢失的问题，实现两种网络结构的完美连接。

图4 时间分布层工作原理

将全部雷达热图特征存储在时间分布层后，以连续八帧雷达热图特征为一组输入到具有处理时空特征的ConvLSTM 结构中实现多时刻阻塞预测，同时运用跳跃连接的方法对网络模型进行优化。解决毫米波雷达辅助无线通信中对未来某段时间区域内的高精度阻塞预测问题。方法流程如图5所示。

图5 多时刻阻塞预测方法流程图

3 仿真与实验结果

3.1 数据集

本文采用DeepSense 6G 网站中场景30的数据集［14］，该数据集的应用场景与本文提出的系统模型高度吻合。毫米波基站和雷达被放置在人行道上并指向发射机，发射机放置在道路的另一边，当公共汽车、出租车、自行车、行人等移动目标通过LOS 路径时，传输被阻断。为了判断阻塞状态，首先确定最大接收功率电平的阈值，功率水平低于该阈值的样本被认定为阻塞。

样本中x1～x8下的每一个索引对应一个毫米波雷达原始测量数据，也对应每一个测量数据经过预处理后得到的距离-角度图，blockage1-blockage10 下的索引表示未来该时刻的阻塞情况，0 表示没有阻塞，1表示发生阻塞，如表3所示。

表3 数据集部分数据

该数据集包含14 624 个原始数据，将连续八帧的雷达原始数据和未来10个时刻的阻塞情况定义为一组样本，其中包含6 965 组训练样本、1 808组验证样本和907 组测试样本。为了能在充分合理的评估网络模型的前提下，尽量减少训练的时间，该方法从中选取1 500 组样本构建数据集，按照训练集和测试集70%和30%的比例划分，呈现1 050 组训练样本和450 组测试样本。在训练的过程中，通过指定未来不同长度的时间段实现多时刻预测，丰富方法解决阻塞预测问题的能力。

3.2 结果分析

为分析CNN-ConvLSTM 模型解决毫米波雷达感知多时刻阻塞预测问题的可行性，本节将对模型的训练结果进行评估。在不改变数据集的情况下，分析该模型预测未来10 个时刻中不同长度时刻内的阻塞情况。在GPU 选择上，在实验中采用两张显存为48G、内存为180G 的A40 同步训练，每次训练迭代50 次，并将准确率、精确率、召回率作为评价指标全面评估模型。同时，对预测未来某单一时刻阻塞情况的准确率和F1-score 与文献［11］中提出的LSTM 模型进行对比分析，如图6所示。

图6 不同时间段内阻塞情况预测结果

图6 反映出未来10 个时刻内不同时间段的阻塞预测情况，其中每一个时刻代表雷达每帧的持续时间（T≈110 ms）实验结果可以得到预测准确率始终保持在90%左右，召回率和精确率随阻塞预测时刻的增加略有下降。下降原因是预测任务量增加，数据集标签出现不平衡，导致数据集中出现大量的未阻塞样本影响召回率和精确率的评估结果。但是对于准确率，样本标签的不平衡对评估结果影响较小，仍然可以达到精准预测阻塞的要求。

精准率是预测为阻塞的数据中预测正确的数据个数，召回率是真实为阻塞的数据中预测正确的数据个数，混淆矩阵如表4所示。两种评价指标是对准确率的补充，更充分体现预测标签的准确性。

为了有足够的时间实现波束切换以对抗阻塞带来的链路中断，图7 反映预测未来10 个时刻内，训练集和测试集的阻塞预测准确率随训练次数的变化曲线。由图7 可知阻塞预测的准确率随训练迭代次数的增加而增加，稳定后训练集准确率接近100%，测试集准确率接近90%。从训练结果可以体现本文所提出的模型能够有效处理多时刻阻塞预测问题。

图7 前10个时刻内阻塞预测准确率曲线

在实现多时刻阻塞预测的基础上，本文希望CNN-ConvLSTM 在解决单一时刻阻塞预测问题中也同样具有说服力的效果，因此本文对未来10 个时刻中每一个单独时刻进行阻塞预测，并与文献［11］中利用LSTM 预测阻塞情况的准确率和F1-score进行对比分析，如表5、表6所示。

表5 两种模型单一时刻阻塞预测准确率

表6 两种模型的F1-score结果对比

其中F1-score 是召回率和精确率的调和平均数，计算公式如式（14）所示:

由结果可知CNN-ConvLSTM 在预测单独时刻的阻塞情况中仍然有超过85%的准确率和F1-score。结果分析如下:1）在准确率方面，LSTM 在预测单独时刻的准确率较CNN-ConvLSTM 有一定的优势，但在训练样本数量上，CNN-ConvLSTM 仅用原数据集中的15%进行训练，大大降低了计算量，提高训练速度；2）在F1-score 的评价指标方面，CNN-ConvLSTM 较LSTM 在预测各个时刻中均有提升，原数据集中不同时刻中阻塞情况的不平衡是影响F1-score的因素之一。

4 结束语

本文对基于毫米波雷达感知的多时刻阻塞预测问题进行研究。针对毫米波移动通信场景，为了深度提取毫米波雷达感知热图的特征和时空关系，提出了一种CNN-ConvLSTM 结合的网络模型。通过对比分析不同时间段内的阻塞预测的准确率、精确率和召回率以及单一时刻准确率和F1-score 表明，本文提出的网络模型在解决单一时刻和多个时刻的阻塞预测问题中，均能达到90%的预测准确率和80%以上的F1-score。实验结果证明本文所提方案具备多时刻精确阻塞预测能力，可应用于复杂动态环境下高频段通信的高可靠、低时延QoS 保障等方向。下一步工作着重于将所提方案与迁移学习结合，以解决不同场景中的多时刻阻塞预测问题。