基于条件变分自编码器的射线样本生成算法*

朱 军，杨 军，李 凯，于文欣

（1.安徽大学 电子信息工程学院，安徽 合肥 230601；2.上海科技大学，上海 201210；3.华为上海研究所，上海 201206）

0 引言

随着5G 的快速发展，大规模多输入多输出（Massive Multiple-Input Multiple-Output，Massive MIMO）作为其关键技术得到广泛应用[1,2]，但在信道特征获取的过程中，由于MIMO 网络复杂度高，导致生成信道矩阵的计算量和时间开销非常大。因此，为了解决这类问题，神经网络成为研究焦点[3,4]。

基于卡塔尔首都多哈市某地区的三维地图生成的真实射线追踪数据及5G 无线仿真平台（白盒系统）[5]，计算得到用户栅格级大尺度信道幅值，在利用神经网络对其进行学习预测时，发现较多预测用户的预测误差较大。通过观察射线数据样本，发现正是因为这些预测用户分布在原始射线数据样本的缺失部分，才导致了预测误差较大。

针对上述问题，鉴于条件变分自编码器[6,7]（Conditional Variational Auto-Encoder，CVAE） 的样本生成能力，提出基于CVAE 的射线样本生成算法。在保证神经网络大幅度降低得到信道幅值的时间开销的同时，通过CVAE 生成并增添缺失的射线数据样本，可很好地减少预测误差较大的用户数量并降低预测误差。

1 神经网络模型

1.1 模型结构

Massive MIMO 系统的信道模型为3GPPTR 38.901 定义的3D-UMa 模型[8]。该模型包含了基站和用户两端离开角和到达角的3 维特性。射线追踪模型输出的是基站和用户之间传播射线的起点、终点、反射点的3 维坐标，以及射线的离开角、到达角、大尺度路损和时延等参数，这些参数可以描述Massive MIMO 信道的大尺度传播特征。

使用的神经网络模型为文献[2]中的逆向传播（Back Propagation，BP）神经网络。神经网络的输入数据采用的是卡塔尔多哈市某地区的3 维地图生成的射线追踪数据中射线的离开角、到达角的传播时延，输入的量化区间大小为18°，4 个角度分量中水平方向离开角（Azimuth angle Of Departure，AOD）和水平方向到达角（Azimuth angle Of Arrival，AOA）的角度范围为[-180°,180°]，分别可形成20 个量化区间，垂直方向离开角（Zenith angle Of Departure，ZOD）和垂直方向到达角（Zenith angle Of Arrival，ZOA）的角度范围为[0°,180°]，分别可形成10 个量化区间，则每个用户输入向量共有60 个量化区间；输出数据采用的是基于5G 仿真平台生成的栅格级路损数据。通过相对误差来度量神经网络输出的预测值与实际值之间的差距，其表达式如下：

式中：e为相对误差；y为用户信道幅值的真实值；y´为预测值。

1.2 射线样本空间分析

训练BP 神经网络的射线数据训练样本数为5 900（该样本是从所有，即59 000 个样本中，挑选出并能代表整体样本特征的样本集），预测样本数为1 000。将预测误差>10%的用户称为高误差用户，预测误差≤10%的用户称为普通用户。将输入预测样本到训练好的BP 神经网络中得出的信道幅值与系统级仿真得出的信道幅值相比，会发现存在较多的偏差。

通过观察BP 神经网络的预测结果可以发现，预测误差较大的高误差用户普遍与训练集中训练样本的相似度较低。故根据预测用户与训练集之间的余弦距离来对高误差用户和普通用户进行区分。以预测用户与训练集中余弦距离最小的训练样本之间的余弦距离，作为预测用户与训练集之间的余弦距离，计算公式如下：

式中：T为预测用户；Xi为训练集I中第i个训练样本；tj和xij分别为预测用户和第i个训练样本向量在各量化区间的射线时延平均值，量化区间数为60。

根据皮尔逊相关系数公式，可以计算得到预测用户与训练集之间的归一化余弦距离与预测误差之间的相关系数为0.355，表明具有一定程度的相关性。图1 给出了高误差用户和普通用户与训练集之间的归一化余弦距离的累积分布函数（Cumulative Distribution Function，CDF）。如图1 所示，高误差用户与训练集的余弦距离普遍较大，而普通用户与训练集的余弦距离普遍较小。根据实验结果，选取归一化余弦距离阈值0.075 对预测用户与训练集之间的高误差用户和普通用户进行区分，即与训练集的归一化余弦距离大于0.075 的预测用户为高误差用户，小于或等于0.075 的预测用户为普通用户。

图1 预测用户与训练集的余弦距离CDF

1.2节使用的对BP 神经网络进行训练的训练集中训练样本的信道幅值分布，以及该训练集对应预测集中高误差用户的信道幅值真实值分布如表1所示。

表1 原训练集训练样本和对应的高误差用户的信道幅值分布

从表1 可知，基于真实射线追踪数据所得的训练样本确实存在训练样本缺失的问题。信道幅值绝对值位于80～140 dB 区间的训练样本数较少，且由5 900 训练集训练得到的BP 神经网络预测的高误差用户基本都分布在这些区间段内。

为解决射线样本空间缺失的问题，在CVAE 生成所需信道幅值区间的训练样本的基础上扩展训练集，并用扩展后的训练集来训练BP 神经网络，以降低高误差用户数及其预测误差，实现快速准确的信道幅值预测。

2 CVAE 模型

CVAE[9]是一种生成模型，通过学习样本的分布规律，使得训练出来的模型不仅能重构样本，还具有仿照样本分布的功能，生成更多指定区间的样本。CVAE 是基于变分自编码器（Variational Auto-Encoder，VAE）[10]在编码器及解码器上引入样本的标签信息，即从无监督模型变成有监督模型，因此具有更好的学习能力。

2.1 CVAE 的具体实现

为了生成指定信道幅值区间的新训练样本，根据训练集中训练样本的特点，以10 dB 为一个区间范围对幅值进行划分，原训练集里的训练样本的信道幅值（绝对值）的范围大小为80～180 dB，故总共可划分为10 个区间，每个区间对应的类别标签范围即为0～9，记为l。在原始射线数据中加入了每个数据的类别标签，以此作为训练集对CVAE 进行训练，本文使用的CVAE 的编码器和解码器皆为包括一个输入层、两个隐藏层和一个输出层的4 层神经网络。

编码器各层节点数：输入层为70，两个隐藏层分别为310 和300，输出层为4。其中输入层节点数70 是根据射线追踪数据所得出的训练样本4个角度输入向量的60 个数值，再添加类别标签的10 个数值，总共70 个数值，以此作为CVAE 编码器的输入；输出层节点数4 是编码器输出的专属于每个样本xk的正态参数，包括均值μk和标准差σk，各2 个数值。参照文献[10]，本文中采用的隐变量z的维度为2 维，因此CVAE 编码器学习得出的分布参数均为2 维。前一个隐藏层采用的激活函数为指数线性单元（Exponential Linear Unit，ELU）函数，后一个隐藏层采用的激活函数为双曲正切tanh 函数。编码器encoder 的输入向量表示为：

式中：Xen表示为编码器第n个训练样本的输入向量，其展开表示为Xen=[xnl]。其中xn的表达式为：

式中：为第n个用户输入向量的第m个量化区间的时延。

在训练CVAE 前要对基于射线追踪数据形成的量化区间进行处理，即在xn的各量化区间中，对无射线分布的量化区间填为0；l表示类别标签向量，长度为10，在l中除对应类别位置填为1，其余位置均填为0。编码器的输出向量表示为：

式中：Yen为编码器第n个训练样本的输出向量，其表达式为Yen=[μkσk]，其中μk表示均值，σk表示标准差。

解码器各层节点数：输入层为12、两个隐藏层分别为300 和300、输出层为60。其中，输入层节点数12 是2 维隐变量z的两个值，再添加类别标签的10 个数值；输出层节点数60 是解码器生成的新训练样本向量，具有60 个数值。前一个隐藏层采用的激活函数为tanh 函数，后一个隐藏层采用的激活函数为ELU 函数[10]。解码器的输出层通过使用sigmoid 激活函数将输出的数值范围控制在（0,1）之间。在训练CVAE 的过程中，解码器decoder 的输入向量表示为：

式中：Xdn表示为解码器第n个训练样本的输入向量，则其展开表示为Xdn=[zl]，其中的z利用到了重参数技巧[10]，根据编码器输出的μk和σk采样得到的隐变量z=μk+σkε，z的维数为2，ε服从位置参数是0、尺度参数是1 的正态分布N(0,1)。l则与编码器中的l相同，是类别标签向量。在训练CVAE 的过程中，解码器的输出向量表示为：

式中：Ydn为解码器第n个训练样本的输出向量，其展开表示为Ydn=yn，yn的表达式如式（4），为解码器还原得到的第n个训练样本。

由文献[9]可知，在隐变量z服从标准正态分布的条件下，CVAE 中的变分下界，即训练CVAE时的损失函数L(xk,y)为：

式中：DKL(q(z|xk,y)||p(z,y))为后验分布q(z|xk,y)和先验分布p(z,y)间的Kullback-Leibler 散度；p(xk|zn,y)为样本xk关于隐变量z和类别信息y的条件概率；J为隐变量z的维度；μj,σj分别为隐变量z第j维的均值及标准差。

根据训练样本的数据类型，对式（8）变分下界L(xk,y)第二项中的logp(xk|zn,y)采用伯努利分布[10]，因而logp(xk|zn,y)为：

式中：D为训练样本向量xk的长度，规定为60；xi为样本xk各量化区间的数值；yi为解码器还原出的样本的各量化区间的数值。当CVAE 训练过程中每一步训练的样本足够多时，可令式（8）中隐变量z的采样次数N为1[10]，因而式（8）中的Eq(z|xk,y)[logp(xk|z,y)]=logp(xk|z,y)。CVAE 的目标是令变分下界L(xk,y)最大，在对CVAE 进行训练时，令-L(xk,y)最小，因而CVAE 训练过程的损失函数L如下：

式中：J为2；D为60；μj和σj分别为编码器学习到的隐变量z的期望和方差的各维分量。

2.2 基于CVAE 的样本生成算法

解码器生成的训练样本不包含输出，即样本的信道幅值信息，可以通过计算解码器生成的新样本与训练集中全部训练样本的夹角余弦大小，将与新样本夹角余弦最大的训练样本的信道幅值作为新样本的信道幅值。

利用CVAE 来实现指定信道幅值区间的训练样本的生成，在对2.1 节实现的CVAE 进行训练之后，从标准正态分布中随机采样得到M个z，M为要生成的指定类别的新样本的数量，并和指定的类别标签lc一起输入到CVAE 的解码器中，即可实现指定信道幅值区间的训练样本的生成。基于CVAE 的训练样本生成算法的伪代码如下：

3 仿真结果与分析

通过将补充了新样本的新训练集和未补充新样本的原训练集训练得到的BP 神经网络进行对比，评估降低高误差用户数及高误差用户预测误差的有效性，以及完善训练集后的BP 神经网络在预测信道幅值时的性能。

用于训练CVAE 的训练样本数为59 000 个；对BP 神经网络进行训练的原训练集样本数为5 900个；CVAE 生成的训练样本数为2 000 个，即补充了原BP 神经网络训练样本得到新训练集，新训练集的训练样本数为7 900 个；预测集样本数为1 000 个。

结合表1，本文利用CVAE 生成类别标签为0～5，即信道幅值绝对值位于80～140 dB 区间的新样本，实现对原训练集中训练样本缺失区间的样本补充，以有效降低高误差用户的预测误差。基于CVAE 生成2 000 个信道幅值绝对值位于80～140 dB区间的新样本，并补充到原训练集中。图2 给出了新训练集（原训练集补充了CVAE 生成的2 000 个新样本后的训练集）和原训练集训练得到的BP 神经网络在预测集上的预测误差CDF。误差在小于0.06 时，新旧训练集模型预测相差不明显；在误差大于0.06 时，新训练集模型预测的误差明显比旧训练集的要低。

图2 原训练集与新训练集训练模型的预测相对误差CDF

双方在预测集上的性能对比如表3 所示，与原BP 神经网络相比，补充了训练样本的新BP 神经网络预测的高误差用户数有了明显的降低，预测误差大于10%且小于20%的高误差用户数减少约24.468%，预测误差大于20%的高误差用户数减少约90%。新BP 神经网络在预测集上的平均相对误差，相比原BP 神经网络也有了明显的降低，预测集的平均相对误差从4.5%降低到4.22%，相比原来的平均相对误差减少了约6.2%。

表3 新/原训练集对应的BP 神经网络在预测集上的性能对比

新训练集相较原训练集对应预测集中高误差用户数有了较好的改善，信道幅值（绝对值）80～90 dB 区间的高误差用户数由12 个减至3 个，90～100 dB 区间由38 个减至15 个，100～110dB 区间 由47个减至27 个，110～120 dB区间由62个减至39 个，120～130 dB 区间由14 个减至6 个，120～130 dB 区间由8 个减至7 个。由此可见，利用CVAE 对原训练集中80～140 dB 区间进行训练样本补充，可有效降低BP 神经网络预测位于80～140 dB区间的高误差用户数。

上述结果分析表明，通过对原训练集中训练样本缺失的区间进行训练样本补充，确实可有效降低对应区间的高误差用户数及预测平均相对误差。

图3 给出了新训练集训练得到的BP 神经网络预测的用户信道幅值和白盒系统计算得到的用户信道幅值的对比；新训练集训练得到的BP 神经网络预测的用户信道幅值，与白盒系统通过系统级仿真计算得到的用户信道幅值的一致性很高，预测集平均相对误差为4.22%。新BP 神经网络预测1 000 个用户的信道幅值的时间开销为0.065 s，远低于系统级仿真即白盒系统计算得到1 000 个用户的信道幅值的时间开销（24 074.56 s）。

图3 新BP 神经网络和白盒系统得到的信道幅值对比

4 结语

本文提出了一种基于CVAE 的射线样本生成算法，该算法通过增添所需区间的样本来降低BP 神经网络预测的高误差用户数和预测平均相对误差。完善训练集后的BP 神经网络在得到与白盒系统精度接近的信道幅值的同时，可降低得到信道幅值的时间开销。未来可考虑样本的最适宜的分布，对CVAE 进行改进，使得生成的样本更符合原样本的分布特点。