基于特征融合卷积神经网络的FMCW雷达人体动作识别*

(沈阳航空航天大学 电子信息工程学院，沈阳 110136)

0 引 言

人体动作识别主要应用于公共场所、医院、安全等方面。雷达作为一种识别人体动作的替代传感方式，已被证明在人体动作识别方面是成功的[1]。由于该方法不受光线、视距等环境因素的影响，已经成为近几年的研究热点。

基于雷达的人体动作识别方法主要有基于统计学理论的传统的机器学习方法和深度学习方法。传统的基于统计理论的机器学习方法从雷达回波数据中提取浅层特征，根据采用的特征提取方案，来选择突出的浅层特征进人体动作识别，常用的是经典的支持向量机(Support Vector Machine,SVM)识别方法。文献[2]利用距离信息对8种人体动作进行了有效分类，采用主成分分析法提取雷达回波信号的主要分量。该方法对于识别人体的空间动作变化有较好的识别能力，但对过渡姿态的动作识别易产生混淆。文献[3]在距离信息的基础上对信号进行小波变换，为体现细节信息将每个图像分解为多个子图像，采用奇异值分解法进行有效特征提取，把最大的奇异值作为特征对SVM模型进行训练，增强了不同动作的分辨力，但也存在个别动作识别混淆的问题。从传统的机器学习方法可以看出，雷达回波信号的分析、特征的提取和选择是动作识别的准确性和识别效率的关键，而特征处理方法的选择在实际应用中可能仅限于特定的问题，不具备普适性。基于深度学习的方法可以构建含有多个隐藏层的机器学习模型并通过海量的训练数据，自动学习隐藏的有用特征并生成用于识别的深度特征，自动实现分类识别，并具有很高的准确率。卷积神经网络(Convolutional Neural Network,CNN)是深度学习中最常用的模型，具有强大的特征提取能力，无需手工特征提取，能够识别出雷达回波信号的深度特征，在雷达人体动作识别领域引起了广泛关注。文献[4]针对雷达高距离分辨率距离像，对比了CNN、SVM、BP网络等方法的识别结果，表明 CNN的总体识别率要高于其他方法，也说明了CNN能够学习到更易于分辨的特征。文献[5-7]通过自建数据集，根据雷达回波构建了微多普勒特征，通过改进卷积神经网络结构进行人体动作识别，对于识别微小动作有较高的准确率。基于雷达的人体姿态识别方法虽然取得了一定的研究成果，但是基于雷达的人体动作识别采用的数据集大部分是基于自测数据来实现的，公开的数据集少且数据集很小，容易引起过拟合和误差传递的问题，所以如何在小型雷达数据集中最大可能地提取出有用信息并训练出具有较好识别能力的模型，是当前研究基于深度学习方法的雷达人体姿态识别方法的难点。

综上分析，本文采用深度学习的方法，提出了一种基于时间-距离特征和微多普勒特征相结合的雷达人体动作识别方法：从调频连续波(Frequency Modulated Continuous Wave，FMCW)雷达回波信号中提取出时间-距离特征和微多普勒特征并生成二维特征图，采用改进的特征融合卷积神经网络进行深度特征提取并对动作进行识别。采用格拉斯哥大学公开的小型雷达数据集进行模型验证，结果表明从雷达回波信号中提取出不同的特征进行组合对人体动作的识别能力要优于单个特征的识别能力。

1 雷达回波信号预处理

1.1 FMCW雷达回波信号模型

FMCW雷达在工作时，系统的发射机和接收机保持在同步打开状态，其发射信号的中心频率在扫描周期内线性增加[8-10]，可用公式表示为

(1)

式中：AT为发射功率，φ(t)为发射机的相位噪声，fc为Chirp的起始频率，B为Chirp的带宽，Tc为Chirp的持续时间。雷达的接收信号xR(t)包含位于特定距离处的运动目标的信息，用公式可表示为

(2)

式中：α受目标距离和雷达截面积的影响；td=2R(t)/c为雷达信号与距离相关的传播往返延迟，R(t)表示雷达与目标的径向距离，c为光在真空中的速度。一般来说，FMCW雷达系统采用发射信号和接收信号混合计算的方式来估计目标距离，混频信号通过低通滤波器产生频率与目标距离成比例的信号[8]，可以表示为

ARej(2πfbt+φb(t)+Δφ(t))。

(3)

最终，I/Q采样后的拍频信号可以表示为

(4)

式中：Tf表示快时间轴采样间隔，Ts表示慢时间轴采样间隔。

1.2 雷达时间-距离特征和微多普勒特征的提取

人体的动作和电磁散射特性反映在FMCW雷达回波信号的幅度和频率调制中。对雷达回波信号做时频分析，构成时间-距离特征和微多普勒特征，能够向特征提取网络呈现更显著的人体运动学特征[11-13]。时间-距离特征和微多普勒特征数据集的构建流程如图1所示。

图1 雷达特征数据集生成流程

首先对人体动作雷达回波信号数据集中的雷达回波信号使用MTI滤波器滤除静态杂波，然后对数据进行快速傅里叶变换(Fast Fourier Transform,FFT)得出距离分布信息，距离分布信息随时间积累成时间-距离特征，最后对时间-距离分布矩阵应用持续时间不同的窗函数进行短时傅里叶变换(Short Time Fourier Transform，STFT)并取平方模，得到不同窗长下的微多普勒特征图。可用下式来表示微多普勒特征图的计算过程：

(5)

式中：w(t)为窗函数。S(t,ω)中的目标行为被称为微多普勒特征，它描述了目标多普勒频率如何随时间变化，并反映了由目标运动引起的独特人体运动学特征。

2 基于CNN的人体动作识别方法

2.1 CNN基本原理

CNN是深度学习中图像特征提取常用的模型，相比于传统手工提取特征的方法，其步骤简单，在特征提取的稳定性、目标变化的适应性和识别率上都有较好的表现[4,10]。简单的CNN通常由输入层、卷积层、激活函数、池化层和全连接层组成,如图2所示。

图2 CNN示意图

当训练CNN模型时，输入层得到二维输入数据，卷积核用来执行与二维输入数据的卷积计算，以产生二维特征图。随着多个卷积层的计算，图像的特征提取也会更加全面。特征图no的大小由下式决定：

(6)

式中：ni为输入特征图的大小，p为填充的特征图边缘像素层数，f为卷积核大小，s为卷积核移动步长。在卷积运算之后要添加激活函数，通过引入非线性因素的方式让模型的表达能力更强。池化层的作用主要是通过降采样来扩大感受野，去除冗余信息，减少特征图中的参数数量，有助于减少模型的内存消耗。全连接层可以对CNN的尾部特征重新拟合，减少特征信息的损失，通过使用Softmax损失函数将尾部特征向量映射为输出的类别。Softmax函数表达式如下：

(7)

式中：i表示类别，xi为特征向量对应的第i个元素。

2.2 基于CNN的特征融合人体动作识别方法

基于时间-距离特征[11]和微多普勒特征[14]识别动作的方法都存在各自的局限性。时间-距离特征通常对人体移动的方向角和原地运动的识别较为模糊，其单独用于人体动作识别时鲁棒性较差，并不能作为可靠特征。对于微多普勒特征的动作识别，其谱图形状是识别的关键，动作的不规则性也可能会导致识别性能的下降。基于此情况，本文提出一种特征融合的CNN识别方法，将时间-距离特征图和微多普勒特征图输入CNN融合后进行动作识别。优化后的网络结构如图3所示。

图3 时间-距离特征和微多普勒特征融合人体动作识别CNN示意图

实现步骤如下：

Step1 时间-距离特征和微多普勒特征图分别由输入层1和输入层2进入卷积层1-1和卷积层1-2，目的是初步提取两种特征图的浅层特征。

Step2 添加Batch Normalization层平滑优化空间，可在训练过程中令梯度变化更加平滑，损失函数值的变化也更稳定。

Step3 经过ReLU激活函数计算后，特征图进入最大池化层，在保持特征不变性的情况下进行特征降维。

Step4 对上述两个通道池化层输出的特征图进行融合，融合后的特征图同时保留了时间-距离特征和微多普勒特征。

Step5 将融合后的特征图再经过卷积层、Batch Normalization层、激活函数和最大池化层的计算，获得更深层次的特征。

Step6 添加两个全连接层并设置失活率为0.5的dropout，在输出层得到动作识别结果。

其中，两个卷积层的卷积核大小均为5×5，卷积核数目分别为16和32，步长为2；两个池化窗口大小分别为3×3和2×2，步长分别为3和2，具体参数如表1所示。

表1 特征融合卷积神经网络参数

为了训练出更有效的CNN模型，本文在卷积层之后使用了Batch Normalization层[15]，利用小批量上的均值和标准差，不断调整神经网络的中间输出，从而使整个神经网络在各层的中间输出数值更稳定。对于小批量B中的任意样本x(i)∈d,1≤i≤m，Batch Normalization层的输出为

y(i)=B(x(i)) 。

(8)

B由以下几步求得:

(9)

(10)

式(10)的平方运算是按照元素求平方。接下来对x(i)进行标准化：

(11)

式中:ε是一个很小的常数，保证根号内的数值大于0。在上述标准化的基础上，Batch Normalization层引入了γ(拉伸参数)和β(偏移参数)两个可以学习的模型参数，最终得到B的输出y(i)：

(12)

为了避免因小数据集和网络过深导致的过拟合情况，本文在全连接层后使用了dropout[16]。dropout在训练过程中从神经网络中随机删除单元以及它们的连接，防止单元之间过度相互适应。如果一个单元在训练期间以一定概率被保留，那么该单元的输出权重在测试时乘以该概率，其预测结果与训练时的结果也应近似相同。添加了dropout的网络与使用其他正则化方法的训练相比会有更低的泛化误差。

3 对比实验

为了评估时间-距离特征和微多普勒特征对人体动作的识别能力，本文进行以下三组实验：(1)利用单一时间-距离特征进行人体动作识别；(2)利用单一微多普勒特征进行人体动作识别；(3)融合时间-距离特征和微多普勒特征进行人体动作识别。

实验数据集采用的是英国格拉斯哥大学公开的雷达识别人体动作数据集[17]，该数据集由FMCW雷达采集，FMCW雷达工作在C频段(5.8 GHz)，带宽为400 MHz。数据集共有83名志愿者参与数据采集，年龄跨度为21～88岁，身高跨度为152～188 cm，采集了行走、坐下、起立、捡东西、喝水、跌倒6种动作。

对雷达回波信号进行预处理后，得到时间-距离特征和微多普勒特征数据集。为了平衡6类样本数量，最终采用的时间-距离特征和微多普勒特征各自有1 164个样本，不同动作的时间-距离特征和微多普勒特征如图4和图5所示。将这些特征图大小统一处理为224×224，并按照动作类别进行随机分组，得到10个数量近似的子集。每次取9个子集作为训练集，1个子集作为测试集，进行10折交叉验证。

图4 4种人体动作的时间-距离特征

图5 5种人体动作的微多普勒特征

在网络训练方面，使用Python语言和Pytorch深度学习框架，采用交叉熵损失函数和Adam优化器，初始学习率设置为0.000 5，并利用StepLR学习率更新策略，batchsize设置为32，每个fold进行100轮迭代训练。三组实验的训练损失值和识别准确率随迭代次数的变化情况分别如图6和图7所示。可以看到在50轮迭代后，三组实验损失函数值下降均变缓慢，识别准确率也趋于稳定。由三组实验的损失函数值变化曲线和识别准确率进行对比可以看出，不同特征对6种人体动作的识别能力从高到低依次为融合的时间-距离特征和微多普勒特征、微多普勒特征以及时间-距离特征。融合特征对人体动作的识别准确率为93.97%，微多普勒特征识别准确率可达92.93%，而时间-距离特征的识别准确率只能达到79.6%，由此可以得出结论：融合特征相比单一特征对人体动作有更好的识别能力，而在单一特征人体动作识别时微多普勒特征比时间-距离特征拥有更高的置信度。

图6 三组实验的损失变化曲线

图7 三组实验的识别准确率变化曲线

为了分析三组实验对每种动作的正判率和错判率，表2～4给出了在输入时间-距离特征图、微多普勒特征图和融合特征图后的测试混淆矩阵，混淆矩阵的列元素代表实际动作，行元素代表预测动作，表中数值代表准确率。从表2和表3中可见,时间-距离特征对起立和坐下的识别率最低约为65%，时间-距离特征和微多普勒特征对行走的识别率均为100%，但两者对捡东西和喝水的识别能力都较低。总体看来，微多普勒特征对各个动作的识别正确率均高于时间-距离特征，但时间-距离特征对于喝水误判为行走、捡东西误判为行走或跌倒，以及跌倒误判为行走的错判概率较低。从表4中可见行走、起立、坐下、跌倒的识别准确率均高于平均识别准确率，而捡东西和喝水的识别准确率较低。根据输入的特征图分析可知，这两种动作的时间-距离特征和微多普勒特征都存在局部相似性，导致识别的错误率升高。从表4与表3的微多普勒特征识别测试混淆矩阵对比可以看出，融合特征对于喝水误判为行走、捡东西误判为行走或跌倒以及跌倒误判为行走的情况有所改善，除跌倒外，其他人体动作经过融合特征的判别，识别准确率都有1%以上的提升，说明特征融合不但会分别获取时间-距离特征和微多普勒特征的关键特征点，还会对两种特征的识别能力起到促进作用。经过特征融合后，总体识别率有所上升，可以证明，时间-距离特征和微多普勒特征的融合可以弥补单一特征识别的不足。

表2 时间-距离特征识别测试集混淆矩阵

表3 微多普勒特征识别测试集混淆矩阵

表4 时间-距离特征和微多普勒特征融合识别测试集混淆矩阵

4 结束语

本文针对小型数据集提出了一种基于特征融合卷积神经网络的FMCW雷达人体动作识别方法。 该方法把雷达回波信号产生的时间-距离特征和微多普勒特征作为输入经过基本CNN模型得到回波信号特征，然后把这两种特征进行融合;为获得更深层次的特征，将融合后的特征图经过卷积层和池化层后增加两个全连接层和失活率为0.5的dropout，在输出层得出动作识别结果。采用公开的数据集进行实验，实验数据表明，融合特征的人体动作识别准确率要高于单一特征的识别准确率，可达93.97%，说明了CNN对融合特征所提取的信息能够补充对单一特征所提取信息的缺失，提高人体动作识别的精度。从本文所做实验可以看出，对于数据预处理所采用的方法不同会影响最后的识别率，这为以后的研究提供了思路。以后的研究工作主要从两个方面开展：第一，基于小型数据集，对人体动作雷达回波信号的频谱特征进行分析，提高进入CNN训练网络数据的质量；第二，对CNN网络结构展开优化研究，进一步提高雷达人体动作识别的准确率。