基于微多普勒信号分离和SqueezeNet的人体身份识别

孙延鹏，贺韶枫，屈乐乐

（沈阳航空航天大学电子信息工程学院，辽宁沈阳 110136）

0 引言

近年来，人体身份识别技术在门禁系统、安防监控和医疗诊断等领域有广泛应用。目前，指纹识别［1］、人脸识别［2］以及虹膜识别等人体身份识别技术，都验证了方法的可行性。但是指纹识别需要手指直接接触传感器，有卫生隐患存在［3］；人脸识别和虹膜识别主要是通过摄像机获取信息，然而摄像机仍存在根本性的缺陷，例如，无法处理突然的闪光或在光线不足或恶劣天气条件下进行记录，此外，在隐私敏感区域操作时，相机的无限制使用也受到争议［4］。因此采用雷达传感器进行人体身份识别近年来受到越来越多的关注。一方面雷达传感器是在一定的视线范围内发射电磁信号，雷达传感器不易受到光线以及环境的影响，并且雷达信号能够穿透墙壁、服饰等障碍物［5］；另一方面雷达传感器是以非接触方式运行，不要求测试者携带任何设备或者要求测试者合作［6］，这极大程度地保护了个人隐私。

基于雷达传感器的人体身份识别核心是通过人体步态来实现身份识别，人体步态可以简单地定义为“走路方式”，影响人体的走路步态主要是个人的生理因素或者环境，从而使人体之间步态存在多样性，其中对微多普勒特征的研究最具代表性［7-9］。文献［10］提出提取人体步态的微多普勒特征和微动距离时间特征实现人体身份识别的方法，但需要提取步态数据立方体，采集过程比较繁琐，同时数据量也过大。文献［11］使用深度卷积神经网络进行基于步态微多普勒的人体识别，其平均识别准确率从4 人的97.1%下降到20 人的68.9%，在识别能力上是欠佳的。文献［12］提出了一种微多普勒分离方法，通过短时分数傅里叶变换方法分离躯干微多普勒信号来提高身份识别的准确性，使用深度卷积神经网络对10 个人的平均准确率达到85.6%，但是实现算法的复杂度较高，实验的准确率还有待提高。文献［13］在迁移学习框架下使用ResNet-50 网络对步态微多普勒数据集进行识别。文献［14］采用一种多尺度特征聚合策略的普通卷积神经网络来解决识别问题，但其网络过于简单和样本数量不足。文献［15］提出一种基于时频滤波和维特比算法的微多普勒信号分离方法，但是该算法主要受到瞬时频率估计和时频滤波器的限制。

针对上述问题，本文以调频连续波（Frequency Modulation Continuous Wave，FMCW）雷达为基础，提出一种基于微多普勒信号分离和SqueezeNet 的人体身份识别方法。首先通过FMCW 雷达采集人体行走步态的回波数据并进行预处理，再使用运动目标显示（Moving Target Indication，MTI）滤波器对慢时间维进行线性滤波处理，有效地滤除背景杂波，然后经过短时傅里叶变换（Short-Time Fourier Transform，STFT）得到人体的微多普勒时频谱图［16］，使用阈值法对时频谱图进行微多普勒信号分离，进而得到人体躯干与四肢分离的时频谱图，将时频谱图输入到SqueezeNet网络训练，最后利用Softmax分类器对人体身份进行分类和识别。

1 雷达信号预处理

本文使用FMCW 雷达实测人体步态回波数据，对4 名测试者的步态回波数据进行预处理，得到相对应的微多普勒时频谱图。FMCW 雷达回波数据预处理方法如图1所示。

图1 回波数据预处理流程图

将FMCW 雷达回波信号重构得到二维数组，M是慢时间维采样个数，即一次采样所含周期个数，L是快时间维采样个数，即一个调频周期的采样点数。首先，对图1中的矩阵列方向在快时间维进行离散傅里叶变换（Discrete Fourier Transform,DFT），从而得到测试者距离雷达的距离信息。对测试者行走步态所在的距离单元的信号进行相干叠加，其中距离单元范围是10～30；其次，使用MTI 滤波器对慢时间维数据序列进行线性滤波处理，将背景杂波有效地滤除，再沿慢时间维进行短时傅里叶变换，从而得到微多普勒时频谱图，如图2所示。其中，STFT 的窗函数是时间窗大小为0.2 s 以及重叠因子为0.95的汉宁窗。

图2 人体步态时频谱图

2 步态微多普勒信号分离

FMCW 雷达信号沿快时间维经过DFT 得到距离时间图，滑动窗口沿时间轴截取，然后进行短时傅里叶变换得到微多普勒时频谱图，但是由于受到躯干回波强烈的影响，很难从肢体微动作获取相关精细的特征，这对于基于雷达传感器开展人员身份识别工作，难度有所提升，因此实现人体步态微多普勒信号分离是有必要的。目前人们对微多普勒信号的分离是非常感兴趣的，但是需要特定雷达系统以及提取目标距离和频率特征来实现，过程很复杂。鉴于此，本文提出了一种使用阈值法对时频谱图进行微多普勒信号分离的方法。该方法简单、运算效率高、速度快。

采用阈值法对时频谱图进行微多普勒信号分离的关键是阈值的选取，本文选取阈值的方法是信号强度直方图法。通过人体躯干微动并且四肢不动，可得到类似人体行走步态的躯干微多普勒特征，如图3所示，代表躯干微动信号强度分布直方图，-50～-25 dB之间代表实验中的背景信号，-18～0 dB 之间代表躯干微动信号。图4 表示人体行走步态微多普勒信号强度分布直方图，是通过测试者正常行走测得的，其中包含测试者四肢和躯干的微多普勒特征，-25～-18 dB 之间代表四肢微动信号，从图中可看出-18 dB 位置出现小波峰，表示包含人体行走步态四肢的微多普勒信号多。同时，由图3 和图4 也可直观地得出，将本阈值设为-18 dB的合理性。

图3 躯干微动信号强度分布直方图

图4 步态微多普勒信号强度分布直方图

由于躯干的雷达横截面通常远大于四肢的雷达横截面，使其回波能量比较大［17］，因此时频谱图中能量最强的部分来自躯干，而能量较弱的部分来自四肢，如图5所示。信号强度的dB 值与时频谱图中颜色条（colorbar）是对应的，通过colorbar 非常直观地显示，时频谱图中躯干信号与四肢信号对应部分，实验将满足阈值条件小于-18 dB 的信号保留，得到四肢信号的时频谱图，从而实现对微多普勒信号的分离，如图6所示，图中分别表示了男性测试者和女性测试者的四肢与躯干的时频谱图。

图5 未进行微多普勒信号分离的时频谱图

图6 进行微多普勒信号分离的时频谱图

由图5、图6可以看出，经过微多普勒信号分离后，测试者四肢的时频谱图更容易发现他们之间细微的差异，因此四肢的微动特征更加明显，更有利于实现人体身份的识别研究。

3 卷积神经网络

3.1 SqueezeNet网络

卷积神经网络是一种特殊深层神经网络，广泛应用于图像识别领域之中，具有特征提取和分类过程结合的全局训练特点，因此对图像有着相对准确的识别能力。本文用于时频谱图识别的卷积神经网络是轻量级的SqueezeNet网络，该网络主要的模块是Fire 模块，如图7所示，此模块主要包含Squeeze 层和Expand 层，这使网络的参数大大降低，其网络配置如表1所示，SqueezeNet 网络的性能与AlexNet［12］相接近，但是模型参数仅有AlexNet的约1/60，模型大小也比AlexNet网络小得多。

表1 SqueezeNet网络配置表

图7 Fire模块的结构

图7中，H是特征图的高，W是特征图的宽，M是特征图的通道数，S1,e1,e2均为卷积层输出的通道数。

原始的SqueezeNet 网络最后5 层的配置是识别1 000 个类别，而本文实测的数据集是对4 个人进行人体身份识别，因此，迁移学习模式下的SqueezeNet 网络仅需要保留到表1 中的Drop9 层。网络中最后一个可学习层即倒数第五层是1×1的卷积层，将其替换为4 分类的新卷积层，最后输入到Softmax分类器中，对目标进行识别与分类。

3.2 Softmax分类器

Softmax 是机器学习中非常重要的工具之一，它还可以作为激活函数位于深度学习之中，Softmax 函数又称为归一化指数函数，由于本实验做的是多分类任务，即可以看作是二分类函数在分类任务上的推广，最后是将多分类结果通过概率的形式呈现出来。

Softmax 分类器将N维特征向量作为输入，然后将每一维的值转换成［0,1］之间的实数，其公式如下:

分类，ai是该分类的值。由Softmax 分类器输出的概率之和为1，最终Softmax 分类器选取概率值最大的类别作为输出。

4 雷达实测数据结果分析

4.1 实验场景

本实验采用K 波段FMCW 雷达，有4名测试者参与实验，采集测试者步态回波数据。该雷达在FMCW 模式下工作于24 GHz，FMCW 雷达参数如表2所示。其中，有2名男性和2名女性，平均体重分别为70 kg/高185 cm 和53 kg/高163 cm，年龄在20～25 岁之间。图8 显示了实验场景，每名测试者的采集次数为100 次，每次采集时间设定为6 s，测试总组数为100×4=400组。

表2 FMCW 雷达参数

图8 实验场景

4.2 实验结果分析

通过实验，每个人的步态数据总量为100 个，数据主要经过STFT 得到时频图像，因此本文把基于微多普勒的人体步态识别问题转化为图像识别问题，其中，SqueezeNet网络学习率为0.003，但是为了网络适应本实验所实测的数据集，将迁移学习的网络中新层的权重学习率因子和偏差学习率因子分别更改为20，其目的是加快迁移层的学习速度。

为了评估本实验方法的分类性能，将数据集按照8∶2的比例划分训练集和数据集，可以通过混淆矩阵看到实验结果。如图9 和图10所示，横轴代表4 个类别的预测值，纵轴代表4 个类别的真实值，图中蓝色对角线区域表示分类正确的数量，粉色区域代表分类出错的个数，相比于未进行微多普勒信号分离的人体身份识别测试结果，完成微多普勒信号分离的人体身份识别测试结果的分类错误较少，图9表示的未进行微多普勒信号分离的人体身份识别准确率为93.5%，而图10 表示的进行微多普勒信号分离的人体身份识别准确率为98.75%，由此可得，经过微多普勒信号分离后人体身份识别准确率提高了5.25%，因为人体步态的差异主要体现在走路四肢的差异。因此，实现微多普勒信号分离的研究方法，使肢体信号特征更明显，有利于增强人体身份识别的效果。

图9 未进行微多普勒信号分离的测试结果

图10 进行微多普勒信号分离的测试结果

4.3 人体身份识别网络性能对比

本文采用的人体身份识别网络是SqueezeNet轻量级网络，轻量级网络旨在保持模型精度基础上进一步减少模型参数量和复杂度，下面将SqueezeNet 网络与文献［11-14］中网络模型进行比较，比较结果如图11、图12所示。

图11 不同训练集性能比较

图12 网络性能对比

训练集的大小是影响人体步态识别性能的一个实际因素，在数据采集过程中，人体步态数据集的采集是一个费时费力的过程。在这种情况下，我们将训练集的规模占比分别设为20%、40%、60%、80%，对4 个网络进行性能比较。如图11所示，每个网络随着训练集占比减少，网络性能都在降低，这可能是因为步态训练数据过少时出现过拟合问题，但是SqueezeNet网络的性能还是优于其他网络。由柱状图可以看出，SqueezeNet网络在训练样本很少的时候也有较高的性能，在小样本学习中更占有优势。

与此同时，本文还通过其他方面对网络性能进行了比较，主要是通过测试时间、准确率、网络参数量这三方面，如图12所示，为了避免实验的偶然性，该数据是进行5次实验取平均。由折线图可直观看出，相对于其他网络，SqueezeNet 网络测试时间是比较短的，能够在短时间内完成步态识别人体身份工作；其次是网络准确率方面，4 个网络都有较高的准确率，但是本文使用的SqueezeNet网络还是略高一些；最后，每个网络的参数量还是差别很大的，AlexNet 网络的参数量是SqueezeNet 网络约68 倍。由此可以得出结论，之于各方面因素的考虑，本文所提的SqueezeNet网络模型在雷达人体身份识别方面优于其他模型。

5 结束语

本文提出一种基于微多普勒信号分离和SqueezeNet的人体身份识别方法。对区分、识别不同行走的人方面有巨大的潜力。本文实现了微多普勒信号分离方法，实验结果表明，该方法的性能优于未进行微多普勒信号分离的人体身份识别方法。同时，本文通过采用轻量级SqueezeNet 网络，已经实现了对4个人的分类与识别问题。

虽然本文的实验结果是令人满意的，但仍需要做一些改进。一方面，我们将进一步增加步态数据集的规模和复杂性，例如增加测试者的人数以及不同动作；另一方面，我们需增强我们实验的应用性能，比如，同时进行多人身份识别以及拒绝未知身份的人员识别。