基于PHY层的手势身份识别技术研究*

郭梦丽 许 勇 何 昕 陈锡敏 李凤妹 方 群

（安徽师范大学计算机与信息学院 芜湖 241002）

1 引言

物联网的发展带动了“智慧+”产业的兴起和应用。例如，智能教室、智能家居和智能农业的发展。同时，用户的兴趣爱好、医疗信息、社会关系等敏感信息也有泄露给未经授权人员使用的危险。因此，为智能设备的接入提供安全有效的接口已成为亟待解决的问题。

长期以来，身份识别一直是以人为中心的计算研究的核心［1］。基于相机的、传感器的传统接触式身份识别方法有着需要近距离接触的弊病，不适合在疫情当下使用。然而，人脸识别［2～3］、虹膜识别［4］等各种非接触式识别技术虽然识别结果较好。但这些基于视觉的［5～6］识别方法对光照条件要求严格，在实际应用中需要无障碍阻挡等严苛条件且不易在室内环境部署。然而，人脸识别更是饱受争议。2020年9月12日，李开复在HICOOL全球企业家峰会上的演讲中表示，他的团队曾在早期帮助过旷视科技从美图和蚂蚁金服获得了大量的人脸数据。这个看似成功的商业案例，将互联网公司共享人脸数据的“内幕”公布与众。让人一度怀疑我们的“脸”真的安全吗？生物特征识别通常容易受到重放攻击和隐私问题的影响。这些问题的存在促使研究人员整合更加方便、安全和有效的识别技术。

曾和张等人证明了步态和手势是可用于识别人类的重要生物特征。不同人的体型和运动方式存在差异。在执行某种行为的过程中，动作引起CSI变化所揭示的信息不仅包括具体的位置，还包括与体型大小和个人习惯有关的身份信息。从而对接收到的信号产生高度可识别的特征响应［7］。我们提出了DrawU（用手势来描摹身份），用户执行相应的手势就能识别合法用户的身份。我们的整体系统设计如图1所示。

图1 DrawU身份识别系统结构

本文的主要贡献如下：

1）在采集的数据集上，我们实现了DrawU，并进行广泛的实验以评估所提出系统的性能。实验结果表明了该系统的可行性和有效性。与现有方法相比，识别准确率更高，且识别单个用户的时间仅为0.59389ms，保证了良好的用户体验。

2）本文采用改进的巴特沃斯滤波器去除噪声，采用多径消除算法去除志愿者无意识的冗余动作和环境中障碍物的静态反射，解决了CSI子载波间的信号冗余问题，由于在预处理阶段去除了环境中的静态反射，故本文提出的模型对域的敏感度较低。

3）对于手势这种细腻度的人类活动，特征提取更加困难。我们设计了两个改进的残差模块来自动提取更好的特征，并验证了其他代价损失没有增加，而且实现了一些优化。

2 相关工作

基于PHY层的身份识别技术主要包括三大理论和技术，本节将做一个简单的回顾。

2.1 WiFi信号收集方法的进展

与RSSI相比，CSI更加敏感和细腻，促使研究人员开始使用CSI信息进行感知活动，但在CSI采集过程中，必要的硬件设备是必不可少的。目前，我们已经通过智能手机和现有的商用WiFi路由器实现了CSI数据的采集。其中，路由器是WiFi报文传输的热点。智能手机嵌入了定制固件和匹配的编码软件，以捕获手势动作生成的CSI数据。

2.2 常用的特征提取算法

WiFi感知身份识别中常用的特征算法主要有三类。基于模板匹配的算法主要有皮尔逊相关系数、欧几里得距离、曼哈顿距离和DTW（动态时间规整）算法。例如，Xin等提出的FreeSense［8］通过扩展和缩短时序数据，直接计算新获取的信号与模板的相似度，在2人～6人的智能家居环境中实现了94.5%～88.9%的识别准确率。无需训练即可快速匹配。基于机器学习的算法主要有KNN算法和SVM算法。WiFiU［9］利用信号处理技术从CSI数据中生成频谱图，并使用SVM算法在50人的数据集中实现了79.28%的识别率。基于深度学习的LSTM（长短期记忆）算法适用于处理时间序列数据。CSIID［10］使用LSTM层自动提取特征，减少了人工提取特征的大量数据预处理工作。当实验数据为2人～6人时，系统的平均识别准确率为97.4%～94.8%。CNN感知能力强，但分类器训练耗时。WiNet［11］搭建了卷积神经网络模型并以频率能量图作为模型的输入矩阵，实现WiFi环境下的单目标步态识别，在现实的实验室场景中40个人的分组，识别准确率达到98.5%。

2.3 WiFi感知身份的主要方法

目前，基于WiFi感知的步态识别技术发展迅速，取得了丰硕的成果。曾等提出的WiWho在2人～6人的小组中的平均准确率为92%～80%。实验者只有步行2m～3m才能达到更准确的识别。但是，智能识别的准确性是从WiWho开始得到验证的。WiFi-ID［12］展现了步态识别的可靠性，在2人～6人的数据集中实现了93%～77%的识别准确率。然而，基于手势的身份识别发展缓慢。值得一提的是，Kong等设计的Fingerpass［13］在人机交互过程中不断对用户进行认证。采用迁移学习的方法，实现了系统的跨域。在真实的智能家居环境下，识别准确率达到91.4%。WiHF［14］从WiFi信号中推导出手臂手势的跨域运动变化模式，通过提出的分割拼接优化方法实现手势和身份的双任务识别，准确率与当前最先进的方法相当，域内手势识别和用户识别准确率分别为97.65%和96.74%分别为6个用户和5个位置和方向，但总处理时间缩短了30倍。

与现有工作不同，我们的工作旨在感知人机交互过程中的细粒度手势，从而识别执行预定义的手势的用户，实现更轻量级的用户识别系统，可以嵌入到智能设备中，适应更多真实场景，为“智能+”行业提供更便捷的应用。

3 理论基础

本节简要介绍DrawU的理论基础，即通道状态信息、基于WiFi的手势识别和身份识别。

在过去的几年里，基于WiFi的传感已经获得了极大的普及。研究人员提出了多种基于WiFi的系统来识别人类手势的系统［15～18］。在逐步探索和实践中，也验证了WiFi感知的可行性和有效性。CSI描述了WiFi信号传播路径的信道特性，主要以信道频率响应（CFR）［19］的形式表示，即：

使用OFDM调制时，每个子载波上的幅度和相位信息可以看作是CFR频谱的一组采样数据。CSI可以表示为

其中，H()fk代表以fk子载波为中心频率的CSI，和∠H()

fk分别代表第k个子载波的幅度和相位。

手势动作的特征是否足以代表用户身份？根据实验观察，当志愿者执行手势时，潜在生物识别手的大小和执行速度不同，导致不同用户做出相同手势时CSI的幅度存在显着差异。因此可以识别不同的用户。

4 系统概述

与基于被动步态识别的方案相比，以基于WiFi的手势识别为前提的身份识别具有两个优点：1）无需步行一定距离即可收集到足够的信息。2）手势动作不需要移动，保证了验证的灵活性。因此，我们设计了一个基于残差卷积神经网络的DrawU。基于WiFi的手势身份识别，主要包括数据预处理和模型训练与分类两个阶段。

4.1 数据采集

本文使用的数据集是使用智能手机收集的CSI数据集。15名志愿者由年龄在22岁至27岁（7名女性和8名男性）的本科生和研究生组成。志愿者从初始站立状态执行规定动作到恢复站立状态为一个完整的周期，共30个周期。我们共收集了20种常见的步态和手势，其中9种手势的数据被用于我们的实验，手势样式如图2所示。

图2 手势样式图

4.2 滤波去噪

在所设计的系统中，考虑到计算复杂度和效率，使用四阶巴特沃斯IIR滤波器，并借助了巴特沃斯滤波器在阻带内逐渐下降到零的特点。数据采样频率为1000Hz，滤波器的截止频率wc可以通过以下公式进行估算：

4.3 多路径去除

手势动作是一种相对刚性的动作，但它无法避免志愿者产生的其他无意识动作和环境引起的静态反射的存在，这些数据中并不反映身份信息。因此，我们需要去除延迟较长的反射在我们的实验中。DrawU使用商用正交频分复用（OFDM）的WiFi设备对CSI去除部分多路径。首先，对采集到的CSI信号采用逆快速傅里叶变换（IFFT），得到近似时域的功率延迟分布。然后我们根据经验去除延迟超过500ns［19］的多径分量。最后，通过快速傅里叶变换（FFT）将剩余功率延迟曲线转换回频域中的CSI。多径去除提高了用户认证的鲁棒性，降低了系统对域的灵敏度。

4.4 离散小波变换

对处理后的数据进行小波变换，小波变换的尺度收缩性促使小波能够捕获信号之间的局部相似性，可用于数据压缩和特征提取。根据小波变换原理，将信号分解为近似系数和细节系数，为了保留CSI信号的形状和趋势，同时保留足够的CSI特征用于身份识别。我们使用DB4小波变换，结合了实验的时间复杂度和运算的效率。

4.5 分割

对经过信号处理技术处理后的CSI数据进行分割，去除不反映身份信息的部分，我们提出了一种分割算法。检测信号波动的波动因子，从而获得手势的起点和终点。由于志愿者连续执行30组相同的手势，因此智能手机接收到的CSI序列是一个连续的时间序列，需要对接收到的时间序列进行分割。从上图中可以看出，每个周期的数据中都有明显的间隔来分割不同的周期，具体过程如算法1所示。

4.6 模型训练和分类

为了解决WiFi信号中手指手势动作特征难以高效提取的问题，以及变化率、信号能量、幅度、最大峰值和最小谷值等普通特征由于不同的人具有相似性，所以效果不佳。因此，为了从射频信号中自动提取更好反映身份的手势特征，本文提出了一种基于残差网络的深度学习算法来提取特征矩阵的深层特征。故本文基于手势的身份识别系统的分类是基于CNN和ResNet。与直接通过CNN网络进行识别相比，ResNet网络更好地拟合了分类功能，获得了更高的识别准确率。网络模型如图3所示。ResNet网络是通过多个卷积层和BN层构成的，在两个残差块的连接处连接了一个池化层。各层的结构和设置说明如下。

图3 模型残差网络结构

残差模块：常见的残差网络结构都是由残差和直接映射组成。残差块的设计与相关参数设置如图4所示。

图4 残差结构设计

残差部分包括三个卷积层。每一层卷积层后都连接一个BN标准化（BN），以提高模型的收敛速度。相比Dropout层，BN不仅简化了参数调整过程的步骤，而且大大提高了训练速度。值得一提的是，本文使用的激活函数是Gelu。直接映射部分连接了一个卷积层和一个1×1的卷积核来匹配输入的维度。通过实验验证，残差网络可以有效解决由于加深网络层次而导致的网络退化问题，以提取细化的特征。剩余模块的其余部分的计算表示如下。

池化层：具有特征矩阵下采样、扩展感知域、降维等功能。在本文中，Maxpool函数被用作第一个残差块之后的池化层。为了简化网络参数调整的步骤，增加网络的可移植性，在第二个残差模块的末尾使用了AdaptivePool2d函数，它可以独立于接收到的残差的输入张量来处理不同数据维度的架构。池化层的输入为x，输出可以由式（5）计算得出：

卷积层：在这一层，本文使用了1×1的二维卷积核，可以在一定程度上提高模型的表示能力。使用1×1卷积核降维后，为了压缩网络结构和减少参数，我们并没有使用全连接层，神经元的卷积过程表示为

数据展平层（Flatten）：大大减少了参数的使用，避免了过拟合现象，简化了网络计算。

5 实验结果

为了测试模型的性能，我们在真实环境中进行了测试，在实验中取得了不错的效果。

5.1 实验环境

为了验证模型的可靠性，本文选择了两个真实环境进行验证。测试环境1为学院南楼2号楼一楼实验室，面积为6m×8m。实验室环境相对开阔，障碍物较少，故多路径组件较少。另一个测试环境是学院南楼1号楼二楼的实验室，面积为10m×15m。这个实验室里摆满了各种实验设备和家具。是一个典型的复杂室内环境，环境中有墙壁、桌椅、书架等静态反射器，故障碍物多、多路径组件多。实验室旁边的教室只有上课时间有噪音，实验室场景如图5所示。

图5 实验室场景图

5.2 结果性能分析

不同分组大小的比较分析：本文通过输入随机选择的不同CSI数据分组大小来训练DrawU。当人类识别群体规模为2人～8人时，DrawU在两种室内环境下的准确率分别达到97.86%～100%和97.2%～99.35%。图6展示了本文所提出的模型在不同实验场景中的结果，展现了的系统的鲁棒性，在15人的群体中识别准确率均达到了92%以上，但随着识别人数的增加，相似度变大，识别准确率避免不了有所下降。图7是复杂环境下8人分组时的混淆矩阵。图中黑色部分记录了一个身份被正确识别的频率，白色部分记录了一个身份被错误识别的频率。

图6 不同分组检测精度

图7 混淆矩阵

不同激活函数的比较：在本文中，选择了Gelu激活函数。作为一种新颖的激活函数，与Relu、tanh等其他激活函数相比，Gelu引入了随机正则的思想。是对神经元输入的概率描述，更符合训练过程中的自然理解。然而Relu等其他激活函数缺少随机因素。实验结果绘制在图8中。Gelu作为模型的激活函数，定义为

图8 不同激活函数对准确性的影响

与现有方法的比较：图9显示了DrawU和其他模型在不同分组中的基于手势的身份识别结果。观察实验结果，随着手势识别规模的增加，不同模型的识别准确率或多或少都有所下降。但本文提出的模型具有良好的鲁棒性。随着问题规模的增加，准确率仍然保持在很高的水平。

图9 不同模型对识别精度的影响

6 结语

身份识别是人类信息安全的重要保障。随着WiFi设备的普及，在物理层使用PHY层的感知技术也正在成为一个新的研究方向。在此前提下，利用现有Wi-Fi协议（802.11n）中可用的细腻度CSI，实现基于手势动作和物理层信息无设备的身份认证。本文提出了一种利用残差网络提取CSI特征矩阵的算法。实验结果表明，该系统具有良好的识别性能，8人组的平均识别准确率为98.1%。但是，也存在一些不足之处。识别准确率与数据预处理的“清洁”程度有很大关系，这也促使我们简化实验步骤，计算更准确的特征，避免繁琐的数据处理。使用基于WiFi的手势识别来增强用户识别的另一个应用领域是软访问。比如在智慧教室中，课程老师的手势可以控制投影设备，但是一些坐在讲台下的学生的类似的动作是不被允许控制设备的。最近，一些团队已经实现了交互过程，防止当前“智能+”行业提供的服务被错误地提供给其他用户，使身份识别不是一次性行为。但是，交互间隔很难确定。因此，在本文中，我们的工作将适用场景设置为智慧教室，并通过课堂节奏设置用户交互。在未来的工作中，我们将更多地关注WiFi传感中的交互。