基于GRU的智能手机多场景步态认证

2022-11-19姜奇冯茹张瑞杰王金花陈婷魏福山

网络与信息安全学报 2022年5期

姜奇，冯茹，张瑞杰，王金花，陈婷，魏福山

基于GRU的智能手机多场景步态认证

姜奇1,2，冯茹1，张瑞杰3，王金花4，陈婷4，魏福山5

（1. 西安电子科技大学网络与信息安全学院, 陕西西安 710126；2. 河南省网络密码技术重点实验室，河南郑州 450001；3. 信息工程大学密码工程学院，河南郑州 450001；4. 保密通信重点实验室，四川成都 610041；5.信息工程大学网络空间安全学院，河南郑州 450001）

基于步态的智能手机认证研究大多针对单一受控场景，而未考虑多场景变化对认证准确性的影响。智能手机以及用户的运动方向在不同场景下会发生变化，当使用对方向变化敏感的传感器采集用户步态数据时，可能会因场景的改变出现一定的偏差。因此，为智能手机提供一种多场景下的高精度步态认证方法已成为亟待解决的问题。此外，模型训练算法的选取是决定步态认证准确率和效率的关键。目前流行的基于长短期记忆（LSTM，long short-term memory）网络的认证模型能够实现较高的认证准确率，但其训练参数较多，内存占用较大，训练效率有待提升。针对现有步态认证方案未满足多场景认证需求、模型认证和训练且难以兼顾高效率与高准确率的问题，提出了基于门控循环单元（GRU，gate recurrent unit）的智能手机多场景步态认证方案。通过小波变换对步态信号进行初步降噪处理，并采用自适应的步态周期分割算法对循环的步态信号进行切分。为满足多步态场景的认证需求，采用坐标系转换方法对步态信号进行方向无关性处理，以消除智能手机方向以及用户运动方向对认证结果的影响。为实现高准确率认证以及高效率训练模型，利用不同体系结构的GRU以及多种优化方式训练用户步态模型。在公开数据集PSR和ZJU-GaitAcc上对所提方案进行实验分析。与所列方案对比，所提方案提高了认证准确率，较之基于LSTM的步态认证模型，所提模型的训练效率提升了约20%。

持续认证；步态行为；多传感器；门控循环单元

0 引言

近年来，基于用户行为的持续认证受到广泛关注，如步态[1]、触屏[2]、手势[3]等。步态由于受到身体特征、行走习惯和社会环境的影响，具备个人独特性且难以被模仿，成为身份认证的研究热点。伴随智能手机内各种传感器的集成，基于手机内置传感器获取用户行为相较于可穿戴传感器更加便捷，不需要额外的硬件设备，具有低能耗、低成本、易于获取等优点[4]。

步态认证框架通常可分为数据采集与预处理和模型注册与认证两方面。现阶段已有大量步态认证方案，但仍存在一些缺陷。在数据采集与预处理方面，只有少数研究考虑了传感器放置部位以及步态活动对认证结果的干扰，文献[1,5-7]直接忽略此因素，未考虑多场景下的认证情况。文献[8]的实验虽然综合分析了手机放置部位与行走场地变化对认证结果的影响，但并未解决某些场景下认证结果较差的问题，如上下楼梯等。在模型注册与认证方面，现有方案[9-15]采用的机器学习算法大多难以兼顾认证准确性和模型训练效率。

在实际的步态场景中，用户根据个人习惯以及不同需求，将手机放置于身体不同部位，进行不同的步态活动。原始传感器数据来源于手机自身的设备坐标系，对方向的变化很敏感，设备方向或用户运动方向的不同可能导致完全不同的测量结果，因此需要对其进行方向无关性处理。处理方式可概括为以下3种。

1) 将传感器固定放置于用户身体的某一部位[9,10,16-18]。在实验中，要求用户在固定运动传感器位置的前提下采集步态数据，而手机通常被不受限制地放置在口袋或拿在手中，此方法显然不符合实际情况。

2) 将数据由设备坐标系转换到世界坐标系[19-20]。此方法可以抵消设备方向的变化，但由于世界坐标系的、轴固定指向磁场东方和北方，在此坐标系下，一旦用户的运动方向发生变化，运动传感器采集的步态信号也随之变化，故此时步态特征并未独立于用户运动方向。

3) 将数据转到以用户为中心的坐标系。文献[21]基于加速度计数据，利用主成分分析（PCA，principal component analysis）原理找到用户的运动方向，计算得到一个与重力运动方向对齐的新坐标，此坐标以用户为中心，可消除设备方向以及用户运动方向的干扰，方案计算复杂度低，但未消除加速度计的固有偏差，导致新坐标方向的精确度不够高。文献[22]通过滤波器消除加速度计存在的噪声和偏差，根据世界坐标系下的加速度计算瞬时速度，将瞬时速度方向作为用户的运动方向，得出以用户为中心坐标的三轴方向，此方法能够很好地去除步态场景变化的干扰，但需要将数据由设备坐标系先转化到世界坐标系，再转为用户坐标系，计算复杂度高，步骤烦琐。

现有相关方案中步态模型的注册与认证多采用传统的机器学习法或统计学习法，如绝对距离、相关性、直方图、支持向量机（SVM，support vector machine）、近邻（KNN，-nearest neighbor）算法等。这些模型在训练前期，需人工提取原始数据的特征，难以准确表示来自不同用户步态的差异性，认证准确率不高。深度学习可以进行端到端的认证，自适应地提取步态特征。循环神经网络（RNN，recurrent neural network）由于适合处理时间序列性数据，而被应用到基于运动传感器的步态认证[13-14]。然而，传统的RNN模型容易受到梯度消失和梯度爆炸的问题，且RNN的训练耗时长[23]。文献[15]采用长短期记忆（LSTM，long short-term memory）网络进行步态认证，在PSR和GaitAcc两个数据集上实验分别得到94%和95%的精度，虽然LSTM可以通过细胞单元和门控机制来克服RNN的上述缺点，但LSTM的参数较多，导致模型的收敛速率缓慢，影响训练效率。

针对上述问题，本文首先将手机运动传感器获取的步态信号进行降噪以及步态周期分割处理；其次，为满足多步态场景的认证需求，改进文献[21-22]中坐标系转换的思想，去除加速度计的固有偏差，更精确地表示出用户坐标系三轴方向；然后将运动传感器数据投影变换到此新坐标下，以对其进行方向无关性处理；再次，利用不同体系结构的GRU训练用户步态模型，并引入多种优化方式实现高准确率认证以及高效率训练用户模型。实验结果表明，与所列方案相比，本文方案提高了不同步态场景下的认证准确性，在PSR和GaitAcc两个数据集上的认证等错误率（EER，equal error rate）分别为3.94%和4.51%。相较基于LSTM的步态认证模型，本文模型的训练效率提升了约20%，且内存占用更小。

1 方案设计

本文提出的步态认证框架如图1所示，主要包括注册和认证两个阶段。当有新用户注册时，智能手机内置的运动传感器收集用户的步态数据。智能手机将用户步态数据传输至服务器，经过数据预处理后，存入服务器端时序数据库中，进而利用这些数据训练出基于GRU的用户步态模型，同时将此模型下发至手机端用于离线认证。认证阶段分为在线认证和离线认证。当连接网络时，可通过在线认证来判断当前用户是否为合法用户，若为合法用户，可将其步态数据传输至服务器端进行模型更新，以应对用户步态随时间的变化；当未连接网络时，可在手机端进行离线认证，确保认证方案的实时性。

本文方案中，注册和认证阶段前期均需进行数据预处理工作，包括小波变换降噪、步态周期分割以及坐标系转换。智能手机只需将运动传感器数据进行收集和简单处理，计算密集型任务即步态模型的训练被部署于服务器，以节省智能手机端的电池能量和计算开销。接下来，将详细介绍方案中的关键步骤。

1.1 数据采集

图1 基于GRU的智能手机多场景步态认证系统框架

Figure 1 GRU-based multi-scenario gait authentication system framework for smartphones

1.2 数据降噪

采集到的运动传感器数据受用户运动状态、手机所置身体部位及其他环境因素的干扰，不可避免地包含了大量的噪声，会降低认证的准确率。因此，需要去除重复、不相关的步态信号，突出步态信号原本的特征差异。本文采用小波变换阈值降噪法过滤步态信号中的噪声，原因在于：相对于其他降噪方法，该方法能够很好地处理步态信号与噪声重叠的情形，保护有用的尖峰步态信号和突变步态信号，在去除高频噪声的同时保留步态信号高频成分；此方法原理简单、计算复杂度低且容易实现，资源消耗较小。

图2 降噪前后处理效果对比

Figure 2 Comparison of processing effects before and after noise reduction

1.3 步态周期分割

步骤2 计算所有局部最小值的平均值，将平均值以上的局部最小值从候选集合中去除，如图3(b)所示。

步骤3 将相邻的候选点作为一组，选择每组内的最小值作为周期分割的起始点，如图3(c)所示，得到步态周期分割的起始点。

图3 步态周期分割过程

Figure 3 The process of gait cycle segmentation

1.4 坐标系转换

1.4.1 加速度计数据校准

步态周期分割后，设备坐标系下的加速度计数据可表示为：

步骤1 移除重力分量，得到加速度在水平面的分量，如式(9)所示。

步骤2 求得设备坐标系下，、、三轴数据的平均值，如式(10)所示。

步骤3 将三轴数据去中心化，即用每一坐标的值减去相应的平均值，如式(11)所示。

其中，代表一个步态周期内的样本个数。

1.5 注册阶段

本文旨在保证高认证准确性的前提下，更为高效地训练步态认证模型。因此，在训练模型时做出以下几点优化。

（1）参数初始化

神经网络训练过程中，前一层的训练结果会直接影响后一层输入数据的分布，而训练数据分布的频繁变换，导致模型参数需要不断迭代以适应新的分布，这会大大降低网络训练效率。为此，本文引入批归一化（BN，batch normalization），将其置于激活函数之前，使得训练数据经激活函数变换后都形成均值为0，方差为1的正态分布，从而提高模型训练效率。

（2）反向传播优化

使用Adam[27]优化算法对模型的损失函数进行反向传播优化。Adam是一种优化的梯度更新算法，它结合了适应性梯度和均方根传播两种梯度优化算法的优势，通过计算梯度的一阶矩和二阶矩估计，为每个参数独立设计自适应学习率，解决了随机梯度优化算法设置固定学习率带来的问题。

（3）防止过拟合

为了防止过拟合，减少神经元的计算开销，采用Dropout[28]技术，提高模型的泛化能力，即在训练时随机从网络中丢弃一些神经网络单元，减少训练过程中的参数量，大大降低计算量，有利于高效训练步态认证模型。

（4）不同体系结构的GRU模型

本文研究了3种不同的GRU体系结构的步态认证效果，即单层GRU、双向GRU、多层GRU。其中，单层GRU仅由一个循环层构成；双向GRU由两个循环层构成，且两层结构的运行方向相反；多层GRU由两个运行方向一致的循环层构成。

1.6 认证阶段

本文考虑了两种认证方案，即离线认证和在线认证。随着时间的推移，合法用户的步态习惯可能会发生一些变化，为了应对此变化，考虑使模型可以自适应地变化以避免频繁的模型重置。在网络连接的条件下，若服务器端判定当前用户为合法用户，将累计指定数量的新合法样本添加到训练集，使模型的训练集实现自动更新，同时可以增大判定为合法用户的阈值，以保证更高的认证准确率。为了减少智能手机端的计算开销和存储空间，只考虑在服务器端进行认证模型的更新。若用户所处环境无法进行网络连接，则可用本地的身份认证模型进行认证，包括前期的数据预处理均在本地进行。

2 理论分析与实验评估

为了评估本文方案在多步态场景下的有效性以及高效性，对当前步态认证领域广泛应用的基于LSTM的模型（简称为LSTM）与基于GRU的模型（简称为GRU）进行对比。下文首先理论分析GRU相较于LSTM的优势，然后通过实验加以验证。

2.1 理论分析

LSTM与GRU均通过门控单元对步态信息进行筛选，保留数据中的长期依赖性，但二者工作机制存在不同，导致认证效果以及性能存在区别。

其次，计算候选记忆细胞：

最后，得到新的记忆细胞，并输出当前隐状态信息：

其次，计算候选隐状态：

最后，利用更新门计算当前隐状态：

下文通过实验对比分析在本文多步态场景中GRU和LSTM的性能。

2.2 实验设置

2.2.1 数据集介绍

本文在两个公开的数据集PSR和ZJU- GaitAcc上进行方案的验证评估，下面分别对其详细介绍。

PSR数据集[29]采集了10位用户的智能手机运动传感器（加速度计、陀螺仪和磁力计）数据，采样频率为50 Hz，涉及6种行为活动。对于不同的行为活动有5种不同的设备位置，分别为裤子右口袋、裤子左口袋、腰部、右上臂、右手腕。本文选择其中涉及步态的4种行为活动即步行、慢跑、上楼梯、下楼梯，与不同设备位置组合共20种步态场景进行评估。每种步态场景数据采集量为9 000条，故每位用户的数据量有180 000条。

ZJU-GaitAcc数据集[30]采集了175位用户步行时的加速度计数据，采样频率为100 Hz，包括5种设备的位置，分别为左上臂、右手腕、右侧骨盆、左大腿、右脚踝。参与用户中的153人参加了两次会话的数据采集，不同会话的间隔范围为一周至半年，其他22位用户仅参加了一次会话。本文选择同时参与两次会话的用户数据进行实验。

本文选择上述两个数据集进行实验的原因是综合考量方案的可行性。PSR数据集采集的步态场景较多，但其包含用户数较少；ZJU-GaitAcc数据集采集用户数较多，且包含不同会话数据，但该数据集仅包括步行时5种不同设备位置的加速度计数据。

2.2.2 评估指标

为了全面分析本文所提方案的综合性能，选择准确率、EER、曲线下方面积大小（AUC，area under curve）作为评估指标。准确率表示被正确分类的样本占所有样本的比率；EER表示阈值变化时，错误接受率（FAR，false accept rate）和错误拒绝率（FRR，false reject rate）相等的错误率；AUC表示受试者工作特征曲线（ROC，receiver operating characteristic curve）下方的面积大小。准确率越高，EER越小，AUC越大表明认证效果越好。

2.2.3 训练参数设置

经过多组实验，本文将网络参数更新的学习率设为0.001；隐藏层节点个数为128。训练epoch次数为200次，每批次训练样本为64个。训练样本大小决定了每epoch花费的时间以及迭代之间梯度的平滑程度，训练样本过大导致梯度容易陷入局部最小值，而过小会导致模型训练速度缓慢，梯度震荡严重，不利于收敛。Dropout概率取值为0.8，即在每次网络训练时，只需更新80%的参数权重，减少了权重更新的计算量，从而提升网络模型的训练效率。

2.3 坐标系转换前后对比实验

为了验证坐标系转换对于多场景认证效果的提升，本文采用PSR数据集中不同步态活动（步行、慢跑、上楼梯、下楼梯）的数据进行实验，并对比了不同体系结构的GRU的认证结果，如图4所示。

由图4可知，经过坐标系转换后的准确率，整体有较大提升，尤其是对于上下楼梯的步态活动。在上下楼梯时，设备坐标系下的运动传感器数据受到更多手机晃动以及用户移动方向变化带来的噪声干扰，难以准确获取用户的步态信号；而经坐标系转换后，运动传感器数据独立于手机方向与用户的步态方向，能够更精确地捕获用户步态信息。可视化坐标转换前后步态数据，可看出用户坐标系下的数据波动相较设备坐标系下更加平稳有规律，且噪声干扰更少；步行和慢跑的步态数据在转换前已经更平稳且具有周期性，所以转换后的认证准确率提升较小。此外，横向对比这3种不同体系结构可得出，双向GRU和多层GRU都略高于单层GRU，原因是两层循环神经网络的学习能力更强，双向GRU与多层GRU的认证结果相差不大，双向GRU要略好于多层GRU。

图4 不同体系结构GRU坐标系转换前后准确率对比

Figure 4 Comparison of accuracy rates before and after GRU coordinate system conversion with different architectures

2.4 多步态场景实验

结合实际生活情况，在不同的步态场景下，用户可能会将智能手机放于身体的不同位置。例如在步行时，用户更习惯将手机放在左右口袋或者腰包中；而在慢跑时，为了运动便捷，更习惯将手机放在上臂或腕部的包中。在以上情境中，手机的放置部位对步态认证有着一定程度的影响。本文首先采用PRS数据集，共20种步态场景进行实验。从2.3节的实验中可以看出双向体系结构的GRU的认证效果相对更好，所以在本实验中采用双向GRU作为认证模型，并将其与双向LSTM进行对比评估，实验结果如表1所示。

表1 双向GRU和双向LSTM在不同步态场景下的准确率

由表1可知，手机位于腰部时的认证效果最佳，而位于左右口袋、腕部、上臂的认证效果较差。分析其原因可得，位于腰部时，手机与用户身体贴合，且位于人的中心位置，更能准确捕获用户的步态行为；而位于左右口袋时，用户的步态行为会导致口袋内的手机晃动，因此产生更多的干扰因素；当手机位于腕部和上臂时，此时运动传感器不仅记录了步态信号，也反映了上臂的摆动信号。

此外，将双向GRU和双向LSTM在20种步态场景中的平均认证性能进行对比，由表1中数据可计算得出平均准确率分别为92.00%和91.68%；平均EER分别为9.38%和10.12%；平均AUC分别为93.07%和92.39%。综上，可得出双向GRU的认证性能略优于双向LSTM，但不可否定的是在一些场景中LSTM有着更好的认证结果。

表2给出了采用U-GuitAcc数据集进行实验的结果。由表中可观察到，会话内的认证准确率普遍高于会话间，这是由于用户在会话内的步态活动基本保持一致，而随着时间的增加，步态习惯可能会发生变化，着装不同等会导致步态信号不同。此外，可以发现将设备置于大腿时的认证准确率最高，其次是骨盆处，相当于PSR数据集中的腰部，这是由于大腿处采集的加速度计信号更贴合用户步态行为。本文在不区分放置部位的情况下评估了不同会话状态下的性能，即将不同部位的步态数据混合，得到一个综合测量数据集以进行评估，实验结果表明，该综合数据集下会话内的认证准确率为96.83%，AUC为96.89%，EER为4.51%；会话间的认证准确率为89.76%，AUC为88.92%，EER为10.78%。

表2 不同设备放置部位会话内和会话间的认证结果

2.5 方案性能分析

本文方案旨在服务于智能手机端的步态认证，因此认证时延可能会影响到用户的隐私安全以及用户友好性。为此，本文针对认证时所需的步态周期个数进行实验对比，同样，对比了双向GRU和双向LSTM的认证性能，如图5所示。由图5(a)可知，当认证所需步态周期个数为1时，EER较高，随着周期个数的增加，EER逐渐下降，直到周期个数为4时，达到最优结果，之后又开始增加。原因是当周期个数较少时，捕获的步态信号有限且具备偶然性，当获得足够的数据时便可更好地体现用户步态特征，得到最优的认证结果，而更多的数据反而会引入更多干扰因素，影响最终结果。同样，从图5(b)可看出AUC随步态周期个数的增加而增加，当周期个数为4时，获得了最优的AUC，随后又逐渐下降。这说明本文方案在较少的步态周期下，即可获得较高的认证结果，具备高效率的认证性能。

此外，从图5可以看出GRU和LSTM在步态周期为4时均达到了最优的认证结果，且相差不大。但是从训练效率角度分析，基于双向LSTM的步态模型训练大约需要52.39 s，而基于双向GRU的步态模型大约需要43.57 s，模型的训练效率提升了约20%。此外，双向LSTM的模型占用存储空间约为1.86 MB，双向GRU的模型占用存储空间约为1.5 MB。综上，在不影响步态认证准确率的前提下，选择基于GRU的步态认证模型是一个更好的选择。

图5 GRU和LSTM认证结果随步态周期个数增加变化情况

Figure 5 The variation of GRU and LSTM authentication results with increasing gait cycles

2.6 相关文献对比

将PSR数据集中4种不同步态活动的认证结果与文献[5]和[8]进行对比，结果如表3所示。由表中可以看出文献[5]在4种步态活动下的认证准确率均未达到90%以上，认证效果较差。文献[8]在步行时准确率达到了94.86%，但上下楼梯时的认证准确率同样偏低。本文方案在4种步态活动下的认证准确率都优于其他方案，尤其提升了上下楼梯时的认证准确率，表明本文方案在不同的步态活动下鲁棒性更高，认证准确率更高。此外，本文还考虑了不同步态活动下，不同手机放置部位的影响，共20种步态场景，适用范围更广。将ZJU-GaitAcc数据集的认证结果与使用同数据集的文献[1]和文献[30]的认证结果进行对比，由表3中可观察到本文方案的处理方法得到的认证准确率更高，这是由于本文通过坐标系转换对步态数据进行了方向无关性处理，且利用GRU以及多种模型优化方式训练得到步态认证模型，从而获得较高的认证准确率。

表3 与现有文献对比

3 结束语

本文提出了基于GRU的智能手机多场景步态认证方案，通过去噪、步态周期提取以及坐标系转换等方法对步态信号进行处理，去除其中方向无关因素的干扰。此外，采用双向GRU模型进行模型注册和用户认证，权衡了训练效率和准确性。实验结果表明，与其他方案对比，本文方案提高了不同步态场景下的认证准确率，较之基于LSTM的步态认证模型，基于GRU的模型训练效率提升了约20%。为了达到实用性和实时性，本文将认证分为在线认证和离线认证。由于在线认证涉及用户步态数据、用户认证模型的传输，以及数据的隐私保护问题，本文将此部分留到未来工作中。

[1] SUN F, MAO C, FAN X, et al. Accelerometer-based speed adaptive gait authentication method for wearable IoT devices[J]. IEEE Internet of Things Journal, 2018, 6(1): 820-830.

[2] 姜奇, 文悦, 张瑞杰, 等. 面向智能手机的自适应触屏持续认证方案[J]. 电子学报, 2022, 50(5): 1131-1139.

JIANG Q, WEN Y, ZHANG R J, et al. Adaptive touch screen cotinuous authentication scheme for smartphones[J]. Acta Electronica Sinica, 2022, 50(5): 1131-1139.

[3] JIANG Q, HUANG X H, ZHANG N, et al. Shake to communicate: secure handshake acceleration-based pairing mechanism for wrist worn devices[J]. IEEE Internet of Things Journal, 2019, 6(3): 5618-5630.

[4] ZHU T T, QU Z Y, XU H T, et al. RiskCog: unobtrusive real-time user authentication on mobile devices in the wild[J]. IEEE Transactions on Mobile Computing, 2020, 19(2): 466-483.

[5] 蒋伟, 王瑞锦, 余苏喆, 等. 基于步态识别的移动设备身份认证模型[J]. 电子科技大学学报, 2019, 48(2): 272-277.

JIANG W, WANG R J, YU S Z, et al. Research on identity authentication model of mobile devices based on gait recognition[J]. Journal of University of Electronic Science and Technology of China, 2019, 48(2): 272-277.

[6] COLA G, AVVENUTI M, MUSSO F, et al. Gait-based authentication using a wrist-worn device[C]//Proceedings of the 13th International Conference on Mobile and Ubiquitous Systems: Computing, Networking and Services. 2016: 208-217.

[7] MUAAZ M, MAYRHOFER R. Smartphone-based gait recognition: From authentication to imitation[J]. IEEE Transactions on Mobile Computing, 2017, 16(11): 3209-3221.

[8] 杨力, 马卓茹, 张程辉, 等. 基于步态特征的移动平台持续认证方案[J]. 通信学报, 2019, 40(7): 126-134.

YANG L, MA Z R, ZHANG C H, et al. Mobile platform continuous authentication scheme based on gait characteristics[J]. Journal on Communications, 2019, 40(7): 126-134.

[9] THANG H M, VIET V Q, DINH THUC N, et al. Gait identification using accelerometer on mobile phone[C]//2012 International Conference on Control, Automation and Information Sciences (ICCAIS). 2012: 344-348.

[10] HESTBEK M R, NICKEL C, BUSCH C. Biometric gait recognition for mobile devices using wavelet transform and sup-port vector machines[C]//2012 19th International Conference on Systems, Signals and Image Processing (IWS-SIP). 2012: 205-210.

[11] HOANG T, CHOI D, NGUYEN T. On the instability of sensor orientation in gait verification on mobile phone[C]//2015 12th International Joint Conference on e-Business and Telecommunications (ICETE). 2015: 148-159.

[12] CHOI S, YOUN I H, LEMAY R, et al. Biometric gait recognition based on wireless acceleration sensor using k-nearest neighbor classification[C]//2014 International Conference on Computing, Networking and Communications (ICNC). 2014: 1091-1095.

[13] FERNANDEZ-LOPEZ P, LIU-JIMENEZ J, KIYOKAWA K, et al. Recurrent neural network for inertial gait user recognition in smartphones[J]. Sensors, 2019, 19(18): 4054.

[14] GIORGI G, MARTINELLI F, SARACINO A, et al. Walking through the deep: gait analysis for user authentication through deep learning[C]//IFIP International Conference on ICT Systems Security and Privacy Protection. 2018: 62-76.

[15] ZHANG M. Gait activity authentication using LSTM neural networks with smartphone sensors[C]//2019 15th International Conference on Mobile Ad-Hoc and Sensor Networks (MSN). 2019: 456-461.

[16] GAFUROV D, HELKALA K, SONDROL T. Biometric gait authentication using accelerometer sensor[J]. Journal of Computers, 2006, 1(7): 51-59.

[17] GAFUROV D, SNEKKENES E, BOURS P, et al. Gait authentication and identification using wearable accelerometer sensor[C]//2007 IEEE Workshop on Automatic Identification Advanced Technologies. 2007: 220-225.

[18] MANTYJARVI J, LINDHOLM M, VILDJIOUNAITE E, et al. Identifying users of portable devices from gait pattern with accelerometers[C]//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing. 2005: 973-976.

[19] XU W, SHEN Y, ZHANG Y, et al. Gait-watch: a context-aware authentication system for smart watch based on gait recognition[C]//Proceedings of the Second International Conference on Internet-of-Things Design and Implementation. 2017: 59-70.

[20] XU W, REVADIGAR G, LUO C, et al. Walkie-talkie: Motion-assisted automatic key generation for secure on-body device communication[C]//2016 15th ACM/IEEE International Conference on Information Processing in Sensor Net-works (IPSN). 2016: 1-12.

[21] GADALETA M, ROSSI M. IDNet: Smartphone-based gait recognition with convolutional neural networks[J]. Pattern Recognition, 2018, 74: 25-37.

[22] FERREIRA A, SANTOS G, ROCHA A, et al. User-centric coordinates for applications leveraging 3-axis accelerometer data[J]. IEEE Sensors Journal, 2017, 17(16): 5231-5243.

[23] ABUHAMAD M, ABUHMED T, MOHAISEN D, et al. AUToSen: deep learning-based implicit continuous authentication using smartphone sensors[J]. IEEE Internet of Things Journal, 2020, 7(6): 5008-5020.

[24] ZOU Q, NI L, WANG Q, et al. Robust gait recognition by integrating inertial and RGBD sensors[J]. IEEE Transactions on Cybernetics, 2018, 48(4): 1136-1150.

[25] FONG W T, ONG S K, NEE A Y C. Methods for in-field user calibration of an inertial measurement unit without external equipment[J]. Measurement Science and Technology, 2008, 19(8): 085202.

[26] 戴邵武, 王克红, 庆曾宏. 基于混合 PSO 算法的加速度计快速标定方法[J]. 压电与声光, 2015, 37(2): 232-236.

DAI S W, WANG K H, QING Z H. Rapid calibration of accelerometer based on hybrid particle swarm optimization algorithm[J]. Piezoelectrics & Acoustooptics, 2015, 37(2): 232-236.

[27] KINGMA D P, BA J. Adam: A method for stochastic optimization[C]//Proceedings of the 2015 International Conference on Learning Representations. 2015: 1-15.

[28] SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[29] SHOAIB M, BOSCH S, INCEL O, et al. Fusion of smartphone motion sensors for physical activity recognition[J]. Sensors, 2014, 14(6): 10146-10176.

[30] ZHANG Y, PAN G, JIA K, et al. Accelerometer-based gait recognition by sparse representation of signature points with clusters[J]. IEEE Transactions on Cybernetics, 2014, 45(9): 1864-1875.

GRU-based multi-scenario gait authentication for smartphones

JIANG Qi1,2, FENG Ru1, ZHANG Ruijie3, WANG Jinhua4, CHEN Ting4, WEI Fushan5

1. School of Cyber Engineering, Xidian University, Xi’an 710126, China 2. Henan Key Laboratory of Network Cryptography Technology, Zhengzhou 450001, China 3. College of Cryptographic Engineering, Information Technology University, Zhengzhou 450001, China 4. Science and Technology on Communication Security Laboratory, Chengdu 610041, China 5. School of Cyber Science and Engineering, Information Technology University, Zhengzhou 450001, China

At present, most of the gait-based smartphone authentication researches focus on a single controlled scenario without considering the impact of multi-scenario changes on the authentication accuracy. The movement direction of the smartphone and the user changes in different scenarios, and the user’s gait data collected by the orientation-sensitive sensor will be biased accordingly. Therefore, it has become an urgent problem to provide a multi-scenario high-accuracy gait authentication method for smartphones. In addition, the selection of the model training algorithm determines the accuracy and efficiency of gait authentication. The current popular authentication model based on long short-term memory (LSTM) network can achieve high authentication accuracy, but it has many training parameters, large memory footprint, and the training efficiency needs to be improved. In order to solve the above problems a multi-scenario gait authentication scheme for smartphones based on Gate Recurrent Unit (GRU) was proposed. The gait signals were preliminarily denoised by wavelet transform, and the looped gait signals were segmented by an adaptive gait cycle segmentation algorithm. In order to meet the authentication requirements of multi-scenario, the coordinate system transformation method was used to perform direction-independent processing on the gait signals, so as to eliminate the influence of the orientation of the smartphone and the movement of the user on the authentication result. Besides, in order to achieve high-accuracy authentication and efficient model training, GRUs with different architectures and various optimization methods were used to train the gait model. The proposed scheme was experimentally analyzed on publicly available datasets PSR and ZJU-GaitAcc. Compared with the related schemes, the proposed scheme improves the authentication accuracy. Compared with the LSTM-based gait authentication model, the training efficiency of the proposed model is improved by about 20%.

continuous authentication, gait behavior, multi-sensor, GRU

TP393

10.11959/j.issn.2096−109x.2022060

2022−05−23；

2022−07−22

张瑞杰，rjz_wonder@163.com

国家自然科学基金重大研究计划（92167203）；国家自然科学基金（62072352，62125205）；陕西省教育厅科研计划项目（20JY016）；陕西省重点产业链项目（2020ZDLGY09-06）

The Major Research Plan of the National Natural Science Foundation of China(92167203), The National Natural Science Foundation of China(62072352, 62125205), Scientific Research Program Funded by Education Department of Shaanxi Provincial Government (20JY016), Key Industrial Chain Projects in Shaanxi Province(2020ZDLGY09-06)

姜奇, 冯茹, 张瑞杰, 等. 基于GRU的智能手机多场景步态认证[J]. 网络与信息安全学报, 2022, 8(5): 26-39.

Format: JIANG Q, FENG R, ZHANG R J, et al. GRU-based multi-scenario gait authentication for smartphones[J]. Chinese Journal of Network and Information Security, 2022, 8(5): 26-39.

姜奇（1983−），男，安徽全椒人，西安电子科技大学教授、博士生导师，主要研究方向为密码协议，物联网安全。