多元数据融合的非干扰身份识别方法

于佃存 陈益强 彭晓晖 焦 帅 李啸海 钟 习

1(中国科学院计算技术研究所 北京 100190)2(山东大学软件学院 济南 250101)3(中国科学院大学 北京 100049) (yudiancun@ict.ac.cn)

近年来，随着智能终端设备特别是智能手机的普及，手机端的应用与系统的安全性较低，如何做好终端设备的风险控制成为具有挑战性的研究问题.根据Newzoo 2018年预测，到2021年全球手机网民规模将达38亿[1].“互联网+”如火如荼的发展，使得越来越多的配套服务也在不断的发展与完善[2-3]，各行各业都在积极地扩展互联网业务，从而为广大的智能终端设备用户提供便捷、多样、个性化的APP服务，手机也渐渐成为个人的“私人助理”、“支付助手”[4-5].因此智能手机设备中用户隐私数据以及支付环境的安全性越来越引起我们的重视.然而在人机交互方面，系统往往为了提高用户体验而降低了对隐私数据的保护，例如记住密码、自动登录等.如何在确保这些数据安全的同时，又能给用户提供友好便捷的交互方式已经成为越来越突出的问题.如：蚂蚁金服推出风险控制系统取消手势密码[4]，通过对用户账号、设备、位置、行为、关系、偏好等维度的分析，提高安全系数、降低使用的复杂度，从而使支付宝APP使用更便捷安全等.

步态作为一种非干扰的身份识别方法获得了广泛的认同.虽然通过图像进行步态分析的方法已经很成熟，但是由于受到图像步态信息数据采集条件的约束，该技术的推广使用受到了严格的限制[5-6].利用加速度传感器采集到的数据进行步态分析，是一种典型的非干扰步态分析方法[7].这种传感器设备作为基础设备内嵌在智能手机中，进行步态分析，能够很方便地进行推广普及.将基于步态的身份识别技术应用到智能手机的风险控制系统中能够在非干扰用户的情况下对用户的身份进行识别，避免用户重复进行身份认证如：输入密码、录入指纹以及人脸扫描等，提高了身份识别的隐蔽性，同时也提高了安全性[8-9].考虑到易用性以及易推广性可以将步态识别验证模块内嵌到智能手机的APP应用中或将识别验证模块作为智能手机操作系统的独立模块，为系统上的应用提供统一服务，本文提出了一套通用的步态分析系统架构方法可将其应用到智能手机APP风险控制中.与传统方法相比步态识别与手机的位置、用户行为无关，同时，采用OS-ELM(online sequential extreme learning machine)在线增量的方式不断更新模型从而提高准确度[10].

1 相关工作

风险控制一直是备受关注的话题，尤其是在互联网世界里信息数据都是以电子方式存储容易泄露、丢失或被恶意篡改等.近年来，基于大数据的风险控制系统在不断发展与完善，2015年7月“蚂蚁金服”推出风险控制系统[11]，对用户的日常行为、情绪以及行为进行监控分析，发现问题及时介入处理.在智能手机中有很多APP为了提高用户体验而提供记住密码或自动登录功能等，使得用户信息暴露在风险之下.虽然有些APP通过GPS或IP等信息分析用户活动区域，如果用户不在经常活动的区域内需要重新进行身份认证才能继续使用APP以达到保护用户信息的作用，但这些方法都不能对用户身份做出准确的判断[12]；所以，将可以识别用户身份的步态信息纳入风险控制体系中能极大地提高对用户信息的保护能力，同时也能提高用户非干扰风险控制的体验[13].

传统的身份验证主要采用如密码、声音、指纹、虹膜或人脸等[14-15]，这些方法相互配合能很好地保护用户的隐私信息，但是这些方法都需要用户显式操作或者对设备与环境有特殊的要求[12].这样使得人机交互变得复杂，用户体验在降低.步态作为一种新的身份识别与验证方式越来越受国内外研究人员的关注，并取得了一些研究成果.早在1999年Tong等人[13]使用陀螺仪固定在志愿者的脚踝处进行步态分析.之后Mayagoitia等人[16]使用加速度传感器和陀螺仪进行步态分析，并与光学方式进行的步态分析进行了对比，但是这些传统步态研究都存在一个问题：通过加速度传感器或陀螺仪等设备进行步态分析的时候都需要将特有设备放在用户的固定位置如：脚踝、膝盖、腰部等，并保持特定的方向[17].同样已存在的基于智能终端的步态身份识别系统也受到诸多类似的问题限制，例如：需要将手机放在特定的位置如：腰部；手机的摆放方向也受到约束等[18].这样都极大限制了步态身份识别在手机风险控制上的应用与发展，因而，位置、行为无关性研究在步态身份分析识别方面具有重大意义.

2 步态算法分析与风险控制架构

2.1 步态融合模型分析

本文提出了一种基于智能手机的与终端设备位置和用户行为无关的步态融合身份识别方法，如图1所示，该方法在进行步态识别的过程中极大的消除了传统步态识别方法对传感器摆放的位置、朝向和用户行为的约束.本文使用智能手机设备内嵌的加速度传感器设备进行加速度数据的采集，从而获取原始步态数据.通过对用户日常行为习惯的统计分析，用户行走的过程中智能手机设备绝大多数放在裤口袋或摆动的手中，因此步态分析方法建立在手持智能手机设备自然摆动行走和智能手机放在裤口袋内行走2种行为位置组合之上.针对用户不可枚举的行为与位置组合，首先对用户的行为和手机的位置采用随机森林(random forest, RF)方法进行识别过滤，然后再使用OS-ELM方法对2种行为与位置组合所获取的原始数据进行特征提取并生成特征向量，最后采用增量的方式更新模型以提高识别的准确度.步态融合模型流程如图1所示:

Fig. 1 Gait fusion model flow chart图1 步态融合模型流程图

我们用概率的方法，将本文研究的问题表示为

P(X|Y)=P(Y|AB)P(A|X)P(B|AX)=
P(Y|AB)P(A|X)P(B|AX)=
P(Y|AB)P(A|X)P(B|A)P(A|X),

其中，X为原始特征数据，Y为识别结果，A,B分别为识别的行为与位置，P(A|Y)对应行为识别模型，P(B|X)对应位置识别模型.

假设有n个任意加速度数据样本ai，i∈(0,n)，采集到的加速度向量：

ai=(αi,βi,γi)，

其中α,β,γ为加速度传感器的3轴分量.将3轴加速度值进行位置无关处理：

Ai=αi+βi+γi，

将采集的加速度数据流进行时间窗划分用m表示，假设第j个时间窗表示为

Qi=[A(i,1),A(i,2),L,A(i,256)],i∈[1,m]

Qj中时间窗前后重叠50%.得到矩阵M：

M=[Q1，Q2,…,Qm]T,

获得m个模型训练样本(Vi,Ti)，i∈[1,m]，其中Vi是Qi中提取的x维的行为与位置特征向量：

Vi=[v(i,1),v(i,2),…,v(i,x)]∈x，
Ti=[t(i,1),t(i,2)]

为对应的行为标量，位置也如上处理，仅提取的特征向量略有不同.最后将行为与位置进行分别且串联预测.

Fig. 2 Gait technology risk control system structure diagram图2 步态技术风险控制系统结构示意图

RF算法使用决策树(decision tree， DT)作为基本分类器，具有训练速度快精度高的特点.使用RF算法对智能手机设备持有者的行为以及设备所在的位置进行分别预测，通过信息增益(information entropy).尽可能地使得分支节点的包含节点属于同一类.假设离散属性b有v个可取值{b2,b2,…,bv}，

获得信息增益越大，则意味着使用属性a进行划分获得效果越好.从而构造出较好的分类器以此识别出用户行为与位置.

OS-ELM算法是基于极限学习机器[19-20](extr-eme learning machine， ELM)的在线增量模型算法，使用该算法可以不断积累用户步态行为数据，以此不断完善更新步态识别模型提高识别的准确性.假设有m个任意样本(Vi,Ti),i∈[1,m]，Vi是z维的步态输入向量Vi=[v(i,1),v(i,2),…,v(i,z)]∈z,Vi是1维的身份目标向量.其中有L个节点的单隐含层前馈神经网络(single hidden layer feed-forward neural networks， SLFNs)表示为

其中，ai,bi中是隐含层节点的学习参数，βi是隐含层第i个节点与输出节点间的权重系数.G(ai,bi,xi) 为激活函数.计算SLFNs使得输出的误差最小，使得：

yi=ti,j∈[1,N],i∈[1,L].

矩阵表示为Hβ=T：

另外，OS-ELM采用的是在线增量的方式进行模型更新，能及时更新识别模型提高算法的精度.

2.2 风险控制模块架构

图2描述的是步态识别系统的结构示意图，加速度数据依次经过行为模型、位置模型和步态模型(步骤1,2,3)对用户的身份进行识别，如果没有通过则进入步骤4.1激活其他验证方式，直到步骤5.1验证通过后则执行步骤6将该用户的加速度数据上传云端.行为模型与位置模型区分度强，不需要在线增量更新，在严重影响准确度的时候执行步骤7.1,7.2更新整个模型，本文使用OS-ELM算法构建步态模型，通过步骤7.3在线增量更新模型从而提高模型识别的准确率.

本文设计与实现的步态识别系统可以作为应用程序的非干扰风险控制模块为智能设备的应用提供很好的风险安全参考；同时可以将该模块升级到操作系统层面，为其上的应用提供便捷身份识别接口，从而使用户验证变的简单、便捷与高效提高用户体验.

3 实验结果与分析

现有的步态识别方法对传感器设备的位置都有较高的要求，如固定在脚踝、膝盖、腰部或放在口袋里等.在识别的过程中采用多种传感器设备，分析过程过为复杂以及采用较高的采样频率等方法不利于其在智能手机设备中的普遍应用.这些方法都不能很好地应用到实际的系统中进行风险控制.本文采用的加速度传感器采样频率仅为64 Hz，通过过滤模型将日常较为普遍的用户行为和智能手机设备放的位置进行预判断，利用融合模型的方法对加速度数据进行具体的分析以识别出用户身份，从而对用户智能手机进行风险控制达到提高设备安全性的目的[21].

通过分析可知，智能手机设备放在手中和口袋中的概率最大，因此本文的身份认证模型系统针对的是用户行进过程中智能手机设备放在摆动的手中和裤口袋里这2种组合进行实验分析，对于不同的场合可以根据需要增加组合，更新对应模型从而覆盖更多的行为类别.本文使用随机森林算法对用户的行为进行分析预测，并将预测的结果以及提取的特征向量通过OS-ELM算法进行识别与验证.本文中，我们对3种行为(走路、跑步、其他)和3种位置(摆动的手中、固定在胸前、裤口袋)进行了实验.主要针对走路的步态进行研究分析以达到非干扰身份识别与验证，从而进行风险控制，提高设备安全性和用户体验.行为与位置的组合如表1所示:

Table 1 User Behavior And Smart Device Location

Note: √ is the combination of body parts when sampling the data.

3.1 实验结果

本文实验邀请了32名志愿者(21男11女)按照表1所述的用户行为与智能手机位置的不同组合情况，进行数据采集并完成步态身份识别与验证实验.32位志愿者分别完成“走路-摆动的手中”、“走路-固定在胸前”、“走路-裤口袋”、“跑步-摆动的手中”、“跑步-裤口袋” 5种行为-位置组合，对于每种组合，使用智能手机内置的采样频率为64 Hz的加速度传感器采样3 min，并以4 s为一个时间窗，每一个时间窗即为一个样本.每种情况共获得样本数为1 440个.经过多次实验验证，行为模型与位置模型使用RF算法识别的准确率较高，如图3所示.将过滤后的数据输入不同的模型进行数据分析，其结果如图3所示:

Fig. 3 Common model and fusion model identification accuracy图3 常见模型与融合模型身份识别准确率

3.2 实验分析

如图4所示,可以明显看出RF对行为与位置的识别准确率较高，并且RF算法的复杂度较低，更有利于在智能手机上使用，所以在行为与位置识别过程中采用的是RF算法.图4是将常用的5种算法模型应用到步态身份识别中，并与先进行步态与位置预测的融合模型对比，发现融合模型识别精度高于其他模型，所以在进行步态识别时采用本文提出的融合步态识别模型能有效地提高预测准确率.因此，本文提出的方法为智能终端风险控制模块提供新的非干扰式的身份判断依据，能进一步提高了用户信息的安全性和用户体验.

Fig. 4 Common model behavior location recognition accuracy图4 常见模型行为位置识别准确率

进一步比较本文步态识别算法和传统步态识别算法的准确率，使用相同的数据集进行对比实验，实验对比用户在走路的时候智能手机设备在“摆动的手中”、“固定在胸前”、“裤口袋”3个不同位置，实验结果如图5所示：

Fig. 5 The accuracy of traditional and fusion models in different positions图 5 不同位置下传统与融合模型准确率

通过图5可以得出：对于在用户走路行为中，智能手机设备放在“摆动的手中”、“固定在胸前”、“裤口袋”这3个位置，本文提出的仅使用加速度传感器数据的算法精度均优于传统的步态识别算法.传感器、智能设备摆放的位置是用户步态识别准确率的重要因素，即使是同一个用户在不同位置采集到的数据对用户步态的识别也有着较大的影响.因此在进行用户步态识别之前，先对用户的行为以及智能手机设备的位置的预测对随后的用户步态识别与验证有很大的帮助.二元预测的结果如表2所示:

Table 2 OS-ELM Volunteers Bivariate Prediction

本文在进行步态识别的时候采用的OS-ELM在线更新模型，在用户的使用过程中其步态信息会随着首次身份确认，在用户授权的前提下同步将数据上传保存到云端的步态指纹库中.指纹库的目的是不断地更新步态识别模型，从而不断提高步态识别的准确度，为用户步态安全模块提供在线更新支持.步态识别模型在线增量更新准确率如图6所示：

Fig. 6 OS-ELM incremental learning accuracy map图6 OS-ELM增量学习准确率图

3.3 人机交互体验问卷

在每位志愿者完成人机交互实验之后，邀请他们完成一份关于人机交互体验的简单问卷，每个问题满分为10分，分数越高表现越好.如表3所示，本文提出的步态识别方法达到了非常优秀的效果，人机交互体验也得到了志愿者的认同.

Table 3 Human Computer Interaction Experience

4 结束语

本文提出了一种基于步态分析的非干扰身份验证方法，并将其应用在智能终端风险控制中，同时我们构建了一套风险控制识别系统.本文提出融合步态识别方法与智能终端设备的位置、朝向无关，同时只过滤出走路-摆动的手中、走路-固定在胸前和走路-裤口兜中3种情况的数据作为步态识别的输入.鞋子的材质类型以及人的情绪都会对用户的步态产生影响，这也是以后工作要着重解决的问题，这方面问题增加了对步态影响的因素，因此，要想将步态识别与验证模块更好地纳入到操作系统内置服务中，还需对更多的行为位置组合进行步态分析，进一步提高识别精度，确保用户信息安全.