基于触摸行为和运动传感器特征的智能手机握持姿势识别与用户认证系统

陈雅茜，欧长坤

(西南民族大学计算机科学与技术学院，四川 成都 610041)

基于触摸行为和运动传感器特征的智能手机握持姿势识别与用户认证系统

陈雅茜，欧长坤

(西南民族大学计算机科学与技术学院，四川 成都 610041)

主要研究智能手机上的用户握持手姿与用户认证系统的关键技术，将触摸补偿特征(TO特征)和运动传感器特征相结合，通过对采集到的真实用户数据集进行分析，从多种特征中找出了最佳特征组合.实验结果证明，TO特征和传感器特征的引入能显著改善手姿识别和用户认证的精度，为自适应用户界面的设计及手机安全认证机制等方向的研究提供了有益启示.

触摸行为；运动传感器；手姿识别；用户认证

智能手机屏幕尺寸的不断增大为单手持握方式下的用户单手交互带来了困难.自适应用户界面(User Interface，UI)应根据用户使用习惯及设备尺寸等信息对UI进行自动调整[1-3]从而方便用户使用.除了手姿外，用户的点击位置、设备状态等用户行为特征也有助于系统判断当前用户是否合法，从而增强移动设备的安全性.

人类在触摸屏上的触摸行为已经被研究了多年. N.Henze等人[4]首次提出了对点击对象的触摸误差这种触摸补偿特征(Touch Offset Feature，TO特征)用于改善点击目标的精度.TO特征以点击对象为研究目标，与屏幕尺寸无关.可设对象内部任意一点为参考原点，一般设置为点击对象的矩形覆盖的左上角点.D.Weir等人[5]将TO特征用于用户和手姿识别，D Buschek等[6]将这种特性扩展到整个屏幕上使用向量场描述了整个屏幕上单独的触摸行为(传统键盘上的击键特征已经被广泛研究[7])，提供了一套通用框架[8].并与文献[9]共同指出TO特征可以作为触摸屏上的用户识别认证的生物特征模板[10].但其参数只能通过人工调整才能将认证分类误差降低到20% ～30%，作为安全认证其结果并不理想.

另一方面，一些工作单独将运动传感器作为改善交互的手段.M.Goel等[11]研究了用户在一次触摸行为下陀螺仪自身的变化特点，指出可使用陀螺仪状态信息对用户单双手的握持姿势进行分类.但该研究仅对单次结果进行人工标注，没有严格的评估.文献[12]中Hinckley K.等只考察了对触摸时的设备陀螺仪的动作信息，文献[13-14]则换用了加速度传感器.

本文将TO特征和运动传感器特征相结合，通过对实际用户数据的分析找到最佳特征组合，以期有效提高智能手机的手姿识别和用户认证的精度.

1 实验设计

本文首先通过一个智能手机上的PIN码输入界面收集多位用户的多种行为特征(包括TO特征)以及多种运动传感器特征.

实验步骤:本文的测试环境为标准的室内环境，每位参与者采用坐姿、按手机屏幕上的提示完成6组PIN码输入任务(总时长约30分钟，软件对CoreMotion框架[15]所提供的数据进行采集，见图1)，完成全部操作后填写一份智能手机使用问卷.

用户任务:用户使用4种不同的手姿(左手拇指、食指；右手拇指、食指)、在iPhone6 Plus和iPhone5(屏幕尺寸分别为5.5和4.0寸)上分别输入PIN码.每位参与者须输入6组长度为6的预设PIN码，每组重复次10次.为消除用户跨设备、跨手姿间的学习效应，使用拉丁方阵随机调整设备顺序和手姿的顺序.

图1 PIN码输入界面Fig.1 PIN Code Entry Interface

2 实验数据收集与评估

2.1 实验数据集内容

本文记录了用户每次输入的瞬时触摸数据集，包括触摸位置(XY特征)、TO特征以及每个运动传感器特征的三个分量(详见表1):设备角度(ATTI特征)、加速计(ACCE特征)和陀螺仪(GYRO特征).此外，对用户每次点击输入时候的触摸而言，还对每次点击详细记录了指尖点击屏幕的开始、无意识的轻微滑动和指尖离开屏幕这三种状态的对应值.

2.2 评估模型

本文使用四种不同模型进行手姿分类和用户认证.

2.2.1 手姿分类模型

手姿识别模型:对用户u使用设备d进行典型的交叉验证，即使用一部分数据训练模型m，其他部分数据用于测试模型.

跨设备模型:对用户u使用设备iPhone6Plus上的数据训练模型m6，再使用设备iPhone5上的数据测试模型m6；使用设备iPhone5上的数据训练模型m5，再使用设备iPhone6Plus上的数据测试模型m5.

跨用户模型:使用用户u的数据训练出模型m，再使用其他用户的数据依次攻击(测试)模型m.

设置跨设备、跨用户模型是为了考察手姿识别模型的特点，以及不同用户、不同设备之间是否存在差异.

2.2.2 用户认证模型

用户认证模型不能只简单实现用户分类，而需将用户和其他用户区分.因此需对全体数据集进行重新标注:

用户认证模型:对于每个用户u的所有手姿数据全部标注为1，除用户u之外的用户数据全部标注为0，再实施交叉验证.

2.2.3 模型条件

本文全面分析了如表1所示的17类特征组合，作为对比研究，对XY特征和TO特征两组特征进行了对比，并且设置第0组作为参考基准.

表1 特征组合索引(fcID)表Table 1 Feature Combination Index(fcID)Table

对分类而言，本文对每个用户的数据集按表2所示的条件进行分割，共研究了索引值1至4等四种不同的分类情况.另外考虑到用户认证问题要对数据进行重新标注，针对用户认证模型另使用了索引值为5 至8的认证情况，用于分析在已知手姿情况下用户认证成功率.

表2 数据分割索引(dsID)表Table 2 Data Split Index(fcID)Table

2.2.4 参数和数据预处理

分类算法采用线性支持向量机[16]，使用Scikit-Learn[17]进行实验，主要参数为:kernel＝｀linear'，max_ iteration＝500000，test_size＝0.3，random_state＝42.训练前对所有数据进行归一化预处理，传感器数据以及TO特征均使用最大值进行归一，XY特征按设备屏幕的逻辑像素值进行归一.

2.3 参与者数据规模

本文实验数据来自16位参与者(10位男性，6位女性)，年龄范围为19-34岁.全部参与者均有智能手机使用经验，其中6位没有使用过PIN码.每位参与者执行6个不同的PIN码，每个PIN码重复10次、每个PIN码长度为6、更换4个不同的手姿、在2台设备上进行操作.即数据集中每个参与者分别产生2880次操作，每位用户平均产生上万条记录.

2.4 分类结果

每位参与者在每个评估模型下都有272个不同的分类误差结果.限于篇幅所限，本文仅分析XY特征与TO特征相关分类错误率的均值，如图2所示:引入运动传感器特征的结果整体优于参考基准第0组. 当dsID为3时，在当前手姿未知时(无论是使用拇指还是食指)，引入运动传感器特征后，依然能够对左右手的握持状态进行有效判断，而只使用XY或TO特征的分类效果极差.

2.5 结果分析

2.5.1 最佳特征组合

下取置信水平α＝0.05，实施t检验分析:

(a)TO特征对XY特征的优化

手姿识别模型中，85.2%的基于TO特征的分类误差结果和69.1%的基于XY特征的分类错误差结果低于40.0%.其中94.1%的使用TO特征的分类误差结果要优于使用XY特征的结果.容易验证使用运动传感器时，TO特征能显著分类误差.

于是考察在同时使用运动传感器时，换用TO特征时相比使用XY特征的分类正确率提升度，作零假设H0:TO特征对XY特征准确度的提升程度没有显著超过预设阈值T(在0至1中按0.005的间隔穷举而得到)，得到在手姿识别模型中，当T＝12%，p＝0.007＜α，当T＝7.5%，p＝0.021＜α均拒绝零假设；在用户认证模型中，当 T＝23.0%，p＝0.006 ＜α，当T＝27.0%，p＝0.030＜α均拒绝零假设.综上即有结论:在使用运动传感器特征时，将XY特征替换为TO特征能使得手姿识别模型和用户认证模型的分类误差分别显著降低7.5%～12.0%及23.0% ～27.0%.

图2 四种模型分类误差结果注:图中纵轴表示不同特征组合(fcID)，横轴表示使用不同的数据分割索引(dsID)，颜色代表对应分类结果的错误率，红色越深表明分类错误率越大，蓝色越深则相反.Fig.2 All Classification Error Rate ResultsNote:The vertical axis expresses the fcID and the horizontal axis express the index of using different dsID.The red and blue color shows the results of classification，Red color more deeper indicates that the classification error rate more larger and vice versa.

(b)运动传感器特征对基准的优化

作零假设H0:是否使用运动传感器对分类误差结果没有显著影响.在手姿识别模型和用户认证模型中，16种使用运动传感器组合的分类误差结果均值的显著性水平均为p＝0.000＜α，均拒绝零假设.即得到结论:使用运动传感器特征显著降低了分类误差.

(c)最佳特征组合的选取

在手姿识别模型中，手姿分类最佳特征组合有:

上述五种特征组合的分类误差的均值为5.52%，考虑零假设H0:最佳特征组合的分类误差与其他特征组合的分类误差没有明显差异.非最佳特征组合(不含基准)的均值为23.20%，p＝0.000＜α，拒绝零假设，即得到结论:最佳特征组合的分类结果显著好于其他特征组合.

在用户认证模型中，设置阈值为19.5%，使在所有特征组合中只有一组特征组合满足四种不同数据分割索引的认证.从而确定最佳特征组合为:

其认证结果显著优于其他特征组合(p＝0.000 ＜α).

2.5.2 模型的独立性

在跨设备模型和跨用户模型中的分类误差均显著大于36%(p＝0.007＜α，p＝0.002＜α).即手姿识别模型在不同设备、不同用户之间差异性(36%)显著，表明其具有用户特定(user-specific)、设备特定(device-specific)的特点.

2.5.3 特殊情况

1)表3显示已知手势下的用户认证模型结果，其认证误差会近似收敛到一个常数，即已知手势下引入运动传感器特征能显著降低分类误差，但效果不如其他特征明显(＜0.5%)；

2)用户认证模型中全部参与者的错误率方差为0.0351，显著大于手姿分类(0.0026)，即用户认证模型的错误率结果的稳定性低于手姿模型.

表3 已知输入手势时用户认证模型的误差结果Table 3 Authentication Model error rate results when posture is given.

图3 参与者5和参与者10的ROC曲线对比注:其中dsID为1，蓝色曲线的fcID为16，红色曲线的fcID为0Fig.3 ROC curve of participant 5 and 10Note:all confiscations'dsID are 1，blue curves'fcID are 16，red curves'fcID are 0.

3)对于参与者5和10的单例结果，图3比显示了用户操作特性曲线(ROC)来衡量认证模型在这两个参与者中表现的分类性能，图中红色曲线为文献[4-6，8，10]的结果，蓝色曲线为本文结果，分类性能提升明显.iPhone5结果更优的原因在于参与者5和10使用的是大屏手机，对小屏幕设备没有单手持握困难，即设备单手握持难易度会影响用户认证模型的结果.设备相同时，参与者5比10结果更优的原因在于其更能熟练使用PIN码，PIN码使用经验会影响用户认证模型的结果.

3 结论

1)引入运动传感器特征能够显著改善手姿识别和用户认证的精度，即便使用了不同特定手姿依然能对左右手的握持状态进行有效的判断，不使用时则不能.

2)使用TO特征结合运动传感器特征能显著降低手姿识别和用户认证的分类误差.对于手姿识别问题，能显著降低7.5%至12.0%的分类误差；对于用户认证问题，则能显著降低23.0%至27.0%的分类误差.

3)在众多作为TO特征的扩展特征的运动传感器特征中，手姿识别的最佳扩展特征为设备角度；用户认证的最佳扩展特征为陀螺仪z轴特征.

4)当已知输入手姿时，用户认证将不再与运动传感器特征强相关，其降低分类误差的效果不明显.

5)用户认证还效果与用户的PIN码使用经验以及设备的单手握持难易度相关.

4 结束语

本文将触摸补偿特征(TO特征)和运动传感器特征相结合，通过分析实验数据从多种特征中找出了最佳特征组合.实验结果证明该特征组合能显著改善手姿识别和用户认证的精度，从而能为自适应用户界面的设计及手机安全认证机制等方向的研究提供有益启示.未来的改进工作主要如下:

1)在本文的离线分析中每个用户在单一场景中只参与一次实验.但实际应用中用户使用PIN码并不分场景和时段，因此有必要对用户进行长期追踪.

2)实验结果已显示用户对 PIN码的使用经验以及设备持握难易度等因素会影响用户认证模型的结果.以后可以考虑引入相关权重来进一步改善结果.

3)本文只使用了用户点击屏幕时各传感器的瞬时数据.图4为分别使用左、右手输入PIN码过程中陀螺仪的变化曲线，易观察到左右手输入存在差异.可将输入时段内的传感器数据作为一种新的认证用户特征.

图4 用户分别使用左右手进行PIN码输入过程中陀螺仪的变化曲线Fig.4 Gyroscope curve cooperation when using different hand to input PIN Code.

致谢:本文作者感谢慕尼黑大学的导师Andreas Butz、Heinrich Hussmann、博士生助教 Daniel Buschek以及全部参与者.

(文中所涉及的软件、数据集、实验代码等资源可以 在 https：//github.com/changkun/AugmentedTouch中下载.)

[1]董士海.人机交互的进展及面临的挑战[J].计算机辅助设计与图形学学报，2004，16(1):1-13.

[2]李晓.自适应人机交互界面研究[D].成都:西南师范大学，2004.

[3]樊银亭，滕东兴，杨海燕，等.基于经验感知的自适应用户界面模型[J].计算机学报，2011，34(11):2211-2223.

[4]HENZE N，RUKZIO E，BOLL S.100，000，000 taps:analysis and improvement of touch performance in the large.[J].Mobile HCI，2011: 133-142.

[5]WEIR D，BUSCHEK D，ROGERS S.Sparse selection of training data for touch correction systems[C]//New York:Proceedings of the 15th international conference on Human-computer interaction with mobile devices and services，2013:404-407.

[6]BUSCHEK D，ROGERS S，MURRAY-SMITH R.User-Specific Touch Models in a Cross-Device Context[C]//New York:Proceedings of the 15th international conference on Human-computer interaction with mobile devices and services，2013:382-391.

[7]李晨.基于击键特征的身份认证与识别研究[D].南京:南京理工大学，2014.

[8]BUSCHEK D，DE LUCA A，ALT F.Improving Accuracy，Applicability and Usability of Keystroke Biometrics on Mobile Touchscreen Devices [C].New York:CHI'15 Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems，2015:1393-1402.

[9]PHILIPP MOCK，JOERG EDELMANN，ANDREAS SCHILLING，AND WOLFGANG ROSENSTEIN.User identification using raw sensor data from typing on interactive displays[C]//New York:Intelligent User Interfaces，2014:67-42.

[10]BUSCHEK D，ALT F.TouchML:A Machine Learning Toolkit for Model ling Spatial Touch Targeting Be-haviour[C]//IUI’15:Proceedings of the 20th International Conference on Intelligent User Interfaces，2015.

[11]GOEL M，WOBBROCK J O，PATEL S N.GripSense:Using built-in sensors to detect hand posture and pressure on commodity mobile phones[C]//Proceedings of the 25th annual ACM symposium on User interface software and technology，2012:545-554.

[12]HINCKLEY K，SONG H.Sensor Synaesthesia:Touch in Motion，and Motion in Touch[J].Human Factors.2011:801-810.

[13]苗敏敏，周治平，王杰锋.基于加速度传感器的手机用户认证方法[J].计算机工程与科学，2015，37(3):508-513.

[14]MCGRATH W，LI Y.Detecting tapping motion on the side of mobile devices by probabilistically combining hand postures[C]//New York:the 27th annual ACM symposium，2014:215-219.

[15]APPLE INC.iOS Developer Library:Core Motion Framework Reference，2015.

[16]CHRISTOPHER M BISHOP.Pattern recognition and machine learning[M].Springer，2006.

[17]PEDREGOSA F，VAROQUAUX G，GRAMFORT A，et al.Scikitlearn:Machine learning in Python[J].The Journal of Machine Learning Research，2011，12:2825-2830.

(责任编辑：张阳，付强，李建忠，罗敏；英文编辑：周序林)

Combining touch biometrics and motion sensors for hand posture recognition and user authentication

CHEN Ya-xi，OU Chang-kun

(School of Computer Science and Technology，Southwest University for Nationalities，Chengdu 610041，P.R.C.)

This paper explored the key technology of posture recognition and user authentication for smart phones.The touch offset features(TO features)are combined with motion sensor features.Through an in-depth analysis of collected user data，the paper found the most effective feature combination.The experiment results also confirmed that the introduction of TO and motion sensor features remarkably improved the correctness of hand posture classification and user authentication.The outcomes of this paper may bring implications for research on self-adaptive user interface and security authentication.

touch behavior；motion sensor；posture recognition；user authentication

TP309；TP311.52

A

2095-4271(2016)04-0429-07

10.11920/xnmdzk.2016.04.011

2016-05-18

陈雅茜(1981-)，女，副教授，博士，研究方向:人机交互、信息可视化，E-mail:yaxichen＠swun.cn；欧长坤(1993-)，男，硕士研究生，研究方向:人机交互，E-mail:hi＠changkun.us

西南民族大学中央高校基本科研业务费专项资金(青年教师)(13NZYQN19)