基于手机传感器的左右手识别

吴飞

（四川大学计算机学院，成都 610064）

基于手机传感器的左右手识别

吴飞

（四川大学计算机学院，成都 610064）

科学技术的高速发展，智能手机因其内置的各类传感器而功能越来越强大。通过智能手机内置的传感器分别收集左右手从桌面拿起手机时的状态数据，从中提取相关特征。利用序列向前选择（SFS）算法及相关评价函数选出特征子集，然后通过机器学习算法构建分类模型，用来对用户拿起手机的左右手进行识别。最后通过10-折交叉验证方法评估模型的准确率，实验结果表明构建的分类模型具有较高的准确率。

智能手机；传感器；机器学习；交叉验证；左右手识别

0 引言

随着集成电路技术的飞速发展，移动终端的处理能力越来越强大，尤其手机的发展备受瞩目。在其发展进程中可以发现手机的屏幕尺寸越来越大，我们可以归结为以下几个原因：日常生活中，用户使用手机处理的事务越来越多，使用平板电脑等大屏移动终端的场景也越来越多，这些不可避免地加大了对屏幕显示的需求；同时多点触控技术对输入方式的颠覆使得大屏幕更适应当前的潮流；此外，软件技术的提高带来了丰富的软件应用，大屏幕手机在游戏、影视、图片等应用中带来了良好的用户体验。

手机的快速发展在给用户带来良好使用体验的同时也带来了相应的挑战[1]，特别是在单手操作大屏幕手机时，若用户使用的不是习惯用手时，便会带来很大的可用性问题，影响用户的操作体验。虽然目前手机可以设置单手模式来减少用户单手操作时的可用性问题，但是该功能仅仅只是缩小了用户操作的界面，并且需要用户主动去设置，不能实时自动地调整。

纵观手机发展历程，可以找到解决上述问题的方法——利用手机内置的各种传感器。科学技术的发展进步，智能手机集成了各种传感器，这些传感器增强了手机的功能，同时也使得丰富的应用软件也越来越贴近人们的生活。例如，在手机游戏中运用重力感应器，增加用户的游戏体验；利用手机传感器收集来的数据，识别用户一天的姿态（坐、立、行、跑），从而估算出用户一天消耗的卡路里，制定合理饮食和运动[2]；阅读软件利用传感器识别用户的翻页动作等。考虑到上述应用中利用传感器收集用户的数据，识别用户的状态，从而解决相应的问题。因此可以考虑利用手机内置的传感器来解决大屏幕手机带来的可用性问题。

为解决上述手机屏幕尺寸带来的可用性问题，首先需要考虑的是识别出用户使用手机的左右手。本文通过手机内置的传感器分别收集左右手从桌面拿起手机时的数据，从数据中提取相关特征，通过机器学习（Machine Learning）算法建立分类模型，用以对左右手进行识别。使用交叉验证方法评估出分类模型具有较高分类准确率。

1 相关工作

目前，利用手机传感器收集数据进行分析的研究主要集中在对用户运动、手势和姿态的识别。

文献[3]采用手机内置的加速度传感器，通过基于连续的隐马尔可夫模型来构建手势识别系统。该识别系统中包含了从数据中除去设备方向带来影响的预处理步骤。文中还对样本精度和采样频率的影响做了相关研究。文献[4]中，通过手机加速度传感器收集数据，构建模型对用户的运动状态（慢跑、走、站、坐和上下楼等）进行识别。文中对具有周期模式的运动状态进行了详细的分析，使得更容易识别这些运动状态。此外，使用了三种学习算法对识别的准确率进行判断。文献[5]为了提高识别准确率和扩展应用任务，提出了新的手势识别系统，该系统基于手机的三种传感器（加速度传感器、陀螺仪和磁力计）。为了整合每种传感器的数据，提出了数据加权融合方法。通过隐马尔科夫模型进行训练和识别。文献[6]通过3轴加速度传感器对手机在空间中的位置和变化率进行识别，并将其应用到网球游戏中。通过对正手击球、反手击球和发球等动作的共同的连续序列进行分析，得出不同的模式进而用于对动作的识别。

上述关于传感器的相关研究运用不同的方法和不同的手机内置传感器，对用户的手势、姿态和运动进行建模识别，都有较高的识别率和应用前景。但这些研究都是对手机内置传感器在应用程序中的扩展，本文希望通过对用户左右手的识别，除了达到上述目的外，还可以提高手机的可用性。

2 实验设计

2.1 受试者

本实验的受试者为13名在校大学生（男性），年龄在24~30之间。所有的受试者在日常中都经常使用手机，且都有单手操作手机的经验。在所有的受试者中，当单手操作手机时，既有习惯使用左手的，也有习惯使用右手的。

2.2 实验任务

该实验选择屏幕尺寸为5.5寸的大屏Android手机用来采集实验数据。为了收集实验时的传感器数据，编写了一个简单的Android程序，程序截图如图1所示。

图中开始和停止按钮用来控制数据的收集：按下开始钮时，程序采集传感器数据，将其写入相应的文本文件中并存储到手机本地上；按下停止钮时，程序停止对传感器数据的采集。按钮下的界面用来实时显示传感器数据。

本实验要求受试者分别使用左右手从桌面拿起手机，到达使用手机的状态时停止。开始准备拿起手机时按下开始按钮，停止时按下停止按钮。要求受试者左右手分别实验20次（实际实验中实验次数可能超过20次）。

图1 实验界面

2.3 实验步骤

首先，向受试者说明实验目的，了解实验过程。为了让受试者清楚明白实验步骤，让其先尝试几次实验。然后，将手机竖直平放在桌面上，受试者正对手机开始实验。按下开始按钮，受试者单手拿起手机，拿至面前到达使用状态时，按下停止按钮。最后将手机放回原位，这样一次实验完成。受试者同一只手重复20次后，需要将收集到的传感器数据另存为其他文件，避免与另一只手的数据混淆（该步骤由实验者完成）。受试者使用另一只手重复上述步骤，最终完成实验。

实验后，受试者完成一份问卷，记录下受试者的年龄、单手使用手机时的习惯用手等信息。

3 数据收集与处理

3.1 数据收集

本文要收集手机倾斜、摇摆等运动学数据，因此我们要收集的传感器数据包括重力传感器、加速度传感器、线性加速度传感器和陀螺仪等运动传感器。

根据上述实验，本文收集了13位受试者共591个姿态数据（将手机从桌面拿起到使用状态的过程算一个姿态），其中包括左手数据302个，右手数据289个。收集的数据按照“X轴加速度Y轴加速度Z轴加速度时间戳”的格式保存在文本文件中。不同的传感器数据保存在不同文本文件中。

3.2 数据预处理

根据研究[10]手机传感器收集的数据与实际值有一定数值的偏差。收集的原始数据因为有波动和噪声，因而带来误差。误差按照性质的不同，分为系统误差、随机误差和粗大误差。不同性质的误差处理的方法不同。

系统误差是由某些特定原因引起的误差。系统误差的大小和方向往往会保持不变或者按一定的规律变化，可以通过减去一个补偿值来消除，本文中通过减去手机在桌面静止时传感器数值的平均值来消除。随机误差的大小和方向都不一定且变化没有规律，但是在统计学上符合一定的规律，可以通过滤波的方法减少随机误差的影响。粗大误差是被试者自己粗心导致，规范实验步骤后，可以不予考虑。

4 数据分析与结果

4.1 特征选择方法

收集的手机传感器的原始数据不能直接用于构建分类模型。本文首先提出的特征包括：速度、平均值和角度。对于各个特征的具体描述如下：

速度（Velocity）：取线性加速度传感器各轴以及时间戳数据，计算平均速度作为特征（共1个），计算公式（1）如下。速度反映了拿起手机的快慢。

其中V表示速度，xi、yi、zi、ti表示每个姿态第i个采样X、Y、Z轴的线性加速度与时间戳。

平均值：取各个传感器各轴的加速度数据，分别计算其平均值作为特征（共12个）。平均值描述了各个传感器各轴数据的总体趋势。各个传感器各轴平均值表示符号如表1所示。

表1 各个传感器各轴平均值表示符号

角度（Angle）：指的是手机拿起后状态一定时末状态左右倾斜的角度（共1个）。因为重力传感器X轴的数值表示手机左右倾斜时重力加速度在X轴上的分量。因此可以用重力传感器X轴的数值来表示手机的左右倾斜程度，而不必算出准确的倾斜角度，从而减少了计算量。

由于机器学习方法构建的分类模型的质量很大程度上依赖于作为输入数据集合而所选的特征。剔除不相关及冗余等不必要的特征，可以提高分类模型的分类准确率。因此，需要对上述提出的特征集合进行特征选择。本文使用序列向前选择（SFS）算法搜索特征子集，使用相关性和分类器错误率作为评价函数来分别评价产生的特征子集的好坏，并将两种评价函数进行比较。

序列向前选择（SFS）算法已经被成功用于各种各样的特征选择问题，生成具有高性能的最小特征子集。SFS算法是自底向上的搜索过程，特征子集从空集X开始，每次从剩下的特征子集中选择一个使得评价函数的取值达到最优的特征x加入到特征子集X中。

运用相关性来度量特征子集的好坏是基于这样一个假设：好的特征子集所包含的特征应该是与分类的相关度较高，而特征之间的相关的较低。评价函数的计算是通过调用weka的CfsSubsetEval函数。使用分类器错误率评价特征子集的性能是指使用特定的分类器（本文使用SVM），用给定的特征子集对样本集进行分类，用分类的精度来衡量特征子集的好坏。当加入一个新的特征x到特征子集X中后，如果没有提高评价函数的取值，那么就终止特征选择过程。

4.2 特征选择结果

对收集的数据进行特征选择，使用相关性作为评估函数选出的特征子集为：AVE（Ax）、AVE（Gx）、ANGLE。使用分类器错误率进行特征选择的过程如表2：

表2 分类器错误率特征选择

表中粗体表示特征选择的结果为：AVE（Ax）、AVE （Ay）、ANGLE、AVE（Wz）。

4.3 分类结果

根据上述特征子集选择产生的结果，利用机器学习方法来构建分类模型，并通过10折交叉验证方法验证分类模型的准确率。在本文中，利用了多种机器学习方法来构建模型，并比较它们的分类准确率。用到的机器学习方法包括：支持向量机（SVM）、逻辑回归（LR）、多层感知器（MLP）、决策树（J48）。最终的分类准确率如表3所示。

表3 多种不同机器学习方法应用在不同评价函数上的分类准确率

从表中可以看出，每种机器学习方法构建的分类模型的分类准确率都很高，平均分类准确率在96%左右。还可以从横向和纵向两个方向对表中的数据进行比较分析。

从横向看，在不同的机器学习方法中，构建的分类模型的分类准确率相对较高的是支持向量机（SVM）。从纵向看，使用分类器错误率作为评价函数选出的特征子集比用相关性作为评价函数选出的特征子集构建的分类模型的分类准确率高，分类准确率最高的特征子集是AVE（Ax）、AVE（Ay）、ANGLE、AVE（Wz），使用SVM分类准确率达97.80%。

5 结论和未来的工作

本文使用了手机内置的运动传感器来收集其从桌面拿起到使用过程中的状态数据。通过分析数据生成了相关特征，并从中删除不相关和冗余的特征，使用序列向前选择（SFS）算法来搜索特征子集，同时使用相关性和分类器错误率来分别评价所搜索的特征子集的好坏，最终选出准确率最高的特征子集，最后使用多种机器学习算法构建分类模型，最终的分类准确率都很高，平均在96%左右。这说明机器学习算法与手机内置传感器结合可以用来解决本文提出的手机尺寸带来的可用性问题。

本文研究存在着很多有待改进提高的部分。①在数据收集部分，本文收集数据的起始和结束是通过相关按钮人为控制。在该过程中，收集的手机状态数据有可能带来偏差，例如，结束时点击按钮可能带来手机角度的偏差。因此，自动识别数据收集的起始和结束点是未来工作一个重要环节。②研究只考虑了手机平躺在桌面被拿起的情况，未来可以考虑多种起始状态的情况。③用于构建模型的特征，文中考虑的也许并不全面，可能存在其他更合适特征，可以提高识别准确率。④文中现在的研究结果仅仅是在离线状态下的，并不是实时产生的，未来希望可以实时对用户和手机的状态做出反应。

除了上述提及的以外，未来一个非常重要的方向就是应用文中的研究结果，提高手机的可用性，改善用户的操作体验，正如文中引言提及的，也是本文研究的目的所在。例如，利用本文的研究结果结合用户使用手机的数据（如应用程序使用的频率、输入法使用等），可以根据用户的使用手自动调节手机桌面应用程序图标布置、输入法界面等设置，减少屏幕尺寸变大带来的可用性问题，以提高用户的满意度。

[1]Hsu H H,Tsai K C,Cheng Z,et al.Posture Recognition with G-Sensors on Smart Phones[C].NBiS.2012:588-591.

[2]Lane N D,Miluzzo E,Lu H,et al.A Survey of Mobile Phone Sensing[J].IEEE Communications Magazine,2010,48(9):140-150.

[3]Pylvanainen T.Accelerometer Based Gesture Recognition Using Continuous HMMs[C].Iberian Conference on Pattern Recognition and Image Analysis.Springer Berlin Heidelberg,2005:639-646.

[4]Kwapisz J R,Weiss G M,Moore S A.Activity Recognition Using Cell Phone Accelerometers[J].ACM SigKDD Explorations Newsletter, 2011,12(2):74-82.

[5]Liu,F.,et al.Gesture Recognition System Based on Multi-Sensor for Future Mobile Phone[J].Proceedings of 2011 2nd Asia-Pacific Conference on Wearable Computing Systems(APWCS 2011 V1).

[6]Cho H,Kim S,Baek J,et al.Motion Recognition with Smart Phone Embedded 3-Axis Accelerometer Sensor[C].2012 IEEE Interna-tional Conference on Systems,Man,and Cybernetics(SMC).IEEE,2012:919-924.

[7]Pei C,Guo H,Yang X,et al.Sensors in Smart Phone[C].International Conference on Computer and Computing Technologies in Agriculture.Springer Berlin Heidelberg,2010:491-495.

[8]D'Elia M G,Paciello V.Sensors Uncertainty on an Android Smart Phone[C].Instrumentation and Measurement Technology Conference (I2MTC),2012 IEEE International.IEEE,2012:698-702.

[9]Guolu W,Kaijin Q,Yao C.The Design and Implementation of a Gravity Sensor-Based Mobile Phone for the Blind[C].Software Engineering and Service Science(ICSESS),2013 4th IEEE International Conference on.IEEE,2013:570-574.

[10]Ma Z,Qiao Y,Lee B,et al.Experimental Evaluation of Mobile Phone Sensors[C].Signals and Systems Conference(ISSC 2013),24th IET Irish.IET,2013:1-8.

[11]Brezmes T,Gorricho J L,Cotrina J.Activity Recognition from Accelerometer Data on a Mobile Phone[C].International Work-Conference on Artificial Neural Networks.Springer Berlin Heidelberg,2009:796-799.

Right and Left Hand Identification Based on Mobile Sensor

WU Fei
(College of Computer Science,Sichuan University,Chengdu610064)

With the rapid development of science and technology,smart phones become more powerful because of its built-in various sensors.Collects state data when mobile phone is picked up from tabletop by right and left hand through sensors which are built in smart phone,and then relevant features are extracted from them.Uses sequence forward selection(SFS)algorithm and the related evaluation function to select the feature subset,then builds classification model via machine learning algorithm,which is used to identify which hand is used when user picked up the mobile phone from tabletop.At last assessments the accuracy of model through 10-fold cross-validation,the results of experimental show that the built classification model has a high accuracy.

Smart Phone;Sensor;Machine Learning;Cross-Validation;Right and Left Hand Identification

1007-1423（2017）05-0026-05

10.3969/j.issn.1007-1423.2017.05.007

吴飞（1990-），男，湖北洪湖人，硕士，研究方向为数字娱乐与人机交互

2016-11-29

2017-02-06