面向移动终端人机交互的指尖点击力

杨文珍, 张 昊, 吴新丽, 邵明朝, 金中正

(浙江理工大学 虚拟现实实验室,浙江 杭州 310018)



面向移动终端人机交互的指尖点击力

杨文珍, 张 昊, 吴新丽, 邵明朝, 金中正

(浙江理工大学 虚拟现实实验室,浙江 杭州 310018)

为了实现智能移动终端基于指尖力的自然人机交互,以指尖点击交互为研究对象,按3种指尖点击力(轻点击力、正常点击力和重点击力)开展实验研究,探究指尖点击交互时点击力和点击面积的内在机理,试图依据指尖点击面积区别出这3种点击力的交互行为.实验结果如下：1) 大拇指、食指、中指和无名指都能够施加有明显区分度的轻点击力、正常点击力和重点击力,特别是对轻点击力均有很好的控制能力；2) 点击力和点击面积之间不存在满映射关系,但是存在强相关性；3) 依据点击面积可以很好地区分出指尖的轻点击力和重点击力.

指尖交互；点击力；点击面积；力觉交互；移动终端

目前,智能移动终端主要是通过监测指尖在触摸屏上的二维位置,进行交互操作,尚不能依据指尖力完成人们的交互意图[1-2].所谓的“智能”只是停滞在指尖交互动作多样性和机械性的层面上,远远没有达到“以人为中心”的人机交互要求.

有些学者通过力传感器直接测量指尖力,操作移动终端.Heo等[3]开发了一个装有11个力传感器的手机壳原型设备,力传感器可以检测到手指力,进而定义指尖力的交互行为.Lee等[4]通过力感应层和弹性层,实现了移动终端指尖力输入的性能.Stewart等[5]用Force Sensing Resistor,研发了一个可以感知压力的手机[6].Heo等[7]设计出一种新型触摸板,能够跟踪手指悬停和测量指尖力.John等[8]通过压力传感装置测量了手指力,运用FE模型分析了指尖力抓持模型.

通过肌腱伸缩量[9]、肌电信号[10-11]、指甲颜色[12-15]、振动信号[16]和指尖形变[17-18]等方法,学者们研究了间接测量和分析指尖力,操作移动终端.Odagaki等[10]开发了一个移动终端3D touch界面,通过肌电放大器测量人手肌电信号,估计出指尖力.Liu等[11]测量了前臂肌的肌电信号,推测出指尖力.Mascaro等[12]研发了指甲传感器,监测指甲下的血容量,推算出指尖力.Chen等[13]通过照相机获取指甲图像,可以比较精确地求出指尖力.依据移动终端内置的加速器可以吸收振动的原理,Hwang等[14]提出实时估计指尖力算法.依据红外光谱照相机能够得到指尖形变后的图像[15],Soneda等[16]提出基于指尖形变的指尖感知性能分析方法,分析了指尖的振动阀值和触觉分辨.Akihito等[17]用普通照相机,开发了一个基于指尖形变的指尖力测量装置.

指尖力直接测量的方法需要利用外部设备,不利于在移动终端设备上的集成.指尖力间接测量的方法无需外部设备可以获取指尖力,是较佳的方法.在基于指尖接触面积的指尖力测量方法的基础上[18],着重分析指尖点击交互时指尖力的测量、指尖力的区分度、指尖力的接触面积以及指尖力和接触面积的相关性等,探索在不增加任何硬件的条件下,研发面向移动终端基于指尖力交互的可行性.

1 实验设计

构建指尖力和指尖接触面积的测量平台,设计指尖点击力交互的实验内容,开展3种点击力交互的实验测量,记录点击力和点击面积的实验数据,分析点击力、点击面积以及两者之间的关系.

当用3种指尖点击力(轻点击力、正常点击力和重点击力)表达不同交互意图时,通过实验研究试图发现：1)人手指尖能否有效控制和施加有明显区分度的这3种点击力？2)在这3种点击力下,能否得到有明显区别度的3种点击面积？3)能否找出点击力和点击面积之间的关系,以便移动终端能够通过获取不同的点击面积,解析出不同的点击力,进而定义出不同的交互意图.

1.1 实验平台的构建

实验装置采用美国Tekscan公司Grip握力压力分布测量系统,开展指尖点击力交互的实验研究,测量点击力和点击面积的实验数据.该系统的硬件为基于计算机的A/D转换电路和高灵敏度的压阻式感测片,软件为基于Windows操作系统的压力显示和分析软件Grip Research 6.51,实验平台如图1所示.

图1 指尖力和指尖接触面积的测量平台Fig.1 Instruments for measuring fingertip forces and its contact areas

点击实验时,感测片贴着在测试手指的指腹上,感测片的电阻会随着点击力的变化而变化,进而导致电流的变化.软件通过分析电流变化的情况,测得点击力；通过分析电阻变化的区域,测得点击面积.该平台具有较高的测量精度和响应速度,能够实时动态地记录与显示指尖的作用力和作用面积,可以将测量的数据导出到其他数据分析软件,具有较好的兼容性.

1.2 实验测试者和实验内容

1.2.1 实验的测试者 由于不同人的指尖有个性化差异,比如指尖形状、指尖皮肤弹性、点击力的控制能力等,实验的测试者对实验结果有一定的影响.为了确保实验数据的一致性,实验测试者均为成年人.邀请了5个测试者(3男2女,22～27岁)参与实验,他们手指健全、无畸形并且惯用手为右手.测试者均没有受过有关手指力方面的专业训练,不具有超常的手指作用力,身体健康状况良好,在最近3个月中,测试者手指没有发生骨折或者扭伤之类的运动性损伤,并且在实验的前一天没有参加剧烈的运动,没有出现肌肉酸痛疲劳的情况.

1.2.2 实验内容 在要求测试者有意识地控制指尖点击力情况下,开展指尖轻点击力动作、指尖正常点击力动作和指尖重点击力动作的实验测量.轻点击力动作是指测试者故意施加较小的指尖力,点击移动终端触摸屏的行为；正常点击力动作是指测试者不故意控制指尖力,点击移动终端触摸屏的行为；重点击力动作是指测试者故意施加较大的指尖力,点击移动终端触摸屏的行为.如表1所示为设计的实验内容.

表1 指尖点击力测量的实验内容

图2 各手指点击动作的姿态Fig.2 Gestures of fingertip tapping

1.2.3 实验测量过程 测试者在最近的24 h内手指没有高强度运动,试验过程中要保持手指指腹皮肤干燥.在约20 ℃室温下,校准Grip握力压力分布测量系统后,开展点击动作的点击力及对应的点击面积的测量.考虑到小拇指的点击动作不够灵活,平常人们很少用小拇指与移动终端进行点击交互,实验只测量测试者左、右手的大拇指、食指、中指和无名指的实验数据.

测试者按手指日常点击交互的姿势(手指与触摸屏平面大致构成约30°角),进行点击实验,不能使用腕部和手臂力量进行点击.对于大拇指而言,人们通常是在握持触摸屏状态下行点击交互,如图2(a)所示,因此实验测量过程中采用该姿态.对于食指、中指和无名指,人们通常是在触摸屏平放状态下进行点击交互,如图2(b)～(d)所示,因此实验测量过程中采用平放的姿态.

为了避免手指肌肉疲劳对实验测量数据的影响,设定每次实验的采集时间为15 s(为了让测试者能够熟悉实验流程,预实验的时间为20 s),两次实验之间的间隔不少于2 min,采集频率设置为500 Hz.在正式测量时,测试者对每个实验项目的每个手指须进行4次实验,以获取大样本的实验数据(预实验中,为了使测试者熟悉实验内容和实验要求,实验次数有所增加).点击力为F,点击面积为S.每次实验测量时间为T.实验数据量为N.

2 实验数据的处理

由于采集频率为500 Hz,在指尖一次点击时,Grip握力压力分布测量系统可以测得多个点击力数据,取点击力的峰值作为该次点击力,同时取该时刻的面积数据作为该次点击的点击面积.例如,如图3所示为某测试者在某次大拇指重点击力测量的点击力数据,在该实验测量过程中,该测试者共有25次的重点击力动作,取这25个峰值作为该次实验的测量数据.

为了排除人们左、右手指灵活度的差异,提示点击力和点击面积的一般规律,不区别左右手,以大拇指、食指、中指和无名指为单元,处理实验数据.通过实验测量,得到了5名测试者大拇指、食指、中指和无名指的点击力和点击面积的原始数据,如图4～7所示.各手指测得的数据量如表2所示.

表2 各手指测得的数据量

图3 某次大拇指重点击力的测量数据Fig.3 Thumb heavy tapping forces data of one test

图4 大拇指的点击力和点击面积数据Fig.4 Data of thumb tapping forces and tapping areas

图5 食指的点击力和点击面积数据Fig.5 Data of index finger tapping forces and tappingareas

图6 中指的点击力和点击面积数据Fig.6 Data of middle finger tapping forces and tappingareas

图7 无名指点的点击力和点击面积数据Fig.7 Data of ring finger tapping forces and tapping areas

从图4～7可以发现：1) 4个手指轻点击力的区间很窄,表明测试者均能够较好地控制4个手指的轻点击力；2) 4个手指重点击力的区间较宽,是因为在重点击力实验过程中,只要求测试者用较大的点击力,导致重点击力比较分散；3) 对比4个手指的重点击力区间,大拇指的重点击力区间更分散,表明在作用较大力时,大拇指相对不够灵巧,与日常生活经验一致；4) 4个手指的点击力和点击面积,均有较好的区分度；5) 4个手指的测量数据均表现出轻点击力时点击面积小,正常点击力时点击面积较大,重击力时点击面积最大的这一特点,与日常生活经验一致.另外,在实验过程中发现,正常点击力时手指的点击频率最高,轻点击力时其次,重点击力时最低,表明测试者在有意识控制手指点击力时会降低手指的点击频率,而且手指的点击力越大,手指的点击频率越低,符合人们的日常生活经验.

这些实验数据样本是可信、有效的,正确记录了指尖点击动作时的点击力和点击面积.

3 实验数据的分析

通过Origin软件,分析实验数据.Origin软件是国际公认的图形可视化和数据分析软件,满足指尖点击交互的数据分析需要.

3.1 点击力的数据分析

Origin软件呈现了4个手指的点击力数据,如图8所示.可以看出：1)4个手指的轻点击力、正常点击力和重点击力没有重叠区域,表明4个手指均能很好地区别且施加这3种点击力.2)相对于重点击力数据和正常点击力数据,4个手指的轻点击力数据更集中,表明4个手指均能很好地施加轻点击力.从这些样本数据中可以得出人们不同的交互意图可以通过轻点击力、正常点击力和重点击力这3种不同的指尖点击力来表达,特别是人们能够通过轻点击力正确地表达出交互意图,人机交互的正确率很高.

图8 四个手指的点击力数据Fig.8 Fingertip tapping forces data of four fingers

3.2 点击面积的数据分析

Origin软件统计分析了4个手指的点击面积数据,如图9所示.由于Grip握力压力分布测量系统的面积分辨率为0.16 cm2,实验测得的点击面积数据以0.16 cm2为单位跳跃.

在轻点击力交互时,点击面积集中分布在0.32～0.64 cm2,占总数据量的91%,说明测试者在施加稳定的轻点击力的同时,点击面积数据较集中且数值小.在重点击力交互时,点击面积数据分布范围较广,大部分数据集中在1.28～1.92 cm2,占总数据量的92%,这和重点击力分布较广、波动较大有着直接的关系,同时说明重点击力数据和重点击面积数据分布具有较好的相关性.正常点击力交互的面积数据的分布情况介于轻点交互和重点交互之间,符合常识.

和点击力数据不同的是,这3种点击交互的面积数据之间具有一定的重合度.1)对于轻点击力交互和正常点击力交互,在0.64～0.96 cm2区间点击面积有重叠,但重叠区的数据比例较小；2)对于正常点击力交互和重点击力交互,在0.96～1.60 cm2区间点击面积有重叠,重叠区的数据比例较大；3)对于轻点击力交互和重点击力交互,在0.96 cm2处略有重叠,重叠区的数据比例很小.上述现象可能的原因是因为手指接触力和接触面积存在指数函数关系[20].在轻点击交互时,手指力和所产生的形变较小,但是随着点击力的增加,手指接触面积的变化率会不断降低,从而导致正常点击交互和重点击交互所对应的面积数据重合度相对较大.

图9 4个手指的点击面积数据Fig.9 Fingertip tapping area data of four fingers

3.3 点击面积的区分度分析

由于0.16 cm2的面积分辨率较低,影响了用点击面积来区别这3种点击力交互的精度.从图9可以看出2种不同点击力交互的点击面积重叠区所占的概率均不高.基于这两点,剔除了点击面积发生概率小于3%的数据,保留其他数据,如表3所示.表中，Nt、Ni、Nm、Np分别为大拇指、食指、中指、无名指的数据量.

引入点击面积区分度η,量化表征点击面积区分这3种点击力交互的程度.

(1)

式中：p、q分别为某种点击力交互的点击面积重叠区的实验数据数目,P、Q为p、q对应的某种点击力交互的实验数据数目.比如,对于轻点击力交互和正常点击力交互,食指的点击面积区分度η=89.53%,可由p=118,q=128,P=72+317+231+210+118=948和Q=128+361+498+306+109=1 402求得.

表3 剔除点击面积发生概率小于3%数据后的实验数据量

表4列出了各手指的点击面积区分度.可以得出,依据点击面积能够很好地区别出轻点击力交互和重点击力交互或者轻点击力交互和正常点击力交互,但是依据点击面积不能较好地区别出正常点击力交互和重点击力交互.

表4 各手指不同类型点击交互之间数据区分度

Tab.4 Distinguishment of three type tapping force interactions

手指η轻点击交互和正常点击交互重点击交互和正常点击交互轻点击交互和重点击交互大拇指100.00%31.91%100.00%食指89.53%67.28%100.00%中指100.00%41.78%100.00%无名指100.00%41.91%100.00%

4 结 语

指尖力可以表达出人们丰富的情感信息和交互意图,然而,目前智能移动终端无法依据指尖力进行自然的人机交互.为此,开展了指尖点击交互时点击力和点击面积的实验研究,

依据实验样本数据,可以得出以下结论：1) 大拇指、食指、中指和无名指都能施加有明显区分度的轻点击力、正常点击力和重点击力；2) 四指对轻点击力均有很好的控制能力；3) 点击力和点击面积之间不存在一一映射关系,但是存在较强的相关性；4) 点击面积在一定程度上可以区别出3种点击力交互；5) 依据点击面积可以很好地区分出轻点击力交互和重点击力交互.

在不增加任何硬件条件下,研发基于指尖力的移动终端人机交互技术是可行的,而且具有很大的发展前景.

[1] HEO S, GU J, LEE G. Expanding touch input vocabulary by using consecutive distant taps [C]∥ ACM Conference on Human Factors in Computing Systems. Toronto: ACM, 2014: 2597-2606.

[2] ARIF A S, MAZALEK A, STUERZLINGER W. The use of pseudo pressure in authenticating smartphone users [C] ∥ MOBIQUITOUS’14. London: IEEE, 2014: 151-160.

[3] HEO S, LEE G. Force gestures: augmented touch screen gestures using normal and tangential force[C] ∥ UIST’11. New York: ACM, 2011: 621-626.

[4] LEE B, LEE H, LIM S, et al. Evaluation of human tangential force input performance [C]∥ ACM Conference on Human Factors in Computing Systems. New York: ACM, 2012: 3121-3130.

[5] STEWART C, ROHS M, KRATZ S, et al. Characteristics of pressure-based input for mobile devices [C]∥ ACM Conference on Human Factors in Computing Systems. Atlanta: ACM, 2010: 801-810.

[6] STEWART C, HOGGAN E, HAVERINEE L, et al. An exploration of inadvertent variations in mobile pressure input [C] ∥ MobileHCI’12. San Francisco: ACM, 2012: 1-5.

[7] HEO S, HAN J, LEE G. Designing rich touch interaction through proximity and 2.5D force sensing touchpad [C]∥ Australian Computer-Human Interaction Conference: Augmentation, Application, Innovation, Collaboration. New York: ACM, 2013: 401-404.

[8] JOHN W, REN D, CHRISTOPHER W, et al. Analysis of the effects of surface stiffness on the contact interaction between a finger and a cylindrical handle using a three-dimensional hybrid model [J]. Medical Engineering and Physics, 2014, 36 (7): 831-841.

[9] HEO P, KIM J. Finger flexion force sensor based on volar displacement of flexor tendon [C]∥ ICRA’12. Saint Paul: IEEE, 2012: 1392-1397.

[10] ODAGAKI M, TAURA T, HARAKAWA T. Touch interface for sensing fingertip force in mobile device using electromyogram [C]∥ EMBS’13. Osaka: IEEE, 2013: 3443-3446.

[11] LIU P, MARTEL F, RANCOURT D, et al. Fingertip force estimation from forearm muscle electrical activity [C]∥ ICASSP’14. Florence: IEEE, 2014: 2069-2073.

[12] MASCARO S A, ASADA H. Measurement of finger posture and three-axis fingertip touch force using fingernail sensors [J]. IEEE Transactions on Robotics and Automation, 2004, 2(1): 26-35.

[13] CHEN N, URBAN S, BAYER, et al. Measuring fingertip forces from camera images for random fingerposes [C]∥ IROS’15. Hamburg: IEEE, 2015: 1-6.

[14] HWANG S, BIANCHI A, WOHN K Y. Vibpressestimation pressure input using vibration absorption on mobile devices [C]∥ MobileHCI′13. Munich: ACM, 2013: 27-30.

[15] KURITA Y, IKEDA A, UEDA J, et al. A fingerprint pointing device utilizing the deformation of the fingertip during the incipient slip [J]. IEEE Transaction onRobotics, 2005, 21 (5): 801-811.

[16] SONEDA T, NAKANO K. Investigation of vibrotactile sensation of human fingerpads by observation of contact zones [J]. International Tribology, 2010,43(1): 210-217.

[17] AKIHITO K, TSUJI T, KURITA Y. Fingertip force estimation based on the deformation of the fingertip [M]∥ HIROYUKI K, HIDEYUKI A, KI-UK K. Haptic interaction. Japan: Springer, 2015: 201-205.

[18] 杨文珍, 高曙明, 万华根, 等. 基于人手指力学特性的虚拟手接触力生成[J]. 浙江大学学报：工学版, 2008, 42(12): 2145-2150.

YANG Wen-zhen, GAO Shu-ming, WAN Hua-gen, et al. Contact force rendering of virtual hand interaction based on human fingers’ force characteristics [J]. Journal of Zhejiang University: Engineering Science, 2008, 42(12): 2145-2150.

Fingertip tapping force analysis for mobile devices HCI

YANG Wen-zhen, ZHANG Hao, WU Xin-li, SHAO Ming-chao, JIN Zhong-zheng

(VirtualRealityLaboratory,ZhejiangSci-TechUniversity,Hangzhou310018,China)

Three type tapping forces (gentle tapping force, normal tapping force and heavy tapping force) and their corresponding tapping contact areas were measured and analyzed to explore the fingertip tapping forces interaction behaviors in order to realize the natural human-computer interaction (HCI) on the smart mobile devices by fingertip forces. Experimental results were as follows. 1) Thumb, index finger, middle finger, and ring finger have strong abilities to control their fingertip forces with gentle, normal, and heavy tapping actions, and more clearly. Every finger can act precise general tapping forces. 2) The gentle tapping force and the heavy tapping force can be definitely recognized by their tapping contact areas, although there is no exact full mapping correlations between the tapping forces and the tapping contact areas. 3) In some extents, three types tapping forces can be distinguished by their corresponding tapping contact areas.

fingertip interaction; tapping force; tapping contact area; haptic interaction; smart mobiledevice

2015-11-10.

浙江省自然科学基金资助项目(LY14F020048)；浙江省科技厅公益资助项目(2016C33174)；国家自然科学基金资助项目(61332017)；国家“863”高技术研究发展计划资助项目(2013AA013703).

杨文珍(1976—),男,副教授,从事人机交互和机器人的研究. ORCID: 0000-0002-0068-1497. E-mail: ywz@zstu.edu.cn

10.3785/j.issn.1008-973X.2016.10.021

TP 391

A

1008-973X(2016)10-1995-07

浙江大学学报(工学版)网址： www.zjujournals.com/eng