非接触交互界面中三维空间操作区域分层技术研究

陈苗云　殷继彬

摘要：利用 Leap Motion作为获取手势的硬件，并且在其垂直操作区域，通过获取手势高度信息，操作映射在屏幕上的目标任务，最终达到获取交互层次区域的划分目的。首先通过实验得出用户常用的交互空间区域，然后在该交互区域中进行分层区域划分实验，最后获得对操作精度或时间要求较高的特殊区域范围。通过实验数据的分析得出以下结论：16层以下为用户较容易操作的层次交互区域，并且可根据交互需求进行分层设置；16～20层的空间区域用户较难操作，可以在交互设计中将不常用的交互任务设计在此层次区域内。由于操作任务的错误率非常高，所用时间也较多，20层以上的交互空间区域在交互设计中可不予考虑。

关键词：Leap Motion；人机交互；手势；交互层次区域

DOIDOI：10.11907/rjdk.173272

中图分类号：TP311.5

文献标识码：A文章编号文章编号：16727800（2018）009003204

英文标题Research on Layered Technology of ThreeDimensional Operating Area in Noncontact Interface

——副标题

英文作者CHEN Miaoyun， YIN Jibin

英文作者单位（Faculty of Information Engineering and Automation，Kunming University of Science and Technology，Kunming 650500，China）

英文摘要Abstract：Leap Motion is employed as the hardware for gesture acquisition and in its vertical operation area， the mapped target selection task is operated on the screen by obtaining the height information of gesture， and ultimately achieve the purpose of partitioning the interactive level area. First， the user interaction area is obtained through previous experiments， and then the partition experiment is carried out in the interactive area. Finally， a special area with high operation accuracy or time requirement is obtained through experiments. Through the analysis of the experimental data， we draw the following conclusions that under the 16th floor it is easier for the user to operate on the level of interaction area， and interactive demands can be set according to interactive needs； it is difficult for users to operate from 16 to 20 layers， so interactive tasks that are not commonly used can be designed during these layers. The interactive space area above 20 layers should not be considered in the interactive design because the error rate and the time cost of the operation task is very high.

英文關键词Key Words：leap motion；human computer interaction；gestures； interactive level area

0引言

如今，人机交互（Human Computer Interaction，HCI）[1]界面随着硬件技术的发展越来越趋向自然，更加符合人们的日常操作习惯。无论在触控界面、笔式界面还是基于视觉的交互界面，手势（Gesture）[23]是反映其自然交互特征的典型技术之一。由于手势比较直观，比文字命令更容易记忆，所以本文将以手势作为界面实验获取信息的方式。

手势跟踪与识别[4]为人机交互提供了新的拓宽输入信息通道的方式。1983 年Grimes[5]在 AT&T; 最先取得了“数据手套”的专利，计算机可通过其获取实验者手的位置等相关信息；1998 年美国 MIT 媒体实验室的Starner通过摄像头直接采集手势图像，对美国手语中带有词性的40个词汇随机组成的短句子进行识别[6]。之后众多研究者开始进行基于视觉信息的手势识别研究，我国手势识别研究起源于 863 项目“多功能感知机”的研究（19971999）[7]，该交互模式可通过Kinect[8]或Leap Motion[910]等设备跟踪双手加以实现。

然而，以上对于增加输入带宽的研究仅局限在当前单一的工作层界面上，而未进一步探索增加可交互界面的相关技术。因此，为了拓宽输入信息带宽，本文提出一种合理的层次区域划分技术。具体设计见图1，用户可将手放在各个层次中，按垂直方向运动进行交互任务操作。现阶段，很多用于手势识别的硬件已应用于具体生活中，其中Leap Motion 手势识别硬件具有精度高、反应速度快与数据处理速度快[11]等优点，因此将其作为本文实验的硬件设备。如图2所示为Leap Motion可识别的交互空间。

1相关研究

根据现阶段交互硬件设备的划分，可将人机交互中用于拓宽输入信息通道的技术分为两种：基于接触式与非接触式技术。

Leigh等[12]提出，由于计算机对每个用户触控接触点可以精确识别，所以多个用户可在互不干扰的情况下，对相同的电子交互界面操作交互任务，该技术对多人合作完成同一任务较适合；Ramos等[13]利用笔压技术创建多个交互操作界面，根据压力大小划分交互层，以此拓宽输入信息通道；Forlines等[14]设计一个可接触式双面电子交互桌面，将交互桌面底部也作为输入参数获取的交互区域。上述研究在人机交互的接触式技术方面拓宽了输入维度。

与接触式技术相反的是，利用手势识别技术，即在非接触三维交互技术上，Guimbretiere等[15]增加了交互界面进行交互设计研究，利用手势在多个显示器界面的切换，达到多屏交互操作的目的；Aliakseyeu等[16]探索笔在不同界面层上进行不同任务操作，该技术主要采用“偏移校正”方法，以确保在各个层次中都能很好地控制指针进行交互任务操作。

2空间交互层次区域划分实验

为避免手臂因长时间悬空操作带来的疲劳感，进而能够将实验采集的数据误差降到最低，本文通过实验得出用户在三维空间的常用交互范围，该范围大约在84～320mm之间，可作为本文分层区域实验的空间交互范围。

2.1实验设备及开发环境

实验设备为台式机一台，Windows 7操作系统，4GB内存，实验硬件为Leap Motion。本文实验的软件环境为Unity3d开发环境，实验界面大小为1 000*800px，并使用C#脚本语言作为开发语言。

2.2实验过程

本次共有12人参与实验操作，其年龄在23～28岁之间，包括3名女士与9名男士，均惯用右手，且都能够熟练使用Leap Motion硬件设备。实验开始前，为每名实验者介绍本次实验具体操作方式，并给出10min时间供其学习与适应，在实验者对实验流程熟悉之后开始正式实验。首先通过测试实验得到需要测定的层数为16、18、20、22与24，实验者进行以30次为一组的选择任务操作，每人需完成3组实验，所有实验者共完成1 080次选择任务操作。

2.3实验设计

实验界面背景为黑色，实验空间交互范围为Leap Motion上方84～320mm之内，用户交互对象颜色正常状态下显示为白色，随机出现的目标对象为绿色，被选中时颜色状态为红色。

实验中会出现两个可供交互的目标对象，其宽度为W（14.75，13.11，11.8，10.72，9.83，单位：mm）的目标选择区域。其中，处在上方的目标对象为起始位置，下方的绿色目标对象为交互终止位置。如图3所示为实验初始界面，实验过程中，实验者在Leap Motion硬件的垂直方向，通过移动手的高度选择目标任务，一旦手到达当前起始目标对象所在高度区域，并且目标颜色变为红色，如图5所示，此时按下按键开始计时。当起始位置的目标颜色变为白色时，将手快速移动到终止位置，并按下按键结束计时，此时跳转到另一个实验界面，重复上述实验。在实验过程中，通过手势识别硬件在屏幕中呈现手的运动轨迹，并且以黄色反馈给实验者，如图4所示。实验中需要记录的数据包括错误率、时间与手的高度信息。

2.4实验过程与实验数据分析

在实验得到的数据中，剔除时间数据中的78个异常和错误数据，运用数据分析软件SPSS对相应数据进行单因素方差分析，得到结果如表1所示。时间（Time）方差分析表中的显著性为0，说明各层时间方差在a=0.05水平上有显著性差异。从图6可以看出，时间在22层时呈快速增长趋势；从图7可以看出，在层数达到22层时，错误率已高达6%以上，因此20层及以上操作范围在实际交互界面设计中可不作为交互区域考虑。综合时间和错误率数据图，得出以下结论：交互层数在16层时，错误率在1%以下，时间在1.2s左右，可将16层以下区域作为对交互精度和速度要求较高的操作任务活动范围，而将在交互设计中不太常用的交互区域范围放在16～20层之间。

3特殊操作区域实验

在手势识别的硬件可检测区域中，可以找到一个对识别精度、速度及错误率要求非常高的范围，用于将来进行特殊任务操作，每当手进入Leap Motion的检测区域则会出现一个高度信息，并且该高度具有一定范围，所以通过测试实验可以得到相关数据信息，并且根据数据分析得出相应结论。

3.1实验设计与实验过程

实验界面如图8所示，本次实验采用与实验1相同的实验者，实验者每次通过实驗过程中界面上传来的视觉信息反馈进行实验操作。实验开始时，点击开始按钮（START）开始实验，实验者每次将手放在Leap Motion的上方检测区域，当看到界面中出现手的虚拟模型时，通过握拳确定当前手的高度，如图9所示，然后按下Z按键记录此时的高度数据信息，并且每完成一次操作，实验界面中的Count数值加1，以此将完成的实验次数反馈给实验者，最后将手移出检测范围，按下结束按钮（END），如此重复操作。一共有12名实验者，每个实验者需要操作任务30次，所以最终获得的手势高度数据共360条。

3.2实验数据及结果分析

将实验数据通过SPSS数据分析软件进行处理，得到如图10与表2所示的数据分析结果，以及图11、图12的数据分析结果。通过图10发现KolmogorovSmirnov（K）a 中的p>0.05，并且原假设是手的高度信息服从正太分布，最后的决策结果是保留原假设，所以手的高度服从正态分布。具体描述信息如表2所示，并且取其95%置信区间的范围大约为89～197mm，该范围可作为交互场景中对交互精度和速度要求较高的常用及特殊功能交互区域。

4结语

对于人机交互界面中增加输入信息通道的相关技术研究中，通常是从输入参数方面考虑，包括触控输入到手势的非接触输入等，而未系统地从交互界面的层数分层技术进行探究。本文通过两个实验，用户将手放在Leap Motion硬件感应器上方，并且以坐姿状态，利用手势完成三维空间任务的选择操作。为了选择一个操作任务，手臂有时需要长时间悬空，容易产生疲劳感，从而影响实验质量。为避免该情况的发生，必须找到一个适宜的三维空间范围。之前已得到该范围空间为84～320mm，作为实验1的操作范围，常用的操作交互设计可放在该区域内。通过实验2可为特殊应用场景提供一个准确、快速的操作范围区域，从而为对交互精度要求非常高的界面设计提供空间范围的指导。从实验1的结论可以得出，16层以下区域可作为交互应用中最常用的交互设计范围，16～20层之间为交互设计中不太常用的交互区域范围，20层以上操作范围在交互层次区域设计中可不予考虑。因此，在非接触交互界面中，三维空间操作区域的分层技术对于拓宽输入信息带宽是可行的。

参考文献参考文献：

[1]栗阳，关志伟，陈由迪，等.基于手势的人机交互的研究[J].系统仿真学报，2000（5）：528533.

[2]JUDE A，POOR G M，GUINNESS D.Grasp，grab or pinch？ identifying user preference for inairgestural manipulation[C].In Proceedings of the 2016 Symposium on Spatial User Interaction（SUI '16），2016.

[3]BERTHELLEMY M，CAYEZ E，AJEM M，et al.Spotpad，locipad，chordpad and inoutpad：investigating gesturebased input on touchpad[C].Proceedings of the 27th Conference on Interaction HommeMachine（IHM '15），2015.