沉浸式环境手势交互评估模型

张巍瀚，吴亚东，张晓蓉，王赋攀

(1.西南科技大学 计算机科学与技术学院， 四川 绵阳 621000；2.四川轻化工大学 计算机科学与工程学院， 四川 自贡 643000)

沉浸式虚拟现实(Virtual Reality，VR)技术，又称灵境技术，是以沉浸性、交互性和构想性为基本特征的计算机高级人机界面[1]。随着HTC Vive和Oculus等的消费级设备的普及，基于VR设备的沉浸式交互软件开始开发。沉浸式环境下以使用者为中心设计的交互方式与以计算机为中心设计的交互方式不同，传统通过鼠标和键盘进行交互不再适用于沉浸式环境。于是，以使用者为中心，通过人体自然信息进行交互方式应运而生。其中，由于手势交互具有稳固、直观和灵活的特点，与沉浸式环境具有良好的适配性。随着Leap Motion等非接触式手势获取[2]设备的兴起，使得使用手势在沉浸式环境下进行交互成为近年来人机交互领域的研究热点。然而在沉浸式环境下可使用的手势种类繁多[3]，传统的评估软件的方法也难以评估沉浸式设备是否精确有效。这时通过建立新的评估模型，设计新的评估体系以保证能对VR沉浸式设备下软件的交互性和精确性进行评估显得尤为必要。

在人机交互领域，评估的目的是为了在满足设计者设计需求的同时为交互的有效性提供佐证。Sharp等[4]认为，评估是交互设计过程中重要的组成部分，而评估模型的结构直接影响到全局的评估是否有效。Louise等[5]在对人机交互领域的评估方法做调查时发现，现有评估方法已从原有以计算机为中心的原型评估方式，向以人为中心的定性方式做出转变。综合国内外研究情况，本文共整合出主观等级评定法、内容评估、生理评估三大类评估方法。

主观等级评定法是心理学常用的评估方法。主观等级评定法一般通过制作并分析使用者问卷或者量表的回答来得出使用者的心理状态，从而对系统进行评估。Witmer[6]在测量评估虚拟环境的临境感时，设计了包含控制、自然度、界面3个子卷的7点量调查量表。Vi等[7]在评估利用五感设计交互的博物馆时，采用了李克特量表来记录使用者的心理状态。主观等级评定法直接对受试者本身的心理状态做出评估，能很好地了解受试者的主观心理状态，以满足设计者的调查需求。但是直接进行主观等级评定法会使得被试者注意力偏向评价本身产生一定的情感偏差。

内容评估法主要针对于沉浸式环境本身的一些特质，通过分析软件的指标结合绩效测量的方式，观测受试者使用软件的精准度或时间，可以客观地反应对应软件的交互性。Nash等[8]研究表明，在沉浸式环境下交互情境的操作绩效与VR环境的真实程度之间存在正相关关系。Witmer[6]在评估虚拟环境中的临境感时也发现，任务完成情况和虚拟环境的构建呈正比关系。内容评估法围绕设计软件内容进行，评价的指标一般具有量化性，在明确交互需求的情境下，能以较客观的方式对软件进行评估。但由于面向软件本身的特点，客观评估法往往忽略了测试人员的主观心理状态。单一片面的客观评估，也无法覆盖整个交互过程。

生理评估法同样面向于人体本身，但采取了更为客观和可量化的人体生理指标进行评测。Michael等[9]的研究发现，虚拟环境和相对应的真实环境越接近，受试者在两种环境中的生理变化越相似。在有关交互的研究中，人体动作的轨迹为方向上的预测提供了有力的支持和帮助，同样地，人体动作轨迹也为探究人体的状态提供了指导[10]。由于生理的数值受外部干扰因素和人体个人因素影响较大，单纯地利用生理评估法难以对沉浸式环境进行准确评估。

从现有技术上看，人机交互的评估发展仍需要多学科的理论支持。通过检测人体自然行为判断人体感知状态的评估方式仍存在很多困难[11]，虽然现在已经能通过传感器获取人体在交互过程中产生的一些交互信息和生理信号，但是这些信息或信号只是人的行为或状态的大致测量，对人的自然行为或状态的刻画仍然不够精确。虽然借助机器学习[12]、模式识别[13]等技术，计算机己能部分地、简单地理解人类的意图，但人体状态转换以及复杂动作的意图理解还具有很多不确定性问题。

基于以上研究，本文结合各类评估方式设计了用于沉浸式环境下基于手势动作轨迹的客观评估模型——GT(Gesture & Task)评估模型。通过设计VR沉浸式环境下的交互任务，研究沉浸式环境下利用手势进行交互时受试者的交互状态，获取受试者客观评估数据以完成评估。同时将评估模型数据与主观数据做出对比验证，确保评估模型的有效性。最后，通过分析实验结果提出提供物理反馈和深度感知优化两种优化方式，以辅助沉浸式环境下使用手势的交互设计。

1 GT评估模型

GT评估模型是从分析沉浸式环境中手势交互设计原型系统的交互过程出发，结合人机交互评估领域中的运动轨迹测量法与绩效测量法两种评估方法，收集手势轨迹数据和交互任务完成情况数据两部分数据，评估沉浸式环境中手势交互设计原型系统有效性和可用性的评估模型。

1.1 GT评估模型的建立准则

根据Remy[14]提供的指导准则，沉浸式环境中手势交互设计系统评估模型的建立准则由评估目标、评估机制、评估指标、评估方法、评估适用范围5点构成。

评估目标：在60 Hz图像刷新率的沉浸三维空间下，受试者以坐姿状态使用手势进行交互的舒适性和精准性。

评估机制：通过行为测量法中的姿态轨迹变化计算受试者的手势动作轨迹；绩效测量法获取任务完成情况与任务完成时间，综合三者权重给出受试者完成任务的情况的量化数据，保证评估涵盖整个交互过程。

评估指标：客观动作指标由通过Leap Motion记录的手势动作轨迹所计算的轨迹稳定程度，由沉浸式环境程序记录的任务完成的精准度和任务完成时间构成。

评估方法：以任务驱动为方式，通过让受试者佩戴Oculus Rift使用手势对三维空间方块进行抓取、移动和旋转3个动作。利用Leap Motion和沉浸式环境记录受试者使用手势执行操作任务，以获取评估指标。

评估适用范围：受设备与环境限制，GT模型的评估适用于以坐姿为身体姿态、以手势交互为交互方式的沉浸式程序。

沉浸式三维空间基于Unity 3D实现，使用Oculus Rift作为沉浸式头戴显示设备，Leap Motion作为交互传感器设备和记录姿态设备。通过将Leap Motion安置于头盔前方，减少受试者的学习负担，提升设备便捷性与自由度。沉浸式环境的图像刷新频率将稳定在60 Hz左右。同时为了让受试者拥有更好的沉浸感和质感，沉浸式环境采用2K材质进行制作。

1.2 GT评估模型的评估流程

本文通过结合当前人机交互领域评估方法中的绩效测量法和运动轨迹测量法，建立以任务驱动的方式收集客观数据的GT评估模型，整体流程如图1所示。

图1 GT评估模型流程与验证流程

首先，利用Untiy 3D为编程工具，Oculus Rift作为沉浸式头戴显示设备，建立沉浸式环境，同时加入通过三维模型构建的虚拟双手，以虚拟化身[15]的方式控制交互体验。其次，利用沉浸式环境与Leap Motion记录下交互任务时动作轨迹稳定程度、任务完成情况的客观数据。计算得出各数据量化评估指标。最后，整合动作轨迹稳定程度与任务完成情况的量化数据，形成GT评估模型的评估数据，并于量化的主观心理数据进行对比，验证评估数据的有效性，并通过评估模型设计隐式辅助，优化沉浸式环境下的手势交互。

1.3 GT评估模型的评估指标

1.3.1 手势轨迹数据

图2 利用手部关节点数据绘制的交互轨迹

通过分析人体若干关节点的运动轨迹就能描述人的动作行为，并且随着关节点的增多能够消除对动作行为的模糊理解[16]。随着人机交互的发展，人体动作本身也发展成为交互方式，作为一种时变连续信号，人体动作轨迹具有天然的时间性和空间性[16]。由于GT评估模型通过使用Leap Motion实时跟踪手部运动轨迹。使用者对沉浸式环境下的物体进行手势操作时，依帧数记录使用者掌心与五指的关节点数据，形成由手部动作轨迹构成的时态数据。

首先，利用Leap Motion采集单个任务每5帧的手部关节点数据。通过时序绘制，形成使用者在沉浸式空间下的交互轨迹，如图2所示。

其次，计算时序轨迹中每两个相邻时序点之间形成的空间向量，并计算相邻空间向量的夹角θi，计算的公式推导如下。

设空间中有n(n>2)个时序点，坐标为(a1，b1，c1),(a2，b2，c2),…,(an，bn，cn)，则相邻时序点所形成的第m(m=n-1且m>1)个空间向量Am为

Am={an-an-1，bn-bn-1，cn-cn-1}，

(1)

则相邻空间向量所形成的第i(i=m-1=n-2且i>0)个夹角θi为

(2)

最后，计算单次交互形成的空间时序轨迹的平均夹角S，公式为

(3)

通过以上公式进行计算得出手势轨迹数据的稳定程度，最终形成动作轨迹稳定评估指标。

1.3.2 任务完成情况数据

GT评估模型的任务完成情况数据由任务完成精准度与任务完成时间两个指标构成。

(1)任务完成精准度

由于沉浸式环境下使用手势进行交互时，受试者的手处于悬空状态且并未与真实物体接触，会导致手部生理性震颤的生理现象出现。Bilodeau等[17]在研究惯用手和非惯用手之间的手部震颤时发现，手指非弯曲状态下的生理性震颤振幅达到0.5 mm。且由于交互的操作多需要手指弯曲且受试者在沉浸式环境下的心理感受不同，手部震颤的振幅将会在0.5～1.5 mm之间。鉴于以上原因，如果直接记录任务完成数据，或以悬停满一定时间的方式记录完成数据，会使得任务完成精准度出现一定程度的误差。

GT评估模型的任务完成精准度指标通过一个隐式球形空间进行记录。通过计算交互方块中心点与目标方块中心点的距离，构建出半径为2 mm的球形交互任务完成区域，该区域又以每0.4 mm半径划分5个任务子空间。使用者完成交互任务时，对相应的区域进行记数，当满足区域记数上限时，记录为该区域任务完成精准度。

(2)任务完成时间

任务完成时间是人机交互领域常用的评估方法。优秀的交互设计会使受试者能迅速完成设定好的任务，因此任务完成时间是最为直观且最易量化的交互评估指标。然而从任务完成时间效率出发的评估极易忽略受试者的心里感受和生理状态，且易受受试者对交互设计的学习时间影响。所以任务完成时间往往作为交互评估的辅助评估指标。

GT评估模型的任务完成时间指标由记录受试者开始任务至达成任务目标所花费的时间构成。

1.4 GT评估模型的评估权重计算

通过实验任务，共获取了动作轨迹的轨迹稳定程度、任务完成精准度、任务完成时间三部分数据。但由于各项数据单位并不统一且各项数据所占权重无法确定，GT模型采用熵值法来归一各项数据并确认各项数据的权重。

首先对第n个评估数据的3个指标进行标准化处理，Xij为第i个数据的第j个指标的数值(i=1,2,…,n；j=1,2,3)。由于三部分数据全为负向评估数据(即数据数值越低评估得分越高)，因此，进行标准化时，对三部分数据进行正向化计算，计算方法如下：

(4)

则第j项指标下第i个数值占指标的比重Pij(i=1,2,…,n；j=1,2,3)为

(5)

其熵值ej为

(6)

最终获取该指标权值

(7)

通过以上对各项指标的权值考量，整合分析，平均计算各项占比，最终得出三项数据各自在评估模型中所占的权重。并计算每次数据的综合得分为

(8)

2 实验与分析

为验证评估模型的有效性，设计了沉浸式虚拟化学实验场景。虚拟化学实验场景由模仿学校化学实验室场景设计而成，由实验台构成基础场景，实验仪器作为任务的主要交互对象，可对试管等化学实验常用仪器设备进行抓取、移动和旋转。

2.1 实验任务设计

为交互任务能有效反应受试者在沉浸式环境下的交互状态，沉浸式虚拟化学实验场景的交互任务与化学实验常用手势相关。实验任务由化学实验常用试管操作出发，受试者对沉浸式环境下的试管3D模型完成抓取、移动、旋转3个任务操作。

2.1.1 任务一：抓取试管

抓取操作是利用手势进行交互的常用操作，抓取的主要目的是为了选中目标，便于受试者对关注的目标进行更多操作。抓取试管任务的目标主体由目标试管和目标试管架构成。为保证受试者进行抓取任务时能从同一自然起点开始，任务的起点设计为一个可以交互的点击按钮，放置于沉浸式场景中，保证人体能调整位置，自然地抓取到目标试管进行交互。任务计时从受试者选择测试抓取任务点击按钮开始，抓取试管并成功将试管取离试管架结束。

2.1.2 任务二：移动试管

移动操作也是手势交互的常用操作，主要用于改变目标位置达成某一目标。移动试管任务基于抓取试管任务，计时由抓取任务试管取离试管架开始，移动试管至目标位置结束。任务目标指引由一个与抓取试管形状大小相同但无碰撞体积的高亮试管构成，同时保证其位置在受试者可以自然移动到的范围内，保证受试者能自然地完成目标。

2.1.3 任务三：旋转试管

旋转操作与移动操作相似，要用于改变目标角度达成某一目标。旋转试管任务同样基于抓取试管任务，计时由抓取任务试管取离试管架开始，旋转试管至目标角度结束。任务试管由一个前后贴图不同的试管构成，保证受试者能自然接受任务指引。

2.2 李克特量表设计

表1 李克特量表问题

由于GT评估模型的评估目标核心为使用手势进行交互的舒适性和精准性，为验证评估模型的有效性，本文针对相应的沉浸式环境设计了验证评估模型的李克特量表(表1)。

量表由6个显式或隐式问题随机构成。通过以上显式和隐式的问题交叉收集，控制使用者因问题本身而产生的注意力分散问题。由于使用者脱离沉浸式环境产生回忆偏差，纸质的调查表格无法准确估计使用者使用手势的情况。本文特地将李克特量表也放入设计好的沉浸式环境中，在执行完每一次的任务之后自动弹出李克特量表，使用者利用Leap Motion携带的Slider插件从评分1～7分中滑动选择评价交互情况。

2.3 实验结果

实验一共招募了16名参与者(14名男性和2名女性)，参与者的年龄为19～24岁，惯用手均为右手，其中5名受试者有手势交互的经验，16人均无沉浸式环境下的交互经验。本文的实验结果包括GT评估模型数值和主观心理数值。

2.3.1 GT评估模型数值

GT评估模型得分由手势轨迹数据、任务完成精准度数据、任务完成时间数据、平均任务得分构成，具体数值如图3所示。

图3 GT评估模型数值

根据GT评估模型实验结果，可以看到在移动时手势动作轨迹相比抓取和旋转的角度偏大，帧间角度平均达到5.2°；对于任务完成精准度而言，旋转的精准度最高，平均精准度误差在0.2 mm以内；对于任务完成时间而言，抓取任务的平均完成帧数为282帧，而移动任务和旋转任务的平均完成帧数为872帧和952帧。综合上述3类权重，整合出的评分中，抓取任务评分为92分，移动任务的评分为61分，旋转任务的评分为83分。

2.3.2 GT评估模型与主观心理数值对比

为验证GT评估模型能有效替代主观心理评估的数值，本文随机选择10组任务(每组100个实验任务数据)的平均GT评估模型数据与其平均主观心理数据进行归一化对比，结果如图4所示。

曲线①为10个数据组的李克特量平均得分进行曲线拟合可视化之后的结果，曲线②为对应数据组的GT评估模型平均得分进行曲线拟合可视化之后的结果，通过分析实验结果可视化分析对比发现：除了第7组数据有异常以外，通过实验结果中GT评估模型的分数与使用者的主观评价所获取的评分曲线基本一致。

2.4 实验数据的分析

2.4.1 整体数据分析

图4 评估模型的值与主观评估数值的对比

从实验结果来看，在有关沉浸式环境下使用手势交互设计中，对于有明确目的的交互任务，交互物体的位置与大小、手势的精确性与可控性需要有严格的要求。

对于抓取任务而言，对于无论是否有沉浸式环境下手势交互经验的受试者而言都是快速且准确的，但受试者反馈所抓取物体的大小影响了其使用手势的方式。过大的物体会导致使用者手指保持张开状，过小的物体会导致使用者手部蜷缩，以致Leap Motion的追踪失败。

对于移动任务而言，消耗的时间较长，且精准度偏低。根据对受试者的调查发现，在进行移动任务时，受试者在沉浸式空间抓取了物体，但在现实中并没有合适的触觉反馈，使得受试者的手指用力并不自然，导致生理震颤的加剧。同时还发现，当受试者抓取任务试管靠近目标试管时，会自觉减速以方便与目标试管校准，但都会产生一定的偏差。

对于旋转任务而言，进行任务所消耗的时间同样较长，但精准度较高。通过同移动任务做对比发现，旋转时受试者通过自然地旋转手腕就能精确地将试管旋转至指定的目标角度。

通过以上实验结果，得出结论，抓取任务具有良好的准确性且消耗时间短，能很好地帮助使用者在沉浸式环境下选中物体。移动任务则精准度偏低，时间消耗较长，但由于其交互自然，可以帮助使用者在沉浸式环境下做简单的交互操作。旋转任务的时间消耗偏长，但具有良好的精准度，可用于沉浸式环境下的精确交互操作。

2.4.2 特殊数据分析

由于在对比实验中出现了一组特殊的与主观评价相反的实验结果数据，本文特意将第7组实验数据进行了分析，如表2所示。

表2 第7组实验数据统计

在第7组实验任务中，旋转任务占了整个任务的53%，且该组旋转任务的主观评估平均得分较整体旋转任务的主观评估平均得分差距较大。更进一步的分析发现，53个旋转任务中有37个数据是受试者在进行前10次旋转任务时收集的。询问受试者发现，在执行旋转任务的初期，由于Leap Motion对于蜷缩状态的手掌无法精确判定其关节点坐标，在沉浸式环境下绘制的手掌虚拟化身与受试者真实的手掌产生了偏差，使得受试者在进行旋转任务时感到不适，从而造成主观评估得分偏低。但由于偏差本身不大，经过一定时间的习惯之后，受试者很快适应了该类情况，主观评估得分数据呈现正常状态。

2.5 虚拟现实环境下手势交互的优化方法

初步的实验数据分析清晰地指出，沉浸式环境中，即使受试者任务目标明确，使用手势交互仍会产生一定的偏差。偏差的产生原因是由缺乏物理约束、视觉障碍、沉浸式环境所产生的认知偏差和手部的生理震颤等多种因素导致的。值得注意的是，实验的结果描述了没有虚拟现实手势交互经验的使用者的交互状态。通过实践和经验的总结，可以提高交互精准度。

由此，在保证沉浸式环境下的临近感与手势交互自然性的前提下，本文提出两种利用GT评估模型的数据分析来优化虚拟现实环境下的手势交互的方法，分别为提供物理反馈和深度感知优化。

2.5.1 提供物理反馈

在实验过程中，受试者受虚拟物体大小的影响，有过数次出现因抓握过度导致手势识别失败的情况。根据受试者的反馈，由于虚拟物体并不能提供真实的物理反馈，使得受试者在交互时，只能通过手的虚拟化身来判别抓取状态。由此提供可移动的物理平台，或提供轻微的震动刺激辅助交互，可以提供更加自然的触觉反馈，而不降低受试者在沉浸式环境下的临近感。

2.5.2 深度感知优化

除开物理因素外，沉浸式环境天然的三维环境也会导致受试者产生视觉障碍。通过实验观察发现，受试者在使用手势进行3个交互动作时的轨迹虽然平滑，但仍有明显上下波动，且都会在达成目标时自觉减速方便与目标矫正。但此类矫正都会使得实验能观测到的生理震颤加剧，导致交互精准度降低。因此，提供一定的深度感知和方向引导能有效避免深度感知所带来的问题。可以利用如3D网格、建立与目标的辅助连线、高亮可交互物体、从近至远雾化等方式辅助交互。

3 结语

本文设计了一个评估在沉浸式环境下使用手势进行交互的GT评估模型。GT评估模型通过任务实验获取了人体运动轨迹和实验任务完成情况两种量化评估指标，并结合熵值法综合各项结论的权重，得出适用于沉浸式环境使用手势进行交互的评估参考。然后设计了沉浸式虚拟化学环境与交互任务，通过实验验证了GT评估模型的有效性。最后通过分析实验数据，提出了提供物理反馈和深度感知优化两种沉浸式环境下使用手势进行交互的优化方法。

未来的研究有以下两个方向：

(1)结合更多的非接触式设备，使评估能更有效地涵盖整个实验过程。受设备所限，本文仅收集了人体的手势交互信息数据，而人体除了主要用于交互的手势外，还有身体姿态、目光和心率变化等客观生理数据，通过整合各类非接触设备的信息接口，扩大收集人体在交互中的各类指标，可以更全面地保证评估的有效性。

(2)通过人工智能和机器学习，扩大评估模型的有效范围。目前本文所设计的GT评估模型，评估范围仅限于沉浸式三维空间下，受试者以坐姿状态使用手势进行交互的舒适性和精准性。通过加入人工智能和机器学习的方法，可以将该评估范围向非沉浸式、自由姿态和身体交互方向进行扩展。