虚拟实验环境中的自然手势交互

杨 贤， 张 硕， 何汉武， 吴悦明

(1.广东工业大学 艺术与设计学院，广州510075;2.广东工业大学机电工程学院，广州510006)

0 引言

多通道融合的虚拟实验环境(Multi-channel Fusion Virtual Experiment Environment，MFVEE)因其高度沉浸特征使得用户可以与虚拟环境进行自然交互，在获取用户的行为数据方面具有其他技术无法比拟的优势［1］，自然手势交互技术是其中的关键技术［2-3］，也是目前人机交互与虚拟现实领域的研究热点。但是目前的交互方式并不自然，交互方式基本上借助手柄等非自然交互设备，在虚拟现实3个典型特征:沉浸、想象和交互性中，作为虚拟现实其中一个很重要的特征“交互性”一直是困扰着虚拟现实发展的重要原因［4-5］。为了实现虚拟实验环境下更好的人机交互以达到更好的实验结果，本文在多通道虚拟现实实验环境下，设计了基于自然手势交互的实验手段，让用户能够在虚拟实验环境中进行自然的人机对话。自然人机对话使得虚拟环境能够获取更加真实、更多维度的用户行为数据成为可能。

1 相关研究

在用户行为数据获取的研究方面，一开始属于心理学的范畴，随着计算机，人工智能等的发展，用户行为慢慢成为人机交互、产品测试与虚拟仿真等领域的研究热点［6-7］。在虚拟实验环境中，用户手势行为常常被用来通过行为数据识别用户意图，Chemero认为，研究的焦点并非是人的意图与认知，而是人的行为，更具体地说，重点在于用户与所在环境的交互行为［8］，本文主要研究用户在虚拟实验环境中的的手势行为。手势行为包含静态的、动态的、具有语义的、用以传达用户意图的行为。McNeill［9］把人的姿体信息设计成隐喻的、图标的与节奏性的姿势，这些姿势分类对虚拟实验环境的交互界面设计起到很重要的作用，该研究被借鉴并用于姿势的可视化交互、指代性导航以及记号语言解释等。Aggarwal等［6］设计了一个可以识别人与物体的高层交互行为的系统，以及基于上下文的自然手势识别方法等［10］。2010年，美国微软公司发布了划时代的第1个具有市场消费级的自然手势交互设备，即Kinect系统，从此，各种消费应用级的系统尤其是游戏领域开始爆发并推动了VR的发展［11-14］。但是目前为止，VR交互的标准尚未形成，解决用户与虚拟空间之间更加自然更多维度的自然交互技术是关键。

2 虚拟实验环境下的自然手势交互

2.1 自然手势交互

2.1.1 手势机器训练

用户的手势操作或其它肢体运动是用户行为作为人机交互系统输入的主要方式之一。手势是包含动态和静态的、具有语义的、用以传达用户意图的用户行为，机器通过捕捉用户行为识别用户的意图、需求等，进而评估用户行为与心理、产品设计指导以及仿真与测试等应用。

本文采用Kinet工作室(Kinect Studio，KS)录制手势样本以及采用视觉手势生成器(Visual Gesture Builder，VGB)与Adaboost算法进行手势训练和测试，动作识别以迭代算法Adaboost算法为依托，主要针对同一训练集中训练不同的弱分类器，再将弱分类器集合起来，组成一个强分类器，在样本训练的基础上得到分类器和特征集，并以此为基础识别出人体动作。在Adaboost弱分类器中，假设用 3个特征:F1、F2、F3来判断输入图像是否是抓取手势，其决策树的结构如图1(a);图1(b)为开始加载剪辑后的手势训练过程。

图1 决策树结构及训练过程

2.1.2 手势特征值表达

以用户抓取鸡蛋为例说明基于手势特征值表达的具体机器训练过程。要让虚拟系统理解用户拿起了一个鸡蛋，需要对这个“抓取”手势进行语义定义，手势特征表达是对手势行为的数学赋值，这些赋值使得用户行为能够以计算机特征值的数学方式表达并且能够被虚拟环境理解，设定“抓取”手势的特征表达为s，

式中:cth为手部的拇指尖;cin为食指尖;cpa为掌心;cco为拇指与食指的凹点;cho为手内包含的中空区。这5个特征值即为手势“抓取”的语义，这样定义还有另外一个很重要的原因，由于Kinect二代只能检测到手部的拇指、食指以及掌心3个点，如图2所示。以此类推，定义好每一个手势语义，并进行手势训练以提高交互效率。

图2 Kinect的手势捕捉及其特征值表达

2.2 虚拟实验环境下的交互约束

2.2.1 交互约束

相比传统人机交互的交互技术，VR的交互技术需要实现从二维界面到三维虚拟空间的跨越，需要解决物理世界与虚拟世界的无缝交融。MFVEE环境中，由于虚拟实验环境缺少物理约束，比如碰撞、重力加速度、捆绑等，需要建立虚拟实验环境的约束条件。因为无论是人体的映射还是虚拟物体，它们的空间位置过于自由，不像在真实世界中受到应有的碰撞或者重力等约束，以完成图3中手部与冰箱把手的交互为例:在真实世界中，当用手去开冰箱门的时候，手和冰箱门把手是握紧的状态，冰箱门随着手部的力移动，手也受到冰箱门运动轨迹的限制，不会偏离冰箱门把手的运动轨迹，但是在虚拟世界中，虚拟手部的位置是现实世界手部的实时映射，而实际的手并不会受到虚拟冰箱门把手的约束。本文提出一种改进的四元数算法来确保当手部偏离门把手的运动轨迹时，冰箱门依旧以正常状态打开。

图3 手部与冰箱把手的交互

2.2.2 基于四元数算法的虚拟旋转体的捆绑交互约束技术

四元数是爱尔兰数学家William在1843年所提，是复数的不可交换延伸。复数是由实数加上虚数单位i组成，i2=－1，而四元数是由实数加上3个虚数单位i、j、k 组成，i2=j2=k2= －1。如果把复数定义为二维空间，那么四元数则代表四维空间。每个四元数都是1、i、j和 k 的线性组合，表示为a+bi+cj+dk。

冰箱的门把需要跟手部一起旋转，跟欧拉角的旋转不一样，欧拉角是采用简单的x、y、z的值来分别表示在x、y和z轴上的旋转角度，取值范围是0°～360°。一般情况下，使用roll、pitch和yaw表示这些分量的旋转值。欧拉角容易出现不容易在任意方向的旋转轴插值、万向节死锁、旋转次序无法确定等问题。而四元数的旋转是用一个三维向量来表示转轴，用一个角度分量来表示绕着旋转轴的旋转角度，表示为(x，y，z，w)，

式中:(ax，ay，az)为轴的矢量，是三维坐标中的矢量;θ为绕着旋转轴的旋转角度。四元数是在统一4维空间中的，非常方便归一化和插值，可以方便得到轴和角的这些用于3D图像的数据。利用四元数算法进行交互约束的流程如图4所示。

图4 手部与冰箱把手的交互约束

经过交互约束后，手部与冰箱门把手实现了捆绑交互，如图5所示。图中有模糊与叠影的现象是因为这是在3D虚拟环境中所拍摄，需要带上3D眼镜观看才会清晰。

图5 手部与冰箱把手的交互效果图

2.2.3 虚拟实验环境的其他交互约束

在MFVEE中，除了捆绑约束外，虚拟环境中存在大量刚体，这些刚体有些能够交互，有些是没有交互属性的。以从冰箱中抓取一个鸡蛋为例:首先，对鸡蛋进行交互属性定义，当鸡蛋具有碰撞检测等交互属性后，用户抓取鸡蛋时，使其刚体组件失效，然后设定其父物体为手部物体，这样手部在移动和旋转的时候则其子物体也跟着运动。虚拟环境中需要对这一类物体进行定义，包括碰撞检测，如图6所示。本文定义了多种物体的交互方式，如具有旋转属性的冰箱门;具有重力加速度的刚体等，这些交互的设定，都可以在虚拟界面中直接进行设置。

图6 对交互物体进行定义

3 实验分析

3.1 实验流程

图7所示为实验流程。

图7 实验流程

3.2 实验数据采集

3.2.1 剪辑录制数据

首先获取原始数据，选择声音、颜色、红外、深度等数据流，如图8所示，取得的原始剪辑，将其存放起来以便随时调用，同时将原始数据转换为处理数据。

3.2.2 手势训练数据

仍然以“抓取”这个手势为例，VGB中的解决方案内有两个项目，其中 Grab.a是分析项目，没有后缀“.a”的训练项目，所有放在这里的剪辑都会被使用，当作姿势的实际检测。放在.a的任何剪辑都将用于测试检测。本文将剪辑分出2/3用于训练，1/3用于测试。如图9所示，添加剪辑并标记，把抓的过程标记为真，剪辑中会有准备动作或无效动作不标记，默认为假。

图8 记录的数据源与录制结果

图9 标记有效动作

3.3 实验数据分析

本文采用Kinect的深度摄像头进行人体识别与跟踪，并且使用KS和VGB进行手势训练，在虚拟现实环境中进行测试，其正确识别率与对比文献采用普通摄像头的2D空间效果相比，仍有明显的提升，其数据见表1。

表1 识别率对比

图10所示为测试的几种“抓取”手势的效果图，从测试的效果看，具有比较高的识别率，论证了虚拟实验环境中自然手势交互的优势。

图10 “抓取”手势的几种效果

4 结语

虚拟现实与人机交互涉及到很多未来关键技术与产业，它们目前并没有很好地融合在一起，尤其在MFVEE上，虚拟现实有3个典型的特征，即沉浸感、交互性以及构想性，作为虚拟现实一个非常重要的特性，“交互性”一直没有得到有效解决，导致MFVEE没有广泛应用。MFVEE跟头戴式虚拟现实系统的交互方式极大不同，主要依赖自然手势交互，除了需要解决传统人机交互的手势实时提取、遮挡等问题，更重要的是如何解决手势与虚拟空间模型的自然交互、深度空间交互、姿体数据的通信等关键技术问题。本文面向虚拟实验环境，构建了自然手势交互手段，体现了人机对话中以人为本的理念，同时由于用户在虚拟实验中的自然交互，在获取用户行为数据方面具有天然的优势，因此本文所提方案能够很好地应用于虚拟仿真等实验。