实时手势交互的泉州东西塔虚拟现实实现技术

吴伊萍，林伟洲

(1.泉州师范学院 数学与计算机科学学院，福建 泉州 362001；2.福建省大数据管理新技术与知识工程重点实验室，福建 泉州 362001;3.智能计算与信息处理福建省高等学校重点实验室，福建 泉州 362001)

虚拟现实为人们跨越时空、身临其境游览世界遗产提供了可能.尽管基于虚拟现实的文化遗产研究较为成熟，然而，传统虚拟遗产中使用鼠标、键盘或手柄进行虚拟遗产的漫游.近年来，随着人机交互技术的发展，基于手势、身体、眼球等人体非语言方式的自然交互在虚拟现实中逐渐兴起.在自然交互的虚拟现实应用中，体验者可以与艺术品自然互动[1]，弹奏古乐器[2]，控制木偶表演[3]，学习陶艺[4]，有效提升体验者在虚拟现实系统中的真实感、沉浸感、参与感和学习效果.

随着Kinect、Leap Motion、Real Sense等手势控制器的发展，手势识别的准确率、识别速度不断提升.基于自然手势的虚拟现实研究，为文化遗产体验引入了新的方式.Baraldi等[1]基于分布式的自我姿态和艺术品识别，理解用户与艺术品的自然交互；Hariadi等[2]利用Leap Motion采集手势与印尼虚拟的传统乐器Sasando交互；Lin等[4]在虚拟手套木偶中尝试让用户通过手势操控虚拟木偶，还可选择不同的人偶、背景和音乐；林莹莹等[4]提出了虚拟环境中，基于自然手势交互的陶艺体验；Popovici等[5]提出了用户沉浸在虚拟环境中，通过简单的手势无触摸地与重建文物互动.王嘉琪等[6]比较了交互方式和性别差异对游客使用移动增强现实旅游产品的影响.林莹莹等[4]从完成度、沉浸感、操易度、趣味性上比较了手势交互在虚拟现实和非虚拟现实模式下的差异.Popovici等[5]关注虚拟现实系统在博物馆的文化遗产教育中的可用性和满意度.王嘉琪等[6]的研究表明在移动增强现实旅游产品中触摸交互可用性体验更好，手势交互中个体神经生理激活水平更高.受上述研究启发，本文将手势交互引入泉州东西塔虚拟漫游，同时增加用户与东西塔之间的交互，以增进用户对世界遗产东西塔的认识.

1 泉州东西塔手势交互设计

1.1 系统开发环境

系统硬件开发环境CPU为AMD 锐龙5 4600H，显卡为NVIDIA GeForce GTX 1650 Ti，内存16 GB，Leap Motion手势控制器.显示器分辨率为1 920×1 080，交互帧率运动状态下40帧以上，静止状态下60帧以上，实现了三维场景下的实时交互.Leap Motion传感器[7]是Leap公司在2013年发布的体感控制器，它遵循右手坐标系，坐标系中单位与世界中1 mm相对应，典型视场为140×120°，最佳的跟踪范围在10～60 cm，最深可达80 cm.它通过两个高帧率红外摄像头，保障在夜晚或光线较弱的环境下也能够精确追踪到手部.系统基于Unity 3D引擎，Visual Studio和Leap Motion SDK开发.Unity3D是目前主流的跨平台的虚拟现实引擎，可实现实时互动的2D和3D内容创作，在Visual Studio中编写C#脚本，完成交互内容的设计与实现.基于Leap Motion SDK实现手势控制器的连接、用户手势信息的识别.

1.2 手势定义与交互空间映射

根据三维场景中自然手势交互范式的研究[8]，以及本研究中东西塔漫游、交互与虚拟拼装等任务，定义了基于手势、交互语义、手势特征及用户状态的交互范式，见表1.

表1 手势定义语义映射表

根据用户的状态和交互手势确定手势特征，由用户的状态和手势特征确定当前范式下的交互语义.为模拟现实世界中用户的裸手与虚拟世界虚拟物体交互，需建立显示空间与交互空间的坐标映射.显示空间指计算机显示器或虚拟显示头盔，交互空间指Leap Motion控制器红外摄像头检测到的用户手关节所处的物理空间.利用Leap Motion控制器获取体验者的手关节坐标，通过三维场景中主摄像机的世界坐标将手关节坐标转换为屏幕坐标.由于交互空间范围受限，当虚拟物体与主摄像机位置较远时，主摄像机先获取食指指尖关节坐标，再将食指指尖关节坐标转换为屏幕坐标，再变换为显示空间中的射线，通过射线建立用户手关节同交互虚拟物体之间的连接.

1.3 东西塔模型优化

为实现对东西塔局部塔身部件的交互，对原始模型进行调整、拆分、优化，并且依照东西塔的真实尺寸做出相应的缩放调整.根据王寒枫所著《泉州东西塔》的信息[9]，对原有东塔的部件进行分解，使华拱、胡孙头、角昂、下昂、橑檐枋、补间二朵斗拱、罗汉枋等部件成为独立的三维模型，为用户与塔身部件交互进行准备.同时，使用Maya的UV编辑器对塔身材质贴图优化，东塔的优化效果见图1.最后，将优化后的模型导入到unity中，并按照用户通过坐姿与虚拟东西塔模型进行手势交互，对东西塔三维模型的高度进行调整.

图1 东塔三维模型

2 泉州东西塔手势交互系统实现

2.1 手势引导

本实验设计了手势引导，帮助用户学习手势及其所对应的功能，让用户能够更好地体验东西塔漫游系统.手势引导步骤如图2所示，引导用户完成前进、后退、旋转、查看、退出等操作.

图2 手势学习

2.2 虚拟漫游

2.2.1 东西塔虚拟漫游手势交互设计 东西塔虚拟漫游的交互手势分为当前状态、常态、交互态三种.当前状态用来确定能够进行的动作；常态控制自身的位置信息；交互态能与物体进行交互.

在东西塔虚拟漫游时，为了能够让用户近距离看清楚所交互的对象，设计查看交互对象按钮，供用户与虚拟东西塔交互.通过计算用户与交互物体距离的比例，确定交互按钮的位置信息，自适应交互按钮视角，分远视角和近视角.

用户在漫游时，可以从各个位置通过交互按钮前往初始路点.为防止出现穿模、死路等问题，为各个交互对象分配不同的路点并结合协程完成寻路导航.以用户位于东塔正前方为例，如图3所示，东塔上方、正前方、左、右各设置了4个不同初始路点(黄色StartPos01至StartPos04)，供用户在不同位置进行导航.其次，用户在寻路时，通过比较用户当前位置与每个路点的距离，获取最近的路点进行追踪，借助协程完成用户位置、交互物体近点、起始位置的逐段位移的计算，并确定路径.

图3 东塔路点设置

2.3 东西塔塔体的交互

2.3.1 东西塔塔体的交互设计 东西塔塔体主要包括用户在东西塔的上下层移动、旋转查看塔，查看塔部件以及塔浮雕等.用户可以根据特定的交互手势，完成所要的交互，了解东西塔塔身建筑部件的信息、塔身浮雕的历史信息等.

2.3.2 上下塔与旋转塔 为了能够让用户从各个角度观察东西塔，通过手势6、手势7来控制用户在东西塔的上下层移动，手势4、手势5来控制用户绕塔旋转.上下层移动需要通过检测手指捏合的特征开始记录起始捏合位置，比较当前位置与起始位置的高度差，进而确定手势的上下方向，实现用户在东西塔上下层移动的控制.同理，绕塔旋转则是通过叉乘得出手势的左右方向，进而控制绕塔旋转的方向.

2.3.3 与塔部件进行交互 为了使用户能够了解塔的部件，对塔身的斗拱、猢狲头、角昂、华拱、下昂、罗汉枋、橑檐枋等7个部件建立标签.如图4所示，当用户(通过手势8)食指指向想要了解塔身的建筑部件的位置，首先获取该部件的坐标位置，进行坐标转换.其次，对该目标建筑部件轮廓进行高光处理，使该部件视觉更加清晰.最后，根据标签返回每个部件的名称，将部件轮廓高亮并显示部件名称在交互面板上.

图4 显示塔部件名称 图5 浮雕交互

2.3.4 与浮雕进行交互 东西塔的浮雕采用由手心位置控制的光圈进行交互.首先，对塔身的每个浮雕单独添加碰撞体，并且为每个碰撞体添加编号以区分不同的浮雕.如图5，当光圈与之交互时，根据当前所在层信息以及浮雕的标号从浮雕管理器中获取对应的浮雕信息，显示在用户界面面板上.

2.3.5 东塔微缩模型交互 根据手的朝向(图6)，当用户左手手心朝向自己时(图6(a))，左手托住东塔微缩模型.当手心离开身体一定角度(图6(b))，东塔模型收入手心.当右手靠近东塔微缩模型时(图6(c))，东塔微缩模型放大.

图6 东塔微缩模型交互

2.4 东塔虚拟拼装

2.4.1 东塔虚拟拼装设计 东塔虚拟拼装为用户理解东塔的建筑结构、各塔层的历史内涵之间的关系提供了一个桥梁.用户通过手势拾取东塔每一层，逐层向上虚拟拼装过程，视觉上可以看到东塔各层不同的浮雕、各层之间的上下位置关系.东塔虚拟拼装，可为用户进一步了解东塔的建筑结构和各层信息.本文设计了一个虚拟实验室供用户进行东塔的虚拟拼装.当右手捏合手势捏取模型塔(手势10)，用户将进入虚拟实验室中，开始东塔模型的虚拟拼装.在虚拟实验室中，东塔的微缩模型由低到高分别为塔基、人天乘、声闻乘、缘觉乘、菩萨乘、佛乘(含塔剎)6个部分.拼装过程需按照该顺序逐层捏取对应的层级，由塔基至佛乘依次向上拼.在拾取每一层模型时，该层的模型高度、虚影高度、层的名称及介绍等信息会弹出.其次，用户在拼装的过程中，设计了NPC在左上角进行提示，协助用户拼装模型.最后在拼装完成时还会对用户拼装完成的模型进行检测，NPC会向用户反馈拼装结果是否正确.

2.4.2 东塔的拾取与拼装 由于交互空间受限，模拟用户抓取虚拟东塔子层时，利用交互空间映射，将用户食指指尖特征转换为射线，通过射线来协助完成模型的拾取与拼装操作.手部虎口附近处的光圈表示检测的位置，实现远处模型的拾取.在模型拾取的过程，将虚拟实验台桌面与单层东塔虚拟模型分开检测，根据层级进行操作.当虚拟东塔子层被检测到要被抓取时，呈现轮廓绿光高亮，表示拾取成功，并在其上方显示对应的塔层名称.

用户对待拼装模型的拼装或拆卸的操作是根据待拼装模型的位置来判断的.当捏取的待拼装塔层模型位于桌面上，待拼装模型会跟随用户手部一起移动.当捏取的待拼装模型靠近目标模型时，目标模型上方会显示出待拼装模型的虚影，此时松开会自动将待拼装模型放置到目标模型的上方中，人天乘已安装到塔基上.其次，还可先将两层拼装在一起.

3 结果与分析

实验过程分为四部分：(1)手势引导；(2)体验东西塔虚拟漫游；(3)东塔三维模型虚拟拼装；(4)用户问卷和访谈.

实验采用李克特(Liket)五级量表[10],每个被测者通过“非常同意”“同意”“不一定”“不同意”“非常不同意”，共10个问题如表2和图7所示，覆盖手势的易用性、交互内容的丰富性、用户的对手势交互持有的态度.本实验共招募了32名大学本科生，其中16名男性、16名女性，平均年龄21.2岁.

表2 问卷描述

图7 手势交互可用性评估

方差检验如表3所示，Q5、Q7～Q10方差值高于其余5个问题，体现出用户通过体验系统对东西塔的了解、对手势交互的兴趣及未来发展持肯定态度；反之，Q3、Q4方差值最低，体现了用户在实验过程中准确完成操作、手势交互反馈的流畅性上有待改进.

表3 方差检验

在性别差异上，Q1～Q4、Q5、Q7～Q10男性用户的方差值高于女性用户，表现为男性用户在手势交互的技术上的接受度更高,在东西塔历史知识等信息的获取度更高,对手势交互的兴趣、态度更好，更期待手势交互的应用,东西塔模型的逼真度上(Q6)，女性用户更满意.

在用户访谈中，多数用户表达了对泉州东西塔虚拟现实手势交互系统的喜爱，同时也提出玩的内容太少了,希望可以继续完善；少数用户反应手酸，或容易忘记手势.

综上，性别在虚拟现实实时手势交互中存在明显差异.男性用户在手势技术的接受度、手势操作的熟练度上高于女性用户，对手势交互技术所持的态度更友好，因而交互过程体验更流畅，交互中获得的建筑遗产知识更多.女性用户更关注虚拟现实中的视觉效果，如模型的逼真度；在手势交互技术的接受度、操作熟练度略逊色于男性用户.其次，鉴于部分用户出现遗忘手势、手酸等问题，后续将对交互任务进行进一步细化寻找更精简的手势集来完成虚拟现实中的实时手势交互任务.

4 结论

本文提出了基于实时手势交互的泉州东西塔虚拟现实系统，基于Leap Motion实现了泉州东西塔虚拟漫游、东西塔手势交互、东塔虚拟拼装.用户体验实验结果表明，手势交互表现出明显的性别差异，男性用户在手势交互技术的接受度、操作的熟练度上优于女性，交互过程对男性用户更有吸引力、趣味性和新颖性，使他们在东西塔的建筑结构和历史信息收获上更高；女性用户对东西塔三维模型的逼真度更满意.所提系统对虚拟现实中的实时手势交互应用提供了借鉴.