面向混合现实教学的空中手势交互体验设计应用研究

鲁艺，王晓烨，王煜琳，盖森，周乐甲

面向混合现实教学的空中手势交互体验设计应用研究

鲁艺*，王晓烨，王煜琳，盖森，周乐甲

（北京工业大学，北京 100124）

对混合现实教学中的空中手势交互体验进行深入研究，设计创新的教学体验模式，通过空中手势交互体验设计来提升教学体验。采用文献研究、田野观察、深度访谈及实验研究法，以理论研究为基础，结合教学体验需求，围绕场景、用户、产品构建设计方法，定义满足教学需求的空中手势类型，最终结合有效技术手段，搭建混合现实教学场景、设计个性化教学体验环节、完成空中手势交互界面设计。构建了针对混合现实教学的空中手势交互体验设计方法，定义了满足教学需求的八类空中手势类型，提出用户自定义空中手势的手势交互方式，设计了“教学指引”“徒手绘画”等具有教学指导意义的交互体验环节，适用于远程和线下的混合现实STEM教学场景，也形成了丰富的混合现实STEM课程教学资源。通过用户实验论证了八类默认空中手势类型和用户自定义手势的整体可用性，为混合现实教学领域的交互体验设计研究开辟了新路径。

空中手势；混合现实教学；交互体验设计；智慧教育

混合现实结合了虚拟现实和增强现实的特征，通过在现实环境中引入虚拟场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。混合现实教学可以突破时间和空间的限制，扩展了教学空间，实现了真正意义上的交互式学习[1]。混合现实教学体验更加强调通过身体姿势、手势等行为交互，实现具身的沉浸式体验。手势是重要的人机交互姿态，空中手势更是摆脱设备的束缚，与虚拟信息深度互动，极大地提高了交互的沉浸性。然而当前的教学体验研究，大多数通过手势进行简单的拖拽移动，或者重在实现绘制草图、建模的功能，而利用行为识别技术，让用户模拟现实世界的交互方式比较少，自然交互特征很少展现，在教学中使用不同手势的不同特征更是缺乏针对性研究。此外，现有研究大多数是理论层面，而不是从用户体验层面出发进行交互体验设计、实践和评估[2]。本研究重在发挥空中手势在教学演示中的潜力，对混合现实教学的用户行为特征进行全面的分析，利用混合现实环境的特点，通过自然的交互，辅助教师更生动地教学，增强教学互动，提升教学效果。并从用户体验的层面进行空中手势交互设计，实现虚实融合、自然交互、临场感的教学体验。

1 混合现实教学中的空中手势类型

“空中手势”也被称为“徒手手势”“裸手手势”，是基于非侵入式传感器（或最小侵入式，主要基于计算机视觉）跟踪身体运动、姿势，对数字内容或远程设备进行无接触操作[3]。空中手势比使用交互手柄更加灵活，无需手持设备扩展了手的交互空间，极大地提高了交互的沉浸性[4]，Hololens是微软推出的混合现实眼镜，用户与虚拟信息的所有交互都通过空中手势完成，图1展示了典型的应用场景。

图1 空手手势的应用案例（图片来源：Microsoft官方）

关于空中手势的分类没有统一的规范，研究者往往不是提供一组特定的手势，而是提供一组手势类型，并通过手势启发式研究[5]来了解哪些手势对哪种操作任务有效，以此来探究用户的偏好。Piumsomboon等[6]，通过实验探究AR中自然手势类型。通过实验评估确定了全选和打开、关闭、选择水平菜单四项基本任务对应的44个手势“共识集”。共识集中的所有手势都是对应任务中用户评分最高的手势。空中手势分类的研究始于语言交流环境，早期有许多伴随语言交流的自然手势的分类方法[7-9]。然而这不适合人机交互（HCI）领域，在HCI中最具代表性的就是Aigner等[10]的分类模型（见图2），在这个模型中手势用于描述身体形状和言语所指的形式，同时也用于人机交互。“指向”用于指示对象和方向，不一定涉及伸展的食指。它也可以用多个手指、拇指、扁平的手掌等进行；“哑剧手势”用于用户要执行或模仿的特定任务，其中主要涉及动作和特定的手势。它们通常由演员在没有任何物体的情况下表演；“信号手势”，通常就是手的比划，表示传递某些信号，就像交通指挥一样；有些从社交符号或礼仪中获取含义，例如竖起大拇指表示“OK”或向前平掌表示“STOP”、打电话手势、拍照手势等；“图标手势”，表示某种被大家普遍认同的符号标志，例如人们会用手形容物体的形状（例如比划一个三角形）。在交互任务中，用户通常做出图标的动作，系统识别后会做出反应；“操作手势”的特点是用户的动作和要操纵的物体的动作之间存在紧密关系。在操纵手势的情况下，用户会等待物体“跟随”然后再继续，而不是预先执行，只在随后引起反应。

这些在混合现实教学场景也同样适用，但教学场景也有其特殊性：1）交互内容多样性，用户不只是纯粹的个人体验，如教师不仅和虚拟信息交互还要和人（学生）交流，因此平衡好两者的关系进行设计才能有良好的用户体验；2）用户身份特殊性，教师的工作是知识传授，混合现实只能作为辅助教学的形式，因此对手势的分类应该简单，不必定义过多的手势，以免影响教学；3）交互空间多变，由于身体姿态经常需要在面对黑板和学生之间转换，径向转动是全方位的，因此需要手势识别设备对空中手势进行实时精准的跟踪，手势交互更自由。基于以上特点，本研究在前人的基础上，针对混合现实教学场景对空中手势的分类进行扩展，形成了适合教学的分类方式。

图2 空中手势的分类和各个手势的使用方式[8]

1）静态手势和动态手势。从时间的角度，空中手势可分为静态手势和动态手势。静态手势，指的是手的特定状态，在一定时间和空间内，手的姿势、位置、方向、角度不发生变化。动态手势，是手的状态的时间序列，意味着手势的姿势、位置、方向、角度会随着时间在空间中发生变化，它的自由度更高，手势类型也更加丰富。静态和动态手势实现了对大多数手势的区分，这简化了手势区分的难度，在手势识别技术角度也更容易理解。

2）预定义手势和自定义手势。以手势交互为主的混合现实应用的共同特征是，所有手势类型都是设计师预先定义，用户需要学习这些手势，这就是预定义手势。而另一种形式，叫自定义手势，是由用户根据自身喜好决定的手势，用户需要学习手势交互系统的规则，之后在系统中更改手势的默认选项，或者在系统中录入自己的手势作为新的选项。与前者最大的不同是用户不需要学习手势，交互更加自然。这适合需要处理复杂任务的教学场景，使教师减少额外的学习负担，保证课堂效率。

3）抽象化手势和基于物理操作的手势。手势的分类和用途与使用环境密切相关。“抽象化手势”可以用于执行选择、切换、开关、移动等操作。这类手势跟文化习惯也有一定的联系。“基于物理操作的手势”，是像操作真实物体一样操作虚拟物体，让用户感觉直接在操作某些东西，沉浸感更强，例如抓握、捏合、拍打等。基于物理操作的手势与操作对象之间几乎是同步的，然而抽象手势与实际想要达到的效果可能是不同步的，这加深了记忆难度，或者用户会无意做出某些触发动作，引发系统做出回应。在教学场景中，教师会有大量的无意识动作，因此在设计教师自定义手势时，需要少用抽象手势，更多地去使用基于物理操作的手势。

本研究要解决的关键问题是让教师在混合现实教学中完成教学任务的同时，达到良好的教学体验。因此，一是从用户环境出发，设计预定义手势完成基本的系统交互功能，此外设计自定义手势交互，实现个性化教学体验环节，保证教学互动完成教学目标；二是从手势识别技术的角度，对静态手势和动态手势进行了区分，让用户根据自身习惯定义与虚拟内容的交互，不给正常教学增加额外负担；三是丰富教学体验内容，设计“虚拟教学指引”“增强标签”“徒手绘画”等辅助教学，设置虚拟形象和远程协作以增加学习乐趣，带动课堂氛围，提升教学体验和教学效果。

2 混合现实教学的空中手势交互设计

2.1 用户研究

本研究将混合现实空中手势交互应用到基础教育学科，研究对象为具有STEM教学经验的教师。预调研阶段在网络上收集了远程STEM教学案例，初步了解用户环境和用户行为特征。实际调研阶段依次采用了实地观察、半结构访谈的方式，了解实际教学现状和用户需求，见表1。

表1 调研结果

Tab.1 Research results

结果显示，积极的教学互动尤为重要。这就需要发挥混合现实技术的优势，通过营造同位空间感来增强互动。基本上，教师行为除了拼搭乐高时的手部动作，可以总结为三类：指示性手势、描述性手势、互动性手势。指示性手势表现为，教师通过手指或手掌，指向教学环节中特定的内容，或者在讲解某一机械原理时吸引学生注意力；描述性手势表现为，教师习惯于用手势表达齿轮转动、机器人行走等，通过手形或手的运动轨迹来描绘教学内容的各个方面；师生互动性手势用于调动课堂氛围，在教学过程中得到基本教学需求，即知识讲解、演示拼搭过程、指导学生拼搭、丰富的资源（动画、文字、视频等）进行辅助教学、书写和手绘。

2.2 设计方法

结合用户体验需求，围绕环境、用户、产品，形成了虚实融合的沉浸式教学、自然的空中手势创作、个性化空中手势界面的设计策略，构建了针对混合现实教学的空中手势交互体验设计方法（见图3）。

图3 设计方法

2.2.1 环境：虚实融合的沉浸式教学

混合现实教学可以打破距离和空间限制，让教师和学生可以感受彼此的存在，增强教学互动。因此，通过虚拟化身来营造临场感和同位空间感是增强互动的必要手段，使参与实时混合显示的师生能够与彼此的虚拟形象交互，也增强了趣味性。此外，虚拟元素对STEM教学具有辅助作用。空中手势通过控制虚拟元素与真实教学结合进行教学演示，有助于提升教学效果。虚拟元素具备两个功能：一是便捷地扩展教学资源。虚拟空间的优势在于其可以把实物虚拟化，并可以实现良好的兼容，所有二维界面的教学资源都可以存在在三维空间，更重要的是可以补充二维界面实现不了的三维元素，这加深了对知识的多维度理解；二是辅助教师进行教学引导。通过虚拟信息的动态变化，给学生明确的指引，即使远距离也能实现“手把手”搭建指导，增强了沉浸式教学体验感。

2.2.2 用户：自然的空中手势创作

结合教学现状，总结教学体验需求为，讲课体验、指导体验、创作体验和协作体验。讲课体验和指导体验是在沉浸式混合现实环境支持下最基本的需求，用户在虚拟元素辅助下进行教学指导。而创作体验和协作体验是进一步提升教学体验效果的必要途径。从用户行为来看，满足教学的基本手势类型对应到混合现实中，得到的空中手势需求可以总结为选择、移动、切换等抽象化手势和一些基于物理操作的操作性手势（例如旋转、放大缩小等），把这些满足基本需求的手势定义为默认手势。此外，学生对多媒体形式及教师的演示极大的学习热情赋予了用户自定义手势交互的空间。由此，本研究创新性地设计用户自定义手势。采用简单灵活的定义手势交互流程，实现手势动作到虚拟效果的多样映射，无需复杂的编程或编辑过程，使用户能够在任何环节都能以自定义的方式实时创作，完成动画效果演示，通过自然的空中手势创作提供实时的教学创作体验。

2.3.3 产品：个性化空中手势界面

在调研中了解到，教师表示远程课程前期准备工作多、课程过程更加累人和困难。因此，空中手势界面应该使用一种直观的教学辅助工具，操作简单，不影响课堂进程；同时具备功能性手势操作界面，辅助教师进行实时教学演示和知识讲解，支持舒适、个性化的手势创作。首先，一个快速直观的导航是教师顺利完成教学的关键，教师不应该因为操作问题影响教学进度和上课效率；其次，在一个共享的MR环境中，需要打破传统的用户显示模式。手势界面设计需要某种双向信息传输方式，学生能够感知虚拟内容，并且能够与教师就内容进行主动交流；最后，空中手势是三维的输入方式，但现实中，并非所有任务都是三维的。有些任务本质上是二维的，另外，教师的教学过程中有许多教具的使用需要手来完成，菜单应该以更方便快捷的方式出现，灵活的手势菜单更适合需要处理复杂任务的教师。

3 设计实践

3.1 交互技术的实现

本研究使用Unity3D在Microsoft HoloLens 2上构建系统，在Windows全息版OS上运行。Microsoft Dynamics 365 Guides混合现实应用程序，实现实时指导和远程协作。系统支持音频，用户界面在Microsoft混合现实工具包（MRTK）、FinalIK和网格效果库的支持下实现。

对于自定义手势的交互逻辑，基于Wang等[9]的研究进行搭建，遵循编写应用程序的步骤：创建虚拟内容及其性能——定义用户和虚拟内容之间的交互。利用实时手势识别，通过设计输入动作和不同输出效果的组合，实现多种输入手势和输出效果的映射。为了实现直观的创作体验，采用了用于徒手交互输入和输出的触发器动作编程模型[9]。包括静态+离散、静态+连续、动态+离散、动态+连续及多重定义交互。用户可以在手势界面中通过连接不同的输出属性和输入动作来创建不同类型的交互。基本流程为创建手势-创建手势和虚拟内容之间的交互-手势演示。

3.2 混合现实教学的空中手势类型定义

在Piumsomboon等[6]和Aigner等[10]的指导下，首先提出用户自定义手势的交互方式，此外，默认手势包括选择、移动、旋转、缩放、复制、框选、协作、切换手势，这些手势由四类基本手势构成：单手指、两指拿、三只捏合、手掌运动。由此形成了针对混合现实教学的空中手势类型，见图4。

选择、移动缩放、旋转手势以Hololens2内置的手势规则定义，此外包含框选手势在内，符合Piumsomboon等[6]提出的手势共识集。旋转和缩放均采用双手捏或单手捏的动作来实现，单手时定轴旋转。复制手势通过视觉提示和捏合动作结合来实现，适用于从真实物体中复制出1∶1虚拟物体；协作手势的实现方式为：一位用户选择零件执行抛出动作，3 s内，另一用户执行选择手势接到物体；切换手势用于界面切换，使用单手左、右挥动手掌即可实现。单手翻转触发手势菜单，菜单选项附着在手的边缘，一只手充当选项的集合，另一个则充当选择器。手掌再次翻转，菜单收回。

图4 混合现实教学的空中手势类型

3.3 空中手势交互界面设计

3.3.1 混合现实教学场景

基于Microsoft 混合现实技术，利用Microsoft Hololens2（混合现实眼镜）作为手势的输出设备构建混合现实教学场景。师生在共同的混合现实空间，共享相同的演示视图。师生互为生动的虚拟形象出现在彼此身边，这使在远程教学的情况下也实现了师生“面对面”交流，见图5。

3.3.2 基于单手菜单的空中手势交互

用户左手触发手势菜单，右手充当选择器，共包含“主页”“素材库”“手势创作”“文本”四个选项，可在“主页”-“我的课程”选择所需课程，不同等级课程难度不同，见图6。

3.3.3 辅助教学：教学指引和增强标签

虚拟教师控制界面的切换、讲课，并指导学生每一步的搭建，每一步所需零件和对应知识都有相应的文字提示和视觉提示。学生根据需要搭建模型的完整三维全息影像（见图7）和“虚拟手”（见图7b～c）指导提示把乐高依次放到三维影像中对应的位置。“虚拟手部指导”是一个3D建模的手部（见图7b～c）。“增强标签”是在真实教具上增强显示虚拟信息，对教具的名称进行解释。界面中出现文本信息的同时会伴有语音播报。如图7所示，用户选择立体互锁标签，随即出现立体互锁结构的知识信息框界面。

3.3.4 个性化空中手势创作

自定义空中手势。用户通过在虚拟素材上添加“动画效果”，创建动态或静态手势，在动画效果和空中手势之间创建关联，即可实现手势与虚拟元素之间的自由交互。如图8所示，用户选择创建静态手势或者动态手势，经过5 s的准备时间后系统开始记录用户的手势。对于静态手势，用户保持手静态姿势2.5 s，以允许手势识别系统对手势的多次采样直到5 s结束；对于动态手势，用户需要记录两组手势数据，以2.5 s为节点，当检测到用户已保持相同手势2.5 s时，停止记录该手势，手势的骨架模型作为手势的触发对象。接着，用户可以为虚拟模型或者素材库的虚拟元素添加“效果”动画（见图6），随即与手势骨架模型之间创建链接，之后选择“开始”，用户即可以用自定义的空中手势动作演示动画效果。图8中还原了用户首先自定义了“开合”的“动态手势”，并给虚拟飞机添加“飞行”动画效果，最后把手势与添加了动画的飞机链接起来，随即控制飞机起飞。图9展示了在教学演示中，教师在素材库中选择了“跑道”素材，并用空中手势绘制一个大门，最后创建了静态空中手势触发汽车行走动画的交互行为。

图5 混合现实教学场景

图6 手势菜单的交互流程

图7 “教学指引”和“增强标签”的交互过程

图8 用户自定义空中手势创作的交互过程

空中手势绘画。用户可以用食指在空间中简单绘制线条，也可以调整画笔的颜色和粗细，并支持擦除和填充效果。如图8所示，用户为学生绘制出一棵小树。

图9 “教学指引”和自定义手势的教学示例

游戏化学习和远程协作。“我的游戏”，让学生通过游戏的方式进行STEM课程学习，有利于巩固学生对课程知识的理解。这些游戏都会使用默认手势和手势菜单完成，能增添学生的学习乐趣。为了实现实时协作体验，在游戏中，学生或者教师可以通过邀请的方式共同协作完成一件虚拟作品。

4 实验评估

实验招募了12名STEM课程教师，其中6名女性、6名男性，年龄在23～40岁（为25.2，SD值为7.63），他们的教学经验2～8年不等，授课类型从基础课程到高级课程，一半的人有过VR游戏的经验，但均未使用过混合现实眼镜。实验在每一位参加者的家中进行，Hololens2和摄像机进行视频记录。同时招募了5岁及以上的学生进行试听，见图10。

4.1 空中手势交互系统的SUS评分

为了解空中手势交互系统的整体可用性，在对参加者进行指导后，让他们各自准备课件，设计讲课环节并讲课，课前准备时间和上课时间分别被记录。结束后完成系统可用性量表（SUS），共10个问题，每个问题从“强烈不同意”到“强烈同意”，得分从1～5，正面题（奇数题）得分记为2i–1，反面题（偶数题）得分2i，=（1，2，3，4，5），SUS总分见式（1）。

结果表明，参加者认为系统的各项功能都很好地整合在一起（Q5：AVG值为3.2），相信有更多可能性去适应不同的教学环境（Q9：AVG值为3.2）。实验中每人都创作了3个以上交互任务，表明他们认为这些手势交互对教学很有用，大多数人愿意使用空中手势来辅助教学（Q1：AVG值为3.2），但部分认为需要更加系统的学习。在练习环节，所有参加者共进行了21次自定义手势任务，总体成功率为94.44%（SD值为0.08），表明他们可以使用空中手势交互顺利地操纵虚拟对象，也验证了空中手势的易操作性。参加者也认为，空中手势交互系统很便捷，并会促进教学高效进行。总体来说，用户认为手势系统操作并不复杂，容易学习和使用（Q4、Q10：AVG值为70）。SUS平均分数为79分，对应百分等级约85分，可用性分数AVG值为81.25（Q1～Q3，Q4～Q9），证明了空中手势交互体验系统的整体可用性。

4.2 空中手势类型的偏好和易学性评分

此环节，每人需完成一遍所有默认手势和自定义手势的交互练习，并重复2次，全部结束将会邀请他们根据喜好选择3种手势，并对每个手势进行易学性评分（1～7分）。结果表明（见图11），受欢迎度排行是缩放手势>自定义手势（动态>静态）>旋转手势，由于条件限制，协作手势并未纳入评估。缩放手势更受欢迎，他们习惯于不断调整虚拟元素、图片，以引起学生注意。旋转手势很少被使用，这似乎和具体课堂类型有关。虽然自定义静态手势展现出较高的易学性评分，但大多数参加者更喜欢使用自定义动态手势，因为能实现手势与动画效果的同步交互，并有多种变化，更具有趣味性。12名参与者认为大多数手势容易学习和使用，但有人反映复制手势的提示特征不明显，导致其不知道如何使用。因此，还需进一步改进复制手势的设计，让它更符合人的使用习惯，并且更清晰地表明意图。

图10 实验过程

图11 参加者对各个手势的偏好

Fig.11 Participants' preferences for various gestures

图12 参加者对各个手势的易学性评分均值

4.3 教学体验的满意度评估

为了解教师对教学体验的满意度，结束后向参加者提出了一些问题，对几个教学体验环节进行评价，每道题进行7点评分，最后计算每道题总分均值和所有题项总分均值及标准差。

如图13所示，所有教学体验环节的趣味性、舒适度和功能性都呈现积极的分数。徒手绘画的功能性评分较高（为6.45），参与者虽然无法绘制出完美的图形和线条，但有助于学生对知识的理解，这种图形和色彩的表达对于低龄且识字不多的儿童更适用。然而其趣味性分数略低，一方面是由于空间位移导致参加者只能绘制出简单的图案；另一方面他们可能会追求完整的画面效果而重复绘画产生了疲劳。“教学指引”和“增强标签”的功能评分略低（为5.75），但参加者仍肯定了它在辅助教学和远程指导中的作用，比幻灯片更生动。自定义手势得到了较高的整体体验满意度，参加者喜欢使用自定义动态手势控制神奇的动画效果，有助于吸引学生注意力、调节课堂节奏及增强教学互动。也肯定了所有教学体验环节对教学是有帮助的，并愿意使用（功能性评分为6.22，SD值为0.39），使用意愿评分为6.17，SD值为0.24）。总之，参加者并未认为这些教学体验会造成十分疲劳（疲惫度为1.82，SD值为0.87）。远程协作交互邀请了参加者们彼此体验，除了愉快的体验感，他们一致认为，这是独特的工作模式，这种方式增加了彼此的联系，让会议内容可视化，提升工作效率，有沉浸式体验感。

图13 参加者对教学体验的平均评分

Fig.13 Average score of participants on their teaching experience

5 结语

本文提出了针对混合现实教学的空中手势交互体验设计方法，以及结合默认手势和用户自定义空中手势的个性化教学体验模式。实验评估结果表明，最受欢迎的是缩放、旋转和自定义手势。参加者对所有手势的易学性和舒适度表示了积极评价，空中手势交互系统具有高度可用性。此外，所设计的教学体验环节有助于提升教学体验、增加课堂趣味性、提高教学效率。然而，未来还需进一步开发适合学生的操作系统，让学生完全参与体验，不断优化教学效果的评价指标，设置对照实验，对教学效果进行客观评估，并对协作手势进行量化评估。未来还要进一步完善空中手势的类型，探索更多远程协作的体验场景，扩展协作手势的空间，丰富系统功能，让教师之间可以通过空中手势进行协作交互，促进教育资源的共享。

[1] 祝智庭, 彭红超, 雷云鹤. 智能教育: 智慧教育的实践路径[J]. 开放教育研究, 2018, 24(4): 13-24. ZHU Z T, PENG H C, LEI Y H. Intelligence Education: Practical an Approach to Smarter Education[J]. Open Education Research, 2018, 24(4): 13-24.

[2] 李小平, 赵丰年, 张少刚, 等. VR/AR教学体验的设计与应用研究[J]. 中国电化教育, 2018(3): 10-18. LI X P, ZHAO F N, ZHANG S G, et al. Research on the Design and Application of VR/AR Learning Experience [J]. China Educational Technology, 2018(3): 10-18.

[3] VOGIATZIDAKIS P, KOUTSABASIS P. Gesture Elicitation Studies for Mid-Air Interaction: A Review[J]. Multimodal Technologies and Interaction, 2018, 2(4): 65.

[4] VULETIC T, DUFFY A, HAY L, et al. Systematic Literature Review of Hand Gestures Used in Human Computer Interaction Interfaces[J]. International Journal of Human-Computer Studies, 2019, 129: 74-94.

[5] ZHU Z T, YU M H, RIEZEBOS P. A Research Framework of Smart Education[J]. Smart Learning Environments, 2016, 3(1): 4.

[6] PIUMSOMBOON T, CLARK A, BILLINGHURST M, et al. User-Defined Gestures for Augmented Reality[C]// IFIP Conference on Human-Computer Interaction. Berlin: Springer, 2013: 282-299.

[7] KENDON A. How Gestures Can Become Like Words [M]. Toronto: Hogrefe & Huber Publishers. 1988: 131-141.

[8] CADOZ C, Les Réalités Virtuelles[M]. Paris: Flammarion. 1994.

[9] MCNEIL D. Hand and Mind: What Gestures Reveal About Thought[M]. London: Univ of Chicago Press, 1992.

[10] AIGNER R, WIGDOR D J, BENKO H, et al. Understanding Mid-Air Hand Gestures: A Study of Human Preferences in Usage of Gesture Types for HCI[J]. Microsoft Research TechReport MSR-TR-2012-111, 2012(2): 30.

[11] WANG T Y, QIAN X, HE F M, et al. GesturAR: An Authoring System for Creating Freehand Interactive Augmented Reality Applications[C]// UIST '21: The 34th Annual ACM Symposium on User Interface Software and Technology. ACM: Virtual Event, 2021: 552-567.

[12] 温圳, 李鹏, 王叙萌, 等. 基于混合现实的可视分析综述[J]. 计算机辅助设计与图形学学报, 2022, 34(6): 821-829.WEN Z, LI P, WANG X M, et al. Mixed Reality Based Visual Analytics[J]. Journal of Computer-Aided Design & Computer Graphics, 2022, 34(6): 821-829.

[13] GROENEWALD C, ANSLOW C, ISLAM J, et al. Understanding 3D Mid-Air Hand Gestures with Interactive Surfaces and Displays: A Systematic Literature Review[C]// Proceedings of the 30th International BCS Human Computer Interaction Conference: Fusion. ACM, 2016: 1-13.

[14] 袁庆曙, 王若楠, 潘志庚, 等. 空间增强现实中的人机交互技术综述[J]. 计算机辅助设计与图形学学报, 2021, 33(3): 321-332.YUAN Q S, WANG R N, PAN Z G, et al. A Survey on Human-Computer Interaction in Spatial Augmented Reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2021, 33(3): 321-332.

[15] 黄进, 韩冬奇, 陈毅能, 等. 混合现实中的人机交互综述[J]. 计算机辅助设计与图形学学报, 2016, 28(6): 869-880.HUANG J, HAN D Q, CHEN Y N, et al. A Survey on Human-Computer Interaction in Mixed Reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(6): 869-880.

[16] 周小舟, 宗承龙, 郭一冰, 等. 多模态交互中的目标选择技术[J]. 包装工程, 2022, 43(4): 36-44.ZHOU X Z, ZONG C L, GUO Y B, et al. A Review of Target Selection Techniques in Multimodal Interaction[J]. Packaging Engineering, 2022, 43(4): 36-44.

[17] 刘革平, 王星, 高楠, 等. 从虚拟现实到元宇宙：在线教育的新方向[J]. 现代远程教育研究, 2021, 33(6): 12-22. LIU G P, WANG X, GAO N, et al. From Virtual Reality to Metaverse: A New Direction of Online Education[J]. Modern Distance Education Research, 2021, 33(6): 12-22.

[18] 陈笑浪, 刘革平, 李姗泽. 基于虚拟现实技术的教育美学实践变革——新情境教学模式创建[J]. 西南大学学报(社会科学版), 2022, 48(1): 171-180.CHEN X L, LIU G P, LI S Z. Reform of Educational Aesthetics Practice Based on Virtual Reality Technology: Establishment of New Situational Teaching Model[J]. Journal of Southwest University (Social Sciences Edition), 2022, 48(1): 171-180.

[19] 刘革平, 高楠. 手势交互虚拟实验对学习体验的影响机制[J]. 现代远程教育研究, 2021, 33(2): 22-32.LIU G P, GAO N. Influential Mechanism of Gesture Interaction Virtual Experiment on Learning Experience[J]. Modern Distance Education Research, 2021, 33(2): 22-32.

[20] 张军, 刘粤, 陈坤杰. 基于情境模型的可穿戴设备手势交互设计[J]. 包装工程, 2019, 40(12): 140-146.ZHANG J, LIU Y, CHEN K J. Gesture Interaction Design for Wearable Devices Based on Scenario Model[J]. Packaging Engineering, 2019, 40(12): 140-146.

Application of Mid-air Gesture Interactive Experience Design for Mixed Reality Teaching

LU Yi*, WANG Xiaoye, WANG Yulin, GE Sen, ZHOU Lejia

(Beijing University of Technology, Beijing 100124, China)

The work aims to conduct in-depth research on the interactive experience of mid-air gestures in mixed reality teaching, design innovative teaching experience modes, and enhance teaching experience through the design of mid-air gesture interactive experience. The methodsof literature research, field observation, in-depth interviews, and experimental research methods were adopted. Based on theoretical research and combined with teaching experience needs, design methods were constructed around scenes, users, and products to define the types of mid-air gestures that met teaching needs. Finally, effective technical means were combined to build mixed reality teaching scenes, design personalized teaching experience links, and complete the design of mid-air gesture interaction interfaces. As a result, a design method for interactive experience of mid-air gestures for mixed reality teaching was constructed, and eight types of mid-air gestures were defined to meet teaching needs. A gesture interaction method for mid-air gestures was proposed. Interactive experience links with teaching guidance significance such as "teaching guidance" and "freehand painting" were designed, which were suitable for remote and offline mixed reality STEM teaching scenes, forming rich mixed reality STEM teaching resources. The conclusion demonstrates the overall usability of eight types of default mid-air gesture types and user-defined gestures through user experiments, opening up a new path for interactive experience design research in the field of mixed reality teaching.

mid-air gestures; mixed reality teaching; interactive experience design; smart education

TB472

A

1001-3563(2024)04-0181-10

10.19554/j.cnki.1001-3563.2024.04.019

2023-09-11