虚拟现实技术实训平台的设计开发与教学实践研究

王帅

（重庆水利电力职业技术学院，重庆 402160）

0 引 言

随着媒体技术的不断演进，教育的“场域”与“在场”被新技术不断重新定义，虚拟现实技术（Virtual Reality,VR）具有3 I的特征，即沉浸性、交互性、构想性，为教育教学提供创新性思考，其中沉浸性是指使用户有种置身于虚拟情境中的感觉，愈加“具身”（Embodiment）的虚拟现实体验为教育教学提供了变革思路。

1 理论基础

1.1 虚拟现实技术

虚拟现实是集合计算机技术、人工智能、语言处理等相关技术的新兴技术，通过立体眼镜、触觉反馈数据手套等传感设备，以眼动、手势等接近自然的交互方式向计算机输送信息，以视觉、听觉和触觉多维度感知形式反馈给学习者，具有高感知、深交互和即时反馈的特性。通过梳理虚拟现实技术演进脉络，技术经历桌面式虚拟现实、沉浸式虚拟现实、增强/扩展现实和元宇宙等四个阶段，技术将教育推向“共维”“共生”和“共在”的新形态。在实验教学过程中，运用虚拟现实技术构建沉浸式的教学互动场域，揭示当下所谓的"虚拟"与"现实"的现实壁垒，同步满足师生在物理世界和虚拟世界中的教与学需求。

现有VR 常用3 种交互模式：鼠标交互模式、手柄交互模式和手势交互模式。传统VR 采用鼠标键盘交互的虚拟实验中在学习过程中学习者的学习体验不佳，真实物理空间中眼部视觉是辅助手部操作锁定目标任务继而执行，鼠标操作无法发挥出虚拟现实系统手眼协作的沉浸性、交互性、构想性和智能化等优势。手柄交互在注重手部交互体验的同时融入手指追踪技术、自适应扳机技术等，大大提高手部操作适应性，在沉浸式交互体验中使用较为广泛。手势交互作为一种重要的自然交互方式，在形式上和空间上极大改善了交互体验，不仅能提升交互的沉浸感和效率，而且也能增加交互的真实感，但随着科技的发展手势交互的VR 交互性不及时、临场感不强等问题也随即暴露出来。

1.2 具身认知

具身认知理论强调认知依赖于各种情境活动与身体自身在环境中感知生成即认知的发生是身体、情境和认知上的耦合统一论，大脑并非认知的唯一源，在认知形成过程中要注重置身情境、身体感知与动态交互过程。具身理论视域下的沉浸式教学在深化学习者学习体验中体现3 层次：一即调动具身经验。为促进学习达成认知的生成，虚拟情境中的学习体验需调动具身经验，与反思观察、抽象概括和主动检验形成螺旋上升的学习循环过程，；二是升华抽象经验。为革新学习者的认知感知模式和范围，多通道感知在学习中发挥重要作用，通过领悟获得抽象经验，并且与原有经验产生联结，从而实现意义建构和知识迁移；三是延展认知资源。虚拟情境也可促进物理情境认知范围的延伸，创建虚拟的认知资源促进学习者多感官情境下的多通道信息处理，深化知识留存率达到深度学习体验。

2 虚拟现实技术支持的VR 实训系统设计与开发

2.1 交互行为设计

VR 技术能够为学习者提供多感官交互通道，协助学习者更流畅便捷地完成实验任务。在三维场景中提供真实自然的交互是VR 虚拟实验平台的重要研究内容。手柄交互作为使用便捷、应用范围广的交互形式之一，为交互体验提供更自由的操作空间。评价用户使用体验的好坏标准之一就是交互隐喻的设计。Stutman 和Putnam（1994）认为隐喻的基本功能就是构建虚拟空间的逼真性（包括我们的感觉和信念）和提供拟真的交互行为，隐喻是将已有认知进行转换形成新认知的一种方式，是决定虚拟实验逼真程度的重要指标。能否通过已有的感知、体验来想象、理解另一种事物，降低用户的认知负荷，完成特定的交互任务是隐喻设计成功与否的决定因素，创建基于真实世界的隐喻是虚拟现实交互界面设计的基本方法，交互隐喻就是为完成特定的交互动作和任务需要将用户双手的位置信息和空间方向作为输入映射到虚拟环境中操作。隐喻式学习过程是学习者在活动域中从基础模块（获得隐喻）—发展模块（参与隐喻）的发展过程，以“认知唤起—运用知识—建构知识—发展认知”机制推进。在虚拟情境中主要通过与学习者已有经验相吻合的隐喻信息，通过操作游戏场景与互动模式，在有意识或无意识状态下接触、接受各种信息、符号的暗示，进行着文字阅读、图形图像和触觉反馈（材质、肌理、韧性等）视、听、触觉的信息加工，进而促进理解、认知、思考等过程与形式的关联互通，使学习者达成隐喻式、迁移式学习。

任务和反馈的交互设计层面，采用直接隐喻和间接隐喻设计的交互任务能够帮助学习者流畅地通过VR 设备进行交互，避免额外的认知负荷。现有交互方式有4 种：一是定时锚点，锚点会跟随学习者头部动作同步移动，可以在交互区域内触发锚点进行交互操作，锚点提供基础形式的交互，过程体验较差；二是手柄操作优势是比鼠标操作体现便捷性，可以实现即时反馈；三是空间定位及位置追踪，分为手柄控制器及定位器2 种操作方式，实现一定范围内的空间自由运动；四是手势操作，通过数据手套收集双目摄像头视觉图像并进行手势分割算法进行交互实现，由干神经网络可以用静态的和动态的输人，适用于实践操作性强的快速、交互方式，缺点是目前技术局限所能达到的精确度不高，无法识别每个手指的精细动作。

本研究设计开发的交互设计是基于手柄的实验工具，涵盖选择/操作交互任务主要包括模式选择、定位与旋转、动作；导航交互任务主要是虚拟环境中实现漫游和路径查找，即拾取、行走、前后左右；系统控制交互任务指改变系统交互模式和系统状态的相关系统命令，即重新开始、保存、返回等，如图1所示。

图1 联合感测控制模式

2.2 三维建模和UI 设计

VR 虚拟实验平台采用3Dmax 作为三维引擎，能够易于构建符合物理实物的各类参数，构建可以物体三维建构、贴图等方面的删除、附加等操作。此次实验中主要构建的模型有烟雾传感器、酒精传感器、温湿度传感器和实验附件的模型制作与材质贴图，如图2所示。通过实验实物高拟真还原度，结合UI 界面设计，实验平台屏幕、实验原理、实验提示显示等，提高虚拟环境中的学习体验效果。

图2 实训物体实物与三维模型对比

2.3 Unity3D 引擎开发

VR 虚拟实验平台采用Unity3D 作为三维引擎，实现可视化编程界面完成各种开发工作，方便编辑脚本、开发，支持直接导入骨骼和动画，支持粒子系统，Unity 开发作用体现在VR 可视化、实时三维动画的交互内容的实现，如图3所示。

图3 Unity 交互引擎开发

3 VR 沉浸式教学的学习体验相关性分析

本研究基于自主开发的实训平台在教学实践中分析使用VR 实训沉浸式教学的学习体验有效性，检验学习体验三维度：学习动机、沉浸感、和态度，并探究三维度之间的关系，使用问卷调查的工具分析30 名被试的实验结果，使用Spearman相关方法进行检验，用来检测元素之间的相关关系。结果显示：沉浸感与学习动机（=0.943，＜0.01）和态度（=0.840，＜0.01）存在显著相关。说明VR 实训情境中沉浸感越强，学习者的学习动机越强，学习的积极态度越明显。在创建VR 实训时，为学习者构建高还原、高拟真的学习情境，有助于学习者提升学习投入、学习注意力，学习者的动机越强，对VR 实训学习环境越具有积极态度，愿意接受更多的虚拟现实体验和学习，也就是说，VR 实训的沉浸感对学习体验有着重要作用。结果分析可以看出学习动机与沉浸感和态度呈现显著相关，说明VR 虚拟实训沉浸感越强，学习者积极态度越强烈，对学习体验越好。其中态度对学习体验起着重要作用，学习者的积极态度增强，有利于学习动机的提升，有利于学习体验获得，如表1所示。

表1 沉浸感、学习动机和态度相关性

4 VR 沉浸式教学融入学科的课程类型及临场维度

基于虚拟现实技术的沉浸式教学融入学科教学中，在应用取向与逻辑演进中分为学科本位与知识应用、学科思维与融合运用两种方式，呈现四种类型：

（1）独立式学科本位型，即以培养单一学科知识为主要目标，促使学习者获取以学科知识，通过具身体验达到习得经验、提升投入和增强情境的目的；（2）分布式学科本位型，即借助互联网联结各个虚拟现实系统，以获取多元学科资源为目标，支持单一学科和跨学科分布式虚拟现实系统的学习，促使学习者打破囿于时空界限实现无边界的泛在学习场域；（3）独立式项目融合型，即以项目式为导向，通过任务进阶培养发现问题与解决问题的能力，通过操作体验、知识应用达到自主探究的学习过程；（4）分布式项目融合型，即将培养多学科知识与复杂问题解决能力为目标，强调去学科化，注重掌握知识与探究能力，培养学习者复杂学科思维，同时注重个体与个体、个体与群体、个体与社会的交流协作与情感体验。

王广新提出虚拟现实情境内临场感影响五因子，即情感涉入度、逼真度、感知响应力、控制力和注意力，进而提出临场感生成模型：现实和虚拟情境的刺激—注意分配—卷入—临场感，Schultze 从虚拟现实媒介技术作为重要中介的作用提出临场感的激活模式，基于以上分析，将虚拟现实沉浸式学习体验分为四个维度：旁观者维度（Spectator dimension）、参与者维度（Participant dimension）、沉浸者维度（Immersion dimension）和创造者维度（Creator dimension），具体有以下几点。

4.1 旁观者维度（Spectator dimension）

学习者在沉浸式虚拟情境中体现出感知、参与和互动行为，借助虚拟现实沉浸式教学丰富的学习资源以理论知识为主，在虚拟情境中以体验感知为主，用虚拟现实真实、沉浸与交互丰富知识的表征形式，并不能激发深层次的学习投入。

4.2 参与者维度（Participant dimension）

借助虚拟现实搭建沉浸式情境，帮助学习者形成应用知识指导解决问题的学科思维，通过进行相关操作、交互体验等逐步在理论知识与虚拟情境间建立桥梁，增强发现问题、提出问题从而解决问题的能力，增强学习效果和学习投入。

4.3 沉浸者维度（Immersion dimension）

虚拟现实融入沉浸式教学，支持学习者浸入虚拟情境进行感知体验，感悟知识价值所在，进而深化已有认知经验，促使学习者进行抽象与概括、对比与归纳、联想与记忆等信息加工过程，从而达到理解知识、运用知识、迁移知识和生成新知识的过程，促成学习者知识关联思考、迁移理解能力的生成。

4.4 创造者维度（Creator dimension）

学习者在虚拟现实沉浸式教学中注重具身体验、情感状态、协作交流和探究学习能力，实现重构学科知识与共建共享资源的过程，能够打破学科、时空壁垒，关注个体与个体、个体与群体、个体与社会的密切关系，实现“身心合一”的多元交互、创造性和泛在化的学习体验活动。

综上所述，学习者学习体验在虚拟现实融入学科课程类型、临场感激发过程、沉浸式教学临场维度融合过程中呈现三次循环迭代上升：一即在虚拟现实融入学科课程类型从单一学科知识向多元跨学科

知识再获取新单学科知识循环迭代，再以获取学科知识为基础促使学习者通过具身体验获得一般科学思维的循环迭代；二即学生在临场感激发过程中受五因子影响，在“刺激—注意”过程更易获取单一学科知识，学习者以获取学科知识为主，注重培养一般学科思维，而在“卷入—临场感”过程，以培养学习者的多元一体自主探究学习能力为主，注重培养跨学科融合型复杂学科思维，在掌握基础学科知识上进一步拓展探究，形成融会贯通、泛在化学习体验活动，再次获取单一学科知识中能够提出新问题、新方法、新境界，产生认知思维上的循环迭代；三在沉浸式教学临场维度，即学习者在虚拟现实沉浸式教学中随着任务驱动、体验提升、深度投入等过程从旁观者维度—参与者维度—沉浸者维度—创造者维度依次递进，形成自身迭代体验过程，如图4所示。

图4 沉浸式教学临场维度模型

5 基于VR 沉浸式教学的高职应用场景

5.1 “高职+实训”的沉浸式教学

沉浸式教学在实验实训课程中主要体现出三种形式：一是观摩体验型，主要面向特定的服务行业课程，在制作过程中需要精准满足流程中的规则要求，让学习者切身感受到“实景实情”；二是仿真操作型，需要通过准确的虚拟现实场景操作产生对应的交互反馈，交互反馈可以是文字、动作姿态，也可以是实验数据或现象等；三是虚实结合型，虚拟现实实验与物理实验相结合，即可在具有危险性和高损耗的实验场景中，规避风险、节约资源，也可以为学习者提供线上线下融合的无边界学习场域。

5.2 虚拟现实融入思政课堂

虚拟现实技术融合思政构建“VR ＋思政教育”模式，加强沉浸式体验的“活动+德育”联动模式，创建思政课堂的多维课堂，通过学生社团、思政主题展演、赛学结合等载体形式，将思政课堂以灵活生动的形式展开，“以情动人”与“以理服人”相结合。

5.3 虚拟现实+融课堂在线教学

虚拟现实技术课上教学与课下学习边界打破，真实实现“泛”学习化，将“师—生—境”有机融合，支持学习者借由“虚拟化身”实现远程“在场”达到参与课堂学习的行为，进行资源共享、合作互动和具身体验等活动。同时，学习者可以通过发送远程协助请求，教师可以远程对学习者进行教学干预，与其他化身完成多元互动，实现泛在学习、终生学习、过程体验的沉浸式学习体验。

6 结 论

本研究通过搭建虚拟现实技术实训平台，探究在实践教学中学生学习体验的沉浸感、学习动机和态度之间的相关关系，结果显示：沉浸感与学习动机和态度存在显著相关，说明VR 实训情境中沉浸感越强，学习者的学习动机越强，学习的积极态度越明显。深入探究在学科本位与知识应用、学科思维与融合运用两种课程融合方式中，虚拟现实教学实践旁观者维度、参与者维度、沉浸者维度和创造者维度的维度涵义及其在职业教育中的教学实践应用。