基于VR技术进行钢琴结构线上教学的研究

文/庄晓雪 邵申弘

引言

虚拟现实技术（Virtual Reality，VR）作为一种扩展现实技术，正逐渐改变人类与计算机交互的方式。随着5G和大数据的进一步发展，VR技术迅速成为包括教育在内的各个领域的主流技术，虚拟现实带来了教育方法的革新，成为促进教育发展的新型教育模式。[1]文章借助虚拟现实技术建立钢琴结构在线教学平台，是从探索学生学习多样化、教师教学方式优化的新角度出发，整合与课程内容相关的实践模块，构建具有基础理论知识的教学资源，形成线上线下一体化的专业课程，丰富当前高等教育的模式和内容。[2]

一、VR技术的特点及分类

VR技术由人工智能传感器、计算机技术、仿真技术、立体现实技术等不同类型技术相结合，是当今最高水平的多媒体应用之一。1983年有学者在研究中提出了虚拟现实技术的三角关系，即沉浸式（Immersion）、交互性（Interaction）和想象性（Imagination），被称为3I特性。除了3I特性，当代研究者认为虚拟现实技术还具备多感知性（Multi Perception），现在统称为3I+M。在实际应用中，从系统形式、应用方向和沉浸程度等方面归纳，可以概括为桌面式虚拟现实、沉浸式虚拟现实、增强式虚拟现实、分布式虚拟现实系统形式[3]。VR钢琴结构教学采用沉浸式虚拟现实系统，通过佩戴VR头显和手柄交互设备为师生提供完整的虚拟现实教学体验。

二、钢琴结构虚拟现实教学的优势

《钢琴结构概论》[4]是音乐科技系研究生和本科生的必修课程，作为一门专业基础课程，在理论学习与实践操作中起到承上启下的“桥梁”作用。学习钢琴结构有助于为键盘乐器修造专业方向的学生进行钢琴调整、修复实践打下坚实的理论基础。钢琴具有音域广、零部件数量多、内部结构复杂等特点。传统的线上钢琴结构教学由于缺乏教具以及在展示实物教具的过程中受光线、角度等因素的影响而无法将其完美呈现给学生，从而达不到高质量的教学效果。VR教学被视为21世纪的教学学习辅助工具，作为现代信息技术的引领者使得该技术引入到钢琴结构教学中成为现实，从而能够采用新的方法论和教育技术来丰富课堂教学。

（一）实现VR+数字教具，深化课堂教学内容

理论教学与实践操作是相辅相成、缺一不可的。传统钢琴结构教学大多以教材、PPT、动画演示加上教具进行教学，教材中2D平面内容无法呈现真实空间立体感，这就导致学习与应用相结合存在一定的局限性、课堂教学质量不高、学生对知识的理解不够深入等问题的产生。因此，借助VR技术搭建的虚拟三维模型将钢琴各部分结构形象化、立体化，给学生带来全新的视觉体验，弥补课堂教学中2D平面图和动画的不足，突破了学生学习钢琴结构的空间瓶颈，从而对所学内容有更加深刻的理解，开拓学生学习的广度和深度。

（二）体验式学习，搭建互动教学环境

VR使用视觉丰富的仿真提供体验式学习，佩戴VR设备的学生可以完全沉浸在构建的虚拟现实课堂环境中。虚拟现实技术采用3D模仿实体钢琴的构造，实现虚拟拆卸零件，学生能够自主对钢琴各部分零件进行拆装、旋转，从不同视角观看钢琴的内外结构及对应的名称，充分认识各个零部件，了解其工作原理。人机交互界面提供给学生更加真实的视觉感受，提高学生对于虚拟场景的体验。VR教学丰富课堂形式，引导学生动手操作，真正做到以学生为中心的课堂教学模式，进一步解放学生的感性思维，激发创造性思维。

（三）远程学习，突破时空限制

虚拟现实技术让我们从书籍、多媒体课件转向使用交互技术来帮助传授和理解知识，并为教育者和学习者提供不受时空限制的平台，学生能够通过PC端、移动端、VR端等多种形式自主学习相关课程。VR环境提供不同于现实世界里的教室、教科书或传统线上学习的体验，并以有效的方式传递准确的信息。[5]虚拟现实技术虽然不太可能很快取代传统的面对面教学模式，但随着数字时代的发展，VR辅助教学将会越来越受欢迎，为教育领域新的教学模式，给学生的学习之旅带来更趣的学习体验。

三、钢琴结构虚拟现实教学系统的设计及应用

本项目以卧式钢琴为教学对象，利用VR技术搭建基于Unity3D的钢琴结构教学系统，完成对钢琴结构整体、局部虚拟仿真教学的实现。系统设计通过软件和硬件相结合，包括钢琴零部件模型构建、用户界面设计实现、系统交互的实现等，最后对完成的系统进行集成发布。

图1 卧式钢琴结构建模图

（一）钢琴结构三维建模

为了高度还原钢琴结构教学过程，采用3Ds Max对钢琴内外部结构进行建模（图1）。通过收集钢琴的三维模型图片、尺寸和形状信息、材料属性等资料，在3Ds Max中构建零部件模型。由于钢琴内外部结构包含许多不规则且精细的零部件，为提高建模效率和模型检修工艺适配度，将其进行分层建模。对初步建造的模型进行轻量化处理，然后进行材质设置与贴图烘焙。为给用户提供更具有真实感体验，采用Substance Painter对模型进行PBR材质贴图，在此之前需要对模型进行拓扑、展UV操作，为最终材质贴图的效果提供保证。在Substance painter软件中制作好材质效果后，将贴图导出到Unity引擎中，为下一步实现交互功能奠定基础。

（二）基于Unity3D引擎进行交互设计

钢琴结构虚拟现实教学系统借助Unity 3D进行开发（图2）。首先将FBX格式的模型文件导入Unity 3D的资源文件夹Assets中，调整模型位置与模型间的相对关系，并进行检查和调整；针对需要调整或修改的模型细节，可以自己进行材质与贴图的后期编辑。

虚拟现实教学需要将模型与操作者进行虚拟交互，利用C#脚本语言进行交互开发，3D模型交互功能主要采用VR一体机（Pico）和手柄来实现。为了将VR钢琴结构教学变成现实，需要创建基于此设想的3D模型，这里通过使用Pico设备和PC端相结合的方式开展模型的创建，从而实现模型开发过程中开发者制作可视化和模型成果可供使用者佩戴头戴式设备进行体验等优势。具体建设过程如下[6]：

首先进行开发前的准备，为了方便开发，在Pico开发者平台里下载预览工具，安装官方所提供的apk包。

其次进行基础配置，将操作平台切换至安卓平台，在Package Manager中安装XR Interaction Toolkit，并导入官方提供的3个Sample。在Package Manager中安装XR Plugin Management，用于简化 XR 插件管理的包，提供有关 XR 插件的加载、初始化、设置和构建支持的帮助和管理功能。之后在Pico开发者平台安装SDK，此时安装的SDK是LTS版本，目前支持Neo3和Pico4系列。导入官方的Json文件并且在XR Plugin Management的Android和PC中勾选Pico，最后将Starter Assets中的预设文件添加为默认，从而提供给Unity用户学习和扩展使用的Player控制器的功能，包括人物移动、跳跃、加速奔跑以及摄像机控制。

在基础配置准备就绪后进行Pico项目配置，第一步进行添加XR Origin，第二步给双手控制器添加预设，最后打开Preview Tool进行测试，直到看到Pico和两个手柄都生效，到这一步刚好结束对于Pico项目的配置。

最后是添加基础功能，以达到完善操作过程。在VR钢琴结构教学中，在虚拟平台中玩家需实现移动、射线指示、射线抓取物品等功能。根据不同功能添加相应组件，然后将制作的脚本和3D模型通过mono编译成资源，再通过Unity选择相对应的平台进行打包。Unity 3D支持多平台的发布，系统发布后便可在所发布的独立平台上运行。

（三）钢琴结构虚拟现实教学系统的应用及评估

图2 利用unity 3D开发的钢琴结构各部分零件的拆装功能

钢琴结构虚拟现实教学系统构建完成后，邀请十名相关专业学生进行初步应用并在自主体验结束后进行访谈和问卷调查（图3），主要围绕“是否接受该教学模式”“能否提高学习效率”“能否激发学习兴趣”等方面进行调查分析。调查结果显示所有参与者均能接受虚拟现实教学模式，认为该教学模式新颖有趣，能够提高课堂吸引力。关于学习效率，大部分学生认为VR教学平台让每个学生都能全方位观察到钢琴各部分结构，课后还能重复学习，在一定程度上提高了学习效率。70%的学生认为虚拟现实教学最大的优势是不受时空的限制。结合问卷调查结果对学生进行一对一访谈，钢琴结构虚拟现实教学在学习效率、互动体验和便捷程度等方面占有优势，具有一定推广应用的价值。但还存在一些不足之处，例如教学内容不够完善，钢琴结构细节的设计还有待加强。因此，在今后的研究中将对本系统进一步地完善及优化。

图3 学生体验钢琴结构虚拟现实教学系统

结论

文章利用建模技术、虚拟现实技术，以卧式钢琴的结构为原型，从虚拟现实教学的角度出发，在Unity平台上对钢琴结构虚拟现实教学项目进行开发设计，实现了钢琴结构的虚拟可视化，为师生带来沉浸式的教、学体验。虚拟现实技术与教育相结合形成一种崭新的线上教育模式，突破师生教学过程中时间和空间的局限性，满足学生在线学习的需要，进一步提高学生的技能水平，不断优化和提升钢琴结构课程教学模式和学习者参与方式。