虚拟现实技术在小提琴教学中的应用

□肖 睿 刘笑妤 王延松 西安音乐学院

一、虚拟现实技术在音乐教育领域中的应用

（一）基础音乐教育

虚拟现实技术具有代入感强、交互性好的特点，可以解决传统音乐教学中的互动感低、效率低等问题。在学前音乐、中小学音乐教学课堂上，教师都可以通过虚拟现实智能设备完成交互及沉浸式体验。这种体验不仅能够提高教学质量和效率，帮助学生认识音乐元素、巩固理论知识，还能够提高学生课堂学习效率、理解能力、应变能力等多个方面[1]。

Gomes 等人介绍了在巴西幼儿园得到应用的增强现实软件，用于教授儿童声音特性（音高和响度）。该软件允许儿童操纵与声音有关联的虚拟对象，从而学习判断声音的响度和高低，并给出了可用性测试的结果。

Edoardo Degli Innocenti 等人在一所小学中进行了关于音乐流派识别的VR 课程实验。通过移动VR 设备让学生沉浸在不同音乐风格的表演中（如古典、乡村、爵士和摇摆）。结果表明，与采用印刷材料和被动聆听的传统课程相比，将移动VR 技术与传统教学方法相结合，可以在主动聆听、注意力等方面强化初等教育中的音乐学习体验。

（二）音乐技能学习

Chow 和Jonathan 等人探索了使用增强现实技术创建沉浸式体验的方法，利用头戴式显示器将琐碎复杂的钢琴演奏任务作为游戏步骤呈现给学生，使学生能够直观地监控自己的练习，有效地提高了钢琴初学者的学习效率。

Stefania Serafin 等人概述了用于打击乐学习的虚拟现实的最新软件和技术，并且分析了如何运用这些技术解决音乐教育教学中的一系列问题。针对儿童在K-12 阶段中音乐教育受到预算削减的情况，他们认为虚拟现实可以为儿童提供获取音乐技能的替代方法。

Evelyn KOrman 等人在研究中使用了增强的沉浸式VR系统来增强乐队指挥的目光接触、躯干运动和手势。研究得出，使用增强的沉浸式VR 和头部追踪技术的学生比不使用虚拟现实技术的学生能表现出更大的行为技巧提升。

二、虚拟现实技术在小提琴教学中的应用

能投入使用的乐器模型应该满足两个基本原则：一是良好的音质，二是易于控制。传统乐器在身体、手势表演活动的输入及声音传播的输出方面，为人机交互提供了非常好的范本。小提琴是传统乐器中最精致、最富表现力的乐器之一，因此虚拟小提琴拥有更独特的、更复杂的物理界面和丰富的扩声器。

（一）教学系统及模型

Yin 和Jun 等人完成了数字小提琴家教系统（DVT）的设计和硬件的实现，将小提琴音频转录与可视化相结合，利用视频、2D 指板动画、3D 头像动画等不同的可视化模式帮助初学者更有效地练习和学习。该系统可以提供实时的反馈，在没有教师在身边的家庭环境中显示出很高的实用性，并得到了相当不错的用户反馈。

Fan 和Ess 等人设计并实现了一个名为Air Violin 的原型，这是一种使用深度相机的虚拟乐器，他们提出了徒手的以身体为中心的交互范例，用户可通过执行手势以自发方式进行交互。该范例采用可穿戴式相机和透视显示器，来实现3D 空间中的灵活交互手势控制。

Kusuda 和Yoshihiro 概述了小提琴演奏机器人的模型，探讨了有关灵巧性、触觉感应、执行器的速度控制，以及手臂、手和手指的协调等问题。这些精细的领域将对未来的机器人技术和机器人行业产生巨大影响。

（二）人机交互过程

手势反馈是控制虚拟音乐设备的一个重要问题，乐器演奏者通过一些身体动作和手势如用琴弓拉弦等，来产生相应的演奏参数。在现实的乐器中，这些动作手势是由乐器的发声机制决定的。任何产生声音的运动都带有产生声音的动作特征，在声音合成技术中，物理建模能够将乐器声音的合成与发声机理进行关联匹配。

大多数控制器是基于钢琴键盘设计的，这些控制器的设计基本原则是假设每个音符都是一个孤立事件，其音高、音长、音色和振幅之间无法相互作用。然而对于大多数乐器来说，“一对一”的映射，即每个音符相对独立是比较少见的。Friberg等人的研究提出提高计算机性能，并介绍了相关高性能计算机中所使用的表达式参数。虽然手势反馈是控制虚拟音乐设备的一个重要问题，但是听觉反馈和乐器演奏时的演奏方法也很重要。

在用合成算法进行计算时，由于大多数乐器的演奏者与振动元素（琴弦）直接接触，所以Cadoz 提出了使用性能手势的异步分层结构。这是一种可以同时表示低级运动轨迹和高级音乐发音轨迹的层次结构，为建立手势驱动交互的控制体系结构提供了一种理想的模型。

Askenfelt 等人的研究表明，在乐器振动的过程中，人类皮肤感受器的敏感性在频率和振幅范围上是差不多的。另外，Winkler 等人对虚拟环境、乐器及控制设备（如面板、垫子和可穿戴设备）等方面的一些应用程序也做了大量的创建和研究，并做出了概述。

Gillespie 介绍了器乐演奏中的触觉概况，其认为小提琴演奏员从小提琴中接收到的振动进入了下颌和头部。这种对许多演奏员来说至关重要的联系被称为“触觉联系”。因此可以从使用手势控制虚拟对象，利用空间中听觉和感觉声音的角度来考虑触觉联系。而O'Modhrain 将触觉学与仿真相结合，对提高人机交互和技能转移的性能方面进行了广泛的研究，最终发现触觉反馈可以提高玩家学习虚拟乐器的能力。

Goto、Pierrot和Terrier共同开发了一个名为“SuperPolm”的小提琴控制器。它里面集成了七个传感器，以提供连续的输出变量。该系统提供了一个接口，能够根据小提琴演奏者的不同手势来控制不同的合成参数。

在Burtner 和Serafin 的工作中，通过延伸更多的演奏技巧（如跳弓、顿弓等）来研究弓弦乐器的物理模型。模型基于数字波导技术，使用Max/MSP 图形编程接口和Metasaxophone进行控制。Serafin 等人进一步讨论了弓弦物理模型的表达控制器，并利用平板电脑和VBOX 等硬件扩展了控制方案。

Schoner 等人的研究表明，小提琴的声音输出是从静音乐器上捕捉的手势数据中模拟出来的。该系统是基于神经网络训练和学习，通过复杂的传感硬件设置对身体的手势输入进行测量，从而得到音频参数输出的映射。

通过对相关文献的分析可以发现，国外在人机交互过程中对虚拟小提琴演奏姿势中弓弦控制和触觉反馈的研究极其丰富，包括弓速、压力、位置、指板位置等变量都有相应的传感设备进行实时的反馈和检测。但是，有关具体模块的应用和实际交互效果方面，还有待丰富和完善。

三、虚拟现实技术对音乐学习的积极作用

Bian 和Hong-xuan 详细描述了近年来虚拟现实在音乐教学系统中的应用，提出了一种在线识别算法，通过验证性因素分析来评估教学效果。研究表明，虚拟现实技术的应用提高了学生自主学习的积极性和学习效率。

Lin 和Mike Tz-Yauw 等人认为，虚拟现实技术可能是最先进、最完善的认知增强技术。他们概述了VR 可以用来增强创造力和解决问题的五种方式：一是通过改变自我感知；二是通过优化与他人的互动协作；三是通过优化环境条件的影响；四是促进解决问题过程的游戏化；五是通过提供一个舞台来整合其他增强创造力的技术。这五种方式讨论了不断发展的创新和认知增强科学中的技术融合。

结 语

综上所述，国外关于虚拟现实技术在音乐教育领域的应用已有一些相应的软件设计与硬件。虚拟现实技术的应用在本质上并不是要完全替代教师，未来的教育一定有教师的存在，但虚拟现实技术会协助教师的很多工作，通过大数据，它们可能变成教师的助教。联合国教科文组织的报告提出了“双师型教师”的概念，虚拟现实设备可以帮助教师对学生进行评测，了解每位学生的学习情况，处理一些基础性的日常工作，这样教师就可以有更多的时间与学生进行交流。这种精神就是指人与人之间的交流，在信息化社会，人机之间的交流和人与人间的交流，两者都不可或缺。