虚拟现实技术在钢琴教学中的应用研究综述

肖睿 刘笑妤 王延松

【摘要】 在传统的器乐教学中，学生个人练习质量的高低很大程度上决定了学习的效果。大部分学生在练习时没有办法得到教师的指导，所得到的即时反馈有限，因此练习效果也难以保证。运用虚拟现实技术将复杂的钢琴练习任务转化为通关游戏，使学生佩戴头戴显示器在视觉上监控自己的练习，不仅可以激发学生的练琴兴趣与动机，使他们从练琴中获得游戏的乐趣，也可以提高学生的读谱能力和演奏技巧。本文立足于虚拟现实工具发展的实际情况，以国外最新研究成果为基础，对虚拟现实技术在钢琴中的应用进行深入研究。其次，通过文献分析，对人机交互过程做一个简要的说明，最后补充几点反思和对未来发展的期许。

【关键词】 虚拟现实技术;钢琴教学;音乐教育;人机交互

【中图分类号】G623          【文献标识码】A          【文章编号】2096-8264（2020）16-0071-02

基金项目：2019年陕西省社会实践一流本科课程——音乐筑梦红军小学，陕教高办〔2020〕2号。

一、前言

虚拟现实技术已成功地应用于医学训练、军用飞机导航、娱乐以及教育领域。该技术的主要优点是可以在物理对象（如仪器）和使用者之间产生感知和认知的交叉。本论文试图通过研究国外虚拟现实技术，探索新的音乐教育模式，以钢琴教学为例，讨论提高学习者学习体验和动机的方法与实施过程。

二、虚拟现实技术在钢琴教学中的应用

Shacklock采访一位经验丰富的音乐老师时发现，初学者遇到的主要困难之一是将乐谱转换成键盘上的实体键。Dirkse指出，这一基本技能可能需要几个月的时间来培养，然而大多数复习系统都不能解决学生缺乏兴趣和动力的问题。这个问题对于那些通过学校课程或父母而不是自己意愿来接触音乐教育的孩子来说尤其重要。虚拟现实技术能够在乐器（键盘）、指令（音符）和音乐（声音）之间创建感知和认知联系。视觉效果和物理按键之间的联系可以使用户快速演奏特定的曲调，因此有可能改善学习体验并增加动机。笔者查阅文献后发现，很多优秀的计算机音乐教育系统已经被开发出来。

其中，钢琴教学系统包括Piano Tutor、PianoFORTE 、AR Piano Tutor和Piano AR。其他乐器教学方面的应用也已面世，特别是小提琴辅导软件Digital Violin Tutor，使用了虚拟现实技术和可视化概念来创建手指动作和音符之间的认知联系。Piano Tutor是由Dannenberg等人与两位音乐教师一起合作开发的系统。该应用程序使用标准的MIDI接口将钢琴连接到计算机，以获取演奏数据。MIDI之所以被选中，是因为它传递了大量与演奏相关的信息，包括演奏音符的速度、力度，包括踏板使用的信息。同时，Dannenberg等人开发了一个专家系统，对用户的表现提供反馈。指令和分数会显示在用户面前的电脑屏幕上。用户的表现主要根据音高、音长和节奏的准确性来评分。专家系统引导用户逐个改正出现的错误。

Smoliar等人开发了PianoFORTE，这款工具侧重于音乐的解释而非基本技能的教学。Smoliar指出，音乐既不是印在纸上的音符，也不是执行电脑指令的运动技能。音乐是一种艺术形式，而电脑无法教授或分析情感方面的内容。该系统引入了更高级的分析功能，如发音的准确性和和弦的同步。该功能清晰地描述了每个音符是如何演奏的。例如，断奏表示一个音符与相邻的音符是分开的，而连奏表示音符之间平稳过渡，没有停顿。同步性是指一个和弦中的音符是否同时演奏，相同长度的音符是否均匀演奏。这些特征构成了高级音乐表演能力的基础。在使用的技术方面，PianoFORTE使用了与Piano Tutor类似的硬件设置。Huang提出了一个更近期的系统，该系统通过采用快速准确的无标记跟踪来改进AR Piano Tutor系统的硬件设置。视觉界面的主要创新是使用虚拟手指，用简单的圆柱体来表示手的位置和要弹奏的键。

三、虚拟现实钢琴教学系统人机交互过程

（一）目标受众。教学对象大多是初学者，目标是学习基本音符和演奏技巧。

（二）兴趣来源。这个系统最重要的目标是要培养学生的积极性和兴趣，只有这样才能增加练习时间，从而提高学习效果。Percival等人在音乐以外的领域引用了几个成功的教育游戏，认为仅仅通过将一项复杂的任务以游戏的形式分步呈现，就能给用户更多坚持下去的动力。游戏领域的其他概念也可以改编进去，例如用虚拟“徽章”和“奖杯”来奖励成就。

（三）硬件设置。硬件设置包括一个电子键盘、一个带摄像头的头戴显示器和一台计算机。用户头戴显示器坐在键盘前，键盘通过MIDI接口连接到计算机，头戴显示器通过USB接口连接到计算机。设备前的摄像头捕捉到的视频必须投射到显示器上，以创建增强现实效果。

（四）仪器的选择。头戴显示器可用于结合真实和虚拟对象，以实现身临其境的体验。目前的头戴显示器主要有两种类：光学设备和录像设备。光学设备允许用户看到现实世界并支持虚拟对象显示在半透明屏上，而录像设备使用摄像头捕捉真实世界的图片，与虚拟对象一起整体显示在一个不透明屏上。在实际应用中，光学设备因其较低的延迟和更直接的与现实世界对象的交互而更受欢迎。

从各种可用的音乐接口中，MIDI接口最为适合。它提供丰富、准确的数字信息，可以直接由计算机使用，而不需要进行模拟输入所需的信号处理。同时，MIDI也有一个成熟的行业标准。

（五）虚拟现实界面中的交互。创建虚拟现实界面需要四个步骤：（1）捕获用户可以看到的图像;（2）分析目标图像;（3）在映像上叠加虚拟对象;（4）向用户显示合成图像。

在钢琴教学系统中，每个音符都表示为对应键上的线段，其线段的长度表示音符的持续时间。音符以稳定的节奏接近AR视图中的键。当音符到达键盘时，按下相应的键。同样地，当音符的结尾到达键盘时，键应该被释放。线段绘制在增强现实视图中键盘上方的虚拟层，与此同时，分值跟踪算法会在每个音符被演奏時跟踪书面上的音符，得分显示在临近的音符上方。

音乐乐谱和虚拟音符是从存储的MIDI文件中加载的。这个MIDI文件成为确定用户演奏质量的参考模型。用户要有一个他们想要练习曲目的电子版本，可以通过下载，也可以通过录制导师的弹奏而获得。MIDI文件包含每个音符的计时，在犯错的情况下保持稳定的节奏是音乐家需要的技能，系统会严格执行这些计时。然而，用户可以根据自己的能力手动调整乐曲的速度。用更多的时间来阅读乐谱，使一段不熟悉的音乐更容易被理解。慢速练习是提高音乐流畅性的常用技巧。这个功能鼓励用户遵循有效的学习规律来掌握一段音乐。

还有一种音符学习模式，它在每个音符到达时暂停，并等待用户按下键，然后继续下一个音符。这消除了用户提前阅读和准备未来音符的压力。通过允许用户一步步地浏览音符，习惯手和手指的动作，慢慢地建立以合适的速度弹奏音符所需的灵活性。

（六）演奏分析和反馈。反馈是非常重要的一个环节，它允许用户从错误中学习，并为未来的练习设定目标。系统向用户提供关于基本技能的反馈，即音符、音高、音长和节奏，实现这一点的方法是使用叠加图像来点亮琴键。通过在增强现实视图中对音符可视化进行颜色编码，可以实时反馈音符演奏的准确性，如图1所示。颜色不像是大小和形状，不占用额外的屏幕空间，所以颜色是用于表示这些信息最合适的视觉属性。

在演奏测试的最后，会给出最终的反馈，总结有多少音符被弹错或漏掉了。这可以使用户将反馈与其预期的标准进行比较，为后续的练习设置目标。

四、虚拟现实技术在钢琴教学中应用的局限性及发展趋势

（一）局限性。从界面设计的角度来评价，虚拟现实技术系统的不足之处可能有以下几点：第一，乐谱的展示可能会让人分心。同时关注书面符号和虚拟音符确实很难做到，许多用户只是想根据VR视图中指定的键来弹钢琴，而不是学习阅读音符;第二，追上逼近的音符是一件令人生畏的事，而寻找音符和强迫计时的压力有可能会让学习者错过了更多的音符。

从游戏心理学的角度来评价，在设计时可能还需要注意以下几点：第一，游戏广度。游戏应该满足多种基本的人类需求，如自尊需求、认知需求、自我实现和超越（帮助他人的需求）。游戏广度可以通过在钢琴练习中给予更多的反馈来提高，比如表扬、鼓励和纠正、有社会交往（结对练习或小组练习）、增加难度级别（添加时间限制、障碍、随机事件）等;第二，模仿。游戏应该让玩家不断学习。这一点可以通过对音乐作品的难度进行排序、增加要求等方式来实现;第三，情感影响。提高情感影响的常见方法是视觉和声音效果和奖励（高分榜、虚拟徽章等）。

（二）发展趋势。首先，未来必要的发展可能要包括手指动力学和演奏清晰度等问题的分析。第二，更全面的反馈总结。将使学习者看清自身问题，从而使学习目标更加明确。第三，分数跟踪系统也可以继续改进。此外，还需要进行正式的用户研究，以確定虚拟现实钢琴教学系统与人类钢琴教师使用传统显示器的电脑化教学工具相比，可用性、有效性和应用效果究竟如何。

五、结论

通过以上文献综述得出，国外对于虚拟现实技术在钢琴教学领域已有一些相应的软件设计与硬件实现。虚拟现实系统应用到音乐教育中，以游戏的方式出现，不仅能够培养学生对钢琴和其他乐器学习的兴趣，同时激励学生去自主练习和改进。

作者简介：

肖睿，女，陕西西安人，西安音乐学院硕士研究生，主要从事音乐教育学理论与实践等方向的研究。