三维动画与虚拟乐器（VSTi）的联动系统的设计与应用——以中国传统乐器二胡为例

（韩国祥明大学 03016）

在第四次文化产业革命的背景下，5G技术也正在全球范围迅速的普及。全球的各个领域的都在结合的新媒体技术共同发展，以便更好地让大众传播与应用。音乐产品是一个既融合了科学技术又具有大众娱乐性质的艺术领域的代表之一。如何更好的让音乐产品既能满足大众音乐消费者的感官需求，又能通过技术手段让音乐产品制作者更方便地制作好适应市场的音乐产品的双向问题，是我们需要研究和发展的方向。三维动画是介于二维平面设计和真实场景之间的应用产物，三维动画的不仅有优于二维平面动画的真实感，又相较与真实场景存在更多的便捷行和可变性。现代社会，不仅把三维动画应用在地图，家具选购等软件上，2018年起也有很多在音乐演奏会上应用成功的案例。

一、三维动画与虚拟乐器的联动设计与应用的发展趋势与应用价值

（一）促进音乐产品的多元化

大众音乐的音乐产品占有绝大多数的消费群体，而对传统文化和音乐的关注度还是需要更多的提高和保护，如果可以使用三维动画人物来演奏传统音乐的形式，就更能够通过新型的年轻人更容易接受的音乐产品形式，引起他们对传统音乐和传统乐器的兴趣，这不仅可以促进传统音乐文化的产品的消费，也可以让传统音乐文化更好的传播和保护。

（二）增强音乐教育软件的交互性

以前的音乐教育软件，更多的是利用录制好的视频和讲解来传播音乐知识和演奏技巧，但是在现代的多媒体环境下的音乐教育软件更侧重交互体验，不仅可以可以通过三维的动画视频来360度观察演奏的动作形态，也可以让学习者输入旋律与和弦来生成学习者即时所需要的三维动画的演奏表演。这些都是传统式的真人录像的音乐教育软件不能完成的。

（三）更广泛地应用在舞台艺术中

把三维动画视频来应用在舞台艺术上是一种新型的舞台形式，从2018年开始逐渐有通过增强现实技术把三维动画应用在演唱会上的成功案例，更好的吸引了年轻人对音乐舞台的兴趣。不仅是流行音乐演唱会上，也可以使用在更具艺术性的交互式音乐的演奏会上，通过即时的MIDI（乐器数字接口）或感应控制器来同时演奏音频与视频。

（四）加强音乐制作人对虚拟乐器使用时的真实体验感

音乐学者或者音乐制作人中也不乏对某一些乐器的认知不足的情况。能够通过本论文的系统来在数字音频工作站（DAW）中更有效率更正确的去使用虚拟乐器，是对音乐工作者提高效率的很有帮助的方法。音乐工作人若能更快更准的使用虚拟乐器，这对生产这样乐器的相关的音乐产品的产量一定是有促进作用的，相关乐器和音乐文化的音乐产品增多，也当然更有利于音乐消费者更广泛的去接触到此类的音乐文化产品，从而更好的传播此类音乐文化。

二、使用三维动画结合虚拟乐器的优势

（一）三维动画在制作视频采样时能具有更好的统一性

真人的视频采样的过程中更容易存在表情或肢体动作的差异性，这些差异会让视频动作连接存在更多的不连贯和不一致性。三维动画可以更好的保持三维动画人物的一贯肢体动作和表情。让人觉得更加的美观与自然连接。

（二）针对不同的使用人群，三维动画的形象具有更多的可选择性

如果使用真人的视频采样，虽然可以更方便的获取和录制，但这样不仅存在人物肖像版权问题，而且很难改变人物形象，一旦录制之后将无法改变。而三维动画可以更容易的保留演奏动作的同时，更方便的改变人物形象。这样可以让更好的应用在不同的人物形象的音乐产品中。例如，年轻人喜欢的二次元文化中的小说人物、动画人物、历史文化人物和游戏人物等等。

三、三维动画与虚拟乐器的联动系统的设计与实现

（一）确定乐器的类型

无论是西洋乐器还是中国民族乐器都分别根据演奏特征与鸣响特征有着细致的分类。为了设计好三维动画与虚拟乐器的统一与连接，主要需要根据演奏特征对其进行分类。不同的演奏特征的乐器由于发音的演奏形式不同左手与右手的设计也会产生不同。三维动画的采样的排列组合的数量也会产生很大区别。依据演奏特征，现代乐器主要分为吹奏类、拉弦类、弹拨类和打击类这四种类型。吹奏类的乐器主要是由口部吹气使乐器产生震动，从而控制声音的音量与音长，左右手配合控制音高。拉弦类乐器主要是依靠右手的弓对弦进行摩擦产生震动，从而控制声音的音量与音长，左手通过按弦改别弦的长短是音高发生改变。弹拨类乐器主要是依靠右手的手指对弦的施压与释放产生震动，左手也是通过按弦改别弦的长短是音高发生改变。打击类乐器也分为有音高打击乐器与无音高打击乐器，根据不同的乐器的材质材料和材质长短产生击打时产生的音高与音色的区别。

（二）乐器的演奏技法的分类

本文以拉弦类乐器中的中国传统乐器二胡作为的研究对象，二胡是中国传统乐器中最具有代表性的传统乐器之一，因为他演奏技法全面，音色高亢明亮，所以二胡在各类风格的音乐中都有很好的表现性。EWQL公司的虚拟乐器产品“SILK”中的二胡乐器采样了非常全面的二胡技法，并且具有相较于同类型虚拟乐器而言最为理想的音质效果。SILK当中采样的二胡乐器技法包括长弓、短弓、快弓、顿弓、颤弓和击弓等演奏技法的分类，在SILK操作界面当中也可以通过键位切换的方式来改变演奏技法。虽然在虚拟乐器中听不出左手指法的差异性，但是在三维动画的视频采样中必须要考虑到左手把位与指法的特征才能够更准确地在三维动画中表现出更接近真实演奏的形态。由此，需要把左手归类为空弦、食指、中指、无名指和小拇指五种指法来进行三维动画视频设计。

（三）分析虚拟乐器的各技法的音频采样特征

首先需要通过MIDI对不同的技法和音高出发来导出乐器中的采样音频，然后需要对其音频的包络进行分析。对音频的的音量包络分析时，具体根据音量包络的起建（Attack）、衰减（Decay）、 保持（Sustain） 和释放（Release）的各个数据可以更准确地制作弓在演奏时的形态，包括运弓的速度和长音的换弓点。跳弓与顿弓这类短促型的弓法可以根据音频的总长度来设计运弓的时间。颤弓可以根据音频中波形峰值到谷值之间浮动的次数来判断音频采样时在固定时间单位内右手颤弓的次数。

（四）针对音频采样特征设计演奏技法的视频采样

三维建模与视频采样设计时，根据上述需要把右手上下弓与左手的空弦、食指、中指、无名指和小拇全部进行视频设计。由于二胡的内外弦并不能在视频中准确的体现出区别，所以在三维动画设计中可以忽略掉着一部分。SILK中的二胡虚拟乐器的音频采样是对每一个演奏技法都进行了28个音的进行了采样，也就是从小字组c1至小字组e3。虽然实际二胡中常用的定弦是内弦d1与外弦a1的定弦方法，但是考虑到某些演奏曲目中定弦存在特殊性，所以需要对c1至e3进行全部三维视频采样。由此，需要对c1至d1进行空弦的三维视频采样，并且对#c1至e1进行食指、中指、无名指和小拇的采样。如此能保证演奏时的随机性，更能贴近实际演奏时的指法形态。

（五）在DAW中三维动画视频采样与MIDI音频采样的联动系统设计

使用数字音频工作站Ableton live与Max for live两个软件的结合，在Ableton live中用MIDI控制器出发虚拟乐器音频，同时使用Max for live触发三维动画的演奏采样。在Max for live中对上述的视频采样库需要进行像SILK的二胡虚拟乐器的一样进行分类，并使用虚拟乐器相同的键位切换，才能保持触发时的一致。并且虚拟乐器的音频中并不能判断采样时是上弓还是下弓，但是视频演奏必须要考虑到上弓与下弓的问题，所以需要在Max for live中多设计出一个组上下弓的键位切换，这样三维动画视频才可以满足实际演奏时上下弓的真实性。

（六）对比与校正

利用上述设计的三维动画与虚拟乐器联动的设计系统，以MIDI文件同时触发视频与音频采样，来实现音视同步的表演形式。为了更好的验证与对比三维动画和虚拟乐器联动系统与实际真人演奏者的真实性差异性和一致性。需要通过相同一段乐章的演奏来进行对比分析。乐章的要求不仅要满足一定的时长要求，并且要使用到全部的演奏技法，以此来准确且完整校正左手指法、右手运功、三维动画视频采样与音频采样的时间差这三个重点差异性问题。

四、结论

总而言之，中国传统音乐文化一直在发展与传承，而三维动画与虚拟乐器的结合，作为新型的媒体形式的传播方式和载体，已在不同音乐类型与产品中得到了广泛应用，所以，要想促进传统音乐文化的传播，非常有必要与新型媒体技术相结合。借助新型媒体技术在音乐舞台和音乐教育方面的应用的形式，不仅可以年轻人的对传统音乐文化的兴趣，而且对于发挥传统音乐艺术的魅力也具有很大的帮助，使传统音乐艺术更具艺术气息和现代科技感。