6D 乐谱对舞台音乐全景记录研究

王旭 张辉

[内容提要] 基于AI 技术而创设的6D 乐谱，是一种全新的记录、分析和创作音乐的方式方法，它不但弥补了以五线谱为代表的西方记谱体系中未对演奏位置和乐器演奏技法等因素进行记载的缺憾，而且将中国古典乐谱中强调姿势、手势、位置的记录特色予以再现。配合当代标准化、程式化音乐，使定量记录舞台音乐全景变得更加完整、丰富和科学成为可能。6D 乐谱的问世，不但有利于音乐设计、分析和欣赏，也有利于配器摆放设计研究及音响录制效果研究，而且更有利于智能机器人表演时需求的丰富数据信息资源，以至于拟人效果会更加完美，实现人机共识、共享。

引言

记谱法作为音乐文化的视觉承载记录手段，在不同的地域审美、历史文化、哲学思想、意识形态等社会因素影响下，中西方记谱法呈现出各自独特的记录方式。西方记谱体系是以记录具体音高、音强、时值等为基本属性的“音符记录方式”，这种记录方式忽略不同乐器演奏技巧之间的差异，记录的乐谱有着统一的音准，这种记谱方式非常适合乐谱合奏以及不同地区、不同时代之间的传播，因此成为全世界最通用的记谱方式。但是众所周知，演奏者的演奏位置以及在不同空间中的音乐传播途径会受到音乐厅的内置材料属性、演出场所的几何尺寸等因素的影响，不同的位置、不同的反射空间都会直接影响到听众接收的音乐效果。由于传统五线谱不能记录音乐声源位置及摆放形状等，以至于前景、中景、后景只能概念化、经验式设置，不能数字定位，从而影响最佳音乐效果及录音效果，由此音乐的精准传承也受到了限制。而在中国古典记谱法中有大量关于乐器演奏的记谱方式，如减字谱、古琵琶谱等，这些古典乐谱较全面地记录了演奏者的指位、指法等演奏技巧，但对具体的音高、时值等却缺少明晰的记录，因此，也不利于音乐的传承和再现以及人机共识、共享等。可见，中西两种记谱方式都不是最全面、最完美的记谱方式，这给后续的6D 乐谱的研发留下了空间。

在科技迅猛发展的今天，有了计算机和AI 技术的辅助分析能力，我们可以将乐谱进行多维空间组合，力求能够呈现出一种更加全面、智能、完整，更加适用人机共识、共享的新型记谱方式——6D 乐谱。这种高维乐谱融合了中西两种记谱法的优点，不仅能够记录完整的音高、音长、音色等乐音结构的变化，还能综合舞台空间位置或演奏者手型位置等数据，全面完整地对舞台音乐进行全景记录。这样不仅有利于配器的设计与乐器摆放，还能满足智能机器人表演时对丰富的数据信息资源的需求，以便于取得更加显著的拟人效果。纵观国内外的音乐发展趋势，正在形成多元化、智能化的全新音乐格局。在普遍使用五线谱的今天，中国古典乐谱中强调姿势、手势、位置的记录特色将在6D 乐谱中得以发扬光大。

一、6D 乐谱的理论架构及功能特征

如果说在音乐厅上演的大型音乐会是最终产品的话，那么高维乐谱（6D）就是实现该产品的生产设计图纸，而音乐会的整个演奏过程即是依照这份设计图纸生产该产品的整个过程。这就要求设计图纸必须能够成为完整记录音乐会全部数据的载体，以便不同时间、不同地点、不同乐团均可依照这份设计图纸进行音乐会的再现、复制与传承。依据这一设计理念，这份高维乐谱（6D）就必须拥有强大的功能，不仅具有数学上的完备性和精准性，还要具有物理学及生理学上的动态描述及感知记录。这样全面、融贯中西记谱优势的6D 乐谱，即可用高维图标方式全景记录整场大型音乐会。

由于人类视觉（智能机器除外）对三维以上坐标图形不能有效分辨，因此有必要将6D 乐谱按功能划分为两个子空间。根据音乐的发音标准与声源定位以及乐谱记录定位方式及读谱习惯，将6D 乐谱的空间布局表现在下面6D 乐谱功能图（图1）中，分别是：

图1.6D乐谱功能图

1.3D 乐音子空间：设立三维坐标体系，以H、T、Ti 为坐标轴，分别代表音高变量、音长变量、音色变量。这种3D 乐谱还可以降维成二维乐谱使用，即只有音高、音长两个变量，也可以结合其他子空间中的变量增维成N 维乐谱，如4D、5D、6D……ND 乐谱等。

2.3D 位矢子空间：设立三维坐标体系,以X、Y、Z 为坐标轴，分别表示演奏空间的长度变量、宽度变量、高度变量。既可以宏观表达舞台乐队的整体布局，展示演奏者的发声位置，也可以微观表现个体乐器演奏者的局域发音点，展示演奏者指法位置、具体演奏弦位等。这一子空间的定位对于演奏法、舞台录音、现场收听效果、乐音传送效果等方面有着积极的影响，因此准确记录这一子空间中的内容变化，是对音乐记谱法的极大丰富与扩展。

3D乐音子空间和3D 位矢子空间既相互独立，又相互联系，共同构成6D 乐谱空间。实践中，还可以根据音乐的具体需求降维简化使用，形成5D、4D、3D、2D 等乐谱。这样完整的乐谱子集空间，能够基本全面地覆盖记录音乐发声的全景信息。

具体记录音乐时，在原3D 乐谱基础上增加（X，Y，Z）位置坐标轴，构成（H，T，Ti，X，Y，Z）6D 乐谱。在6D 乐谱（H，T，Ti，X，Y，Z）的六维坐标系中的某一个点，即代表某一时刻具有某音高、音长、音色（可以是乐器）的音源在某一位置所发出的音乐。这样记录下的音乐具备更加全面、更加科学的定量数据，这些数据通过AI 技术及大数据分析，可以直接帮助我们对某音乐的风格、类型、交融方式以及听众接收效果、录音传播效果等方面进行综合考量、评估及研究。

二、3D乐音子空间和位矢子空间的绘景分析

例如我们将贝多芬第五交响乐中的一小段片段总谱（337-341 小节）映射在3D 乐谱坐标体系中，并根据作曲家要求设定好需要的Ti 音色数据层。图2 是常规记录的交响乐五线谱总谱，这个片段源自第三乐章结尾处的再现部分：由弦乐组和打击乐组中的六个乐器声部进行演奏，分别是一提琴、二提琴、中提琴、大提琴、低音提琴与定音鼓。

图2.贝多芬《c 小调第五交响曲》第三乐章片段的五线谱形式

其中，定音鼓声部作为点状背景层，以稳定的四分音符做同音序进，奏出“命运”主题的暗示；五组弦乐用弱奏长音共同构成立体的面状中景层；在339 小节处，由一提琴奏出本乐章主题在下属方向调bA大调上的变化再现，构成旋律前景层。将这一部分音乐映射在3D 乐谱中，从H（音高）、T（音长）两轴所构成的二维谱（HT 平面）来看，与过去二维谱的构成完全一致（见图3）。在二维谱中只显示音乐的音高与音长两个变量，可以清晰地看出：旋律前景层中的音乐线条起伏特征、点状背景层的等时值行进推动、多声部长音组成的面状中景层以及不同音区的高度对比。

图3.贝多芬《c 小调第五交响曲》第三乐章片段的二维谱（HT 平面）形式

再将角度旋转90 度，观察H（音高）、Ti（音色）两轴所构成的二维HTi 平面，如图4，HTi 平面显示的是不同音色之间的音高对比。可以看到，一提琴声部的旋律高度起伏是最大的，其他声部都是一个音位，即同音的持续或重复；各声部之间的音区分布也是适中的，整个弦乐组高到低分布在大字一组到小字二组的音区之间，定音鼓与中提琴位于中间音区位置。

图4.贝多芬《c 小调第五交响曲》第三乐章片段HTi 平面投影

图5 是这部分音乐片段的3D 乐谱呈现，同时标明H（音高）、T（音长）、Ti（音色）为三个轴向变量。各个声部错落排列在三维空间里，从不同投影面看，会得到不同的图形与数值。研究人员或智能机器可以选择某些数据，做定向提取和分析，这样更有利于对音乐的深入研究和综合分析。

图5.贝多芬《c 小调第五交响曲》第三乐章片段的3D 乐谱

在录音技术、传媒技术越来越成熟的今天，无论是到音乐厅现场观看音乐会还是通过录音录像方式收听收看音乐会音频、视频，还是为专辑、电影、电视剧录制音乐等活动，都会由于音乐场所的声场不同、录音位置的不同、收听位置、收听方式的不同而产生不同的效果。因此，不同于传统记谱法，科技的发展必然要求记谱方式能够对音乐的更多信息进行记录与分析。6D 乐谱中对舞台3D 位矢子空间的创设，则完全满足了对音乐全景记录的需要，也顺应了科技大发展时代对音乐记录方式的更高要求。

舞台3D 位矢子空间从宏观上进行位置设定，主要研究舞台中声源位置分布关系及架构；从微观上进行位置设定，主要研究某一件乐器在演奏技法上、发音技术的位置分布关系等。舞台3D 位矢子空间与3D 乐音子空间结合后的全部图谱构成了6D 乐谱，这样的设置对于应用信息传播技术的整个音乐活动都有着重要意义。

3D 位矢子空间将舞台或整个音乐厅按照空间位置进行3D 定位，设定三轴数据：X 轴为舞台长度，Y轴为舞台深度，Z 轴为舞台高度。这样某一演奏员的发音位置就可以在这个三维坐标中得到一个具体的数值（X，Y，Z）。如图6 展示的是上海交响乐团音乐厅的实景图与俯视平面图。这个音乐厅从建筑声学的角度出发，将音乐声学理念完美地设计在音乐厅之中。音乐厅有观众坐席1200 个，舞台为开放半圆型，台口宽（X）20 米，舞台深（Y）15 米，台上错落多层舞台台阶（Z），面积约280 平米，混响时间能够达到2.4-2.8 秒，无论从观众席的任何一个角度聆听，都能够获得极佳的声学体验。由于现代传播方式的需要，在音乐厅里对大型管弦乐进行录音或采样是经常进行的工作，这项工作对录音师的技术要求是非常高的。话筒的具体摆放位置会直接影响到拾音效果，从而直接影响音乐作品的声音质量。

图6.上海交响乐团音乐厅实景图与俯视平面图

图7.上海交响乐团音乐厅民族管弦乐舞台乐器布局图

图7中我们以上海民族乐团2016 年6 月在上海交响乐团音乐厅进行的一场竹笛专场音乐会为例，研究6D 乐谱对舞台音乐的全景记录。在这场演出中，民族管弦乐队的乐器摆位采用“左弓弦、右弹拨”的方式，整个乐队分为四组：

1.弓弦组：高胡、二胡、中胡、大提琴、贝司；

2.弹拨组：琵琶、中阮、大阮、古筝、柳琴、竖琴、扬琴；

3.吹管组：笛子（梆笛、曲笛、新笛）、笙（高音笙、中音笙、低音笙）、唢呐（高音唢呐、中音唢呐、低音唢呐）；

4.打击乐组：小堂鼓、定音鼓、排鼓、中国大鼓、钟琴、大锣、颤音琴等。

乐器的摆放跟随舞台呈半圆形分布，舞台上有四级扇形台阶，台阶高度每级升高0.25 米。在图8 舞台录音布局图中，我们给出X、Y、Z 三条坐标轴，分别代表舞台宽度（X）、舞台深度（Y）、舞台高度（Z）垂直于XY 平面，单位为米。图中还画了一个小的Z 轴，主要是为了配合看图方便、标注阶梯高度之用。这样定位后的民族管弦乐团中的每一件乐器，就都可以有自己的准确坐标位置：如二胡首席的位置是（7.5，4.5,0），梆笛首席的位置是（9,11.5,0.5），中音唢呐的位置是（14,12.5,0.75），定音鼓的位置是（1-3,11-12,1），独奏乐器Solo 的位置是（8.7,1,0）。根据这些位置以及乐器音量、拾音平衡等不同因素，给出合理的录音麦克位置摆放，如图中◆所示。这些麦克的摆放也可以给出准确坐标位置：例如主麦克A、B 位于指挥后方，定位分别是A（9.8,0.5,0）、B（10.8,0.5,0）、柳琴声部拾音麦克（11,7,0）、中音笙拾音麦克（5.4,10.2，0.75）大阮声部拾音麦克（18.2,4,0）、钟琴拾音麦克（10,13.3,1）等。经过舞台3D 位矢子空间的准确记录之后，本场演出真实详尽的舞台情况及录音采样情况就可以以数字的形式呈现在计算机之中，这些数据可以用于科学研究及资料资源，对于研究音乐声学、建筑声学、录音艺术、媒体传播等领域有着非常积极的促进作用。

图8.贝多芬《c 小调第五交响曲》第三乐章片段的6D 乐谱在位矢子空间对应图

三、6D 乐谱对舞台音乐全景记录的综合应用

综合以上两个子空间的内容，可以对音乐及演出进行准确、全面、详细的数据记录，这些数据可以应用在大数据技术的计算中，经过计算机及AI 分析得到研究者需要的新数据与结论，从而有利于更加深入、完整地对音乐进行研究。6D 乐谱中的6 个要素可以混合搭配使用，从而给出各式各样、维度不同的数据链。例如，如果要提取在本场民族管弦乐演出中（见图7）solo 独奏声部的全部数据，可以直接将solo 声部的二维乐谱（solo 所在的HT 平行平面的投影）加上舞台3D 数据（X，Y，Z），形成特定的5D 乐谱。将所有类如solo 所在的HT 平行平面做投影获得的二维乐谱，均定点投放给类如solo 所在位置上的演奏乐器，那么这些乐器的集合效果就形成了一个完整的舞台音乐的全景记录。当舞台出现两种以上的音色时，可以增加Ti 轴音色数据，则5D 乐谱就升级为6D 乐谱。

前面研究过的《贝多芬c 小调第五交响乐》第三乐章片段（见图5），这个3D 子空间的乐谱对应于舞台3D 位矢子空间中，则每个乐器都有自己的3D 空间位置坐标（见图8）。3D 乐音子空间中的六个音乐声部，分别对应在舞台3D 位矢子空间中设置如下：

1.一提琴声部舞台对应坐标位置（3-8,10-13,0）；

2.二提琴声部舞台对应坐标位置（3-8,7-10,0）；

3.中提琴声部舞台对应坐标位置（11-18,7-10,0）；

4.大提琴声部舞台对应坐标位置（12-18,10-13,0）；

5.低音提琴声部舞台对应坐标位置（18-20,7-13,0）；

6.定音鼓声部舞台对应坐标位置（10-11.5,2.5-4,1）。

两个子空间结合在一起之后，就形成一个完成体系的6D 乐谱。这种记录方式能够将舞台全貌及音乐演奏定量全部转变成数字化机器语言，输入计算机，为不同人员组合、不同乐队类型、不同场所演出、不同录音设备等大型音乐活动提供准确、全面的数据支撑。

由于舞台音乐的多样性，很多时候并不需求完整的6D 乐谱来记录复杂的多声部交响音乐，在常见的小型演出中，独奏、小型重奏的演出形式是被大量应用的。以古筝独奏带钢琴伴奏为例，由于古筝与钢琴的发音位置空间高度是基本一致的，因此可以忽略3D 舞台空间中的Z 轴（高度）数据，视为同一个平面，仅用X（宽度）Y（深度）坐标数据记录即可。

图9.二声部音乐降维使用的4D 乐谱

如图9 所示，古筝独奏的位置坐标是（7.5-9.5,11）、钢琴伴奏的位置坐标是（4.8-7.8,5-7），在这两个声源位置发出的声音旋律对应记录在下面二维谱子空间中，这样就构成了有两个二维平面空间的子空间合集，即4D 乐谱。研究者可以根据不同音乐作品、乐器以及演出场所的需要来设定N 维乐谱的维度形式，也可以单独抽取其中某一变量或组合变量来研究不同的音乐内涵与效果。

再以稍复杂的柴科夫斯基《天鹅湖》中的音乐片段为例，研究6D 乐谱对舞台音乐的全景纪录。先将这部分音乐映射在二维谱中（图10），观察HT 平面上的音高、音长数据，可以看出：由于声部较多，音符较复杂，导致很多音乐线条的重叠。再观察HTi 平面的数据，可以看出不同声部之间的音区位置与音高起伏变化。

图10.柴科夫斯基《天鹅湖》音乐片段不同投影面的二维信息

在图11 中，将柴科夫斯基《天鹅湖》的舞台音乐片段纪录在6D 乐谱中，可以看到这七个声部之间是较为错综复杂的。这种多维空间声部运行对于人眼识别虽然有些繁杂，但是对于智能机器及AI 来说，却是非常容易设定与记录的。

图11.柴科夫斯基《天鹅湖》音乐片段的6D 乐谱

1.弦乐组：以断奏的柱式和弦分解形式共同组成伴奏音乐背景层。整个弦乐组对应在舞台最前端的一层位置。

2.长笛声部：以高度起伏的波浪式快速小音阶，仿佛流动的河流，在中音区形成音乐中景层。长笛对应在舞台中部的二层左侧位置。

3.钟琴声部：在高音区以均等时值的音符奏出旋律，形成音乐前景层。钟琴对应在舞台后端第四层右边位置。

这些3D 乐谱中的单独声部线条乐谱，既可以合在一起形成管弦乐队的总谱，也可以分开单独使用，成为每一个乐器声部的分谱。这些线性化的音乐记录可以使人们清晰看到音乐进行的全貌：起伏高低、持续时长等。配合计算机的记录与计算，我们可以将两个子空间的内容对应联系起来进行分析、比对与研究。

在这段音乐的3D 位矢子空间中（图11），我们可以看到七个乐器声部之间的具体定位：

1.弦乐组：

一提琴声部的定位区域约是在（3-9,10-12,0）的位置。根据一提琴声部在管弦乐中的重要性以及提琴乐器的发音原理、声学传送规律等，将这个声部位置定在舞台最前面——除指挥外离观众最近的位置，从舞台的左侧发声。

二提琴声部的定位区域约是在（3-8,8-10,0）的位置。这个位置是也从舞台的左侧发声，位于一提琴的后面位置。

中提琴声部的定位区域约是在（11-17,10-12,0）的位置。这个声部是与二提琴对应的舞台中间位置，也是最常用的中声部乐器，从舞台的右侧发声。在管弦乐配器法中，二提琴与中提琴声部常常联合使用，共同组成丰满的中声部音层，因此这两组乐器的舞台摆放位置也是位于高低音弦乐与木管组、铜管组、打击乐组之间，用来融合不同乐器组之间的音色，并填充、丰满高低声部之间的空白。

大提琴位于右侧舞台的最前面，定位区域约是在（12-18,10-12,0），这个声部是最重要的低音声部，常担任低音旋律主奏及和声的根音。

低音提琴位于舞台整个弦乐群最右侧，一般纵向排列，定位区域约是（17-18,8-12,0）。纵观整个弦乐组的位置，是位于舞台最低层（第一层，Z 轴坐标0），也是最靠近观众的区域。

这种摆位方式是根据提琴组的整体音色特性及音乐需求所设定的，历经几百年的发展与变化，最终得到的最为合理有效的舞台定位方式。

2.长笛声部：相比提琴声部，管乐的发音音量与传播远度一般要好于弦乐组，因此长笛的位置一般定在舞台2 层左侧位置（5-9,6-7.0.25），也遵循整体乐队左高右低的音区安排。

3.钟琴声部：钟琴的金属音色是较有穿透力的，属于打击乐器组，一般放置在舞台最后一排，根据需要常放在中间或两侧的位置。图11 中的钟琴定位在（14-16,3-4,0.75）的位置，由于舞台高度较高，再加上乐器本身就是站立演奏，则发声点位也较高，因此即便是在舞台的最后一排，演奏时依然可以将清晰的音乐传入到观众耳中。

通过以上谱例可以看出，6D 乐谱可以宏观、详细、完整、科学、严谨地记录一场音乐会中的乐谱及舞台数据。这种先进的记谱方式，填补了五线谱记录舞台音乐时无法记录具体乐器的位置变量以及舞台数据的空白。另外，6D 乐谱还可以使用微观记录的方式，沿袭中国古典乐谱中的思维方式和设计理念，对某一件乐器演奏时具体的指法、手位、发音位置等进行详细标定，设定出具体音乐变量同乐器演奏变量之间的关系，从而完善和丰富中国古典记谱法的科学性与传承性，推动中国音乐科技走向世界前列。这一部分的研究将在今后的文章中做进一步细化与深入研究。

结语

6D 乐谱这种全新的记谱方式，是对现有记谱法的突破与颠覆。它既符合当今社会信息科技高速发展的时代要求，又能满足音乐家和理论家对音乐的全景记录与创新研究的需要，亦可实现人机共识、共享，同时也是对中国古典记谱方式回归世界艺术前沿的强力推进。

一般说来，有了6D 乐谱，音乐会的客观属性就会得到加强，就不会因音乐家、演奏家的变化及时代的变迁而有实质性的改变，音乐文化的客观传承性和科学精准性以及可再现性从而得到保证。将西方音乐文化精髓和中国音乐文化要素在6D 乐谱中得到全景呈现，使中西音乐文化合璧统一，将两种音乐文化中原本不可或缺的文化合理内核整合在一起，达到了长板加长的效果。比如公元前的音乐会可以传承至公元后的任何年代而不改变音乐会本身；中华古典乐谱在乐音子空间中的不完备性和在位矢子空间中的欠完备性，以及欧美乐曲（如五线谱）在乐音子空间中的欠完备性和在位矢子空间中的不完备性，在6D全景音乐时空中得到了有效互补及完美结合。中国是古代乐谱发源地之一，有着辉煌的历史。文化自信才能引领文化创新，面对世界各国不同历史时期、不同类别的音乐作品，6D 乐谱均可对其音乐构成的基本元素简约化设置，凸显直观提示效果，提升联觉认知效率。通过交互设计，其视听效果可同步展现，从而升级音乐创作和欣赏的交互体验。创造拥有自主知识产权的统一音乐记谱法与分析法，配套相关数据库与扫谱自动识别系统，以更为直观的方式解读音乐作品中的“细胞组织”。