基于人工智能的钢琴编曲音色识别系统设计

仝智倍

摘  要： 为了改善当前音色识别系统识别准确率低、时间开销较大等问题，结合人工智能技术提出并设计基于人工智能的钢琴编曲音色识别系统。首先给出系统整体架构和功能模块设计方案，使用数字化识别方法提取钢琴乐曲音色特征矩阵，得知钢琴特征矩阵不同于其他乐器;接着分析音色倍频点，得到音强包络曲线;最后结合钢琴音色特征矩阵和音强包络曲线有效区分不同乐曲音色的差异，实现钢琴编曲音色识别。实验结果表明，利用所提系统进行钢琴编曲音色识别具有较高的识别准确率，值得进一步推广和应用。

关键词： 钢琴编曲; 音色识别系统; 人工智能; 音色特征提取; 音强包络曲线; 实验分析

中图分类号： TN915?34; TP311.13               文献标识码： A                      文章编号： 1004?373X（2020）04?0183?04

Design of piano arrangement timbre recognition system based on artificial intelligence

TONG Zhibei

（College of Applied Engineering， Henan University of Science and Technology， Sanmenxia 472000， China）

Abstract： A piano arrangement timbre recognition system based on artificial intelligence technology is proposed and designed to improve the problems of low recognition accuracy and high expenditure of time in the current timbre recognition system. The design scheme of the overall architecture and functional module of the system are given. The feature matrix of the piano music timbre is extracted by means of the digital recognition method， and it is known that the piano feature matrix is different from other instruments. The timbre frequency doubling point is analyzed and the envelope curve of timbre intensity is obtained. The differences of different music timbres are distinguished in combination with the piano timbre feature matrix and the envelope curve of sound intensity， so as to realize the timbre recognition of piano arrangement. The experimental results show that the proposed system has high recognition accuracy for the piano arrangement timbre recognition， which is worth further promotion and application.

Keywords： piano arrangement; timbre recognition system; artificial intelligence; timbre feature extraction; sound intensity envelope curve; experiment analysis

0  引  言

随着人工智能技术的深入发展，钢琴逐渐受到了更多爱好者的广泛推崇和喜爱，将钢琴的音色通过电子等手段合成后形成新的旋律，能够突出钢琴音色的独特性，将其与人工智能创作的乐曲相融合[1?2]。基于人工智能的钢琴编曲音色识别在钢琴编曲中扮演着重要的角色，展现出了广阔的市场前景。人工智能技术的出现推动了当代电子音乐的发展，并且技术应用领域也在不断拓展[1，3]。基于人工智能技术的音乐编曲音色识别、特征提取等问题受到了广泛关注。钢琴相比其他乐器，音域更广，音色识别能力更强，在钢琴编曲音色识别中占据重要地位。

通过钢琴乐曲的边界音对谐波信号的处理得到的结果来判定钢琴音色信号的连续性，完成钢琴编曲音色识别系统的构建，提出基于改进的线性变调的钢琴编曲音色识别系统[4]，但该系统识别精度较低。文献[5]提出基于改进PSO?SVM的钢琴编曲音色识别系统。该系统通过对钢琴乐曲音色进行特征提取，并根据该特征进行音色文件分类，判定音色文件是否被调整过，对比识别结果与真实结果发现，该系统识别正确率较低。

针对上述音色识别系统存在的问题，提出并设计了基于人工智能的钢琴编曲音色识别系统。

1  基于人工智能的钢琴编曲音色识别系统

1.1  系统总体架构

本文设计的基于人工智能的钢琴编曲音色识别系统主要由训练样本集、音色挖掘、音色识别等部分构成。系统总体框架如图1所示。

从图1可以看出，音色文件的旋律资料是通过钢琴编曲音色文件预处理后得到的，通过分析、辨别音色文件的特点，实现钢琴编曲音色最终识别结果。将钢琴旋律信息作为初始数据输入得到基本的数据[6]，它是电脑的数据来源，不同种类的音色文件就是通过这些基本的数据得到的。这些数据中心包括MP3，WAVE以及MIDI等，钢琴编曲音色旋律框架的形成是将选择确定的钢琴编曲音色文件的信息进行分段、检测等，MIDI文件类型相比MP3和WAVE较为丰富，能够统计钢琴音符发出的不同音高、音强[7]。

1.2  系统功能模块设计

本文设计的基于人工智能的钢琴编曲音色识别系统模块含有多个功能，为了实现系统多个模块和其他模块的协同合作以及实现其功能，需要确保该系统功能的使用及稳定性。钢琴编曲音色识别系统的功能模块设计如图2所示。

钢琴编曲音色识别系统具体模块可划分为模拟钢琴模块、音色编辑模塊和乐谱展示模块，不同功能模块还可具体划分为三个对应的子模块，以下对其进行详细阐述：

1.2.1  模拟钢琴模块

钢琴是所有乐器之王，通过钢琴可以演奏出所有乐谱，适用范围极为广泛。

1） 钢琴展示控制子模块。通过该模块可将钢琴演奏过程展示出来。该模块的放大和缩小功能是为了有效识别钢琴琴键位置，准确地将钢琴每个按键的音展示出来。

2） 钢琴弹奏子模块。主要用户控制钢琴演奏过程中单键的发音以及多键的发音等。

3） 钢琴音色调整子模块。这个模块功能是对演奏过程产生的音色进行识别和处理。钢琴不同于其他乐器，对音色要求极高，因此为了使创作的乐曲音色更加优美，还需要利用多种音色技术对其进行有效的处理。

1.2.2  钢琴音色编辑模块

通过使用不同的技术手段将钢琴演奏过程中产生的多种音色进行记录，在此创作过程中对音域广泛的乐音的处理是十分必要的。

1） 音色编辑初始化子模块。通过设置不同的参数，在此基础上构成了钢琴编曲音色的初始文件，展示钢琴编曲音色初始状态。

2） 音色编辑子模块。该模块主要功能为清理音色中的干扰音色。将钢琴音色通过最基本的处理后，再依据不同的编辑方法将该音色进行辨别，剔除存在的噪音。

3） 乐谱展示子模块。该模块是对乐谱的显示情况进行处理，乐谱的最普遍的呈现形式式是通过五线谱来呈现，将处理之后得到的乐谱进行编写，其中包含高音谱和低音谱。

1.2.3  乐谱展示模块

初学者在学习钢琴乐谱时，需要学习乐谱的发展历程，这就要将乐谱由谱到曲进行演示，让初学者能够感受钢琴乐谱的演化过程。现在大部分钢琴课程都将乐谱的播放功能融入课程中，为初学者提供乐谱的播放展示。

1） 乐谱播放控制子模块。该模块主要用于控制钢琴乐谱的播放效果，例如播放速度、循环播放等。

2） 乐谱展示控制子模块。该模块主要用于对乐谱播放的效果进行控制，例如升降调播放展示、循环播放展示等。

3） 编曲演示音色处理子模块。主要用于音色的处理，通过音色的处理提高钢琴播放的音色质量。

通过上述对基于人工智能的钢琴编曲音色识别系统模块的描述，可为钢琴编曲音色特征的动态识别打下坚实的基础。

1.3  钢琴编曲音色识别

该系统的核心是钢琴编曲音色的识别，在完成有关模块解析的同时，通过数字化识别模式利用高级程序设计语言进行编写程序，实现钢琴编曲音色识别[8]。利用傅里叶变换方法设计基于人工智能的钢琴编曲音色识别系统的流程图，如图3所示。

通过对图3的分析，想要实现人工智能钢琴编曲音色识别系统的设计，就必须先对钢琴频谱进行仔细的研究，以及一同将其播放。其中不能够被直接辨别的音色文件通过反复的分析和筛选，最终也会完成对该系统的设计。

2  系统关键技术

2.1  提取钢琴编曲音色特征矩阵

在实际钢琴演奏阶段，其频率结构较为平稳，因此可使用傅里叶变换法对钢琴全部发音频段进行分析。

有关研究人员认为加权柯西函数反映波形的基频和倍频与钢琴的发音波形大体相同，以及其模仿的声音也大体相同。本文采用的钢琴编曲音色的模仿和取得是利用5次倍频方法进行的[9]。

设定钢琴编曲音色信号[y（n）]的傅里叶变换形式为[Yi（jω）]，即：

[Yi（jω）=Si（jω）?Fi（jω）] （1）

[Si（jω）=Ai·aia2i+（ω-ωi）2，  ωi-ai≤ω≤ωi+aiAi2ω-ωi，             其他] （2）

式中：钢琴演奏过程中发出的[i]音的音频或是倍频可表示为[ωi];与其相对应的振幅表示为[Ai];利用[ai]可表示波形宽度，该波形宽度是指调节基频或倍频[ωi]相近区域的波形宽度。频域波形的构建是在加权柯西函数的基础上进行的。使用傅里叶变换来模拟钢琴演奏，准确仿真钢琴演奏阶段的音色、音强等，能够在计算机上通过鼠标以及键盘的操作实现钢琴演奏。

2.2  提取音强包络函数

对包络函数的获取是实现钢琴乐音电子合成的必经之路。在编制曲目过程中，该函数能够明显反映出音强在时间不同时的变化，根据包络函数的提取可以确保钢琴编曲音色合成过程与函数变化趋势基本一致，同时去除一些过度杂音。以Matlab程序为根据，通过提取模块的构建，依据该模块对钢琴乐音振幅的特点进行有效分析，如图4所示。

通过分析图4可知，若想实现钢琴乐音合成，需要确保振动能量在给定时间维度内准确分配，对此进行仿真分析，通过振动能量的真实曲线匹配，为钢琴乐音合成奠定基础。

2.3  数字化识别

采用傅里叶变换方法分析钢琴与其他乐器频谱之间的差异。经分析可知，每种乐器有与其相应的倍频点振幅，根据提取其音色特征矩阵即可实现识别，辨别不同乐器音色。

采用振幅特征提取代码分析钢琴这种乐器与其他乐器之间包络函数可知，包络函数在不相同乐器中反映是不同的，将钢琴音色的特点矩阵和音强包络曲线相融合，能够对不同乐曲音色的差别进行有效的分辨，也就是对钢琴编曲音色进行识别。

3  实验结果与分析

为了验证本文提出的基于人工智能的钢琴编曲音色识别系统的综合性能，本文以单音文件为实验数据，所有实验样本选取美国麦吉尔大学乐器音色采样库。其中包括很多以wav格式记载的音色资料，以45.2 kHz作为实验的采样频率。该实验的仿真环境为：操作系统为Windows 8，内存为4 GB，处理器为2.4 GHz Intel。

表2给出钢琴编曲经过音色识别所得的频率、时值及误差。时值实质为钢琴乐曲中全部音符音名，它是对全音符、二分音符及四分音符进行分别的最好方法。

分析表2可知，本文系统能够准确识别出钢琴乐谱中全部音符的时值，全分音符的时值是0.39 s，二分音符和四分音符的是0.27 s和0.36 s。通过对每个音符时值之间的时间间隔具体分析可知，其中差别最大的是全分音符和二分音符之间的时值，相差较小的是全分音符和四分音符之间的时值。具体分析误差可知，仅需要将时值误差控制在（-5%，5%）范围内，即可调整全部时值。综上，本文系统可以准确识别全部音符，通过相关模块来调整时值即可完成编曲。

4  结  语

本文提出基于人工智能的钢琴编曲音色识别系统，设计系统的整体框架和功能模块。通过实验结果得出，本文设计的音色识别系统可以合成清澈的钢琴乐曲，且音色识别性能良好，值得广泛应用。

当前阶段，本文所研究的成果虽然能够对钢琴编曲音色文件进行特征分析并识别，且具有较高的识别准确率，但实验过程中测试样本较少，致使识别结果存在微小误差。未来阶段，将采集更多的样本数据，进一步提高音色元素识别准确率。

参考文献

[1] 张琳，吴建明.基于计算机技术的钢琴音色识别与電子合成系统设计[J].自动化与仪器仪表，2018（10）：11?14.

[2] 焦杰洁.钢琴音色识别与电子合成系统的设计与实现研究[J].景德镇学院学报，2017，32（6）：19?22.

[3] NAKAMURA E， YOSHII K， DIXON S. Note value recognition for piano transcription using markov random fields [J]. IEEE/ACM transactions on audio， speech， and language processing， 2017， 11（1）： 11?12.

[4] ALLEN E J， MOEREL M， LAGECASTELLANOS A， et al. Encoding of natural timbre dimensions in human auditory cortex [J]. Neuroimage， 2017， 166： 60?70.

[5] 范凌云，周婧.音式阶的合理性模识别校对方法[J].现代电子技术，2018，41（8）：160?162.

[6] 郭福星，辛刚，于大鹏.基于量化软信息输入的密钥协商算法[J].计算机仿真，2018，35（6）：297?301.

[7] 刘媛.音乐库中检索特征音调歌曲智能识别仿真[J].计算机仿真，2017，34（8）：356?359.

[8] 祝义，黄志球，周航，等.函数式程序模板元编程的元建模实现方法[J].计算机工程与应用，2018，54（7）：1?10.

[9] 刘琉，赵博楠，文跃然.钢琴音板振动模态的测试和调整[J].科技通报，2017，33（9）：255?260.

[10] 陈艮生.基于多标签分类法的和弦音乐的音色识别[D].上海：上海师范大学，2011.