音乐信息检索于文创网络平台之应用功效

李国瑛 盘婉婉 杨辉 李哲伦

本研究主要利用实验来探讨各种现今音乐检索系统于网络文创平台中的查询功能和系统架构，进行比较分析， 受试者仅能记得音乐曲目的部分片段，甚或仅能哼唱其中不甚正确的部分片段，在网络文创多媒体数据库平台中进行测试，藉此来观察音乐检索系统的发展现状，及未来音乐检索系统潜在的应用发展与趋势。

音乐检索系统称为 MIR（Musical Information Retrieval），其主要功能在于撷取部分音乐内容信息，将其建构数据库，帮助用户能够从广泛庞大的音乐资料中，藉由输入符合或匹配音乐数据库的关键信息，来搜寻辨识出自己需要的音乐信息。这项技术，现已被广泛应用在多种网络文创平台上，让消费者或数据库用户，在搜寻目标的过程中更加便捷，增进平台的使用流量和能见度。现有的音乐信息检索系统从音乐截取内容到匹配计算法都不同，这是因为各种系统提取的音乐属性关键特征具有差异性，从撷取文字、符号、音讯、视频、乐谱及频谱声学分析图来比对匹配，到自动辨识哼唱内容等各种方式作为搜索关键词，产生了几种不同类别的检索系统。

1 文献探讨

1.1 音乐检索系统的源起与发展

从音乐检索的发展历史调查及信号处理发展进程研究显示，最早的计算机音乐信息检索系统源自布林逻辑检索技术，由此之后，陆续衍伸出许多基于文字语汇发展的系统。1988年起，国际组织动态影像专家小组正式成立，致力于多媒体编码技术，先后开发了与影片、音讯的压缩编码技术相关的一系列稽核程序。也于同期，国际标准化组织（IOS）制定了多媒体内容描述接口及多媒体内容索引。1990年，第一个实作音乐序列比对的自动化架构首度亮相，1995 年英国南安普敦大学提出一种哼唱查询系统 QBH （Query By Humming），用户可以单凭记忆旋律，录制一段哼唱旋律声音作为查询片段，再经由计算机程序透过相关演算法获得输入声音的音调轮廓分布图，将音乐的旋律转换为英文字母 U、D、R 组成的符号串，再从数据库中以信息匹配相似度的方式进行检索，最后按照匹配相似度的高低返回结果列表。由于这项研究在初期只限于辨识音乐曲调的音高，逐渐地，系统研发者开始用更多音频的其他属性特征，加入到匹配数据库中进行检索。至 2000年初，音乐数字界面（MIDI）的盛行促使音乐文创产业数位化，音乐信息检索因此也开始发展由乐谱上的记号图像，以及 MIDI 录制音频样本为搜寻关键的检索系统。这种系统能够从网络上自动定位搜寻到 MIDI 档建立的数据库，进行旋律、节奏和樂谱符号的比对。

1.2 音乐信息检索于网络文创平台的功效

现有的多模式索引系统建构理论，结合了片段的音频、视频、文字、以及与音乐内容相关的图片等索引辨识功能来进行搜寻，这些设计有助于应用在将来多媒体数位典藏馆音乐教学中。纵观目前与音乐多模式索引检索相关的研究，都是在追求检索的精准性，然而音乐检索系统除了帮助用户搜寻目标，与其相关的研发也有助于音乐市场在开发潜在客户时，从历史行为的数据来分析用户喜好。透过这些历史行为的数据，应用分析算法，将各种潜在用户与其嗜好相关的音乐作连结，拓展市场调研。同时，也可在推算数据的过程中使用人工智能方式学习，随时间推进，进一步精进检索效能。

2 研究方法

本研究将阐述各种音乐检索系统于文创平台上的应用功能，分析各种信息检索技术所适用的音乐类别和索引特征，期待能促进未来音乐检索系统专利技术的发展和革新，让丰富的影音资源数据库更为完整普及。根据现存的调查研究显示，多数关于音乐信息检索的研究文献侧重于技术分析及演算法，许多与检索技术相关的设计是从程序软件开发者的视角来进行研究，然而，在诸多检索功能的设计理论上，也有赖于建构者将设计思维导向用户思维，以更简便的操作接口融合视觉和听觉的辨识特征，获取搜索资源。研究方法和结果讨论如下：

2.1 实验研究法

针对国内外目前提供在线服务的四种音乐搜寻网站，涵盖“中华民族音乐资源数据库”“Themefinder”“网易云”“Musipedia”音乐数据库，通过电子计算机操作，调查四种检索系统的搜寻效率情况、数据库内容，纪录每种系统的平均搜寻分析时间。时间截录的起始点自人工输入完成之后，引擎搜索过程至排列出相似度比对顺序，浏览并点选出准确的作品为止，探讨各种网络音乐资源的使用效果，最后总结出各种系统的特色，并对于系统现存的瓶颈提出改善建议，提出音乐检索系统于未来网络文创平台的潜在应用领域。

2.2 实验流程

研究过程将使用中国移动网络，比较分析网络音乐文创平台，设定进行搜寻实验的网络平台包含：

2.2.1 基于文字叙述为内容的检索系统

测试网站：中华民族音乐资源数据库。

乐曲数目：三百首乐曲。

乐曲内容选择戏曲音乐、曲艺音乐、歌曲音乐、器乐音乐、歌舞音乐五大类作品各六十首。

2.2.2 基于音乐特征为内容的检索系统：（输入法）

测试网站：Themefinder音乐数据库。

乐曲数目：三百首乐曲。

乐曲内容选择文艺复兴时期、古典时期、及中国民谣作品三种类音乐作品各一百首。

2.2.3 基于音乐特征为内容的检索系统：（哼唱法）

测试网站：网易云音乐数据库。

乐曲数目：三百首具有中文歌词的歌曲。

乐曲内容选择20世纪70、80、90年代及现代华语歌曲各一百首。

2.2.4 基于键盘输入法为内容的检索系统

测试网站：Musipedia。

乐曲数目：三百首乐曲。

乐曲内容：世界民谣、世界国歌、古典音乐各一百首。

实验过程由肇庆学院音乐学院的三位学生联合进行，此三位音乐专业本科生分别主修民乐、声乐及器乐，各自从上述网络平台数据库中搜寻三百首歌单，并在采集歌单时以简谱注记列出乐曲的开头旋律，之后以交互进行检索的方式，重复在平台上进行检索过程，达到采集检索花费时间数据的平均值。鉴于大多数的在线音乐用户在使用网络音乐检索系统时并不具备有音乐信息的完整性，搜寻用户所花费的检索时间与用户本身对音乐信息的掌握程度相关，故此实验以三位不同主修的音乐本科学生作为搜寻用户受试者，每位学生都仅对其中特定类别的音乐较为熟悉，其余种类的音乐搜寻过程仅依赖初步音乐知识来查询乐曲，借此客观条件对各类网络音乐文创平台进行检索，以获取最终检索花费时间的平均值。实验过程要求三位学生使用相同的电子计算机规格，以控制实验环境的一致性。每一种网站的设计都有针对特定的音乐爱好者及客群，若输入不存在于曲库中的关键索引，则无法进行研究，要避免这个失误的前提是必须先对曲库内的音乐类别和风格特色深入了解后再进行检索。此外，有些网站具有复合式信息检索系统，索引资料库更多元。在搜寻基础条件中，难以和其他仅具备单一检索方式的网站基础架构比较，但可以就单一网站的多种功能进行检索测试，分析其搜寻精准度及应用功效。

3 研究结果

根据上述四种不同平台网站的属性，选择进行检索搜寻实验的歌单后可以发现，中华民族音乐资源数据库是以文字输入法进行检索的平台数据库，数据库内容包罗万象，除经典民乐，也收录丝绸之路少数民族音乐及中华曲艺老唱片，更有绝版京剧等专辑与电视文献片，举凡与华夏民族文化相关的歌曲或戏曲皆收录在平台中，其中更不乏多种器乐乐曲，对于受过专业音乐教育背景的用户较实用。使用专业音乐数据库则必须能够精确输入各种与搜寻项目有关的文字叙述，尽可能地输入详细的文字叙述信息，包括曲名、作曲者、体裁、风格及编号等信息，若使用者有时在搜索资料时无法记忆完整的文字标签叙述，则使搜寻产生局限。Themefinder 网络平台的数据库设计较为倾斜向古典音乐及民谣作品，除了以输入概略简谱旋律的形式，还搭配了其他相关音乐内容描述的多重检索系统，包括作曲家姓名、曲名、关键字、音阶、调性、音程概念、节奏拍号、音乐风格时期等选项。目前由于此数据库的搜索容量范围值，能搜寻16世纪、古典时期部分乐曲，以及包含9个国家在内的8382首地方民俗歌谣。然而，输入音乐特征如旋律音高的检索要求，对于检索者具有专业知识的要求，因此这样的检索系统无法满足多数未受过专业音乐训练的用户。此平台网站需要手动输入的音乐参数较其他网站更多，检索系统要求用户在简谱音高之间以“/”“＼”“—”来代表旋律轮廓走向，对搜寻者的音乐素养要求高。这个平台成立于1984年，由斯坦福大學电子计算机研究中心研发，搜寻网站系统还设有给使用者线上问卷调查，属于早期成立的CBMR音乐信息检索系统。网易云音乐数据库是以收录流行歌曲为主要音乐文创作品的网络平台，现为市占率较大的网络音乐文创平台，用户不以音乐专业的搜寻者为主，是目前国内较大型的流行音乐数据库，具有大型流量客群的特性，收录的歌曲也持续更新。网易云手机程序的操作方式，通过听歌识曲选项，点击识别音乐便能以哼唱旋律的方式搜寻歌曲。除了搜寻功能，这个平台数据库也增添了社交分享功能，并允许用户在初期使用时，先选择容量规格较小的数据库来试用，之后依据用户习惯和喜好，调整搜寻使用的数据库规格。Musipedia 相较于前几项音乐数据库平台，多了以虚拟键盘点击音高来查找音乐的选项，主要以MIDI为搜寻引擎，也可作节奏搜寻和哼唱搜寻，提供各种用户不同的搜寻管道。

4 音乐检索系统于网络文创平台之未来应用趋势

音乐信息检索系统主要功能除了让用户能藉由索引搜寻到网络音乐资料及影音创作外，检索系统的研发也有助于音乐市场在开发潜在客户时，从历史行为的数据来分析用户喜好。而透过机械学习算法，这些历史行为的数据，正可使用人工智能方式学习，随时间推进，进一步精进检索效能。音乐信息检索技术于网络文创平台的应用功效研究具有前瞻性，在互联网迅速发展、影音资源蓬勃生产的时代，由平台延伸出的多媒体互动教学也势必将更频繁应用在各种学科中，借此达到促进我国科技文化产业的远景。音乐的语意和形制，在许多层面上并不容易从单一面向被归纳数字化，未来音乐检索系统的发展趋势，将倾向于多模式检索系统，提取的索引特征范围，甚至有可能延伸至每位音乐表演者的动作分析和演奏、演唱等特征，从更多层面去挖掘各种归类音乐的可能性，试图让更多用户在搜寻时更加得心应手。另外，社群网站平台在未来将会对更多用户及多媒体检索系统产生巨大的影响，与社群网站有关的用户推荐及标注等功能数据，值得未来的学者进一步探讨。希望本文的研究项目有助于网络文创平台的更新和开发，期能制造出具有市场导向的创新性研究价值。

基金项目：肇庆学院大学生创新创业训练计划项目：音乐信息检索于文创网络平台之应用功效研究（S202110580083）;肇庆学院博士科研启动基金：斯克里亚宾晚期钢琴练习曲的革新与影响（611/193029）

作者简介：李国瑛（1981—），女，中国台湾人，博士，副教授，就职于肇庆学院音乐学院;盘婉婉，女，广东云浮人，本科，就读于肇庆学院音乐学院;杨辉，女，湖南邵阳人，本科，就读于肇庆学院音乐学院;李哲伦，男，广东惠州人，本科，就读于肇庆学院音乐学院。