音乐机器人的发展历史与技术成果

付晓东

（中国音乐学院音乐科技系，北京 100101）

音乐机器人的发展历史与技术成果

付晓东

（中国音乐学院音乐科技系，北京 100101）

音乐机器人技术是音乐与科技交叉领域的顶层应用学科，简要梳理音乐机器人发展历史，着重介绍21世纪以来音乐机器人技术的代表性成果，并从发音原理、表情化演奏、仿生结构与智能程度等不同的技术方面进行了描述与分析。

音乐机器人；仿生；智能；自动演奏；交互；即兴创作

1 机器人与音乐机器人的定义

机器人（Robot）“是一种自动化的机器，其具备一些与人或生物相似的智能，如感知能力、规划能力、动作能力和协同能力，是一种具有高度灵活性的自动化机器。”①它能够模拟人类行为或思想，并完成人类的指令与需求。现代意义上的机器人诞生于20世纪60年代，按其智能程度，迄今已经历了示教再现机器人（非智能）—适应机器人（轻智能）—自律机器人（强智能）三代的发展，被广泛运用于工业、农业、服务业等领域。

音乐机器人（Musical Robot）是通过程序输入（数字或机械）而实现自动演奏音乐的仿真机器，但迄今为止，并没有一个明确的定义来划定其范畴。按智能程度分类，大致可以分为两类。

（1）自动机类音乐机器人。以“示教再现”（第一代机器人）的功能范畴归纳，一切具有自动演奏功能的音乐机器人。

（2）智能类音乐机器人。考虑到机器人所具备的智能因素，即以“适应”功能（第二代）与“自律”功能（第三代）的范畴归纳，具有一定音乐内容处理、表情性演奏、自适应学习能力以及某种程度上自主创作、即兴表演功能的音乐机器人。

2 从音乐自动机至智能音乐机器人的演进

2.1 音乐自动机

如果将自动机（Automaton）视为现代机器人的始祖，那么音乐机器人则可追溯至能演奏音乐的自动机（Musical Automaton）。欧洲从古希腊时代就已经发明与制造了自动机，能够进行音乐演奏的自动机则被发明家们视为是工艺、机械与艺术的完美结合，从而受到狂热的追捧。由此，历史上各种体鸣与气鸣类音乐自动机层出不穷。其中，最为典型的就是大家熟知的八音盒（Music Box），它的动力来自于发条的驱动，旋转的圆柱或圆盘上分布着预置排列的凸点，以其拨动梳状排列的金属簧片而发声（见图1）。从公元9世纪巴格达的巴努穆萨兄弟所发明的水力自动风琴（Hydropowered Organ）起，至13世纪欧洲佛兰德的自动排钟，再至1796年瑞士钟表匠安托·法布尔制造出的世界上第一个现代意义的八音盒，一直到今天所看到的藏于故宫博物院与上海八音盒陈列馆所收藏的八音盒珍品，可以看到千年来的音乐自动机历史。一个有趣的事实是，当今全球市场上作为玩具与礼品的八音盒，绝大多数产自中国。

另一个被人熟知的音乐自动机就是自动演奏钢琴（Automatically Player Piano）。自动演奏钢琴起源于19世纪末的欧洲，其最初的模型是在普通钢琴前外置一个“演奏器”的机械装置，演奏器以打孔纸卷记谱（打孔位置与钢琴谱相符），用脚踏风箱鼓风作为动力，使纸卷缓缓转动，根据纸卷上的孔位驱动相应的“木手指”机械击琴键奏出音乐。随后演奏器被直接安装于钢琴内部，还增加了控制速度、力度、踏板等的装置。19世纪到20世纪前期，拉赫玛尼诺夫、德彪西、马勒、格什温、理查·斯特劳斯都曾为这种乐器写作乐曲，并制成纸带供自动钢琴演奏使用。现代自动演奏钢琴出现在20世纪80年代，是利用计算机把演奏者手指对钢琴键盘的弹奏音高、节拍、速度和力度转换成特定的MIDI信号存于存储介质，并传递给自动钢琴控制器控制驱动器，驱动器安装在键盘底部的电磁线圈动力部件，推动钢琴的榔头敲击琴弦而产生音乐。“现代的自动演奏钢琴是一个将钢琴制造、电子工程、计算机软件及网络通信技术结合为一体的高科技机电一体化装置，由传统钢琴、机电转换装置、电子控制系统、曲库及作曲软件等几个部分组成”②。它还可以被单独地集成为一个自动钢琴演奏系统单元，安装在任何一台传统钢琴上而将其改装成为一架自动演奏钢琴。如今，它已经被广泛地应用于各类商业与家庭娱乐场所中，著名的生产厂商有美国的PIANODISC公司、日本YAMAHA公司等，而国内也有了若干生产自动演奏钢琴的厂家。

2.2 类人音乐机器人

人类的技术史上一直存在着对运动仿生的追求，而八音盒或自动演奏钢琴仅仅是在机械控制技术层面所实现的乐器自动演奏，还未涉及真正的机器人仿生领域。由于人在演奏乐器时要求全身的机能协调自如，以实现对音长、音强、节拍与速度的精确掌控，因此，机器人对人类演奏家从形体至演奏技术的全面仿真，则成为展示与炫耀仿生技术成就的最富挑战性的目标。1738年法国发明家与艺术家Jacques de Vaucanson(1709～1782)设计了长笛与铃鼓演奏机器人（见图2），被视为是音乐机器人发展历程的一个里程碑。图2中，左面是一个真人大小的长笛机器人，通过鼓风系统来模仿人的呼吸机制吹奏长笛，可以演奏12支不同的乐曲；右面是一个真人大小的铃鼓机器人，为长笛机器人击鼓伴奏。当然，长笛与铃鼓机器人都是采用机械控制手段而实现其自动化，并不具备任何的智能因素。但是，从机器人仿生学的角度，长笛机器人是世界上首个能够模拟人演奏行为演奏气鸣乐器的机器人，其在发音机制与音高控制的技术上实现了仿真技术的突破，一般将其视为类人音乐机器人的起源。

图1 八音盒发声构造

图2 Jacques de Vaucanson发明的长笛与铃鼓音乐机器人③

2.3 智能音乐机器人

20世纪60年代以后，尽管工业机器人开始大规模地应用于制造业领域，然而，拥有人类外形与机制的类人机器人的研制仍然是工程学所面临的挑战性命题。同时，如何使音乐机器人能够像人类演奏者一样具备阅读乐谱、实时伴奏的初级智能水平，也是音乐机器人亟需突破的目标之一。随着机器人技术、人工智能、计算能力等方面的发展，20世纪80年代初，日本早稻田大学（Waseda University ）的加藤一郎教授研制了第一个全尺寸类人机器人“早稻田1号”（WABOT-1）；在此基础上， 1984年，研制成功了能够演奏音乐会管风琴的音乐机器人“早稻田2号”（WABOT-2）。早稻田2号音乐机器人具有人类的外表与结构，以摄像头为眼，能够阅读乐谱、演奏中等难度的乐曲，并能够根据歌手的演唱调整速度进行伴奏，如图3所示。

早稻田2号音乐机器人标志着智能音乐机器人时代的到来。它是首个能够将符号乐谱转换为音乐演奏行为的音乐机器人，并能够表现一定程度的节奏、音量变化，实现了具有表情的音乐演奏；同时，它所具有的机器学习功能使机器人拥有了音乐家演奏乐器的机能与灵敏性，具备了与人类演奏者合作表演的初级能力。

3 21世纪代表性音乐机器人

21世纪以来，机器人学（Robotics）相关领域的技术进步与创新成果的集合，为音乐机器人的研究与开发带来了突破性进展。这些关键技术包括：对人类运动控制的精确理解、表情化音乐演奏特质的提取、多通道的音乐交互方式（如通过听觉、触觉、视觉）的实现等。这些技术大幅提升了音乐机器人在音乐分析与创作、精确快速的运动控制、协同合作与即兴表演等方面的艺术才能。同时，科学家与研究者开发出了更为自然友好的控制界面与仿真外形，大大拓展了音乐机器人在教育、娱乐、服务业中的应用。现介绍一些21世纪以来代表不同层面的音乐机器人，涵盖管乐（McBlare风笛机器人）、弦乐（丰田小提琴机器人）和打击乐（Shimon马林巴机器人）等各类音乐机器人。

3.1 McBlare风笛机器人

图3 早稻田2号音乐机器人④

图4 McBlare风笛机器人正面图⑥

图5 McBlare风笛机器人背面图

2004年，美国卡内基·梅隆大学（Carnegie Mellon University）机器人实验室为庆祝其成立25周年，特别研制了McBlare风笛机器人为这一庆典献礼⑤。McBlare能够演奏标准的苏格兰风笛，图4则是McBlare身着传统苏格兰方格裙的演出照，图5是McBlare背面图，它采用空气压缩机来提供空气动力（见图5下），以电磁控制手指系统（图5左上）驱动机器人的手指来控制风笛音孔的开关而产生不同音高。McBlare能够接收并响应MIDI控制器发送的MIDI信息，因此，可以通过MIDI接口与键盘、计算机或MIDI音序器等软硬件进行实时通信。McBlare的控制与运动机能远远超出人类演奏者的生理极限，因此它除了能够演奏传统的苏格兰风笛作品，还能够演奏实验性的高难度计算机音乐作品。McBlare风笛机器人一个更重要的特征体现于它能够在演奏的过程中实时地加入装饰音，而音乐中充满大量的即兴装饰音正是传统苏格兰风笛音乐的风格特色。McBlare通过对大量风笛作品的统计与学习，能够在演奏过程中根据音乐音响的语境自动加入具有鲜明特色的装饰音。除此之外，McBlare还可以通过传感器识别手势运作，从而根据手势指令来实时地演奏非传统的音乐作品。

在形制与功能上，McBlare风笛机器人是1738年法国长笛机器人的扩展，但后者仅仅是一个非智能型的类人音乐机器人，而Mcblare拥有智能化的装饰音演奏与手势识别功能，此区别足以将其归入“适应”机器人类别。

3.2 丰田小提琴机器人

对于类人机器人而言，小提琴演奏无论从运动生理学角度还是音乐情感表达的角度都要比演奏其他气鸣或体鸣乐器复杂得多。机器人除了要掌握右臂的弓法与力度、左手的指法与把位、双手的配合与协作等乐器演奏技术之外，还要拥有小提琴演奏中对于微妙变化的表情性能力。在日本机器人学领域，这种表情能力被称为かんせい（Kansei），其汉语的音译与意译对应于“感性”一词。对于智能机器人而言，一个能够表现出“感性”因素的小提琴机器人是一个巨大的挑战，这方面日本的机器人研究走在了世界的前列。丰田汽车公司（Toyota Motor Corporation）经过了十几年的研究， 2005年推出了类人小号音乐机器人（图6左）；在此基础上，2007年研制成功了具有“感性”功能的小提琴机器人（图6右），并在东京进行了首演，之后在2010年上海世博会上演奏了中国观众熟知的中国民歌《茉莉花》，引起世界范围的轰动。

丰田小提琴机器人身高1.52 m，体重56 kg。它以右手持弓，具有六级自由度的右臂能够擦奏小提琴琴弦而发出各种力度的乐音；左手手指由电磁驱动的螺旋管构成，由于小提琴的尺寸限制，左手只有三个手指用于按弦（图7）。它能够演奏中等技术难度的小提琴乐曲，并具有一定的音乐“感性”表达能力。

当然，同本田公司推出的著名的ASIMO行走机器人⑦一样，丰田公司推出小提琴机器人的目的并不限于音乐表演，其最终目标在于提供家庭医护与家务机器人，以进军家用市场。因此，它的音乐表演能力仅是为了展示其高超的运动与控制机能，并没有将音乐智能作为其重点发展方向。但是，在音乐机器人领域，仅就其类人仿真水平而言，至今仍难有与丰田小提琴机器人比肩的机器人。

3.3 Shimon马林巴机器人

Shimon马林巴机器人由美国亚特兰大理工学院音乐科技中心（The Georgia Tech Center for Music Technology）的Gil Winberg教授在2009年主持开发，它是一个能够即兴演奏、并与人类演奏家实时重奏的马林巴音乐机器人。尽管开发者将其称为类人机器人（Anthropomorphic Robot）⑨，但以丰田小提琴机器人所达到的类人水平来衡量，它的外形更像是一套带摄像头的机械手系统（图8）。Shimon的特色在于，它能够使用智能音乐预测行为系统来实现与人类演奏家合作，例如可以在爵士乐二重奏的演出形式下进行旋律与节奏的即兴演奏。同时，为了实现更为准确有效的同步互动，Shimon还运用了视觉信号触发系统来进行演奏过程的调整，即可以通过摄像头识别与其合作的人类演奏家的动作并进行分析，从而实现爵士乐中的竞奏互动。其创新之处在于，即兴演奏行为并不是仅仅依靠于音响信号的接收，而主要是通过对合作者的动作识别来完成。Gil Winberg和他的研究团队发现，人类演奏家在合作即兴演奏过程中，其身体的运动信号往往传递着非常重要的音乐引导信号。身体的运动信号不仅仅导致音乐进行的改变，在视觉上也与合作者传递着即兴演奏的重要预测信息。Shimon拥有四个手臂，形成两对，分别对应于马林巴的下排键盘（自然音级）与上排键盘（变化音级）；每支手臂由螺旋管构成，控制一支琴槌。根据声敏传感器所发出的驱动信号沿着马林巴的键盘横向移动，最高可达到3 g的加速度，从而每四分之一秒跨越一个八度的速度进行键盘定位。Shimon目前可以与人类钢琴演奏家进行合作，这是音乐机器人智能技术的一个全新研究平台。

图6 丰田小号机器人（左）、小提琴机器人（右）⑧

图7 小提琴机器人的左手指法系统

Shimon是真正具备即兴演奏功能的机器人，智能程度令人叹为观止。通过对爵士音乐作品的海量数据分析与学习，它掌握了爵士音乐的旋律、节奏与和声风格。在整合了音乐感知、交互与即兴演奏等多个计算模型的基础上，Shimon能够根据体势信号与音响信号的感知来实时产生音乐，或激发演奏者与其互动，为人类合作者与听众带来新颖奇特的音乐音响和体验。开发Shimon的最终目标是将人类的创造力、情感表达、审美判断等智能与计算机的计算能力相结合，让人类与机器人合作而成就彼此的音乐创意。迄今为止，“Shimon已经与众多人类演奏家合作演出，包括在慕尼黑国际数字生活设计大会（DLD）、华盛顿美国科学节、西雅图雨伞音乐节、旧金山谷歌开发者大会等重要的场合中。”⑩

3.4 Shimi舞蹈机器人

2012年，由Gil Winberg教授担任首席执行官的美国Tovbot公司，推出了首个与智能手机相联的舞蹈机器人Shimi。Shimi造型特征吸收了日本卡通的“萌”元素，本身是一个兼容iPhone与Android系统的手机扬声器底座，因此它也被称为智能手机音乐伴侣（Smart-Phone Enabled Robotic Musical Companion）。它采用2.1声道，其头部为双声道的高频扬声器单元，低频单元则内置于下腹部。它以左脚充当手机插座，当手机插入时，Shimi可以实现音乐的自动播放，并随着音乐的节拍与旋律实时做出摇头、跺脚（右脚）、旋转等可爱的舞蹈动作（图9）。Shimi可以通过语音指令或利用手机摄像头识别人类的手势与面部表情，来播放机主喜爱的乐曲；同时，还可以实时追踪机主的位置，自动将扬声器的角度调整至最佳角度，从而获得良好的听音效果。此外，Shimi可以分析聆听者拍击的节奏而自动在音乐库内选择指定节奏的歌曲。它的尺寸小巧、还可通过对群组的编程来实现多个Shimi机器人的群舞组合。目前，Tovbot公司正在筹划在2015年内将Shimi推向消费市场，预期售价在200美金以内。

Shimi的出现，代表了音乐机器人的另一种设计观念：在人类艺术的演化进程中，音乐与舞蹈在绝大多数的时间内是不可分割的，将音乐从舞蹈艺术中剥离出来单独实践，也仅仅是发生在近几百年欧洲专业音乐的范围内。Shimi的设计理念就是力求还原音乐与舞蹈这种水乳交融的关系，再现人类音乐与舞蹈艺术的原始表现意图与审美功能。此外，Shimi是面向消费市场的音乐机器人，意味着音乐机器人走出实验室，面向大众的娱乐与休闲生活，从这个角度来看，它具有里程碑的意义。

4 结语

以上所介绍的音乐机器人基本上代表了不同层面的技术成果。从乐器分类学的角度来看，涵盖了管乐器、弦乐器、打击乐器与电子乐器，展示出当今机器人对乐器演奏技术的全面掌握。从类人仿真与人性化表演的水平来看，无疑以丰田小提琴机器人领先；以音乐机器人的智能程度与自律程度来看，则是佐治亚理工学院的马林巴机器人拔得头筹。设想一下，如果有这样一个音乐机器人，拥有比早稻田2号更强的读谱能力、比Macblare风笛机器人更华丽的装饰音演奏技术、比丰田小提琴机器人更逼真的仿生机能与“感性”诠释，还具备比Shimon更为完美的即兴演奏与合奏能力，能够在音乐的伴奏下跳出比Shimi更萌的舞步，那么，如此的一个音乐机器人是否能够带来妙不可言的音乐体验呢？是否会广受艺术表演市场、休闲娱乐行业以及音乐教育等领域的青睐呢？

图8 Shimon马林巴机器人

图9 Shimi舞蹈机器人

答案当然是肯定的。但不可否认的是，对于音乐机器人的设计与开发而言，涉及音乐的创造、表演与欣赏，需要跨学科跨领域的拓展与深入，也还有很多科学研究与技术实践的具体问题亟待解决，诸如人体运动的分析与合成、音乐表情的感知与诠释、音乐情感的细节分析、音乐欣赏的数据量化、音乐音响与舞蹈动作的跨感官整合、交互式的传感与驱动技术等等，需要进一步地深入研发，以使音乐机器人真正像人类音乐家那样去理解、诠释、创造音乐音响。最重要的是，下一代的音乐机器人还要具备人类音乐家的另一大特征——自发自主学习音乐的智能，即能够通过聆听分析自身或其他演奏者（包括音乐机器人）的音乐来获得新的音乐才能，从而提高机器人的音乐创造与表演水平。

从大约两千年前人类制造首个自动机开始，机器人学就是一个令人着迷的持久命题，它是科幻、工业与艺术的永恒梦想。对于现有的音乐机器人而言，在渡过眼球效应期后，必然会对其产生更多更新的期待——替代甚至超过人类音乐家的音乐才能与技艺。从这个角度来衡量，智能音乐机器人目前的发展仍然处于初期阶段，以当前各种音乐机器人已获得的成就看，可预见令人振奋的前景。

注释:

① 引自王彦《实战智能机器人》，海南出版社2008年10月出版，第2页。

② 引自http://zh.wikipedia.org/wiki/自动演奏钢琴。

③ 图片来源于http://www.francoisjunod.com/ automates/eightennth/vaucanson_uk.htm。

④ 图片来源于http://pinktentacle.com/2008/04/videowabot-2-android-plays-keyboard-1985//。

⑤卡内基梅隆大学与苏格兰有着根深蒂固的渊源——其创始人安德鲁·卡内基（Andrew Carnegie）出生于苏格兰。卡内基梅隆大学音乐学院专设有风笛演奏专业，并拥有一支学生风笛乐队。

⑥ 图4、图5来源于http://www.cs.cmu.edu/～music/ mcblare/。

⑦ 日本本田技研工业株式会社于2000年研制的类人机器人，在2013年已发展至第三代，ASIMO以其先进的仿人行走能力而著称，其最终开发方向是作为服务性的引导员。

⑧ 图片来源于http://www.toyota-global.com/ innovation/partner_robot/family_2.html#h202。

⑨ “Unlike computer- and speaker-based interactive music systems, an embodied anthropomorphic robot can create familiar, acoustically rich, and visual interactions with humans.” http://www.gtcmt.gatech.edu/projects/ shimon。

⑩ 源自http://www.gtcmt.gatech.edu/projects/ shimon。

⑪ 图片源自：Jorge Solis & Kia Ng, Musical Robots and Interactive Multimodal Systems, Springer, Verlag Berlin Heidelberg 2011, P235。

⑫ 图片来源于https://www.kickstarter.com/ projects/143402057/shimi-a-smart-musical-robot-foryour-iphone。

[1] 王彦. 实战智能机器人[M]. 海南：海南出版社，2008.

[2] 自动演奏钢琴 [DB/OL]. 维基百科中文：http:// zh.wikipedia.org/wiki/, 2014-12-6.

[3] Jorge Solis & Kia Ng. Musical Robots and Interactive Multimodal Systems[M]. Springer：Verlag Berlin Heidelberg, 2011.

[4] Hoffman, G. & Weinberg G.. Interactive Improvisation with a Robotic Marimba Player[J]. Journal Autonomous Robots, 2011, 31.

[5] Bretan, M. & Weinberg, G.. Chronicles of a Robotic Musical Companion[C]. submitted to Proceedings of the New Interfaces for Musical Expression Conference (NIME 2014), London, UK. , 2014.

付晓东，音乐声学博士，中国音乐学院音乐科技系教授，美国佐治亚理工学院（Georgia Institute of Technology）访问学者（2014年9月至2015年3月）。

（编辑 杜 青）

History and Technological Achievements of Musical Robot

FU Xiao-dong
(Music Department of Science and Technology, China Conservatory of Music, Beijing 100101, China)

Music robotics application is the top cross-disciplinary fields of music and technology. In this paper, the writer combs the development history of music robot briefly, and focuses on the representation results of musical robotics from the the 21st century. Additionally, some different techniques such as pronunciation principle, expression of playing, bionics and intelligent degree were described and analyzed.

musical robot; bionics; intelligence; automatically player; interaction; improvisation

10.3969/j.issn.1674-8239.2015.05.003