从脑机接口窥视未来的钢琴演奏

文/贺思原

引言

脑机接口，来自未来的科技，窥视未来的窗口。对—名音乐工作者来说，这是一次脑洞大开的机会。对乐器演奏来说，好像没有一点关系。但对我来说，这是无限可能。还好，艺术本身就是一种想象的空间，同样充满着无限可能。让我们从一个音乐工作者的角度来思考一下，脑机接口跟乐器演奏结合，到底会发生什么匪夷所思、让人大跌眼镜的事情呢？

一、技术部分

（一）什么是脑机接口

脑机接口技术Brain Computer Interface，BCI)，当今最红的未来黑科技之一。该技术建立了一种全新的通讯通道，使大脑不依赖于原有的通讯渠道传送信号，为大脑与外部设备提供了一种全新的互动方式。

1875年，英国物理学家Richard Caton首次发现大脑上的电流信号之后，各国科学家纷纷对其展开了研究。

1929年，德国医学家Hans Berger首次通过电极记录下了脑电波。从此，通过分析脑皮层电信号来窥探大脑的意图，成为了可能[1]。

1973年，Vidal教授提出了一种大脑和计算机直接通讯的观点，脑机接口从此开启了新的篇章[2]。

1999年，脑机接口技术国际会议对BCI进行了定义，即“脑机接口技术是一种不依赖于正常的由外周神经和肌肉组成的输出通路的通讯系统”。在这个系统中，大脑绕过了周围神经系统，通过设备与外界沟通。自此之后，随着研究的不断深入，脑机接口技术在生活、医疗和军事上都体现出了其自身的独特价值。作为一种跨界的技术，脑机接口的研究涉猎极广。目前主要涉及生物学、脑科学、神经学、临床医学、计算机、通讯行业等多个领域的交叉。

（二）脑机接口现状

基于脑机接口的产品已经看到不少。在科幻影视作品中，《黑客帝国》和《攻壳特工队》等作品中都有相关的描述。在现实生活中，也已经有了相关的产品报道。据澎湃新闻报道，奔驰在其概念车Vision AVTR中搭载脑机接口技术。“钢铁侠”马斯克已经在热衷于通过植入芯片之后，通过意念来控制身边设备（图1）。2018年哈佛大学的一个创业公司研究出了一款义肢，让失去右手的女孩可以演奏钢琴。这都说明，脑机接口已经不再是科幻话题了。

图1 脑波采集设备

1.硬件平台方面

小型化、便携化是脑机接口硬件设备的发展趋势。近红外成像设备体积小、噪声低，且受被试者运动状态影响较小，目前正被探索用于脑机接口实践。目前国际上较为知名的硬件厂商有奥地利的G.Tec公司、德国的Brain Prouducts公司、美国的NeuroScan公司等。目前不少无线脑电采集系统也已面世。此外，以往脑电采集设备造价较高，并不利于商用和普及。为了改变这一局面，市面上也出现了一些适合商用的低价采集系统，如Emotiv和OpenBCI等。在国内，目前暂时没有查询到相关原创硬件厂商，仅听闻国防科技大学有团队正在进行该方面的研发[3]。

2.软件平台方面

经过多年的发展，针对脑机接口，国内外已推出了一些系统设计或信息处理的通用软件平台工具。知名的主要有ROS、BCI2000、OpenVibe等。ROS主要用于机器人的操控，也适用于脑机接口的研究工作，目前越来越多的研究者在BCI2000之后开始使用ROS作为综合研究平台。BCI2000是一个基于C语言框架的开放平台，提供了Python语言的专用流程控制和刺激显示模块BCPY2000，也提供了MATLAB等软件的数据接口。OpenVibe则采用了可视化编程界面，一定程度上方便了范式设计。在信息处理上，常见的集成工具有EEGlab、ERPlab等。在需要视觉刺激诱发的情况下，C-sharp、MATLAB的psychtoolbox工具箱和E-prime软件也都是常用工具[4]。

（三）现有的音乐科技：乐器的数字化接口（MIDI）

MIDI技术对于音乐人来说几乎尽人皆知，至少也是听说过。自19世纪90年代起，它逐渐渗透到了音乐活动的方方面面。从乐谱制作到舞台演奏，从音乐制作到唱片生成，无时无刻不体现着数字化的魅力。

MIDI是一种信号传输的协议，而这个协议的目的就是用来控制电子乐器的。它本身没有任何声音的元素，只是协议，一堆预先指定的十六进制代码。所谓的“MIDI音乐”是不存在的。显而易见，这是利用数字的手段，来控制MIDI设备，这也正是数控技术的工作方式。所以，我把MIDI技术称之为数控技术在音乐方面的具体应用，数控技术在无数应用中的一个分支。

实际上，除了电子乐器之外，还有一些其他的设备也在使用相同的方式控制。有些时候还需要跟MIDI信号一起传送。例如，舞台的灯光和布景；某些机械与音乐的同步；有些时候还有音响。还听说有一些音乐喷泉也是通过类似的手段控制。新闻中曾看到过国外某地铁站里的楼梯铺设了压力传感器，人走上去之后会发出相应的音符，这也是MIDI的功劳之一。以前曾经非常流行的多复音手机铃声，在播放音乐的时候还可以同时触发多彩的灯光，有些还可以在播放音乐和触发多彩灯光的同时，触发震动。其工作方式，就是让灯光和振动的控制单元（或者是程序），根据指定的MIDI内容，进行工作。

从技术上来说，这是计算机数控技术的一个分支，在音乐艺术领域里的具体应用。经过多年的发展和运用，MIDI技术已经成为一种非常成熟的技术，在音乐行业中它已经成为了一种习惯。我个人认为，脑波演奏将离不开MIDI技术。无论是脑波驱动机械手演奏钢琴，还是脑波直接驱动电钢琴，都将通过MIDI信号来实现。因为对于一项全新技术来说，以模块化的概念将新功能模块嫁接在现有成熟技术之上，这将少走很多弯路，也将极大地提升原有成熟技术的上升空间。在我的知识储备中，这也是这个未来项目唯一的技术捷径。

（四）脑机信号与MIDI的连接

在设想连接方式之前，我们先要明确一个概念：MIDI本身只是一种数据交换协议，同时也是不同设备之间的数字交互控制技术。既然是一种数控技术，那工作的方式一定是以发送数据的方式工作的。MIDI基本原理，就MIDI信号（或数据）本身而言，不过只是一堆数据而已，没有任何的声音。这四个字母是Music Instrument Digital Interface的缩写，意思是乐器的数字化界面或接口（图2）。

图2 数据串00 60（3CH）120（78H）100（64H）

比如任何设备发送一组数据，音源在收到这组数据以后，按照要求准备音色、键位和力度，然后发一个Note On（开音码）的事件，开始发音，并计数（Tick）；时值到期的时候，再发送一个Note Off（关音码）。整个事件完成。

从理论上说，MIDI技术涵盖了几乎所有的实际演奏情况。熟练掌握MIDI知识和多加练习并融入自己的乐感，就能制作出以假乱真的音乐。

综上所述，脑机接口是一种新型的控制技术。它通过各种方式获取到纯模拟的脑波信号并转换成为数字信号，用于驱动外部设备。MIDI设备本身就是一种全数字化的设备，属于计算机数控技术在音乐领域的一个分支。MIDI设备是通过被控制，才发出我们需要的声音。

我所设想的通过脑电波来演奏钢琴的方式，与MIDI技术紧密相连。通过某种还未产生的协议或技术，使脑电波直接与MIDI Mapper（MIDI映射表）对应起来，这样便能驱动音源播放曲目或是驱动机械手来演奏钢琴。

二、对通过脑机接口演奏钢琴的思考

（一）优点

应该可以说，再也不用长年累月的手指练习了。那种枯燥和痛苦，业余爱好者是不大能够体会到的。换个角度来看，更多的业余爱好者有可能通过脑机接口成为钢琴大师。因为艺术表现完全靠思维，意思是演奏者的意识到哪里演奏就到哪里。可以预见，这将会形成一种全新的音乐表演形式。艺术表现力不用再靠多年练习积累，而是完全依靠个人修养。这时候专业院校日常的专业副课将会大显神威。

很多人可能不大理解这个观点，但圈内的专业人士应该都深有体会。专业院校的专业课程只是其核心竞争力的一部分，另外一部分是专业副课。优秀的专业老师可能在社会上同样能找到，但辅助的课程和大量的训练是无法在社会上轻易获取的。仅以音乐教育中的视唱练耳、和声两门课程为例。在国内各大专业音乐学府中，视唱练耳、和声这两门课的教学方式和目标就远高于国内其他院校的音乐专业。这些专业学府的很多学生经过几乎可谓“变态”的训练之后，横向的音乐素养远高于国内其他院校音乐专业的学生。特别是部分院校的附小、附中的学生。经过近10年的训练，听辨和乐理方面的职业能力可谓“变态”。在本科阶段，基本可以算是“傲视群雄”了。除了视唱练耳、和声两门课程之外，还有音乐美学、音乐欣赏、中西方音乐史、曲式、复调等等一系列的课程。这些课程合在一起，使学生们的整体音乐素养远高于业余人士。他们对音乐或艺术作品的理解和把握远超业余选手。

在实现了脑机演奏之后，不用再经过长年累月的手指机能训练，而空出来的时间也许会更多投入到美学、音乐史等专业副课的学习上，也许还有绘画等非音乐但同样需要美学功底的横向艺术项目上。最终能碰撞出什么样的火花，我很期待。

（二）缺点

说实话，很可怕，细思极恐。

常年的手指技能训练，使我们在演奏的时候根本不需要考虑哪个手指弹哪个琴键，这是一种肌肉记忆。长年的练习基本都会具有一种本能，就是眼睛看到五线谱上的内容，无需反应就能在琴键上表达出来，而且准确率很高。

举一个例子来说明。应用软件通过操作系统驱动底层机器实现相应功能，无需控制芯片的每一个开关要干什么。我们在用的时候，只需要用好我们自己的应用软件就行了，根本不用管它跟操作系统和底层芯片之间到底发生了什么。在钢琴演奏这里就是，眼睛看过五线谱之后产生相应的脑波，脑波通过生物电流等等方式控制身体、手臂、腿脚来完成演奏，而不需要仔细想哪一个手指来弹哪一个琴键。这一切都不需要我们特意地控制它，大脑自己就完成了这一切。一切都是那么水到渠成的事情，可转移到脑波演奏上，那麻烦就来了。

脑波演奏，有可能需要每一个音符都要先想到才会发声，从而变成需要人为的控制每一根肌肉，才能正常地操纵身体来演奏。因此，简单地演奏单旋律都成为了一种奢望。这好比是操作系统出现之前的电脑系统，那真的仅仅是一小撮人才能使用的奇怪机器。钢琴这种多声部的演奏，需要同时想到每一个声部的每一个音才能演奏。几百年来，钢琴演奏从来都不是这样的，这是不可想象的。相对于钢琴演奏，脑机接口的数据精度和通道数量必须成倍增长，才能跟上演奏的需求。这一切什么时候能到来，我看不到。借用一句老话，“蜀道难，难于上青天”。

三、挑战

现代操作系统诞生之初，计算机的每一个动作都需要编制天书般的二进制代码构成的程序，用以告诉芯片该干什么、开哪个门关哪个门。世界上第一台通用计算机“ENIAC”，每秒钟进行5000次运算，让它工作必须全部人工编写一个完整的程序，指导机器每一步的动作。相比之下这貌似还能接受，因为现代操作系统，上千万行的代码，一个人是不可能完成的。所以，软件编译工具产生了，解决了人和机器之间的交流问题；操作系统产生了，计算机使用者不需要再直接跟编译系统和底层机器代码打交道了。解决了这两个问题之后，电脑才真正地普及了，才逐渐有了我们现在所见到的数码世界（图3）。

图3 系统自带科学计算器中界面下，1234567890数字串相对应的十六进制、十进制、八进制、二进制数字串的截图

目前脑波演奏钢琴的技术状态，似乎正处于“ENIAC”诞生之前的“黑暗”时期。目前后段的MIDI技术已经成熟，无论从通讯协议、应用软件还是硬件，都非常发达。就连演奏用的机械手都已经诞生（先不论好坏，总有一天会完善的）。而前端的软硬件，一切都是未知数。没有“ENIAC”，甚至制造“ENIAC”的“电子管”都还在研发中。就算有了“ENIAC”，还需要一个类似于编译工具和一种专用的批命令程序，才有可能驱动乐器，或者演奏乐器的机械手。而这两者的研发，才是脑波演奏钢琴的真正挑战。它的诞生之日，将是脑波演奏的春天的开始。

四、结语

纵观人类历史，绝大部分的新技术都会被首先用于两个方面。一个是军事，另一个就是艺术。脑机接口作为一个跨多个行业的新技术，也不例外。在军事方面，多年前就开始有专门定制的设备用于飞机驾驶等方面。而艺术方面，目前还真没看到相关的发明。正如前文所述，脑机接口需要一个全新开发的通讯协议和一种编译工具和某种批命令程序才能逐渐完善起来，而这个完善需要一个漫长的过程。若想在音乐演奏方面有所建树，真心需要音乐、工程、生物等等各行业人才的共同努力。也许真正到了那一天，我们将目睹全新乐器“脑琴”的诞生!