基于脑电波芯片的自动化音乐创作系统

黄志方，刘博元，申林

基于脑电波芯片的自动化音乐创作系统

黄志方，刘博元，申林

透过脑电波，藉以反应人脑的思考状态，并透过研究中所设定的机制，将使用者的脑波自动转换生成音乐，以表达当时用户的情感。本研究除了运用微电脑研发一套可携式脑电波设备，并整合计算机音乐软件，采用随机音乐之概念，以中国传统五声音阶作为原始音乐素材，并运用纯律系统，籍由脑波传感器拾取测试对象的脑波进行调制，透过音乐节奏参数与脑波参数的对应关系，得到合理的结果。最后对无音乐基础的聆听者测试对象进行实验，并配合实验的问卷调查，从而论证没有受过音乐训练的人均可透过本研究之自动化音乐生成技术，产生可反映人们脑波的音乐，能使用户的情绪得到舒缓，未来将可应用于教育、疗愈与游戏娱乐之功能。

脑电波；纯律系统；自动化音乐生成

0 引言

EEG（electroencephalographic）脑电图透过电路与软件撷取之机制，可记录大脑各区域电压的变化，显示人类大脑活动[1,2]，在二十世纪中则开始应用于反应人类心理状态的领域[3]。EEG实验证实了人们聆赏音乐可以对情绪有相对应的关系，例如α波段对于音乐节奏的改变较为敏感[4]，若聆赏不同类的音乐，已证实会时脑波功率频谱有不同的反应[5]。聆赏快乐与悲伤等不同情绪的音乐会引起额中线附近θ波[6]，这些反应在具有系统化学习音乐经历的专业演奏员身上将更为显着[7]。

早在1965年，Alvin Lucier就使用EEG讯息，透过一定的处理与转换而产生音乐作品[8]，如图一所示：

图1 艺术创作者Alvin Lucier 脑波音乐作品

近年来也有一些运用EEG自动、实时创作音乐的例子，如英国的Miranda运用脑电波整合并控制自动演奏钢琴，可产生并控制音乐片段的速度与节拍等[9]，如图2所示：

图2 Miranda运用脑波控制自动演奏钢琴的弹奏

由于传统脑电图需要比较复杂且数十个电极点来测试受测者脑部的EEG讯息，在娱乐与简易生物回馈方面领域的应用并不便利，因此近年来有些简易的脑机接口（Brian-Computer Interface，BCI）问世，可作为连接大脑和计算机的桥梁[10]。本研究则采用Neurosky公司的TGAM芯片模块[11]，自行制作样机，让一般没有受过音乐训练的人均可透过本研究之自动化音乐生成技术来产生可反映人们脑波的音乐。

1 方法

本研究所采用的脑波EEG微电脑系统芯片为Neurosky公司的TGAM芯片模块，透过该模块所提供与音乐交互的生物信息，除了功率频谱（PS, Power Spectrum），还有原始脑波数据（RD, Raw Data）等值，各波段特征定义如表1所示：

表1 脑电波各波段特征定义 (NeuroSky 产品白皮书“Brain Wave Signal（EEG） ofNeuroSky， Inc.”）

并分别指示出受测者的「专注度」（Attention，注意力集中程度）和「冥想度」（Meditation，放松程度）。

虽然Neurosky在产品手册中并未公布如何获得这二值的具体算法，但已有国内外学者在一系列的实验中对eSence™值的有效性做出了评估，结果表明该值能客观反应测试对象的精神状态[12-14]。此外，信号强度（SQ）值可以供我们评估当前脑电信号的采集质量，作品系统根据脑电信息的有效性决定是否将其采纳用于交互。其主要输出参数如图3所示：

图3 脑波仪TGAM模块主要系统参数输出

本研究系统在音高生成方面，可自动随机产生音阶系统：中国传统音乐的五声音阶，其重要特征是指宫、商、角、征、羽这五个音，可分别对应于我们今天所熟悉的“Do、Re、Me、Sol、La”[15]。

在音律系统方面，传统的民乐音乐治疗领域，存在许多以古琴治疗心理或生理疾病的案例[16-18]，因着古琴曲“节奏缓慢，旋律舒缓，音色优美，静而不喧”。其优美音色的背后其实质乃“古琴有纯律”[19]。古琴曲中因着纯律音程的存在，具有公认的情绪舒缓作用，而纯律在和声方面的运用。因着其符合自然泛音列的特点，“当和声纵向排列时，和弦音就像是泛音列中的音被放大、加强，并不会产生不协和、刺耳的音响，反而是使和声更加的协和、饱满”[20]。因此本研究乃舍弃西方十二平均律，改采用纯律为系统音律之基石。

若以图四所表示之泛音列，宫音（Do）基础 频率为4f，则在同一个八度内的商音（Re）基础频率为 9f/2 = 4.5f；角音（Mi）为5f；征音（Sol）基础频率为6f；羽音（La）基础频率为13f / 2 = 6.5f。

因此，纯律的中国五声音阶之频率比值关系为：

宫：商：角：征：羽 = 4：4.5：5：6：6.5，如图4所示：

图4 泛音列与整数倍频率的音高关系

各泛音的强度也是构成音色的主要因素之一[21]，将用于加法合成的各振荡器的振幅与演奏者当前的EEG状态相关联，有助于使得音乐的音色随着演奏者EEG功率谱上各波段的起伏而变得丰富多彩。其映像方式为：将从低频到高频的各波段功率数值，与从生成低倍率泛音与高倍率泛音的各振荡器（OSC）输出信号的振幅相关联，如图5所示：

图5 脑波转换为泛音振幅控制之加法合成

作为音乐特征的强度，其数值由当前Attention值Meditation值之和决定，即演奏者的专注度和冥想度，将实时控制整首乐曲的强弱。在节奏产生方面，本研究系统运用音长与音符密度这两个音乐参数均与Medita -tion值呈反比的生成方式来控制，使得音乐的节奏性可反映出脑波的状态。例如图6所示：

1123(3)工作面走向长2 190 m，面长260 m，平均煤厚4.2 m，原始瓦斯含量5.3 m3/t，配风量2 290 m3/min，回风瓦斯浓度0.15 %，绝对瓦斯涌出量14.3 m3/min。工作面煤层顶板为复合顶板，以泥岩、砂质泥岩、细砂岩、13-2煤、14煤、15煤为主，少量粉砂质泥岩及花斑泥岩，其中13-2煤约厚0.26 m，14煤约厚0.66 m，15煤约厚0.22 m。

图6 本研究系统音长 (Duration) 在不同冥想度 (M, Meditation) 之反比关系

当Meditation值为10 (M=10)，则产生的音乐节奏偏向于振奋型的短音符且音符密度高的振奋型音乐状态；当当Meditation值为90 (M=90)，则产生的音乐节奏偏向于长音符，且音符密度低的舒缓型音乐情境。

综整上述概念，本研究脑电波- 音乐自动生成参数对应关系如图7所示：

图7 脑电波 - 音乐自动生成参数对应关系

包括从纯律生成之音律系统，到中国传统五声音阶之音高筛选生成、音长和音符密度对应至EEG Meditation放松程度呈反比的节奏生成方式，乃至加上适度混响等效果器的运用。

本研究的整体工作过程包括下列项目：

读取脑电波EEG讯息：透过PC程序读取表演者所穿戴微电脑系统之脑电波装置EEG基本讯息；

脑波与音乐参数对应机制：运用PC程序透过如前所述之脑波Meditation参数值，与音乐参数之节奏与MIDI音符长短等对应机制，透过随机方式产生适当之音符事件；

自动音乐生成系统：本研究之PC程序整合上述逻辑运算于Max/MSP程序中，产生音高、音长与节奏等，自动创作音乐；

混响音效系统：程序加入适当之延迟混响音效，以适合脑波音乐之氛围；

脑波音乐生成：将程序所产生之音符事件透过MIDI机制送至计算机音频系统播放音乐，以回授予表演者与一般听众聆赏。

本研究整体工作过程之程序框图如图8所示：

图8 工作过程程序框图

2 实验

本研究在PC软件方面采用Max/MSP交互音乐程序是Cycling74公司开发的一个交互式编程语言与开发环境[22]，其采用了图形化的编程界面。Max/MSP程序的工程文件（patch）由对象（object）构成，一种对象通常有一个或若干个专用于某一方面的功能。通常一个Max/MSP patch内部会包含若干不同种类的对象，程序运行时，这些彼此连接的对象依照自身功能互相通信，进行数据的处理。用Max/MSP进行编程，实际上就是将各对象按一定规则进行连接，将不同对象的功能进行组合，让设计的功能得以实现。本研究的基本Max/MSP程序接口如图9所示：

图9 本研究所采用之TGAM EEG Max/MSP 图形化接口设计

在硬件实践方面，如图10所示：

图10 本研究采用TGAM模块的便携式脑机接口BCI

本研究采用TGAM模块，并使用Arduino微电脑系统整合，自行开发了一套可透过蓝芽传递脑波讯息至计算机的便携式脑机接口BCI，使用者只要将脑波仪戴在头上，并将电极接触点夹于耳，藉由音乐聆赏，便可进行相关实验。

本研究的测试流程，从程序开始，让受测者闭上双眼聆赏音乐，使演奏者EEG讯息自动产生，进入反馈式计算器自动作曲程序，最后自动生成音乐，程序结束，如图11所示：

图11 脑波音乐测试流程

在娱乐模式之应用方面，本研究系统可透过表演者穿戴脑电波装置刻意的「冥想」，在娱乐或表演艺术场合下让自动生成的音乐亦同时播放给现场所有听众聆赏，并透过如图9所示之TGAM EEG Max/MSP 图形化接口显示予听众理解表演者的冥想程度，成为一种具有舞台互动特性之娱乐表演项目，亦可发展APP成为独立之手机互动游戏。

本项脑波音乐研究系统曾于2015上海音乐学院主办之国际电子音乐周、2015上海艺术科技馆等地展示，获得不少民众广泛讨论。上海艺术科技馆展示现场获上海电视台采访实况如图12所示：

图12 本研究脑波音乐系统于2015上海艺术科技馆展出实景

根据10位无音乐专业背景人士所量测之问卷，本研究在脑波音乐相关反应的结果如表2所示：

表2 本研究脑波音乐对于各项问卷调查之结果

根据此项调查结果，“脑波音乐可正确反映当下情感”获得了超过90%的满意度，其次为“脑波音乐与音乐内容之相关度”与“脑波音乐之愉悦度”，均为80% ~ 90%的满意度，“脑波音乐生成作品之完整性”方面则获得了70%~80%的满意度。

3 总结

本项脑波音乐应用微电脑整合音乐科技的技术，经过人机交互的形式演奏，更将其扩展成为一种对外开放的，邀请观众亲自体验的艺术形式。观众在体验音乐创作的过程中，不仅完成了作品，自身也成为作品的一部分，这样的理念源自杜尚的格言“观众完成了艺术品”。本研究之脑波音乐系统并只要求演奏者具一定的意念控制能力以及音色感知能力即可，并不要求演奏者需具备音乐背景，经过生物反馈训练，大致上能够顺利地提高降低专注及冥想，从而使音乐更具段落性、作品性。演奏过程以即兴为主，要求配戴脑波仪的演奏者控制专注、冥想到指定程度。演奏的终止由软件内置的定时器触发，将用于交互的EEG信号切断后音乐随即停止，混响效果会使得最后一个乐音的残响继续存在约十秒左右，形成一个淡出的、空灵的余音。但现实中，由于人的意念很大程度还是会受到环境影响，包括现场的灯光、温度，甚至气味。因此需要有足够的前期训练，同时对于演奏中给予演奏者适当地引导，方可朝向具有意念导引的自动生成音乐产生。未来此项研究可逐步改善其使用性与音乐性，应可应用于智能学习、音乐舒缓、娱乐等产业中，为新的物联网世代增加有趣的发展可能。未来本研究将可进一步改善并扩大整合自动音乐生成系统之范畴，制定各种用户所需之音乐风格，让脑波自动生成音乐可具更丰富而多样之面貌，甚至可发展手机APP，并可透过云计算与人工智能深度学习之整合，使得本研究走入家庭，具有更广之使用性。

[1] Broetz, D., Braun, C., Weber, C., Soekadar, S. R., Caria, A., & Birbaumer, N. Combination of brain-computer interface training and goal-directed physical therapy in chronic stroke: a case report. Neurorehabilitation and Neural Repair, 2010.

[2] Guger, C., Ramoser, H., & Pfurtscheller, G. Real-time EEG analysis with subject-specific spatial patterns for a brain-computer interface (BCI). Rehabilitation Engineering. IEEE Transactions on, 2010, 8(4): 447-456.

[3] Wagner, M. J. Brainwaves and biofeedback: A brief history. Implications for music research. Journal of Music Therapy, 1975, 12(2): 46-58.

[4] Ma, W., Lai, Y., Yuan, Y., Wu, D., & Y, D. Electroencephalogram variations in the α band during tempo-specific perception. NEUROREPORT, 2010, 23(3): 125-128.

[5] Pavlygina,R. A., Sakharov, D. S. & Davydov,V. I. Spectral Analysis of the Human EEG during Listening to Musical Compositions. Human Physiology, 2004, 30(1): 54-60.

[6] Sammler, D., Grigutsch, M., Fritz, T., & Koelsch, S. Music and emotion: electrophysiological correlates of the processing of pleasant and unpleasant music. Clinical Chemistry, 2007, 44(2): 293-304.

[7] Mikuttaa, C.A., Maissenb,G., Altorferb,A., Strika,W. & Koenigb,T Professional musicians listen differently to music, Neuroscience, 2014, 1(268): 102-111.

[8] Pressing, J. Cybernetic issues in interactive performance systems. Computer music journal, 1990, 14(1): 12-25.

[9] Miranda, E. R. Brain-computer music interface for composition and performance. International Journal on Disability and Human Development, 2006, 5(2): 119-126.

[10] Vidal, JJ Toward direct brain-computer communication. Annual review of biophysics and bioengineering, 1973, 2 (1): 157-80. doi:10.1146/annurev.bb.02.060173.001105 PMID 4583653.

[11] Liu, N. H., Hsu, H. M., Chu, H. C., & Hsu, S. H. Intelligent Music Player for Bike Sport Using Electroencephalogram and Global Positioning System Sensors. Sensor Letters, 2003, 11(5): 772-780.

[12] Crowley, K., Sliney, A., Pitt, I. & Murphy, D. Evaluating a Brain-Computer Interface to Categorise Human Emotional Response，Advanced Learning Technologies (ICALT), 2010 IEEE 10th International Conference on. IEEE, 2010, 2010:276-278.

[13] Vourvopoulos, A., & Liarokapis, F. Evaluation of commercial brain-computer interfaces in real and virtual world environment: a pilot study, Computers & Electrical Engineering, 2014, 40(2): 714-729.

[14] Katona, J., Farkas, I., Ujbanyi, T., Dukan, P., & Kovari, A. Evaluation of the NeuroSky MindFlex EEG headset brain waves data. Applied Machine Intelligence and Informatics (SAMI), 2014 IEEE 12th International Symposium on 2014, PP: 9-94.

[15] 刘伟. 浅谈五音疗法的理论基础. 国医论坛, 2003, 18(5): 17-17.

[16] 边江红. 古琴音乐疗法概况及其对中风后抑郁症的治疗浅析. 湖南中医杂志, 2012, 28(4): 144-145.

[17] 风美茵,汪卫东. 古琴音乐干预原发性失眠的临床疗效和心身机制探讨. 国际中医中药杂志, 2013, 35(5): 428-430.

[18] 郑晓燕. 古琴音乐疗法配以保健穴防治心血管疾病的初步研究. 中国民族民间医药, 2014, (14): 26-26

[19] 顾震夷. 纯律,中国的骄傲. 人民音乐, 1993, 11.

[20] 孙克利. 五度相生律、纯律、十二平均律律制之美. 北方音乐, 2014, (07): 5-5.

[21] 张宝生. 浅谈听觉激励器的原理和应用. 音响技术, 2011, (3): 59-62.

[22] Jensenius, Alexander Refsum, Rolf Inge Godøy, and Marcelo M. Wanderley. Developing tools for studying musical gestures. within the Max/MSP/Jitter environment (2005): 282-285.

EEG Chip-based Algorithmic Music Composition

Huang Zhifang1,2, Liu Boyuan1, Shen Lin1
(1. Shanghai Normal University, Shanghai 200336, China; 2. Kainan University, Taoyuan, Tai wan 338, China)

This research is mainly based on the EEG （Electroencephalographic） data to reflect human’s thinking situation， via the proposed settings and mechanism, to transform the brainwave data into the generative music automatically, in order to express the user’s emotion. This research not only uses microcomputer to develop a set of portable EEG equipment， but also integrates computer music software, to generate the randomized music with traditional Chinese pentatonic scale as the raw material. The just intonation system is also adopted to perform the brainwave music transformation, with the mapping relationship between the brainwave of subject listener and music features, to obtain a reasonable result. Finally a questionnaire for the non-musicians has been performed, to prove that the people without music training can accept the proposed automated music composition from the brainwave, to alleviate user’s mood. Hopefully it can be applied into the fields including education， healing, and gaming entertainment.

EEG; Just Intonation System; Automated Music Composition

TP311

A

1007-757X(2016)08-0069-05

2016.06.20）

黄志方（1965-），男，中国台湾台北市，上海师范大学、台湾开南大学，副教授，博士；研究方向：音乐科技，桃園，338

刘博元（1989-），男，上海，上海师范大学，硕士，研究方向：音乐数字媒体，上海，200336

申 林（1970-），男，河南新乡市，上海师范大学，副教授，硕士；研究方向：电子音乐，音乐剧音乐作曲，上海，200234