基于脑机数据集中处理的辅助钢琴训练方法
2019-09-10聂文斐关義轩王一歌曹燕
聂文斐 关義轩 王一歌 曹燕
摘 要：传统的钢琴训练方法及系统通常以心理学规律为设计原理，而伴随着脑科学的发展、可穿戴设备的普及以及脑机接口技术的逐渐成熟，设备和技术的成熟使得利用脑机装置采集生理数据辅助训练者进行训练成为可能。本文提出了一种通过脑机接口技术的辅助钢琴训练方法，主要功能包括音乐偏好测试部分和休息时间确定部分。这种钢琴训练方法通过脑电波数据的采集与集中处理，一方面能利用音乐推荐算法得出测试者的偏好音乐类型库，生成测试者的音乐偏好曲目，另一方面通过结合生理数据和心理学规律，确定具有最佳训练效率的训练和休息时长，并为训练者提供可以让其有效放松的音乐，帮助其消除疲劳，使其学习效率得到显著提升，从而帮助训练者更好地掌握技能。
关键词：钢琴训练方法;脑电波数据;音乐偏好测试
中图分类号：TN911.6;TP274 文献标识码：A 文章编号：2096-4706（2019）14-0008-03
An Assisted Piano Training Method Based on the Centralized Processing of
Brain-Computer Data
NIE Wenfei，Guan Xixuan，WANG Yige，CAO Yan
（South China University of Technology，Guangzhou 510641，China）
Abstract：Traditional piano training methods and systems are usually based on psychological principles. With the development of brain science，the popularity of wearable devices and the gradual maturity of brain-computer interface technology，it is possible to use brain-computer devices to collect physiological data to assist in training. In this paper，an assisted piano training method through brain-computer interface technology is proposed. Its main functions include music preference test and rest time determination. Through the brainwave data acquisition and concentrated processing， this piano training method can on the one hand obtain music preference library of the trainer using music recommendation algorithms，and on the other hand，through the combination of physiological data and psychology rule，determine the training with the best efficiency and rest time，provide the trainer relaxing music to help them eliminate fatigue and significantly improve learning efficiency，so as to grasp skills better.
Keywords：piano training methods;brainwave data;music preference test
0 引 言
傳统的钢琴训练方法及系统多利用心理学规律进行人工设计，近年来，脑科学的发展、可穿戴设备的普及以及脑机接口技术的逐渐成熟，使得利用脑机装置采集生理数据辅助训练成为可能。工业界现已有较为成熟的设备和方案;如神念公司（NeuroSky）提供有完整的脑机装置、脑电算法以及数据分析API/SDK。因此，我们可以尝试利用现有的脑科学技术，通过采集脑电波数据和数据的集中处理，同时结合其他生理或心理学规律[1]，提出一种效率更高的钢琴训练方法。
1 相关研究
目前，在脑电设备技术领域，脑电技术也日趋成熟，许多研究也取得了较好的成果，如文献[2]提出了一种基于脑机交互的注意力训练方法及系统，通过在日常生活与学习过程中，获取训练者的注意力训练结果，便于对训练者的专注度问题进行干预训练，而文献[3]提出了一种面向虚拟现实应用的多通道自适应脑机交互方法，解决了目前基于虚拟现实的脑机交互方法中存在的单用户、功能单一的局限性。我们所聚焦的钢琴训练其实离不开音乐推荐系统[4]，而如何利用脑电技术以及音乐推荐来解决钢琴训练的问题也成为了相关研究者们的关注重点，如文献[5]提出了基于脑机交互的音乐情绪化推荐方法，通过采集用户的脑电信号自动搜索对应情绪的音乐推荐给用户，该方法可为婴幼儿音乐培养、睡眠治疗和音乐搜索带来新的途径。于是，在目前相关工作的基础上，我们可以将脑机交互技术和音乐推荐方法应用到钢琴训练方法的改进中，以提高学习者的学习效率，促进新型钢琴训练方法的推广。
2 基于脑机数据集中处理的辅助钢琴训练方法
2.1 方案概述
在本文中，我们将提出一种基于脑机数据集中处理的辅助钢琴训练方法，在脑机系统方面，我们将采用三触点脑机接口设备采集脑电数据，通过采集不同脑区的脑波数据发送到集中处理平台，集中处理平台分析和建模后发送控制命令，指导训练者进行训练和休息，并提供给训练者有效的休息方式。
心理学研究中的莫扎特效应是一种通过让测试者倾听一定时间的类似莫扎特曲风的音乐，可以显著提高测试者认知表现的现象[6]。在提出的钢琴训练方法中，通过采集学习者脑电数据确定学习者的休息时刻，再结合学习者的音乐偏好，播放一定时间的具有莫扎特效应的音乐，帮助训练者更快地消除疲劳。同时，这种训练方法通过结合生理学数据和心理学规律，可较显著地提高学习者的学习效率。
具体方案实现主要包括音乐偏好测试和休息时间确定两个部分。音乐偏好测试部分在给测试者佩戴脑机采集装置后，播放不同曲风的音乐，分别采集测试者倾听不同曲风的音乐时的脑电波数据，发送到集中处理平台，计算出测试者在不同曲风环境下的大脑放松度，结合测试者的历史音乐数据，用推荐算法得出测试者的偏好音乐类型库，生成测试者的音乐偏好曲目。休息时间确定部分在训练者弹钢琴的时候通过脑机装置采集训练者的脑电波数据，定时发送到数据集中处理平台计算训练者该时间段的专注度和用脑量，当训练者的专注度低于给定的阈值时，提示训练者进行休息，并自动播放训练者个人偏好音乐库中的音乐，设定播放时长为T2，并根据训练者接下来的训练时段时长反馈调节下一个休息时长。通过结合训练者的生理数据和心理学规律，确定具有最佳训练效率的训练时长和休息时长，通过为训练者提供对其放松最有效的音乐，帮助其有效消除疲劳，显著地提高训练者在单位时间内的学习效率，从而帮助训练者更好地掌握技能。
接下来两个小节将详细阐述音乐偏好测试和休息时间确定两个部分的详细步骤。
2.2 音乐偏好测试
本文的实验系统采用3通道单触点脑电接口设备，可采集大脑的8种原始脑电波数据，脑机接口设备会每隔固定时间T1（T1=2s）向数据集中处理平台发送数据包，数据包中包括原始脑电信号数据，包括8种原始脑电波，集中处理平台先对原始脑电信号进行滤波，判断脑电波数据的可信度，如果可信度较低则丢弃，将滤波和判断后的脑电波里的数据通过神念公司提供的eSense算法计算用户的用脑量、专注度、放松度等指标，用脑量、专注度、放松度均映射为0—10区间的数值，便于分析和比较。
接下来结合图1具体阐述训练者音乐偏好测试部分的步骤。
步骤1：各模块初始化，测试者佩戴脑电接口设备后，模块相互之间发送测试信号，经集中处理平台确认后系统通信正常，工作正常;
步骤2：在音乐播放库M中分别添加m种曲风类型的音乐（保证m>n且M覆盖N，N为历史音乐记录，n为历史音乐记录分类种数），设置每种曲风类型的音乐的播放时间均为T3（T3=10min），每种音乐播放结束后将播放时间内的脑电波数据发送到集中处理平台处理;
步骤3：将用户听曲风p类型音乐时的脑电波数据通过eSense算法计算用户对应的放松度和用脑量，将计算后的平均放松度a（p）和平均用脑量b（p）存入到脑机处理数据库中;
步骤4：按照步骤3的方法分别测试出听其他风格类型的音乐的平均放松度和用脑量并存入到脑机处理数据库中;
步骤5：将用户的历史音乐记录N输入集中处理平台，并根据音乐分类算法对用户的历史音乐记录分成n类，统计曲风p音乐出现的频率计算出用户对于曲风p音乐的偏好度c（p），存入脑机处理数据库中;
步骤7：通过加权公式计算出曲风p音乐对用户的“莫扎特效应”有效度EX（p）=α*a（p）+β*b（p）+γ*c（p），其中α+β+γ=1;
步骤8：运用步骤7中的方法分别计算其他风格类型的音乐的“莫扎特效应”有效度;
根据所有风格音乐“莫扎特效应”有效度从高到低的顺序生成测试者的音乐偏好库。
2.3 休息时间确定
本节结合图2具体阐述训练者休息时间确定部分的步骤。
步骤1：各模块初始化，测试者佩戴脑电接口设备后，模块之间相互之间发送测试信号，经集中处理平台确认后系统通信正常，工作正常;
步骤2：设定时间窗口为T1，训练开始，每隔T1时间长度脑机接口设备将训练者的脑电数据发送到集中处理平台，集中处理平台通过脑电算法，即eSense算法分别计算出训练者在T1时间内的平均专注度e（x）和用脑量d（x）;
步骤3：将训练者在T1时间内的平均专注度e（x）和用脑量d（x）分别与系统设定的平均专注度阈值e（th）和用脑量阈值d（th）进行比较，本T1时间段内平均专注度e（x）
步骤4：判断接收到的数据包否是第一个数据包，如果是第一个数据包，返回步骤2，否则，进入步骤5;
步骤5：将上一个T1时间段内的flag值flag（pr）与本T1时间段实时计算出的flag（rt）值进行与运算，运算后的结果存入指示变量res=flag（pr）& flag（rt）;
步骤6：实时判断res值，若res>0，则提示训练者进行休息，记录已训练时长T（al），并更新已训练总时长T（sum），否则，返回步骤2;
步骤7：启动音乐播放模块，根据音乐推荐库按偏好度从高到低的顺序播放音乐，播放时长为T2（T2=15min）;
步骤8：实时判断上一个T1时间段内训练时长T（alp）与T（al）的大小，如T（alp） 步骤9：判断已训练总时长T（sum）是否大于最大训练时长T（max），如果已超过最大训练时长，则提示训练者训练结束，关闭系统;否则，返回步骤2。 3 结 论 本文将脑机接口技术、脑电波数据处理技术以及音乐推荐技术应用到钢琴训练中，提出了一种基于脑机数据集中处理的辅助钢琴训练方法，这种钢琴训练方法通过脑电波数据的采集与集中处理，一方面能生成测试者的音乐偏好曲目，另一方面可确定具有最佳训练效率的训练时长和休息时长，同时还能够提供对训练者放松最有效的音乐，有效帮助训练者消除疲劳，使训练者在单位时间内的学习效率得到显著提高，从而帮助其更好地掌握技能。 参考文献： [1] 刘勋，吴艳红，李兴珊，等.认知心理学：理解脑、心智和行为的基石 [J].中国科学院院刊，2011，26（6）：620-629. [2] 曹晓明.一种基于脑机交互的注意力训练方法及系统，中国专利：CN106708261A [P].2017-05-24. [3] 李遠清，瞿军，肖景.一种面向虚拟现实应用的多通道自适应脑机交互方法，中国专利：CN107329571A [P].2017-11-07. [4] 陈雅茜.音乐推荐系统及相关技术研究 [J].计算机工程与应用，2012，48（18）：9-16+47. [5] 王蔚，袁海云，夏棋，等.基于脑机交互的音乐情绪化推荐方法，中国专利：CN103412646A [P].2013-11-27. [6] 黄君.莫扎特效应的实验研究 [D].重庆：西南大学，2009. 作者简介：聂文斐（1964-），女，汉族，河南新乡人，就职于国家移动超声探测工程技术研究中心，副主任，本科，研究方向：信号检测;通讯作者：曹燕（1980-），女，汉族，重庆人，副教授，博士，研究方向：声信号处理。
