脑机接口范式及其脑电数据集研究进展
2024-09-23王井辉高娟李恳王子徐玉洁任涵李泽光张雨婷
摘要:脑机接口(brain-computer interface,BCI)是指人脑与外部设备之间创建直接连接,实现脑与设备的信息交换。临床医生可以使用不同方法监测大脑活动,脑电图已被用作测量大脑活动的最常用方法,具有高时间分辨率、便携性和易用性。对于患有严重运动障碍的人,BCI成为一种可行的人机界面,可以让这些患者与外界互动,帮助改善他们的生活质量。它与传统的康复方式不同,可以充分调动患者的训练积极性。综述近年来BCI领域的各项研究成果以及脑电数据集,希望能促进神经科学中脑卒中康复领域的发展。
关键词:脑机接口;脑电图;数据集;脑卒中;运动想象
DOI:10.3969/j.issn.1674490X.2024.04.004
中图分类号:R49""""" 文献标志码:A""""" 文章编号:1674490X(2024)04002109
Advances on brain-computer interface paradigm and EEG datasets
WANG Jinghui1,2, GAO Juan2,3, LI Ken2,3, WANG Ziwen2,3, XU Yujie1,2, REN Han2,4, LI Zeguang2,4, ZHANG Yuting1,2
(1.Graduate School of Chengde Medical College, Chengde 067000, China; 2.Key Laboratory of Molecular Pathology and Early Diagnosis of Tumor in Hebei Province, Baoding 071000, China; 3.Department of Neurology, Baoding No.1 Central Hospital, Baoding 071000, China; 4.Graduate School of Hebei Medical University, Shijiazhuang 050000, China)
Abstract: Brain-computer interface (BCI) refers to the creation of a direct connection between the human brain and an external device to realize the exchange of information between the brain and the device. There are different methods clinicians can use to monitor brain activity, and electroencephalogram (EEG) has been used as the most common method to measure brain activity, with high temporal resolution, portability, and ease of use. For people with severe movement disorders, brain-computer interfaces become a viable human-machine interface that allows these patients to interact with the outside world, helping to improve their quality of life. It is different from the traditional way of rehabilitation and can fully mobilize the patient's enthusiasm for training. This paper reviews the recent research results and EEG data sets in the field of brain-computer interface, hoping to promote
收稿日期:20240408
基金项目:河北省“三三三人才工程”(A202002029)
第一作者:
王井辉(1999—),男,河北廊坊人,在读硕士,主要从事脑血管病、神经免疫病研究。E-mail: 1961158987@qq.com
通信作者:高娟(1972—),女,河北保定人,主任医师,教授,博士,硕士生导师,主要从事脑血管病、神经免疫病研究。E-mail: gaojuzhulia@163.com
the development of stroke rehabilitation in neuroscience.
Key words: brain-computer interface; electroencephalogram; datasets; stroke; motor imagery
脑卒中是世界人民的第二大死因,也是中国居民的主要死因。每年有超过200万例新病例,在中国常见疾病中,脑卒中是残疾调整后寿命损失最高的疾病[1]。为了改善脑卒中患者的生活水平,各种范式的基于脑电图(electroencephalogram,EEG)的脑机接口(brain-computer interface,BCI)被广泛应用。BCI系统通常由以下组件组成:信号采集、预处理、特征提取、分类(检测)、应用界面和反馈。它是一个以反馈为重要组成部分的闭环系统。BCI应用程序是在严重运动麻痹患者中建立通信,或是控制神经假体,或是执行神经反馈,视觉上向用户反馈有关预期行为成功或失败的信息[2]。基于EEG的BCI最近促进了BCI技术的发展和应用,因为他们具有便携、方便、安全和廉价的特点[3]。BCI的应用可以减少许多人力的投入,比如康复治疗师训练、家属的出行陪同。本文对近年来各种类型的基于EEG的BCI数据集进行分类整理。
1" 运动想象(motor imagery,MI)范式
MI是一个自主调节运动区域的过程,被描述为想象一个动作而不是执行一个真实的动作,但想象过程和真正的行为运动的脑电信号相似。在脑海中模拟运动的体验被称为MI,虽然没有真正进行身体动作,但大脑却在精确地模拟着动作的执行过程。BCI是一种科技,通过解读大脑的活动,使人类能够直接与外部设备进行交互,所以MI成为BCI技术中的一种重要方式,实际上MI是一种认知过程。即在大脑中精确地模拟运动活动而不进行实际运动。基于大脑皮质的神经可塑性,MI可以促进受伤大脑皮质运动区的功能康复[4]。相关研究已经证实,想象激活了大脑中负责产生实际运动的区域。大多数基于MI的BCI感觉运动节律(sensorimotor rhythm, SMR),特别是在真实和想象运动中发生的事件相关去同步(event-related desynchronization, ERD),真实和想象的手部运动的ERD相似[5]。ERD特征:ERD分类基于运动开始时对侧运动皮层的Rolandic μ节律(8~12 Hz)和Rolandic β节律(峰值约20 Hz)的降低[6]。μ节律是最显著的SMR之一,是α波段的振荡,当人们运动(或思考运动)时强度会降低,这被称为事件相关去同步[6-7]。基于这一原理,许多科研人员近年来进行了相关研究。
1.1" MI-BCI范式
早在21世纪初期,Scherer等[8]就将基于EEG的BCI提供的控制信号应用于虚拟环境,在其内部实现了导航。近年来,越来越多的研究致力于如何提高BCI性能,尤其是信号特征的提取和分类器精确性的提高。Faller等[9]提出一种自适应BCI框架,既可用于系统校准,又能用于用户培训。该研究针对快速设置和快速自适应训练进行优化,强调MI-BCI训练中早期反馈的重要性。目前自适应仍然是BCI领域面临的主要挑战,这要求机器能够最优地表达关于用户意图和自身行为的推断,Mladenovic等[10]提出一种主动推理框架,它具有较高的灵活性——该型号能够实现最佳(动态)停止,也可以实现最佳闪烁(即主动采样)、自动纠错,以及在用户不再看屏幕时关闭,这种方法使机器能够在所有这些可能的模式之间灵活地进行切换。
近年来,神经假体的问世使BCI从虚拟走向现实,一些科学家试图让假肢代替周围神经和肌肉完成日常生活中的一些动作,例如Witkowski等[11]介绍并测试了一种融合EEG和眼电图(electro-oculogram,EOG)的新型混合脑-神经-计算机交互系统,以增强连续手外骨骼驱动抓握运动的可靠性和安全性,与单独使用脑信号的系统相比,融合来自不同来源(例如EEG和EOG)生物信号的新型混合脑-神经-计算机交互系统可以在控制手外骨骼方面带来更好的性能[12]。此外,一些MI解码研究也取得重大进展,主要探讨肢体运动与大脑皮质电位的联系。最初,Yuan等[7]提出μ和β节律与执行/想象的手部运动之间也存在这样的关系。后来,Ofner等[13]分析了低频EEG信号时域中单个上肢运动的编码,并通过10名脊髓损伤患者的低频EEG解码了手臂和手的运动[14]。Schwarz等[15]研究展示了利用人类EEG的低频时域特征对两次抓取和一次手腕旋后运动的在线解码,所获得的校准数据的潜在EEG相关性在对侧中央感觉运动区显示出显著差异,这在很大程度上保留了从在线BCI使用中获得的数据。这些发现可能有助于开发一种更自然、更直观的基于BCI的辅助装置控制方式,如用于运动障碍患者的上肢运动神经假体。
1.2" MI-BCI数据集
数据集的缺乏在一定程度上阻碍了脑电-脑机接口更有效的数据处理和分析方法的发展,尤其是大的、统一的、可访问的数据集比较缺乏。Cho等[16]推出了一个公开发布的较大的BCI脑电数据集,它包括全头皮覆盖(64个电极)和52名受试者的数据,但每个受试者只有36 min和240个EEG图像样本,并且只有左右手MI交互范例。缺乏全面的公共脑电-脑机接口数据集是开发脑电-脑机接口新数据分析方法的一个重大缺陷。Kaya等[17]提出了更大更全面的数据集,该数据集包含了13名参与者75次训练中的60 h EEG BCI记录,60 000个心理想象和4个BCI交互范式,以及同一个人的多个训练记录和范式。BCI交互作用涉及多达6种心理想象状态,包括左手、右手、左腿、右腿和舌头运动图像,以及一个圆圈表示的被动想象,旨在研究通过EEG信号识别更精细MI的可能性。该数据集是迄今为止发布的较大的脑电-脑机接口数据集之一,在一致性、纵向和横向覆盖率以及交互复杂性方面,与现有数据集相比迈出了重要一步。
Ma等[18]描述了同一肢体不同关节MI的开放访问多受试者数据集,该数据集有助于分析同一肢体的大脑激活模式以及MI解码技术的研究。Stieger等[19]收集了一个大型纵向数据集,该数据集是迄今为止公开的较大和较复杂的SMR-BCI数据集之一,该数据集对MI-BCI领域具有特殊价值,EEG数据量足以训练大型解码模型, 样本大小允许测试解码模型和信号处理技术的推广程度, 对于开发BCI控制的改进算法有现实意义。Ma等[20]使用各种机器学习算法(包括深度学习)和受试者特定模型,为三种条件提供基准分类精度,即训练期内分类、跨训练期分类和跨训练期自适应,收集了来自25名受试者5 d不同时间的MI大数据集,这一新数据集将推动MI-BCI研究在解决跨训练期和跨学科挑战方面的进一步发展。Jeong等[21]在多次记录过程中获得了11种不同的上肢运动任务,提供了一个大的直观数据集,该数据集包括多个记录会话、单个上肢内的不同类别和多模态信号的数据,此研究可用于:比较与真实运动和想象相关的大脑活动;提高解码性能;分析录音会话之间的差异。近年来的研究中,Iwama等[22]提供了使用基于SMR的BCI期间的EEG数据,该数据由4个独立的数据集组成,所有EEG数据都是用高密度头皮EEG装置采集的,该装置包含覆盖整个头部的128个通道。所有参与者都被要求根据任务相关的SMR幅度功率衰减,即事件相关的去同步,执行右手运动的MI,作为控制BCI的策略。该数据集将使研究人员能够探索BCI学习效率变异的潜在来源,并促进后续研究,以测试数据集探索的明确假设。Dreyer等[23]共享了一个大型数据库,其中包含87名参与者的EEG信号,所有数据集都使用相同的协议记录:右手和左手运动图像,该数据集具有广泛的用途:研究BCI用户档案与其BCI性能之间的关系;研究不同用户档案和MI任务的脑电信号特性如何变化;使用大量参与者设计跨用户BCI机器学习算法;将用户档案信息纳入脑电信号分类算法的设计中。
2" 外部刺激范式
2.1" 视觉P300范式
基于EEG的BCI可用于控制外部设备,例如虚拟环境、假骨骼等,另外非常重要的应用是一种拼写设备,它可以帮患者向外界传递信息、辅助交流。与其他BCI范式相比,基于P300的BCI系统更适合快速和准确地拼写字符。Guger等[24]研究表明,P300 BCI系统可以使用约5 min的训练数据对大量非残疾受试者实现较高的拼写准确性。Riccio等[25]分析了注意力和记忆过程在控制基于P300的BCI方面的影响,并且Aricoò等[26]证实了P300诱发电位的时间稳定性较低,是BCI中隐蔽注意模式准确性下降的原因,视觉P300范式BCI性能进一步增强。近年来,Da等[27]改进了基于P300的BCI应用程序——P3CNET,它超越了从EEG信号中检测P300最先进的精度。这项研究强调了脑电信号预处理对优化模型训练的重要性,通过指示信号的最佳微调优化模型训练,还提出了一种通过避免多次不必要的重新校准简化获取程序的方法。事件相关电位(event-related potential,ERP)是一种特殊的诱发电位,反映大脑的生理活动和认知过程的不同方面,P300是经典ERP主要成分的一种,其他还有P100、N100、P200、N200。Ni等[28]提出的对抗性训练和时间建模可以帮助基于ERP的BCI成功应用于不同的受试者和不同的心理负荷,甚至同时应用,这减少了不同个体的校准工作量,使系统更加健壮、灵活和普遍实用。所提出的方法在更真实的环境中对有限且有点随机的大脑信号进行建模方面显示出了巨大的优势,这有助于开发通用的BCI,并使其应用于更广泛的领域。Gao等[29]最新研究展示了一个基于卷积神经网络和EEG数据的P300 BCI在线拼写系统,基于该研究的数据,可以在线构建零校准或缩短校准的P300 BCI。在不久的将来,可以将该系统扩展到脑卒中或脊髓损伤患者,以帮助他们提高自我护理能力。
一个庞大而清晰的数据集对提高模型的可靠性和性能至关重要。Moucek等[30]描述了一个大型P300数据集,数据是在“猜数字”实验中收集的,实验参与者(250名学龄儿童)被要求在1~9中选择一个数字并集中注意力,然后,受试者暴露在视觉刺激下,包括显示器上随机出现的1~9的数字,实验者在在线观察与事件相关的电位波形时试图猜测他们想到的数字,这项研究的参与者数量较多,为神经科学和BCI领域提供了较大的公开可用的数据集范例集合。Simes等[31]提出了BCIAUT-P300数据集,其中包含15例孤独症谱系障碍患者,他们接受了7次基于P300的BCI联合注意力训练,总共105次,该数据集已被用于IFMBE科学竞赛。该数据集现已公开发布,并作为未来基于多会话数据基于P300 BCI算法的基准。Won等[32]提出了一个大型EEG数据集,其中包含55名参与者的眼睛睁开/闭合静息状态、快速串行视觉呈现(rapid serial visual presentation task,RSVP)和基于视觉P300的BCI,虽然该数据集参与者数量不多,但是包含丰富的信息,如眼睛睁开/闭上休息状态、问卷调查、三维电极位置,它可以用来评估BCI性能与提出的分类方法,并且对于更深入的神经生理和心理方面的调查非常有用。
2.2" 其他外部刺激范式
基于视觉P300的BCI通常只有在目标被眼睛注视时才能产生高性能。在许多长时间的BCI训练中,许多范例使用强烈的视觉刺激,这可能是伤害性的刺激。对于广泛使用的P300拼写器,有证据表明,只有当目标符号与眼睛固定时,BCI控制才是有效的[33]。为解决这一问题,科学家们采取了不同的方法规避注视依赖的问题,例如Aloise等[34]的GeoSpell接口(几何拼写器)在完全没有眼球运动的情况下依然适用;Acqualagna等[35]推出的RSVP拼写器也被认为是应用于眼动控制受损患者的有效范式;以及Reichert等[36]开发的一种基于回复的交流BCI,它有可能支持严重瘫痪、眼球运动受损和视力低下的人与他们的环境沟通。这些更适用于失去眼球运动功能的患者,当患者动眼神经麻痹或眼部肌肉病变时,这些BCI依然可以有效操作。
Zheng等[37]提出,基于RSVP的协同BCI数据集,被广泛用于目标和非目标图像的分类,该数据集可用于开发更有效的算法,以提高基于RSVP的协作BCI系统的性能和实用性。除了验证该研究中BCI的性能外,该数据集还可用于研究以下主题:基于RSVP的BCI范式中ERP和稳态视觉诱发电位(steady-state visual evoked potentials, SSVEP)的脑动力学;单试验ERP检测的数据分析算法;协作BCI的数据融合方法;基于跨会话ERP的BCI的迁移学习算法。同年,Zhang等[38]也报道了基于RSVP范式的BCI系统获得的一个基准数据集,该数据集由64位健康受试者在执行目标图像检测任务时的64通道EEG数据组成。该数据集可以作为基准数据集,用于比较基于RSVP的BCI中目标识别算法,还可以用于设计新的系统图并评估其BCI性能,而无需通过离线模拟收集任何新数据。此外,该数据集还为基于RSVP的BCI的ERP和SSVEP的表征和建模提供了高质量的数据。基于稳态视觉诱发电位的脑机接口(SSVEP-BCI)因其较高的传输速率而具有较好应用前景,但在现有的研究中SSVEP-BCI数据库较少。Liu等[39]提出了一个面向老年人的SSVEP-BCI大型基准数据库,该数据库由来自100名老年参与者的64通道EEG组成,并通过对13种频率识别方法的分类分析,验证了该数据库的质量和特征,这将对SSVEP-BCI系统的设计至关重要。已有研究证明,BCI表现会因年龄不同而异[40-42],所以此数据集更倾向于为老年人的BCI系统的设计和优化提供基础。2021年,Zhu等[43]推出了一个基于SSVEP的BCI的开放数据集,该数据集将在不同方面为研究基于SSVEP的BCI发挥重要而有效的作用:首先,这些数据可以很容易地用于开发和评估SSVEP检测的新算法;其次,高效的噪声去除方法和通道选择方法可能有助于可穿戴BCI,特别是对于干电极的数据;最后,由于研究对象较多,该数据集可以进一步用于BCI人口统计分析。Renton等[44]提出了一个数据集促进算法的训练,该数据集包括来自30名健康参与者的EEG和行为反应,他们对频率标记的视觉刺激执行了基于特征的运动识别任务。该研究允许开发和基准化算法,使用单次试验EEG数据对基于特征的注意力进行分类,有助于促进基于视觉特征和基于视觉对象的注意广泛应用于BCI控制。对于想象的视觉内容,现有的开放EEG数据集是稀缺的,Wilson等[45]提出了一个开放多感官想象和感知数据集,包括12名参与者,通过124个EEG通道系统获得。这可用于BCI相关的解码,以及在语义类别保持不变的情况下,更好地理解感知、想象和跨感官模式背后的神经机制。
另外,还有其他方法规避注视依赖的问题,如空间听觉[46]和触觉反馈[47],值得一提的是,Treder等[48]提出将复调音乐(由几种乐器并行演奏组成的音乐)作为一种新的刺激方法用于BCI。Wang等[49]最新研究提出了基于耳内生物电子学的耳内视觉和听觉BCI,命名为SpiralE,这为设计3D柔性生物电子学提供了创新概念,并有助于生物医学工程和神经监测的发展。
3" 混合范式
仅仅通过“思考”移动机器人的想法在过去几十年里吸引了研究人员的兴趣。目前,Wang等[50]提出混合EEG-EOG BCI,它结合MI、P300电位和眨眼实现轮椅的前进、后退和停止控制,实验已经证明了使用BCI控制模拟或真实轮椅的可行性。Mousavi等[51]证实混合BCI的有效性,该接口将运动图像信号与错误相关的大脑活动相结合,以应对BCI口错误。这种新提出的BCI在准确性、信息传递率和主观感知率方面显著优于传统的MI-BCI。在最新研究中,Mai等[52]提出一种将SSVEP和EOG混合解码的连续BCI免校准解码方法,在离线实验中,与现有的SSVEP检测方法相比,该方法显示出更高的连续精度和更短的视线转移时间;在线实验中所提出的混合BCI在连续准确度和视线转移时间方面显著优于SSVEP-BCI。在未来的研究中,可以通过优化检测方法提高连续BCI的疗效,并将所提出的方法扩展到大脑控制的外部设备中,以进一步证明其疗效。Pichiorri等[53]探索脑卒中后高密度皮质肌肉网络,为手部运动康复提供新型脑机混合接口,该研究通过比较脑卒中患者和健康参与者在简单手部任务中的数据,分析了高密度皮质肌肉连贯性网络(来自多个EEG和肌电图通道)及其与上肢运动缺陷的关系,结果支持其更广泛地应用于临床和康复中。
Lee等[54]推出一个移动数据集,该数据集从EEG以及运动传感器获得。该数据集记录广泛,除32通道头皮EEG,还记录了14通道耳朵EEG、4通道EOG以及放置在前额、左右脚踝的9通道惯性测量元件。该数据集有助于各种移动环境中的BCI分析大脑活动,并定量评估性能,以扩大实际BCI的使用。Charles等[55]提出前额叶非对称性BCI神经反馈数据集,提供的数据是3个不同实验的结果,使用前额叶皮层(prefrontal cortical,PFC)非对称神经反馈(neurofeedback,NF)作为BCI范式,而不是针对长期治疗效果的机制,参与者按照实时NF范式与连续的视觉反馈进行交互,使用功能性近红外光谱(functional near-infrared spectroscopy, fNIRS),这和大部分采用EEG的研究大有不同,使用fNIRS是已知的特别适合于PFC非对称性研究的数据,它对伪影不太敏感。这些数据集涵盖不同的NF变量,他们对研究不同长度时期的信号动力学以及围绕基线和参考时期的问题是有价值的。眼动追踪可以作为基于EEG的BCI的补充方法,特别是改善BCI在视觉感知和认知方面的表现。Cheng等[56]提出一种融合MI任务中EEG和眼动数据的方法,选择合适的眼球运动特征,如注视坐标、扫视长度、瞳孔直径等与脑电特征相结合,并深入探索不同融合层的特征融合策略,研究表明,在特征层上,EEG和眼动数据融合可以实现比纯EEG数据或眼动数据更高的平均分类精度;融合方法在决策层上的平均分类精度优先特征层;与纯四通道EEG数据相比,2个对称通道的EEG数据与眼动数据的组合也可以产生相似的平均分类精度,这可大大优化传统的基于脑电的MI-BCI。
4" 总结
相比之下,MI-BCI范式对于运动功能缺陷患者更实用且不需要外界刺激。外骨骼控制肢体末端关节已经成为现实,例如:Crea等[57]研究证实,全臂外骨骼可以完成“喝酒任务”,该任务包括伸手、抓握、喝水、向后移动和释放杯子,这使严重上肢肌肉瘫痪患者能够得到有力的支持。随着MI解码研究的进展,未来有望实现更多关节的灵活运动,但与其他范式相比仍有不足,例如分类精确度较低,需要参与者提前训练等问题仍待解决或优化。视觉P300范式准确性较高,但依赖于长时间注视,不可避免会产生伤害性刺激,其他外部刺激范式虽然可以避免这种刺激,但准确性不如视觉P300范式。
每种范式都有相应的优缺点,而混合BCI范式可以实现优势互补,系统可靠性进一步提高,多种试验范式的融合,在增强性能的同时,也会给受试者带来更佳体验。目前仍不可回避的问题,在临床试验中,一些患者或者是健康人不能学会控制大脑活动,这会导致患者的依从性降低,康复效果大大减低,如何规范设计简单易学的操作是医护人员面临的挑战。脑卒中患者的症状复杂多样,设计最适合患者的个体化方案可能需要更大的样本,加强国际多中心合作,组织更多病情相似的患者开展研究,以设计精准的康复策略。
参考文献:
[1]WU S M, WU B, LIU M, et al. Stroke in China: advances and challenges in epidemiology, prevention, and management[J]. Lancet Neurol, 2019, 18(4): 394-405. DOI: 10.1016/S1474-4422(18)30500-3.
[2]LEEB R, LEE F, KEINRATH C, et al. Brain-computer communication: motivation, aim, and impact of exploring a virtual apartment[J]. IEEE Trans Neural Syst Rehabil Eng, 2007, 15(4): 473-482. DOI: 10.1109/TNSRE.2007.906956.
[3]ZHANG R, LI Y Q, YAN Y Y, et al. Control of a wheelchair in an indoor environment based on a brain-computer interface and automated navigation[J]. IEEE Trans Neural Syst Rehabil Eng, 2016, 24(1): 128-139. DOI: 10.1109/TNSRE.2015.2439298.
[4]TAO T F, JIA Y G, XU G H, et al. Enhancement of motor imagery training efficiency by an online adaptive training paradigm integrated with error related potential[J]. J Neural Eng, 2023, 20(1):16-29. DOI: 10.1088/1741-2552/acb102.
[5]MCFARLAND D J, MINER L A, VAUGHAN T M, et al. Mu and beta rhythm topographies during motor imagery and actual movements[J]. Brain Topogr, 2000, 12(3): 177-186. DOI: 10.1023/a: 1023437823106.
[6]PFURTSCHELLER G, LOPES DA SILVA F H. Event-related EEG/MEG synchronization and desynchronization: basic principles[J]. Clin Neurophysiol, 1999, 110(11): 1842-1857. DOI: 10.1016/s1388-2457(99)00141-8.
[7]YUAN H, LIU T, SZARKOWSKI R, et al. Negative covariation between task-related responses in alpha/beta-band activity and BOLD in human sensorimotor cortex: an EEG and fMRI study of motor imagery and movements[J]. Neuroimage, 2010, 49(3): 2596-2606. DOI: 10.1016/j.neuroimage.2009.10.028.
[8]SCHERER R, LEE F, SCHLOGL A, et al. Toward self-paced brain-computer communication: navigation through virtual worlds[J]. IEEE Trans Biomed Eng, 2008, 55(2 Pt 1): 675-682. DOI: 10.1109/TBME.2007.903709.
[9]FALLER J, VIDAURRE C, SOLIS-ESCALANTE T, et al. Autocalibration and recurrent adaptation: towards a plug and play online ERD-BCI[J]. IEEE Trans Neural Syst Rehabil Eng, 2012, 20(3): 313-319. DOI: 10.1109/TNSRE.2012.2189584.
[10]MLADENOVIC J, FREY J, JOFFILY M, et al. Active inference as a unifying, generic and adaptive framework for a P300-based BCI[J]. J Neural Eng, 2020, 17(1): 016054. DOI: 10.1088/1741-2552/ab5d5c.
[11]WITKOWSKI M, CORTESE M, CEMPINI M, et al. Enhancing brain-machine interface (BMI) control of a hand exoskeleton using electrooculography (EOG)[J]. J Neuroeng Rehabil, 2014, 11: 165. DOI: 10.1186/1743-0003-11-165.
[12]SOEKADAR S R, WITKOWSKI M, VITIELLO N, et al. An EEG/EOG-based hybrid brain-neural computer interaction (BNCI) system to control an exoskeleton for the paralyzed hand[J]. Biomed Tech, 2015, 60(3): 199-205. DOI: 10.1515/bmt-2014-0126.
[13]OFNER P, SCHWARZ A, PEREIRA J, et al. Upper limb movements can be decoded from the time-domain of low-frequency EEG[J]. PLoS One, 2017, 12(8): e0182578. DOI: 10.1371/journal.pone.0182578.
[14]OFNER P, SCHWARZ A, PEREIRA J, et al. Attempted arm and hand movements can be decoded from low-frequency EEG from persons with spinal cord injury[J]. Sci Rep, 2019, 9(1): 7134. DOI: 10.1038/s41598-019-43594-9.
[15]SCHWARZ A, HLLER M K, PEREIRA J, et al. Decoding hand movements from human EEG to control a robotic arm in a simulation environment[J]. J Neural Eng, 2020, 17(3): 036010. DOI: 10.1088/1741-2552/ab882e.
[16]CHO H, AHN M, AHN S, et al. EEG datasets for motor imagery brain-computer interface[J]. Giga Science, 2017, 6(7): 1-8. DOI: 10.1093/gigascience/gix034.
[17]KAYA M, BINLI M K, OZBAY E, et al. A large electroencephalographic motor imagery dataset for electroencephalographic brain computer interfaces[J]. Sci Data, 2018, 5: 180211. DOI: 10.1038/sdata.2018.211.
[18]MA X L, QIU S, HE H G. Multi-channel EEG recording during motor imagery of different joints from the same limb[J]. Sci Data, 2020, 7(1): 191. DOI: 10.1038/s41597-020-0535-2.
[19]STIEGER J R, ENGEL S A, HE B. Continuous sensorimotor rhythm based brain computer interface learning in a large population[J]. Sci Data, 2021, 8(1): 98. DOI: 10.1038/s41597-021-00883-1.
[20]MA J, YANG B H, QIU W Z, et al. A large EEG dataset for studying cross-session variability in motor imagery brain-computer interface[J]. Sci Data, 2022, 9(1): 531. DOI: 10.1038/s41597-022-01647-1.
[21]JEONG J H, CHO J H, SHIM K H, et al. Multimodal signal dataset for 11 intuitive movement tasks from single upper extremity during multiple recording sessions[J]. Gigascience, 2020, 9(10): giaa098. DOI: 10.1093/gigascience/giaa098.
[22]IWAMA S, MORISHIGE M, KODAMA M, et al. High-density scalp electroencephalogram dataset during sensorimotor rhythm-based brain-computer interfacing[J]. Sci Data, 2023, 10(1): 385. DOI: 10.1038/s41597-023-02260-6.
[23]DREYER P, ROC A, PILLETTE L, et al. A large EEG database with users profile information for motor imagery brain-computer interface research[J]. Sci Data, 2023, 10(1): 580. DOI: 10.1038/s41597-023-02445-z.
[24]GUGER C, DABAN S, SELLERS E, et al. How many people are able to control a P300-based brain-computer interface (BCI)?[J]. Neurosci Lett, 2009, 462(1): 94-98. DOI: 10.1016/j.neulet.2009.06.045.
[25]RICCIO A, SIMIONE L, SCHETTINI F, et al. Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis[J]. Front Hum Neurosci, 2013, 7: 732. DOI: 10.3389/fnhum.2013.00732.
[26]ARICO P, ALOISE F, SCHETTINI F, et al. Influence of P300 latency jitter on event related potential-based brain-computer interface performance[J]. J Neural Eng, 2014, 11(3): 035008. DOI: 10.1088/1741-2560/11/3/035008.
[27]DA I, DUI L G, FERRANTE S, et al. Leveraging deep learning techniques to improve P300-based brain computer interfaces[J]. IEEE J Biomed Health Inform, 2022, 26(10): 4892-4902. DOI: 10.1109/JBHI.2022.3174771.
[28]NI Z Y, XU J M, WU Y W, et al. Improving cross-state and cross-subject visual ERP-based BCI with temporal modeling and adversarial training[J]. IEEE Trans Neural Syst Rehabil Eng, 2022, 30: 369-379. DOI: 10.1109/TNSRE.2022.3150007.
[29]GAO W, HUANG W C, LI M, et al. Eliminating or shortening the calibration for a P300 brain-computer interface based on a convolutional neural network and big electroencephalography data: an online study[J]. IEEE Trans Neural Syst Rehabil Eng, 2023, 31: 1754-1763. DOI: 10.1109/TNSRE.2023.3259991.
[30]MOUC""" ˇEK R, VAR" ˇEKA L, PROKOP T, et al. Event-related potential data from a guess the number brain-computer interface experiment on school children[J]. Sci Data, 2017, 4: 160121. DOI: 10.1038/sdata.2016.121.
[31]SIMES M, BORRA D, SANTAMARA-VZQUEZ E, et al. BCIAUT-P300: a multi-session and multi-subject benchmark dataset on autism for P300-based brain-computer-interfaces[J]. Front Neurosci, 2020, 14: 568104. DOI: 10.3389/fnins.2020.568104.
[32]WON K, KWON M, AHN M, et al. EEG dataset for RSVP and P300 speller brain-computer interfaces[J]. Sci Data, 2022, 9(1): 388. DOI: 10.1038/s41597-022-01509-w.
[33]BRUNNER P, JOSHI S, BRISKIN S, et al. Does the ‘P300’ speller depend on eye gaze?[J]. J Neural Eng, 2010, 7(5): 056013. DOI: 10.1088/1741-2560/7/5/056013.
[34]ALOISE F, ARIC P, SCHETTINI F, et al. A covert attention P300-based brain-computer interface: Geospell[J]. Ergonomics, 2012, 55(5): 538-551. DOI: 10.1080/00140139.2012.661084.
[35]ACQUALAGNA L, BLANKERTZ B. Gaze-independent BCI-spelling using rapid serial visual presentation (RSVP)[J]. Clin Neurophysiol, 2013, 124(5): 901-908. DOI: 10.1016/j.clinph.2012.12.050.
[36]REICHERT C, TELLEZ CEJA I F, SWEENEY-REED C M, et al. Impact of stimulus features on the performance of a gaze-independent brain-computer interface based on covert spatial attention shifts[J]. Front Neurosci, 2020, 14: 591777. DOI: 10.3389/fnins.2020.591777.
[37]ZHENG L, SUN S, ZHAO H Z, et al. A cross-session dataset for collaborative brain-computer interfaces based on rapid serial visual presentation[J]. Front Neurosci, 2020, 14: 579469. DOI: 10.3389/fnins.2020.579469.
[38]ZHANG S G, WANG Y J, ZHANG L J, et al. A benchmark dataset for RSVP-based brain-computer interfaces[J]. Front Neurosci, 2020, 14: 568000. DOI: 10.3389/fnins.2020.568000.
[39]LIU B C, WANG Y J, GAO X R, et al. eldBETA: a large eldercare-oriented benchmark database of SSVEP-BCI for the aging population[J]. Sci Data, 2022, 9(1): 252. DOI: 10.1038/s41597-022-01372-9.
[40]ALLISON B, LUTH T, VALBUENA D, et al. BCI demographics: how many (and what kinds of) people can use an SSVEP BCI?[J]. IEEE Trans Neural Syst Rehabil Eng, 2010, 18(2): 107-116. DOI: 10.1109/TNSRE.2009.2039495.
[41]EHLERS J, VALBUENA D, STILLER A, et al. Age-specific mechanisms in an SSVEP-based BCI scenario: evidences from spontaneous rhythms and neuronal oscillators[J]. Comput Intell Neurosci, 2012, 2012: 967305. DOI: 10.1155/2012/967305.
[42]CHEN M L, FU D N, BOGER J, et al. Age-related changes in vibro-tactile EEG response and its implications in BCI applications: a comparison between older and younger populations[J]. IEEE Trans Neural Syst Rehabil Eng, 2019, 27(4): 603-610. DOI: 10.1109/TNSRE.2019.2890968.
[43]ZHU F K, JIANG L, DONG G Y, et al. An open dataset for wearable SSVEP-based brain-computer interfaces[J]. Sensors, 2021, 21(4): 1256. DOI: 10.3390/s21041256.
[44]RENTON A I, PAINTER D R, MATTINGLEY J B. Optimising the classification of feature-based attention in frequency-tagged electroencephalography data[J]. Sci Data, 2022, 9(1): 296. DOI: 10.1038/s41597-022-01398-z.
[45]WILSON H, GOLBABAEE M, PROULX M J, et al. EEG-based BCI dataset of semantic concepts for imagination and perception tasks[J]. Sci Data, 2023, 10(1): 386. DOI: 10.1038/s41597-023-02287-9.
[46]HALDER S, KTHNER I, KBLER A. Training leads to increased auditory brain-computer interface performance of end-users with motor impairments[J]. Clin Neurophysiol, 2016,127(2):1288-1296. DOI: 10.1016/j.clinph.2015.08.007.
[47]JIN J, CHEN Z M, XU R, et al. Developing a novel tactile P300 brain-computer interface with a cheeks-stim paradigm[J]. IEEE Trans Biomed Eng, 2020, 67(9): 2585-2593. DOI: 10.1109/TBME.2020.2965178.
[48]TREDER M S, PURWINS H, MIKLODY D, et al. Decoding auditory attention to instruments in polyphonic music using single-trial EEG classification[J]. J Neural Eng, 2014, 11(2): 026009. DOI: 10.1088/1741-2560/11/2/026009.
[49]WANG Z H, SHI N L, ZHANG Y C, et al. Conformal in-ear bioelectronics for visual and auditory brain-computer interfaces[J]. Nat Commun, 2023, 14(1): 4213. DOI: 10.1038/s41467-023-39814-6.
[50]WANG H T, LI Y Q, LONG J Y, et al. An asynchronous wheelchair control by hybrid EEG-EOG brain-computer interface[J]. Cogn Neurodyn, 2014, 8(5): 399-409. DOI: 10.1007/s11571-014-9296-y.
[51]MOUSAVI M, KROL L R, DE SA V R. Hybrid brain-computer interface with motor imagery and error-related brain activity[J]. J Neural Eng, 2020, 17(5): 056041. DOI: 10.1088/1741-2552/abaa9d.
[52]MAI X M, SHENG X J, SHU X K, et al. A calibration-free hybrid approach combining SSVEP and EOG for continuous control[J]. IEEE Trans Neural Syst Rehabil Eng, 2023, 31: 3480-3491. DOI: 10.1109/TNSRE.2023.3307814.
[53]PICHIORRI F, TOPPI J, SETA V D, et al. Exploring high-density corticomuscular networks after stroke to enable a hybrid Brain-Computer Interface for hand motor rehabilitation[J]. J Neuroeng Rehabil, 2023, 20(1): 5. DOI: 10.1186/s12984-023-01127-6.
[54]LEE Y E, SHIN G H, LEE M J, et al. Mobile BCI dataset of scalp- and ear-EEGs with ERP and SSVEP paradigms while standing, walking, and running[J]. Sci Data, 2021, 8(1): 315. DOI: 10.1038/s41597-021-01094-4.
[55]CHARLES F, DE CASTRO MARTINS C, CAVAZZA M. Prefrontal asymmetry BCI neurofeedback datasets[J]. Front Neurosci, 2020, 14: 601402. DOI: 10.3389/fnins.2020.601402.
[56]CHENG S W, WANG J L, ZHANG L K, et al. Motion imagery-BCI based on EEG and eye movement data fusion[J]. IEEE Trans Neural Syst Rehabil Eng, 2020, 28(12): 2783-2793. DOI: 10.1109/TNSRE.2020.3048422.
[57]CREA S, NANN M, TRIGILI E, et al. Feasibility and safety of shared EEG/EOG and vision-guided autonomous whole-arm exoskeleton control to perform activities of daily living [J]. Sci Rep, 2018,8(1):10823. DOI: 10.1038/s41598-018-29091-5.
(责任编辑:高艳华)