基于脑电运动速度想象的单次识别研究

伏云发 徐保磊 裴立力 李洪谊

1(中国科学院沈阳自动化研究所机器人学国家重点实验室，沈阳 110016)

2(中国科学院研究生院，北京 100049)

引言

脑-机接口(BCI)的研究已经成为国内外脑科学研究中的前沿热点，并取得了一些重大突破，目前正快速发展［1-3］。与具有很大局限性的侵入式BCI相比，非侵入式EEG实现的BCI具有潜在的实用前景［4］。目前，已有研究表明，基于 BCI系统实现复杂的运动控制，高的空间分辨率并不是必不可少的，其他因素更重要，例如通过引入智能控制策略等方法，头皮EEG低的空间分辨率并不是实现复杂控制至关重要的限制因素，这意味着可能不需要手术植入电极来实现 BCI［5-7］。在非侵入 BCI的实现方式中，通常利用四种类型的EEG活动之一或它们的组合来进行控制:稳态视觉诱发电位(SSVEPs)、想象运动或其他常见的心理任务诱发的事件相关去同步/同步(ERD/ERS)和相关节律活动、P300和慢皮层电位［8-9］。其中，基于运动想象的脑-机接口系统因为没有外界对被试的刺激，信号的产生可以完全由被试自定节奏调制和产生，随着先进技术的引入可大大提高系统性能并有效减少训练量，该类 BCI也许是最有前景的脑-机接口系统［10-11］。

然而，传统的基于运动想象的 BCI系统主要集中于实现对想象运动涉及的肢体类型的分类，向外设提供的是离散的二值控制，可以自然地实现对外设运动方向的控制，但如何超越传统的二值方向控制问题，自然地直接地实现对外设速度和力的控制仍然是一个巨大的挑战［12-16］。

许多研究表明运动前的神经活动或者伴随运动的神经活动编码了运动的方向、速度和其他信息［11，17-21］。Gu等基于 EEG 单次识别手腕运动类型和速度，利用运动相关皮层电位(MRCPs)的反弹率表征运动速度，研究表明当被试执行同一手腕想象运动时，任务参数速度(快和慢)比运动类型 (伸腕和旋腕)更能够以较大的精度被单次识别，运动执行的速度可以包括在描述想象任务的变量中［12］。Gu等基于EEG研究了肌萎缩侧索硬化症被试想象手腕运动速度的单次识别，想象任务的速度由运动相关皮层电位 (MRCPs)的负峰时延编码(负向峰值时延)，当为每个被试选择最佳头皮位置和时间期间，速度间平均的单次错误分类率是(30.4±3.5)%，研究结果表明，以不同速度想象运动是脑-机接口系统的一个可行的策略［13］。然而，通过比较Gu等的这两个研究后发现，二者研究的是手腕快慢两种速度的单次运动想象(快速运动模式要求被试尽可能快地完成，慢速运动模式要求被试在3 s内完成)，被试实际训练表明体现速度的单次运动不易完成，此外，两篇文献表征想象运动速度的时域特征不一致，一个是运动相关皮层电位(MRCPs)的反弹率，另一个是运动相关皮层电位的负峰时延，这可能说明了所选用的时域特征不是描述速度的稳定特征［12-13］。为此，在研究中，采用被试易于完成的连续的节律运动模式，利用连续的节律运动模式能够产生稳定的想象运动诱发EEG特征。

此外，Yuan等研究了想象和执行手运动期间EEG活动和速度间的关系，该研究表明，连续解码想象手抓握的动态手类型(左手和右手)和动态速度信息是可行的，文献的发现可以为运动受损瘫痪者提供连续和复杂控制的非入侵脑-机接口，但实验范式要求被试在2 s钟内完成左、右手7种不同的运动速度 (0.5、1、1.5、2、2.5、3、3.5 Hz)［14］，通过被试实际的训练，被试反映执行7种不同的运动速度有一定难度，要求被试想象7种不同的运动速度比较困难。为此，本研究的实验方案是选择两种差异很大的速度(快速4 Hz，慢速1 Hz)，方便被试容易完成并能够产生差异显著的与不同速度相关的EEG特征，特征提取和识别也尽量采用简单有效的方法。

除了以上国外对运动速度想象的研究，国内赵启斌等提出由固定频率的运动想象持续时间来控制小车速度，但事实上是以“时间换取复杂性”，为了快速地增加速度，受试者需要持续想象运动(MI)任务较长的时间，此外想象的运动速度是恒定的，并不是把想象的运动速度直接识别为输出对应的速度控制指令［16］。与该研究控制速度的策略不同，本研究设计了另外一种实验范式，要求被试执行不同运动速度的想象，利用想象运动速度可以调制EEG活动，通过识别想象运动速度来直接地更自然地控制外设速度变量。

综上所述，与以往的研究相比，本研究的创新思路是选择两种差异较大的速度(快速4 Hz，慢速1 Hz)，使得能够产生差异显著的与不同速度相关的EEG特征，设计被试易于完成的连续的节律运动模式，利用连续的节律运动模式能够产生稳定的想象运动诱发EEG特征，通过能量谱分析找到对想象的运动速度起反应的频带，采用BCI中有效的Fisher判别分析和多层感知器对想象运动速度进行单次识别。本研究可以弥补传统的运动想象肢体类型的识别，基于EEG单次识别想象运动速度，可望能够自然地直接地向外设提供额外的新的速度控制变量。

1 材料和方法

1.1 被试

4个健康被试参与了EEG数据采集(3男1女;年龄范围:23～40岁，平均(29.5 ±7.1)岁)。所有被试皆为右利手，实验前均没有 EEG和脑-机器接口的经验。他们中也没有人患有已知的感觉运动疾病或心理病史。研究项目由中国科学院沈阳自动化研究所批准，每个被试对研究均知情同意。

1.2 实验研究范式和数据采集

根据引言中对国内外运动速度想象研究的对比，在传统的恒速运动想象中引入速度变量，实验中要求被试想象用自己的左手食指以两种不同的速度(4 Hz和1 Hz)轻敲鼠标键或桌子，此外，不同于以往的单次运动或单次运动想象，实验指导语指示被试执行连续重复的节律运动想象，由节拍器定节奏。记录了3个实验时段的EEG数据，每个实验时段由4轮组成，轮与轮之间休息5 min。每一轮由20个单次试验组成(每种运动想象任务10个单次试验，每个实验时段80个单次试验，每个被试完成240个单次试验)。实验者首先训练被试执行实际的运动速度，以获得每种速度类型的现实体验，然后要求被试以第一人称视角回忆和感觉运动觉体验而不发生实际运动，但要求避免在脑海中看到运动画面或者第三人执行这些运动［14］。快速和慢速运动想象任务随机呈现给被试。在运动想象期间，没有指示任务执行效果的视觉反馈提供给被试，要求被试保持放松，避免肌肉活动、眨眼、慢速眼球运动和面部肌肉张紧。

用64通道数字直流EEG放大器(Neuro Scan Labs，synAmps 2，Neuroscan，USA)，采样频率 500 Hz，24位A/D转换器采集EEG信号。模拟带通滤波(0.05～100)Hz和 50 Hz陷波器滤波信号 Ag-AgCl电极(扩展10-20系统)。单次试验的时序如图1所示。

图1 单次实验的时序Fig.1 Timing diagram of a single trial

1.3 EEG数据预处理

将参考电极从头顶参考转化为双侧乳突参考(M1，M2)，EEG信号下采样频率为250 Hz。在特征提取前，对数据做必要的预处理工作以得到相对纯净的EEG，预处理包括:剔除幅值超过最大值75%的EEG信号，不参与后续分析;然后，把提示事件后第3 s作为新的事件标记，用新的事件标记作为触发把连续EEG数据分割为待识别的单次试验数据:触发前2 s和触发后4 s;进一步对单次试验数据进行直流校正和去趋势化处理。

尽管采集数据时用了许多电极，但对于 BCI的研究，数据分析时有必要把电极数量降下来，这样的研究才可能实用化。另一方面，不仅实际的自愿运动由运动皮层控制，一些著名的研究已经证明:运动想象能够以一种非常类似于真实运动执行的方式调制初级感觉运动区神经元的活动［11］。本研究选择覆盖运动皮质区的C3、Cz和 C4 3个通道探索想象食指运动速度的识别。在想象左手食指运动速度期间，在 C3、Cz和 C4通道位置的3个局部平均参考(LAR)导联 C3LAR、CzLAR和 C4LAR的电位计算方法如下［22］:

式中，i和 j为通道号，VLAR(i)是通道 i处的局部平均参考下的电位，V(i)是通道i处双侧乳突参考下的电位，S(i)是通道 i周围的电极子集，g(i，j)是电极 i的权重，d(i，j)是通道i和j之间的距离。

1.4 运动速度想象相关能量分析

为了发现与运动速度想象相关联的差异显著的节律活动，本研究先用快速傅立叶变换分别计算运动想象开始前2 s参考期间和运动想象活动期间2 s的能量谱，两个期间能量谱之间的差异，即与参考期间相比，所显示能量的变化可以用来表征对运动速度想象起反应的频带。在本研究中，参考期间和活动期间分别起始于0 s和2 s，分析所用的数据窗类型是汉宁窗。进一步地，对覆盖运动皮质区的C3、Cz和 C4通道上快速和慢速运动想象诱发的脑电活动进行比较，可以找到快速和慢速运动想象之间有显著性差异的活动频带，为特征空间的构造提供依据。

1.5 特征空间构造

基于谱分析结果，计算快速和慢速运动想象之间有显著性差异活动频带的能量。首先用4阶巴特沃斯滤波器带通滤波数据，然后平方，并在长度为252 ms、重叠248 ms的窗口上求连续样本的平均值，从而计算出在 C3、Cz和 C4位置的3个局部平均参考(LAR)导联对运动速度想象起反应的频带能量。由这3个导联的频带能量构建分类特征空间。

1.6 运动速度想象的识别

本研究中，将识别两类:想象左手食指快速运动作为Class 1:LHF(4 Hz)和慢速运动作为Class 2:LHS(1 Hz)，分别利用Fisher判别分析和多层感知器神经网络识别想象运动速度。Fisher判别分析为［22］

式中，w是一个可调整的权向量，由式(5)设计成能够最大化快速和慢速运动想象两类间的可分离性，输入数据x由w权向量用式(4)投影后降成一维数据y。式(6)Sw是总的类内协方差矩阵。式(7)和式(8)中的m1和m2分别为Class 1(LHF:左手食指快速)和Class 2(LHS:左手食指慢速)的均值向量，N1和N2分别为Class 1和 Class 2的样本数。识别决策规则为

式中，y0是一个选定的阈值。分类期间始于第2 s，结束于第6 s，步长是252 ms。特征是3个局部平均参考导联C3、Cz和C4上快速和慢速运动想象之间有显著性差异活动频带的带能量。分类器的性能由10×10倍交叉验证随机混合训练和测试数据进行评估。

识别函数也可以由多层感知器神经网络(MLP)改变神经单元间的连接强度Wij逼近，i和j为神经元。故在本研究中，设计了一个具有3个输入节点的输入层，3个输入节点分别对应3个特征通道C3、Cz和 C4所对应的特征 x1、x2和x3，一个具有6个隐节点的隐层，以及一个具有2个输出节点的输出层，2个输出节点对应期望的两类Class 1 LHF和Class 2 LHS。多层感知器结构如图2所示，反向传播训练基于最小化下面的二次代价函数E(10):

式中，N是模式数，yn是网络输出，dn是期望输出。

图2 识别快速和慢速运动想象的多层感知器结构Fig.2 The construction of multi-layer perceptron for identification of imaged fast and slow movement

2 结果

2.1 运动速度想象相关能量分析结果

图3至图5分别显示了在C3、Cz和 C4通道快速和慢速运动想象相关能量(通常可用脑电位微伏的平方表示即μV2)谱，图中点划线表示4 Hz运动想象，实线表示1 Hz运动想象，图中能量是4个被试对应电极处能量的平均值。每个图顶部的曲线表示显著性水平α，虚线表示能量差的0.01显著性水平。曲线上的椭圆代表快速和慢速运动想象两者统计性差异最显著的频率范围。

从图3至图5发现，在0 Hz至40 Hz范围内，快速和慢速运动想象下能量的最大差异出现在通道 C3:10 Hz至13 Hz，通道 Cz:9 Hz至12 Hz，通道C4:10 Hz至13 Hz处，如曲线上的椭圆所标示。在这些特定频带内，快速运动想象时要比慢速运动想象时能量低，说明快速运动想象比慢速运动想象在运动区神经元兴奋程度上较强，也可能表明快速运动想象比慢速运动想象对运动系统的要求较高，但目前能量谱的分析，在β频带没有发现快速和慢速运动想象任务相关能量的显著性差异。

图3 C3上快速和慢速运动想象相关能量谱Fig.3 Imagined fast ad slow movement-related energy at C3

图4 Cz上快速和慢速运动想象相关能量谱Fig.4 Imagined fast ad slow movement-related energy at Cz

图5 C4上快速和慢速运动想象相关能量谱Fig.5 Imagined fast ad slow movement-related energy at C4

2.2 运动速度想象的识别结果

图6(a)显示了Fisher判别分析对左手食指运动速度想象识别的误差曲线(错误分类率)。识别误差曲线从单次试验运动速度想象开始大约50%下降到 3.26 s 的 28.2% ，3.512 s的 27.7% ，3.512 s后误差增加。在单次试验的3.512 s取得27.7%的最小误差，意味着基于EEG想象食指运动速度的单次识别能达到72.3%的准确性。

图6(b)显示了多层感知器对想象左手食指运动速度识别的误差曲线。识别误差曲线从单次试验速度想象开始大约52%下降到3.26 s的28.9%，是最好的分类误差，3.250 s后误差上升。也意味着基于该方法想象食指运动速度的单次识别能达到71.1%的准确性。

图6 想象左手食指运动速度的识别结果。(a)FDA识别的误差曲线;(b)MLP识别的误差曲线Fig.6 The results of identification for imagined movement speed involved in left index finger.(a)identification error with FDA;(b)identification error with MLP

由此可见，基于本研究所提出的新的研究范式，能够达到的对运动速度想象的识别率大于机会水平，并且在70%以上，具有实用的价值，与Gu等对想象速度的识别率相比具有可比性(他们取得速度间平均的单次错误分类率是(30.4±3.5)%)［13］。这表明本研究对运动速度想象的识别可为BCI提供一种新的额外的控制参数。

3 讨论

本研究的应用背景是把脑-机接口技术用于脑-控机器人，脑-控机器人最早是由美国国防部提出的重大研究项目，用于军事战略目的。之所以提出基于脑电解码运动速度想象参数，是因为常规的对机器人的控制是要实现对其连续、精细和复杂的控制，例如对机器人运动速度参数、机器人操作器末端作用力参数等的控制，本研究探索为脑-控机器人接口提供可选的速度控制参数。

虽然大量研究表明实际运动相关参数(运动时间、运动方向、运动幅度或范围、运动速度、力大小和力生成速度)调制了大脑皮质活动，也即大脑皮质活动编码了这些实际运动参数，并且许多研究也证明了各种运动任务想象能够清晰地激活运动皮质，然而人们仍然不清楚运动想象期间，运动相关参数是否也如执行实际运动期间那样明确地调制皮质活动［23］。在本研究中，C3、Cz和 C4通道对应脑区在特定频带快速运动想象比慢速运动想象能量低，从神经机理上可能表明了快速运动想象时感觉运动皮层激活信号的强度比慢速运动想象大，快速运动想象比慢速运动想象需要更多的运动感知和控制资源，这也表明了运动速度想象期间EEG活动变化能够编码速度参数。进一步的单次识别结果也证明了可以基于EEG解码运动速度想象参数，但需要仔细确定最佳分类时间。基于运动想象EEG脑-机接口应用的一个瓶颈之一是识别运动相关参数，不仅要识别想象运动肢体的类型，也要求识别肢体的运动方式和参数，然而，一直到现在人们倾向于认为只有空间分辨率高的侵入式BCI才能实现对运动参数的解码和精细控制，而空间分辨率低的非入侵BCI难于做到对运动参数的连续解码，一些最近的研究可以扭转人们这一固有的传统看法，基于EEG运动想象参数的识别可以作为BCI丰富的控制指令［12-14，16，23］。

此外，所提出的基于运动速度想象的新的研究范式，其运动想象模式是连续重复的节律性运动想象模式，与传统的单次运动想象模式有很大的区别，节律性运动想象模式是离散短暂的单次运动想象的连续重叠组合，因此对二者的研究也有很大的不同，时域的稳态节律运动想象诱发电位其表现形式不同于单次运动想象的准备电位，另外描述速度的时域特征具有不稳定性，为此，本研究采用了频域上的稳态节律运动想象相关能量方法来度量脑区的活动程度。然而，稳态节律运动想象相关能量方法及其所得结果，与单次运动想象事件相关去同步/同步(ERD/ERS)也有所不同，相关的神经机制需要进一步研究。

图6中误差曲线随时间变化的可能原因是快速和慢速节律运动想象由准备和启动阶段、速度上升调节阶段、速度稳定维持阶段以及后续出现波动后的再次微调所引起。快速和慢速节律运动想象的准备和启动阶段可能具有类似的神经机制，但不同速度上升调节阶段，上升率不一样，投入的感知资源差异显著，其后，随着两种速度进入稳定阶段，属于自动化的神经适应性节律维持，该阶段投入的感知资源量差异小，从而导致分类误差显著增加，随后的波动可能表明再次的神经微调节。

在本研究中，与多层感知器识别相比，Fisher判别分析识别想象运动速度的结果较好，但两种方法的错误分类曲线变化趋势大体相当(由图6可见)，分类最佳时间点也大体相同(在3～3.6 s之间)，这可能印证了对想象运动速度起反应的频带的确存在。虽然本研究取得了很好的错误识别率，但错误识别率的进一步降低有赖于让被试产生出更加显著的对速度想象起反应的频带，其次是通过良好的分析手段找到更多与速度想象相关联的频率域特征和时间域特征，这是问题的关键。此外，引入先进的特征提取方法，建立EEG特征与运动速度想象之间适当的数学模型和识别方法也是非常关键的。

4 结论

基于提出的新的运动速度想象范式，本研究仅仅用三个导联C3、Cz和C4，发现对运动速度想象起反应的频带为9 Hz至13 Hz，对运动速度想象的识别率能够达到72.3%，这证明了基于EEG单次识别想象的运动速度是可能和可行的，该研究可以为BCI提供一种额外的速度控制参数。笔者未来的研究工作是:在线反馈训练被试，并应用于脑-控机器人系统进行验证，同时将细致深入地研究EEG与运动速度和运动速度想象的关系，分析各个节律频段对不同运动速度想象的相关性。

［1］高上凯.神经工程与脑-机接口 ［J］.生命科学，2009，21(2):177-180.

［2］高上凯.基于节律性脑电信号的脑-机接口［J］.生命科学，2008，20(5):722-724.

［3］高上凯.浅谈脑-机接口的发展现状与挑战［J］.中国生物医学工程学报，2007，26(6):801-803，809.

［4］高上凯.无创高通讯速率的实时脑-机接口系统［J］.中国基础科学·研究进展，2007，3:25-26.

［5］McFarlandDJ， SarnackiWA， Wolpaw JR. Electroencephalographic(EEG)control of three-dimensional movement［J］.J Neural Eng.，2010，7(036007):1-9.

［6］Bradberry TJ，Gentili RJ，Contreras-Vidal JL.Reconstructing three-dimensional hand movements from noninvasive electroencephalographic signals ［J］.J Neurosci，2010，30(9):3432-3437.

［7］Royer AS，Doud AJ，Rose ML，et al.EEG control of a virtual helicopter in 3-Dimensionalspace using intelligentcontrol strategies［J］.Neural System and Rehab Eng，2010，18(6):581-589.

［8］Allison BZ，Brunner C，Kaiser V，et al.Toward a hybrid braincomputer interface based on imagined movement and visual attention［J］.J Neural Eng，2010，7(026007):1-9.

［9］Li Yuanqing，Long Jinyi，Yu Tianyou，et al.An EEG-based BCI system for 2-D cursor control by combining Mu/Beta rhythm and P300 potential［J］.IEEE Trans Biomed Eng，2010，57(10):2495-2505.

［10］Blankertz B，Tangermann M，Vidaurre C，et al.The Berlin brain-computer interface:non-medical uses of BCI technology［J］. Frontiersin Neuroscience/Neuroprosthetics，2010， 4(Article 198):1-17.

［11］Pfurtscheller G，Neuper C.Motor imagery and direct braincomputer communication［J］.Proceedings of the IEEE，2001，89(7):1123-1134.

［12］Gu Y，Dremstrup K，Farina D.Single-trial discrimination of type and speed of wrist movements from EEG recordings ［J］.Clinical Neurophysiology，2009，120:1596-1600.

［13］Gu Y，Farina D，Murguialday AR，et al.Offline identification of imagined speed of wrist movements in paralyzed ALS patients from single-trial EEG ［J］.Frontiers in Neuroprosthetics，2009，1(Article 3):1-7.

［14］Yuan H，Perdoni C，He B.Relationship between speed and EEG activity during imagined and executed hand movements［J］.J Neural Eng，2010，7(026001):1-10.

［15］Gala'n F， Nuttin M， Lew E， etal. A brain-actuated wheelchair:asynchronous and non-invasivebrain-computer interfaces forcontinuous controlofrobots［J］. Clinical Neurophysiology，2008，119:2159-2169.

［16］赵启斌，张丽清，Andrzej C.三维虚拟现实环境中基于 EEG的异步BCI小车导航系统［J］.科学通报，2008，53(23):2888-2895.

［17］Aschersleben G.Temporal control of movements in sensorimotor synchronization［J］.Brain Cogn，2002，48:66-79.

［18］Kopp B，Kunkel A，Muller G，et al.Steady-state movement related potentials evoked by fast repetitive movements［J］.Brain Topogr，2000，13(1):21-28.

［19］Gerloff C，Richard J，Hadley J，et al.Functional coupling and regional activation of human cortical motor areas during simple，internally paced and externally paced finger movements［J］.Brain，1998，121(8):1513-1531.

［20］Stancák AJ，Wackermann J.Spatial EEG synchronisation over sensorimotor hand areas in brisk and slow self-paced index finger movements［J］.Brain Topogr，1998，11(1):23-31.

［21］邢华，宾光宇，张志广，等.基于快速节律性运动的皮层脑电分析［J］.北京生物医学工程，2008，27(4):376-379.

［22］Guger C，Schlögl A.，Neuper C，et al.Rapid prototyping of an EEG-based brain-computer interface(BCI)［J］.IEEE Trans Neural System and Rehab Eng，2001，9(1):49-58.

［23］Nascimento OFD，Voigt KDNM.Movement-related parameters modulate cortical activity during imaginary isometric plantarflexions［J］.Exp Brain Res，2006，171:78-90.