基于触觉P300的脑控下肢康复机器人

张翔， 郭士杰,2,3*， 陈玲玲， 田玺伟， 段晓宇

(1.河北工业大学电气工程学院， 天津 300130； 2.河北工业大学省部共建电工装备可靠性与智能化国家重点实验室， 天津 300130；3.智能康复装置与检测技术教育部工程研究中心， 天津 300130； 4.河北工业大学人工智能与数据科学学院， 天津 300130)

脑机接口(brain-computer interface, BCI)是一种新型的人机交互方式，通过在人脑与外部设备间建立通道，实现人脑与外部设备直接交流和控制[1-3]。BCI技术适用于思维正常但运动功能丧失的患者，通过该技术可将患者的运动意图与康复器械的控制结合起来，以实现自主康复训练的目的，加速受损神经的恢复[4-5]。BCI系统根据脑电的产生方式可为诱发式和自发式。相比于自发式BCI系统，诱发式BCI系统产生的脑电信号更加稳定[6]。P300信号是一种典型的诱发脑电信号，它表示在刺激发生后300 ms左右出现的正峰值信号[7]。基于P300的BCI系统具有训练时间短、操作简单方便、可输出指令多等优点，可用于患者控制康复器械的研究。

P300信号可以通过视觉刺激、听觉刺激和体感刺激来获得，在BCI系统中针对视觉刺激的研究较多[8-9]，也较为成熟，P300信号同样如此。然而，长时间的闪烁刺激会对使用者造成极大的视觉负担，降低使用者的舒适度和准确率[10]，并不适用于患者进行长时间的训练。基于听觉刺激的P300-BCI系统也存在同样的问题，且分类准确率低，因此国内外研究相对较少。此外，基于视听刺激的P300-BCI系统需要呈现刺激的显示屏幕，便携性较差，不利于在病房和家庭等实际场景中应用。经过临床证明，将体感刺激与运动命令相结合具有改善中风后手功能的潜力[11]。因此，开发一种范式简单、精度较高的实用型触觉体感刺激范式，并依此实现对康复训练机器人的控制具有十分重要的现实意义。

Chen等[12]设计了一种传统的触觉P300脑机接口，将5个刺激器分别固定在被试的左手腕、右手腕、腹部、左脚踝和右脚踝。以左手腕或右手腕为目标刺激，其他元件为干扰刺激，以此来诱发P300信号。实验测试了两种条件下(关注目标刺激位置和不关注目标刺激位置)的分类准确率。结果显示，被试在关注和不关注目标位置时，平均分类准确率分别为(90.91±8.89)%和(62.73±8.47)%。而两种条件下单次试验分类精度都低于70%。测试结果表明，通过关注目标位置和信号叠加可以获得较好的分类效果。Ziebell等[13]设计了一种基于触觉刺激的P300-BCI，实验将4个刺激器分别放置在手腕和手肘处，以手腕的刺激为目标刺激，手肘处的刺激为干扰刺激。被试通过关注左手或右手的目标刺激控制立方体移动，实验的平均准确率为84.79%，显著高于随机水平。Herweg等[14]针对训练是否可以在虚拟轮椅导航任务中改善触觉式BCI性能这一问题，对老年被试进行了5次训练实验，将触觉器放置在腿部、腹部和背部。经过训练P300的平均幅度从5.46 μV增加到9.22 μV，信号叠加后的分类准确率达到了95.56%。该实验证明，经过适当的训练可以提升P300-BCI的适用性。以上研究都是在身体多个部位放置刺激装置，将其中一个刺激部位作为目标刺激进行感知识别。这种方式虽然有较高的分类精度，但是存在刺激器过多、操作过程复杂、注意力难集中等缺点[15]，并不适合行动不便的患者进行实际操作。且分类信号需要经过叠加处理，导致信息传输时间过长。

因此现提出一种新的触觉刺激范式，该范式仅使用两个刺激装置，每个装置中根据刺激强度分为目标刺激和干扰刺激。被试通过感受刺激强度来产生P300信号，通过调节目标刺激和干扰刺激的比例，使诱发的P300信号幅值更加明显，提高单试次信号的分类准确率。应用此范式设计了基于P300-BCI的下肢康复训练系统，通过识别运动意图来控制康复机器人进行相应动作。系统利用患者的意图进行康复训练，让大脑神经系统参与训练，从而刺激受损神经功能恢复，提高康复效果。

1 下肢康复训练系统组成

下肢康复系统主要包括振动刺激模块、信号采集模块、信号处理模块、控制模块和康复机器人，如图1所示。大脑在刺激装置作用下会诱发P300信号，由脑电采集模块收集诱发的脑电信号，经信号处理模块处理分类，将分类结果传递至控制模块，控制下肢康复器械进行相应动作。

图1 脑控下肢康复机器人系统Fig.1 Brain controlled lower limb rehabilitation robot system

1.1 触觉刺激装置

触觉刺激装置采用STM32F103R8T6作为控制中心，驱动纽扣电机产生振动刺激，电压范围0～5 V，振动频率0～300 Hz。两个纽扣电机分别放在被试左右食指的指尖位置，如图2所示。以振动频率区分目标刺激和干扰刺激。

图2 刺激部位Fig.2 Stimulation site

图3 10-20电极分布系统Fig.3 Distribution system of 10-20 electrodes

1.2 信号采集模块

信号采集模块使用德国BrainProducts公司生产的ActiCHamp Plus 32脑电分析仪，可采集32个电极的数据，电极分布遵循国际10-20系统，如图3所示。接地电极放置在前额位置，参考电极为FCz，位于Fz和Cz之间。每个电极的阻抗都在5 kΩ以下，采样频率为1 000 Hz，采集过程进行50 Hz的陷波滤波。

1.3 信号处理模块

信号处理模块包括数据预处理、特征提取和分类。

1.3.1 预处理

以远离感兴趣区域的双耳乳突(TP9、TP10)做参考电极；选择巴特沃斯滤波器对数据进行0.5～30 Hz带通滤波；对连续的脑电信号进行分段处理，以刺激时刻为0时刻，截取刺激前200 ms至刺激后600 ms的数据段，用刺激前的数据进行基线校准，以消除自发脑电波造成的脑电噪声。

1.3.2 特征提取

被试在关注目标刺激时大脑会产生明显的P300信号，而在不关注目标刺激和干扰刺激时不会产生明显的P300信号。为区分这两种信号，提高单次实验的分类准确率，使用典型的共空间模式(common spatial pattern， CSP)[16]算法对数据进行特征提取。CSP算法的基本原理是利用矩阵的对角化，找到一组最优空间滤波器进行投影，使得两类信号的方差差异最大化，从而得到具有较高区分度的特征向量。CSP特征提取过程如下。

(1)计算协方差矩阵。将采集的脑电数据进行归一化，并计算协方差矩阵R，公式为

(1)

式(1)中：X1和X2分别为关注刺激时和不关注刺激时的脑数据，大小为N×T，其中N为测量电极数量，经过预处理后电极数目由原来的32个变为29个，T为数据段中采样点的个数，采样点为600个；trace(X)表示对矩阵对角线上的元素求和。

求解混合空间的协方差矩阵R，公式为

(2)

(2)求白化矩阵。对混合空间协方差矩阵R的特征值进行分解，即

R=UλUT

(3)

式(3)中：U为特征向量矩阵；λ为对应的特征值构成的对角阵。按特征值降序排列，可得白化特征值矩阵P，即

(4)

使用白化特征值矩阵对R1、R2进行转化，公式为

(5)

式(5)中：S1和S2有共同的特征向量B，而且存在两个对角矩阵λ1和λ2，满足条件

Si=BλiBT，i=1,2

(6)

λ1+λ2=I

(7)

式中：I是单位矩阵，若λ1递减，则λ2递增；反之亦然。

(3)求投影矩阵和特征向量。通过特征向量B和白化特征值矩阵P构造空间滤波器的投影矩阵W，即

W=BTP

(8)

使用空间滤波器对测试集Y的数据进行滤波，使滤波后的两类数据差异最大化，即

Z2m×T=W2m×N×YN×T

(9)

提取特征向量fp，即

(10)

式(10)中：var(Zp)为矩阵Z第p行的方差。由于矩阵Z的信息不是等效的，有效信息主要集中在头部和尾部，因此应选取矩阵中前m行和后m行数据进行特征值提取(2m

1.3.3 特征分类

提取脑电信号的特征后，选用支持向量机(support vector machines, SVM)[17]算法对脑电特征进行分类，以区分不同的任务类型(控制下肢康复机器人辅助左腿或右腿进行康复训练)。SVM的优点是使用核函数将原始空间不能线性分离的数据映射到高维空间(可以线性分离)，该方法仅需较少的样本量就能得到较为可靠地分类结果，在处理一些简单二分类任务时具有很好的优势。

1.4 控制模块与下肢康复机器人

控制模块采用PCI-1240U运动控制卡作为控制单元，通过LabVIEW编程控制下肢康复机器人。下肢康复机器人作为整个系统的最终响应单元，是由上海西贝电子科技发展有限公司自主研发的，主要用于脑卒中、脑外伤和脊髓损伤等运动功能障碍患者进行腿部训练，如图4所示。

康复机器人训练过程如图5所示，当系统接收到控制命令时，电机开始转动，并带动推杆和下肢支架沿X轴方向从A点移动到B点，移动距离为15 cm，此过程为屈腿训练过程；当屈腿动作结束后，电机开始反向转动，推杆和下肢支架沿X轴方向向右移动，移动距离同样为15 cm，此过程为伸腿训练过程。每次任务需要控制机器人完成一次屈伸腿训练，患者通过关注左手或右手的目标刺激控制机器人进行左腿或右腿训练。

图4 下肢康复训练机器人Fig.4 Lower limb rehabilitation training robot

图5 下肢康复机器人运动示意图Fig.5 Motion diagram of lower limb rehabilitation robot

2 刺激范式设计

oddball范式[18]是P300实验中最常用的方式之一，它表示在大概率的刺激序列中突然出现一个小概率刺激。人体在oddball范式作用下会对小概率刺激产生强烈的脑电反映。实验在oddball范式基础上对刺激频率、刺激时长和刺激间隔等参数进行最优选取，振动刺激时序图如图6所示。

预先设置目标振动频率为100 Hz，持续时长为100 ms，干扰刺激为20 Hz，持续时长为100 ms，刺激间隔为300 ms，目标刺激概率为1/5。

图6 刺激范式Fig.6 Stimulus paradigm

2.1 刺激频率设定

设置刺激频率时，为避免诱发稳态电位，干扰刺激和目标刺激的频率应尽量避免成倍数关系。由于人体对20～50 Hz和高于100 Hz的频率较为敏感[19]，同时为了区分目标刺激和干扰刺激，设置目标刺激在100～200 Hz范围内选择，干扰刺激在20～50 Hz范围内选择。被试在不同频率刺激下诱发的P300幅值如图7所示。

图7 不同刺激频率的P300幅值Fig.7 P300 amplitude of different stimulus frequencies

由图7可以看出，在干扰刺激频率固定时，P300幅值大小和目标刺激频率成反比，其原因是在频率超过一定阈值时，人体对刺激的感受会随之下降，目标刺激感受不明显。在目标刺激一定时，随着干扰刺激频率的增加，P300幅值也会随之下降，这是因为干扰刺激频率越高，与目标刺激频率越接近，被试越不易区分两者的区别，所以造成幅值下降。实验结果显示，当干扰刺激频率和目标刺激频率分别为23 Hz和100 Hz时，P300电位幅值最高。因此本文将目标刺激的频率设置为100 Hz，干扰刺激的频率设置为23 Hz。

2.2 刺激时长设定

在干扰刺激和目标刺激频率确定后，对不同的刺激时长进行对比实验，图8为不同刺激时长下P300的幅值大小，不同曲线表示不同的干扰刺激时长。如图8所示，在干扰刺激时长不变时，随着目标刺激时长的增加，P300幅值呈下降趋势。这是由于目标刺激的时间越长，在刺激序列中所占比例越大，而P300信号的诱发幅值与目标刺激的比例成反比，所以诱发的P300信号会随着目标刺激占比增加而降低。根据图中幅值大小选取目标刺激和干扰刺激的时长为100 ms和200 ms。

图8 不同刺激时长的P300幅值Fig.8 P300 amplitude of different stimulation durations

2.3 刺激间隔设定

不同刺激间隔下P300信号幅值如图9所示，随着刺激间隔的增加，幅值呈现先增加后下降的趋势。在刺激间隔为400 ms和500 ms时幅值最大，为了提高信息传输率，需要缩短刺激间隔时间，因此设置目标刺激和干扰刺激之间的刺激间隔为400 ms。

图9 不同刺激间隔的P300幅值Fig.9 P300 amplitude of different stimulus intervals

2.4 目标刺激概率设定

在不同刺激概率下P300电位的幅值大小如图10所示，可以看出，随着目标概率的减小，幅值呈增加的趋势，符合P300电位诱发原理。综合考虑幅值大小和信息传输率两方面的因素，选取目标刺激和干扰刺激比例为1/6。

图10 不同刺激概率的P300幅值Fig.10 P300 amplitude of different stimulus probabilities

3 实验流程

3.1 被试选择

实验招募了5名在读研究生，包括4名男性和1名女性，年龄为23～27岁，均为右利手。所有被试身体状况良好，视力正常，且能够感知振动刺激。每位被试均签署了知情同意书。

3.2 实验步骤

实验包括离线实验和在线实验两部分，离线实验的目的是采集P300脑电数据，对数据进行离线分析和处理，验证实验的可行性；在线实验的目的是实现在真实环境下对下肢康复机器人的控制，验证触觉P300-BCI控制下肢康复训练机器人的有效性。

3.2.1 离线实验

每位被试需要进行200次测试，分4组完成。每次测试包含6个振动刺激(1个目标刺激和5个干扰刺激)，目标刺激出现顺序都是随机的，且不会出现在首位，两个刺激器的目标刺激不会同时出现。实验时长为30 min。实验开始前的准备工作包括：①告知被试实验流程，对被试的头部进行清洗；②在被试左右食指处各固定一个刺激装置，调整振动器的刺激强度，让被试能够感受到目标刺激和干扰刺激的区别；③为被试带上电极帽，在电极与头皮处打上导电膏；④被试按照指示平躺于下肢康复机器人上。

在实验过程中，被试需要按照提示选择关注一只手的目标刺激而忽略其他刺激，在一次测试结束后，刺激器等待2 s，然后进入下一次测试，直到实验结束。

3.2.2 在线实验

在线实验需要被试控制下肢康复机器人进行40次屈腿伸腿训练，分4组完成。准备工作与离线实验一致。被试通过关注左手目标刺激来控制康复器械左侧推杆做一次往返运动，通过关注右手目标刺激来控制右推杆做一次往返运动。

在线实验控制策略步骤如下。

(1)实验开始后，信号采集装置开始向系统传输脑电数据，刺激装置启动并向系统发送刺激时刻代码(S1代表干扰刺激，S2代表左手目标刺激，S3代表右手目标刺激)。

(2)当系统检测到目标刺激的事件代码后，开始读取脑电数据，读取时长为0.6 s。

(3)将读取的数据导入处理模块进行分类，如果判断被试在这一时刻关注了目标刺激，系统将根据对应的事件代码输出预测结果。否则，返回上一步。

(4)预测结果通过TCP/IP输出至控制模块，控制康复机器人进行一次伸屈腿运动。

4 实验结果

4.1 离线数据分析

被试关注目标刺激时脑电信号的平均地形图如图11所示，各通道的位置表示采集头皮脑电信号时的对应位置，与图3位置一致。图11中时间段为刺激前200 ms到刺激后600 ms。P300信号是当被试受到小概率事件刺激时在大脑内出现的一个正向波峰，其位置大约出现在刺激后300 ms时刻。从图11中可以看出，位于中央脑区的脑电通道中均出现了明显的P300信号，且波形一致，而在其他脑区位置如FP1、FP2、F7、FT9、T7、P7、O1、O2通道处P300信号并不显著，这表明振动刺激诱发的脑电活动主要分布在中央脑区即顶叶脑区。因此，为了减少无关通道对分类结果产生的影响，剔除没有明显P300信号的通道。

图11 脑电信号平均地形图Fig.11 Average topographic map of electroencephalography signals

图12所示受试者在关注目标刺激时0～600 ms内的脑区能量图。从图中可以看出，中央脑区能量变化明显，呈现出先降低后升高再降低的变化趋势，与图11的变化一致。在目标刺激触发后，被试大脑区域在300 ms处诱发了明显的P300信号。

图12 脑区能量图Fig.12 Energy map of brain regions

图13 全通道平均波形Fig.13 Average waveform of all channels

为比较被试关注刺激和不关注刺激时脑电信号的区别，对比两种状态下0～600 ms时间段内所有通道的平均脑电波形(剔除无关通道)，如图13所示。可以看出，当被试关注或不关注刺激时，在300 ms附近均有P300电位，这是由于在不关注的刺激中包括目标刺激，虽然被试忽略了这些刺激，但在大脑内会产生微弱的事件相关电位(event-related potential,ERP)信号。比较两种状态下的脑电波形，可以看出在被试关注目标刺激时诱发的P300信号较高。两种状态的波形有显著差异，证明了刺激范式的可行性。

4.2 离线实验结果

在对原始数据进行预处理和剔除无关通道后，将样本按照1∶1比例分成训练集和测试集，训练集用来训练空间滤波器，测试集用来测试分类准确率。由于使用CSP算法对数据进行滤波，滤波后的特征矩阵有效信息集中在头部和尾部，因此需要选择合适的m值，来提取特征矩阵中前m行和后m行的有效数据。实验利用SVM算法对不同m值下的特征矩阵进行分类，结果如表1所示。S表示被试，从表中看出，在m=1和m=2时分类准确率较低，平均准确率低于80%，说明此时特征值数量较少丢失了大量的有效信息，从而导致分类准确率低。通过分类结果对比发现，在m=8时分类准确率最高，为86.07%，因此将m设置为8。

CSP-SVM算法与SVM算法的分类结果如图14所示。从图中可以看出，在5名被试S1～S5中，CSP-SVM算法的准确率要普遍高于SVM算法，其中S4的分类准确率最高，为95.85%。CSP-SVM算法的平均准确率为86.07%，较SVM算法的分类准确率提高了5.65%。结果表明，利用CSP空域滤波进行脑电数据的特征提取可以有效提高分类精度。

表1 不同 m 值下的识别率Table 1 Recognition rate of different m values

图14 不同算法的分类正确率Fig.14 Classification accuracy of different algorithms

4.3 在线实验结果

5位被试参加在线实验，被试通过关注目标刺激，完成控制下肢机器人运动的任务。实验采用CSP-SVM算法进行在线分类测试，总命令数为40个。在线实验中，当系统输出结果与被试关注结果不相符时，判定为错误命令，在线实验分类结果如表2所示。所有被试均有较高的分类准确率，被试的平均正确命令数为34个，平均准确率为86.50%，分类效果较好。意图识别过程几乎没有延迟，满足系统性能要求。实验结果表明P300-BCI康复系统的可行性，展示了其在康复领域潜在的应用价值。

表2 在线实验结果Table 2 Online experimental results

传统的触觉P300范式使用多个刺激器对被试的不同部位进行刺激，且需要一定的叠加平均次数才能达到较为满意的分类精度。本实验设计的实验范式仅使用两个刺激器，以频率区分目标刺激和干扰刺激，以空间区分不同的目标刺激，实验任务更为简单，使用两个刺激器即可达到较高的分类精度，更适用于脑卒中患者。

5 结论

本文设计了一种适用于患者的触觉P300范式，该范式具有刺激装置少，操作过程简单，不易疲劳，实用性强等优点。实验通过对比P300电位幅值，确定范式的振动频率、振动时长、振动间隔和振动比例等参数。基于触觉P300范式的离线实验结果显示，被试通过区分目标刺激和干扰刺激，可以轻松诱发P300信号，并且通过选择关注不同的目标刺激可以发出不同的指令。实验采用CSP-SVM算法对脑电数据进行分类预测，5名被试的平均准确率为86.07%，高于SVM算法的80.42%，证明了采用CSP算法对脑电数据进行特征提取可以有效提高分类准确率。

基于触觉刺激范式和CSP-SVM算法，搭建了一套P300-BCI下肢训练康复系统，患者通过关注左右手的刺激来控制下肢机器人运动。康复系统的平均分类准确率为86.50%，实验结果显示，所有被试均可利用脑电信号控制机器人进行康复训练，证明了本文中采用的体感振动刺激范式BCI系统具有一定的可行性和有效性。

通过刺激人的手指来诱发P300信号，不仅能解决视听疲劳问题，还能为失去视觉和听觉功能的患者提供一种可替代的交互方式。触觉刺激不同于视觉和听觉刺激，它不局限于特定的感知部位。因此，手功能障碍的患者可以通过刺激腰部或其他部位来诱发P300信号。未来可以应用此范式对腰部或背部刺激进行研究。