增强现实场景下基于稳态视觉诱发电位的机械臂控制系统

陈玲玲 陈鹏飞 谢 良 许敏鹏 徐登科闫慧炯 罗治国③ 闫 野③ 印二威③

①(河北工业大学人工智能与数据科学学院 天津 300130)

②(智能康复装置与检测技术教育部工程研究中心 天津 300130)

③(军事科学院国防科技创新研究院 北京 100071)

④(天津（滨海）人工智能创新中心 天津 300450)

⑤(天津大学 天津 300072)

⑥(中国铁道科学研究院通信信号研究所 北京 100081)

1 引言

由于老龄化、意外事故和疾病等诸多原因，我国失能和半失能人口日趋增多，其中处于失能或半失能状态的老年人已经超过4×107，如何改善他们的生活已经成为重要的社会问题。随着机器人技术和康复医学的发展，机器人在康复医疗领域得到广泛推广应用[1-3]。然而，大部分重度失能患者无法通过传统的人机交互方式(语音、键盘等)控制康复机器人，因此人机交互能力的扩展对于发挥康复机器人系统的作用至关重要[4-6]。

脑机接口(Brain-Computer Interface, BCI)是一种不依赖人体外周神经和肌肉的，在大脑与外界环境间建立直接信息与控制通道的技术，实现大脑与外部设备间的直接交互[7-11]。通过实时解析患者大脑信息，控制高自由度灵巧机械臂完成复杂动作，进而实现医疗辅助已成为当前BCI技术的研究热点。目前BCI主要分为两大类：植入式BCI和非植入式BCI[12]。植入式BCI虽然信噪比较高，但需要通过手术将微电极植入人体大脑神经皮层，具有一定风险，受试对象往往无法接受；而非植入式BCI，如脑电图(ElectroEncephaloGraphy, EEG)具有高时间分辨率、操作简单且对人体无创等特点，更能满足大多数失能患者的需求。

近年来，虽然基于非植入式BCI控制机械臂的研究取得了诸多成果，但仍存在可用指令较少、控制过程严格受限等问题[13-17]。例如上海交通大学的徐阳[15]使用基于运动想象(Motor Imagery, MI)的BCI实现对机械臂的移动控制，仅可实现两种控制指令；华东理工大学的左词立等人[17]实现对两种不同笔画汉字字符的识别，目前所识别的汉字字符数目为2个。相对而言，基于稳态视觉诱发电位(Steady-State Visual Evoked Potential, SSVEP)的非植入式BCI (SSVEP-BCI)，通信速率更高，可识别指令数目相对较多，因此备受关注[18-26]。

当人体受到一个固定频率的视觉刺激时，大脑皮层的电位活动将被调制，从而产生一个连续的且与刺激频率有关的响应，即为SSVEP。识别该响应的过程通常使用固定窗口，有利于降低系统复杂性和提高系统稳定性[26]。然而由于使用者间存在明显差异，同一使用者在不同时刻也将发生变化，使得固定窗口在实际使用中受到一定限制。动态窗口可以根据当前受试者的状态自适应地调整数据长度，从而调节刺激时长，减轻受试者的视觉疲劳，提高系统效率。王春慧等人[23]采用基于Bayes的动态停止(Dynamic Stopping, DS)策略实现了动态窗口，从而进一步提升SSVEP-BCI的性能。

另外，目前诱发SSVEP的视觉刺激大多由计算机屏幕提供，灵活性较差。例如，Chen等人[13]设计的脑控机械臂系统，使用计算机屏幕提供视觉刺激，虽然平均准确率达92.78%，但是由于屏幕位置固定，所以执行任务过程中要求受试者不断地在机械臂和屏幕间转移视线，加重了受试者的负担。增强现实(Augmented Reality, AR)是一种将虚拟信息与现实世界智能融合的技术[27-31]。AR技术与BCI技术的融合(AR-BCI)在一定程度上可以解决BCI系统灵活性较差的问题[32-34]。Arpaia等人[32]利用AR-BCI实现了机器人的移动控制，使受试者摆脱了屏幕的束缚，行动更加自由。

BCI控制系统一般可为同步系统和异步系统。同步系统要求使用者严格按照系统分配的时序选择命令，使用者活动受限；异步系统中操作序列没有固定的周期节拍和严格的时钟同步，每个指令或每一步操作可以根据需求来占用相应的时间，更贴近于人的正常操作习惯。异步系统的关键是区分用户的工作状态和空闲状态[35]。

因此，综合上述相关研究，为解决目前大多数SSVEP-BCI存在的灵活性差且易使受试者疲劳等问题，本文提出一种AR场景下基于SSVEP的机械臂异步控制系统。首先，设计视觉刺激界面，构建基于SSVEP的AR-BCI系统；接着，设计基于投票策略和差值预测的动态窗口，实现刺激时间长度的灵活调整；然后，利用伪密钥构建状态选择界面，实现机械臂系统的异步控制；最后，设计脑控机械臂拼图试验，验证此控制系统的有效性和可行性。相较于上述研究，本研究将AR技术、动态窗口、异步控制策略与SSVEP-BCI相融合，进一步提高了BCI系统的可行性和实用性。

2 受试者

本次试验共有10名视力正常或矫正至正常的健康受试者(7名男性和3名女性；年龄在23～26岁)参加。

在所有受试者中，有5名受试者参加过BCI的相关试验或对BCI有一定了解，而另外5名受试者不熟悉BCI及其相关试验。所有受试者的母语均为汉语，并熟悉在试验中使用的英文字符。其中，只有一名男性受试者为左利手，其余受试者均为右利手。试验前，每名受试者均签署知情同意书，并且天津大学伦理审查委员会批准了本研究(编号 TJUE-2021-115)。试验采集地点为天津(滨海)人工智能创新中心。在整个试验过程中，受试者坐在相对舒适安静的实验室中。

3 AR-BCI系统设计

设计基于SSVEP的机械臂控制系统，如图1所示，包括AR-BCI子系统和机械臂子系统，通过TCP/IP通信协议实现指令和信息的传递。

3.1 AR-BCI子系统

AR-BCI子系统包括视觉刺激、EEG数据采集和EEG数据信号处理3个模块。

3.1.1 视觉刺激

如图2所示，设计的视觉刺激界面包含12个刺激矩阵和1个提示框。前11个刺激矩阵采用数字的形式表示目标的终点位置坐标“1”～“11”；第12个刺激矩阵为“back”命令，用于撤销上一步操作。

图1 系统整体结构图

在实际应用过程中，需要依次选择横纵坐标，提示框出现相应的提示符“Row”和“Column”，通过两次闪烁确定一个坐标值。其中，第1次闪烁用于选择坐标，闪烁结束后系统将识别结果反馈在刺激界面上，即提示框内出现反馈字符，且对应反馈字符的白色矩阵变为蓝色。第2次闪烁用于校正，当受试者发现反馈字符与自身所选不符时，可以通过选择“back”命令撤销选择；反之，在第2次闪烁时随意选择除“back”之外的命令即可。

刺激矩阵采用正弦波闪烁，如式(1)和式(2)所示，刺激频率、相位与矩阵位置的关系为

其中，x和y为命令在刺激界面上的横纵坐标(刺激界面上横、纵轴的正方向分别为从左至右和从上至下)，f0, Δf和 Δp分别为8.0 Hz, 0.5 Hz和0.35 π。

视觉刺激由MATLAB PsychToolBox-3(PTB3)生成，呈现在AR设备(NED+，中国)的屏幕上。屏幕分辨率为1920×1080，刷新率为60 Hz。

3.1.2 EEG数据采集

EEG数据利用EEG数据采集设备NeuSen W(博睿康，中国)来采集，采样频率为1000 Hz。电极按照10-20国际电极放置法进行放置，选择位于枕区的9个电极采集EEG数据，分别为Pz, PO5,PO3, POz, PO4, PO6, O1, Oz和O2。接地电极放置在Fz和FPz之间，参考电极放置在头部顶点。上述11个电极的阻抗均保持在10 kΩ以下。

3.1.3 EEG数据处理

EEG数据处理模块主要包括预处理、分类和指令转换部分。利用带通滤波对EEG数据进行预处理，截止频率分别为8 Hz和90 Hz，阻带上下截止频率分别为6 Hz和100 Hz。由于存在视觉延迟，故截取视觉刺激开始0.15 s后的EEG数据段。接着，将数据段输入到分类模型识别受试者的意图，并将其转化为机械臂控制指令。

3.2 机械臂子系统

机械臂子系统主要包括机械臂、工作区域、目标物及控制主机。机械臂为6自由度机械臂(Kinova jaco2，加拿大)，配有二指夹爪，固定在工作台的右侧。工作区域为一个11×11的矩形棋盘，从机械臂视角看，从左至右为横轴，从上至下为纵轴。目标物为10颗直径为2.8 cm的黑色小球。

图2 视觉刺激界面

控制主机安装Ubuntu 16.04系统和机器人操作系统(Robot Operating System, ROS)。机械臂的驱动程序和运动控制程序均部署在ROS上。在ROS中，除了机械臂原有的节点外，还包括ARBCI系统发布的节点，用于向机械臂发送控制命令及接收机械臂状态信息。

机械臂的路径规划采用笛卡儿空间轨迹规划方法，在输入机械臂的始末端位置、姿态及沿途经过的路径点位姿变化后，系统自动规划机械臂的行动路径。同时，在机械臂行动过程中，系统通过机械臂相关节点实时获取当前机械臂的运行速度和位置信息，用以确定夹爪工作的开始时刻。

4 信号分类方法及优化策略

4.1 信号分类方法

4.1.1 CCA算法

视觉刺激频率与刺激诱发的SSVEP信号存在一定的相关性，典型相关分析(Canonical Correlation Analysis, CCA)是挖掘数据相关性的常用算法。

利用CCA计算每个刺激频率下多通道EEG信号与正弦-余弦参考信号之间的规范相关性。选择具有最大典范相关性的正弦余弦参考信号频率作为SSVEP频率，完成目标识别。

虽然CCA算法对于SSVEP具有较好的分类效果，但难以对少量数据进行分类处理，且没有充分提取数据的重要信息，影响了分类效果。因此，引入滤波器组典型相关分析方法(Filter Bank Canonical Correlation Analysis, FBCCA)对其改进。

4.1.2 FBCCA算法

4.2 基于动态窗口的优化策略

如图4所示，设计基于投票策略和差值预测的动态窗口，使视觉刺激时长可以在1.8～3.0 s灵活变化。

投票步骤：

步骤1 当系统读入数据时长Td达到1.6 s时，将预处理后EEG数据导入FBCCA算法得到预测结果，将该结果作为系统第1次投票(S1=C)；

步骤2 按照步长0.2 s继续读入数据；

步骤3 将预处理后EEG数据导入FBCCA算法计算预测结果 ，将该结果作为系统第2次投票(S2=C)；

图3 SSVEP-BCI中用于目标识别的FBCCA算法流程图

图4 基于投票策略和差值预测的动态窗口

步骤4 比较两次投票结果。如果结果相同，将投票结果C成为系统预判结果；反之，继续按照步长0.2 s读入EEG数据并进行投票，直至相邻两次投票结果相同。

步骤5 如果EEG数据达到3.0 s时，停止读入数据，选择系统最后一次投票结果作为系统预判结果。

基于差值预测的FBCCA算法步骤：

步骤1 将EEG数据导入FBCCA算法求得目标识别的特征ρ˜k；

步骤2 选择最大特征值所对应的目标作为判别结果 ；对ρ˜k从小到大进行排序，选择其中最大的两个特征值，并计算两者的差值E；

步骤3 当差值E大于阈值0.20时，将C作为算法预判结果输出；反之，将“12”(即命令“back”)作为算法预判结果输出。其中，阈值是通过离线试验确定的。

5 异步控制系统设计

异步控制的关键在于区分休息状态和工作状态，因此设计基于SSVEP-BCI的状态切换界面。状态切换界面上设有5个目标矩阵，包括两条指令“Open”和“Keep”。

Open：位于状态切换界面4个角落的目标均代表“Open”指令。当受试者选择4个角落中的任一目标时，系统从休息状态切换至工作状态，即从当前界面切换到刺激界面(如图2所示)，并激活刺激界面。

Keep：位于状态切换界面中央，该命令为伪密钥，也称为“假目标”。当受试者选择此命令时，系统保持现有状态，即休息状态。在佩戴AR眼镜后，受试者的视线一般集中在屏幕中央，所以当此命令存在时，受试者会在有意无意中选择该命令，保证系统状态不变。为了进一步提高系统稳定性，在信号处理过程中，加入阈值判别(阈值因个体而异)。当使用者没有专注于“Keep”目标矩阵时，系统输出特征值无法超过阈值，系统将强制输出“Keep”命令，维持系统状态。

状态切换界面的刺激方式与刺激界面相同，单次刺激时长为2.8 s，两次刺激间隔0.5 s。刺激频率的范围为8.0～10 Hz，频率间隔为0.5 Hz；初始相位均为0。

6 试验设计

为验证系统有效性，分别设计离线和在线两种试验：

(1) 离线试验：在AR环境下完成屏幕上的目标识别任务，无机械臂控制；

(2) 在线试验：在AR环境下控制机械臂并完成拼图任务。

6.1 离线试验

离线试验目的是帮助受试者熟悉相关试验，检测AR-BCI系统的实际性能，验证动态窗口的有效性。在离线试验中，受试者佩戴AR眼镜，并专注于屏幕上的SSVEP刺激界面，无需控制机械臂。

每名受试者需要进行至少10次测试，每次测试包含12个识别目标提示(即12条指令)，每个目标提示出现的顺序是随机的。每轮识别过程持续4 s，其中3 s用于视觉刺激，1 s用于目标提示和休息。在试验前，屏幕中出现目标提示，相应目标的白色背景变为红色。在试验中，目标按照预设的频率和相位闪烁，为受试者提供视觉刺激，要求受试者将视线聚焦在所提示的目标。当一轮刺激结束后，屏幕上会出现下一个目标的提示，要求受试者及时将目光从上一个目标转移到下一个目标。

试验结束后，分别使用固定窗口和动态窗口对离线数据进行处理，并对比两者的差异。

6.2 在线试验

在线试验要求受试者佩戴AR眼镜，通过抓取黑色小球并将其放置在工作区域完成拼图任务。在线试验中没有视觉提示，小球放置的位置并不固定，由受试者自行选择。当受试者确定小球放置位置后，自行切换刺激界面，受试者选择目标放置位置的坐标(行坐标和列坐标)。然后，机械臂到指定位置抓取小球，并将小球根据选择结果移动到目标位置。

要求受试者在工作区域依次完成菱形和三角形两项拼图任务，其中每个图形由8颗黑色小球组成，记录受试者完成任务所需时间。

6.3 评价指标

7 试验结果与分析

7.1 离线试验结果

将离线试验的EEG数据分别选用固定窗口1(刺激时长2 s)、固定窗口2(刺激时长3 s)及动态窗口，计算12个目标分类的准确率和ITR，结果如表1、表2和表3所示。3次测试的分类准确率依次为(92.08±7.02)%,(95.41±4.13)%和(93.11±5.85)%；ITR依次为(59.59±9.90) bit·min-1, (47.87±4.92)bit·min-1和(59.69±8.11) bit·min-1。

表1 离线试验1的结果

表2 离线试验2的结果

表3 离线试验3的结果

离线试验2(固定窗口3 s)的识别准确率最高，但其ITR远低于试验1和试验3(p<0.05)，而试验1(固定窗口2 s)与试验3(动态窗口)的ITR无显著性差异(p>0.05)。使用动态窗口后，平均刺激时长(2.02±0.02) s略高于2 s，远低于3 s。试验3的平均识别准确率高于试验1，且动态窗口的平均ITR均高于固定窗口。

如图5所示，由受试者识别结果的混淆矩阵可知，使用动态窗口时，12个目标的识别准确率为88.57%～98.10%，由单因素方差分析可知，类间无显著差异(p>0.05)。分类错误多发生在两个相邻的目标之间，如目标“8”和目标“back”，如图2所示，目标“8”位于目标“back”的正上方。主要原因是相邻目标之间存在一定的干扰。

7.2 在线试验结果

图5 12个指令预测字符与真实字符的混淆矩阵

图6 在线实验场景，受试者控制机械臂完成拼图任务

10名受试者参加在线试验，实验场景如图6所示。在线试验过程中，小球放置位置由受试者自行决定，当系统预判结果与受试者所选不符时，即判定为错误指令。且当校正环节失效导致小球位置放错时，判定为最终执行错误。其中一组执行准确与失误的场景如图7所示。

7.2.1 选择控制指令试验

如表4所示，对比使用固定窗口(刺激时长3 s)和动态窗口的在线试验结果，两次试验完成任务的平均时间分别为725.4 s和681.7 s，使用动态窗口完成任务所需时间明显少于固定窗口，同时平均识别准确率、平均错误命令数目和平均最终执行错误数目均差异不大。

图7 执行准确与失误的场景图

在线使用动态窗口后，平均命令选择时间为2.18 s，高于离线试验的平均刺激时长2.02 s，原因是在线试验过程中视觉刺激和数据处理同步进行，算法运行及数据传输占用一定的时间。但使用动态窗口的在线试验的平均命令选择时间仍低于3 s固定时长，有利于降低受试者的视觉疲劳和精神疲劳，进一步提高系统的实用性。通过对比错误命令数目和最终执行错误数目发现，最终执行错误数目明显低于错误命令数目，说明增加纠错环节可以有效避免受试者发送错误指令，提高系统的稳定性和准确性。

7.2.2 状态切换试验

如表5所示，对比使用固定窗口(刺激时长2.8 s)和动态窗口的状态切换的试验结果，两种情况的平均准确率分别为95.40%和96.07%，差异不大。且平均总命令数目和平均错误命令数目都差异较小。但是，状态切换试验的平均准确率明显高于选择控制指令的平均准确率。主要原因是状态切换的指令数量(5个)远少于控制指令的数量(12个)，且状态切换界面的刺激矩阵之间相邻较远，相互干扰较小。

表4 选择控制指令试验结果

表5 选择控制指令试验结果

8 结论

本文设计了一套AR环境下基于SSVEP的机械臂异步控制系统。使用AR设备摆脱了传统屏幕的束缚，使BCI系统的使用更为便利。使用动态窗口可以灵活调整刺激时长，在一定程度上减轻受试者的视觉疲劳。利用FBCCA算法，充分提取数据的重要信息，实现12目标的准确识别，确定目标位置坐标。系统的平均准确度为(93.11±5.85)%，平均ITR为(59.69±8.11) bits·min-1。采用伪密钥实现机械臂异步控制，使受试者顺利完成两种拼图任务(平均时间681.7 s)，有效地提高了系统的实用性和灵活性。

试验结果表明，无论是BCI试验经验丰富的受试者还是无经验受试者均可利用该系统控制机械臂去完成相应的目标任务。本文的研究是一次有益的探索，证明了本文提出的人机交互方法具备一定的可行性和有效性，为将来脑控机械臂的发展提供了一种新的思路。同时，此系统将来还可以作为一种康复理疗的手段，帮助病患恢复自身的运动能力，具有一定的应用前景。

虽然该系统具有一定的优势，但在异步控制方面，基于伪键而设计的状态切换策略使得受试者的视线受到一定的遮挡，影响了受试者的使用。同时，滑动窗口也存在进一步改进的空间。并且SSVEP自身也存在一些局限性。例如目前诱发SSVEP信号的视觉刺激大多数采用低频视觉刺激，这容易引起受试者疲劳。另外SSVEP-BCI系统的效率相对于传统交互方式还是比较慢，影响了他的推广及应用。未来的工作将对更为便利和有效的异步控制方式、刺激范式和滑动窗口进行研究，使控制系统的实用性得到进一步提高。