基于BCI-VR技术的新型上肢康复系统

徐森威,曾 虹,孔万增,2

(1.杭州电子科技大学计算机学院，浙江 杭州 310018;2.浙江省脑机协同重点实验室，浙江 杭州 310018)

0 引 言

上肢功能障碍是大部分功能障碍患者面临的问题，也是康复研究的重点。传统的康复治疗方法只依靠专业人员对患者进行一对一康复训练，不仅消耗大量的人力，而且因患者缺乏主动参与训练的积极性导致大部分运动神经没有被足够刺激和反馈[1]。脑-机接口是一种在人脑和计算机或其他电子设备之间建立不依赖于常规大脑信息输出通路的对外信息交流和控制的技术[2]。脑机接口除了替代病人的缺失功能外，另一个更复杂的用途是通过促进大脑的重塑来实现功能的代偿，是一种新型的神经康复训练方式，在功能障碍患者的神经康复训练中起到积极促进的作用[3]。在神经康复训练中，有效的反馈可以对相应的大脑活动进行调整和改善[4]，所以近几年来，将BCI与虚拟现实技术相结合成为一种新的应用形式。在沉浸式虚拟现实环境下，仿真的感官刺激能对神经元起到更加明显的调节作用，提升患者的康复效果，已有相关研究证明了BCI-VR康复模式的有效性[5]。本文利用WebVR技术构建了轻量级BCI-VR系统，在不影响受试者体验的基础上，快速构建虚拟环境，并通过健康人群实验初步验证了系统应用于手功能障碍患者医疗康复的可行性。

1 系统设计与实现

本文设计的BCI-VR系统由脑机接口(BCI)子系统和虚拟现实(VR)子系统组成，两者使用同1个局域网内2个不同的主机。在BCI子系统中，脑电信号经过处理生成控制信号，并通过TCP/IP通信协议传递给VR子系统；VR子系统解析命令后，通过Socket协议实时控制相应的手臂动作。

1.1 VR子系统的设计

本文设计的VR子系统由两部分组成，客户端用于呈现虚拟现实效果，服务端用于接收、处理控制信号并控制客户端的手臂动作，两者之间通过Socket进行实时交互。Web客户端以Three.js技术为基础，在Web端实现了虚拟现实康复训练场景，通过头戴式(Head Mount Display, HMD)设备可以在沉浸式的虚拟环境中进行康复训练。VR子系统主界面如图1所示。

图1 VR子系统主界面

VR子系统由Three.js为基础的WebVR技术实现。虽然Unity3D开发引擎实现的虚拟现实环境具有高渲染度、高性能的特点，支持大型虚拟环境的构建，但是其开发周期长，且构建成本较高。目前大多数上肢康复系统对性能的要求很低，只需要完成简单的动作即可，因此，可以使用轻量级的WebVR技术代替Unity3D开发引擎，在不影响受试者体验的基础上，大幅度减少开发成本。

1.2 仿真手臂模型的构建

仿真手臂模型通过Blender三维动画制作软件构建。首先，通过创建骨骼完成手臂骨架制作，并将骨架与手臂3D模型绑定，这是手臂和手指能够运动的必要条件；其次，为了提高仿真度，使用与真实皮肤相同纹理的蒙皮效果，看起来和人真实的手臂基本相同，很大程度提高了患者在虚拟环境中的沉浸感。

仿真手臂的动画效果，例如手臂屈伸，手指抓握等，由Three.js的补间动画完成。同时为了尽可能实现仿真，手臂的大小和动作幅度都模拟真实的手臂动作实现。

1.3 自定义虚拟现实环境

在BCI-VR系统中，虚拟环境的背景图由Insta360 one X全景相机拍摄。拍摄的全景图以虚拟背景的形式映射到预先构建的虚拟场景中，并将仿真手臂模型放置在场景中心，按照人的真实感受设置仿真手臂模型的角度和位置，并根据视线的移动进行跟踪移动。

使用全景预览图可以在不影响患者视觉效果的基础之上，快速构建一个仿真的虚拟环境。同时，系统还提供了可视化接口，允许患者自定义虚拟现实环境，例如通过替换背景构建一个与患者家里环境相同的虚拟场景。

1.4 训练模式

在初始化时，BCI-VR上肢康复系统共有2种训练方式和4种训练场景。如图2所示。患者在使用时可以自由选择图2中的病房、轮椅、客厅等训练场景，以及手臂屈伸和手掌抓握等训练方式。训练模式是固定的，训练场景可以根据系统提供的可视化接口自由扩充。

图2 BCI-VR训练模式效果图

由于使用Three.js这种轻量级的开发方式构建WebVR虚拟现实环境，系统可以在不降低性能的情况下，快速定制患者需要的虚拟现实环境，同时也不局限于这些场景，相比于传统的使用Unity 3D构建虚拟现实场景的方式，节约了开发成本。

2 实验与分析

2.1 实验参与者

实验招募了17名健康的在校大学生，其中5名女生和12名男生。每名参与者都阅读并签署知情同意书，并被告知实验的内容及实验数据的用途。

2.2 数据获取

图3 EEG电极位置分布图

实验使用NeuroScan脑电信号采集设备采集受试者的脑电图(Electroencephalogram,EEG)信号。按照10/20国际标准系统[6]，将64个电极均匀分布在受试者头皮的运动皮层周围，接地电极REF为参考电极，使用的采样频率为250 Hz，采集的信号通过生物信号放大器进行放大并保存。EEG电极位置分布如图3所示。实验使用了Fz，FC3，FC1，C3，Cz，C4等22个电极，如图3标注部分。

2.3 离线训练

为了保证受试者有良好的精神状态，所有实验都在上午进行。整个实验过程中，受试者静坐在计算机屏幕前的椅子上，头戴脑电帽和HMD头显，2只手臂放在腿上并保持放松，身体平稳，休息期间也不能有大幅度的动作。

图4展示了具有视觉刺激的数据采集实验范式。整个实验共分为8段，每段时间为5 min，受试者每进行一段实验休息1 min。每段有30个试次，每个试次持续10 s。每个试次中，第0～3 s为休息时间，受试者处于放松状态；第3～6 s为视觉刺激呈现时间，受试者可以看到虚拟现实中的左手抓握或右手抓握；第6～10 s为运动想象时间，受试者根据刺激呈现阶段看到的动作进行运动想象，想象自己的左手抓握或右手抓握。

图4 离线训练实验范式

2.4 在线训练

通过模拟在线训练来验证BCI-VR系统应用于在线康复训练的可行性。根据离线训练采集的有效数据建立模型，受试者进行在线训练时，训练方式和要求与离线训练一致。由于实验中使用NeuroScan脑电信号采集设备，为实现脑电信号实时处理，系统改进了BCILab工具包[7]读取脑电信号的过程。BCILab读取脑电信号默认时间间隔为40 ms，实验过程中每间隔40 ms从NeuroScan读取一段长度为40 ms的脑电信号。为实现脑电信号拼接，对信号读取过程进行修改，通过设置全局缓冲区来完成运动想象阶段多段脑电信号的拼接与缓存，实现了脑电信号的在线处理效果，同时不会出现延迟或遗漏。脑电信号实时读取与拼接如图5所示。

图5 脑电信号实时读取与拼接

图6展示了在线训练时数据采集的实验范式。在每个试次中，第0～2.0 s为休息时间，受试者可以进行短暂休息；第2.0～3.5 s虚拟场景中出现英文单词“Left”或“Right”，提示受试者应该想象的动作；第3.5～7.5 s，受试者根据提示进行运动想象，运动想象结束之后，对采集的数据进行处理并显示处理结果；第7.5～12.0 s，通过虚拟现实环境显示运动想象的结果，如果想象成功，可以看到虚拟现实里的左右手抓握，就像控制自己的左右手抓握一样。由于数据处理、数据传输的过程可在1 s内完成，所以设置2 s的阈值，超过这个阈值，表示网络错误，没有收到相应的处理结果，直接显示想象失败。在线训练的时长没有限制，受试者可以根据自己的身体状态进行调整。

图6 在线训练实验范式

2.5 实验结果分析

参加实验的17名受试者中，有2名受试者没有严格按照预先设定的实验范式进行实验，被判定为无效数据，最终保留15名受试者的有效数据集。

研究表明，共空间模式(Common Spatial Patterns, CSP)算法[8]作为典型的脑电信号特征提取算法，可以有效构建最佳空间滤波器区分多任务下的EEG信号，并且对于运动想象任务而言，相对于其他的算法具有更好的分类效果。本文设计的BCI-VR上肢康复系统使用CSP算法对采集的离线数据进行分析，每次离线数据处理过程中，测试集占比总数据集的20%，并经过十折交叉验证，左右手运动想象任务的平均分类准确率达到84.5%。其中有4名受试者达到了90%以上的分类准确率，效果最差的受试者也达到了75%以上的分类准确率。

在线数据处理过程中，先使用2次离线采集的数据建立模型，再进行分析处理，多名受试者进行在线训练的平均分类准确率为81.9%。受试者在进行主动运动想象的过程中，大部分的控制信号都能被成功分类，初步证明了该BCI-VR系统应用于康复医疗的可行性。

2.6 VR与3D动画效果对比实验

虚拟现实反馈相比于传统的3D桌面动画反馈而言，能够提供更加真实的感官刺激，提高患者的治疗积极性。为了分析两者之间的差异性，本文进行了对比实验。

实验招募5名受试者，在同一天上午进行2次不同的实验。第一部分的实验，视觉刺激的呈现方式是3D桌面动画，其余各阶段的实验内容都与离线训练实验范式相同。第一部分实验结束之后，为了避免电极位置偏移，受试者不摘下脑电帽，原地休息10～20 min。相对于第一部分而言，第二部分的实验仅把视觉刺激的呈现方式改成虚拟现实下的感官刺激，并要求受试者带上HMD头显完成这一阶段的实验。整个实验结束之后，需要受试者填写问卷调查，针对实验过程中的趣味性、疲劳度等方面进行评价，最后对比分析2次数据的分类效果。

图7 VR与3D动画效果对比实验结果

在每次对比实验中，都使用同一种算法进行伪迹去除以及数据处理。实验表明，两者在分类准确率上的表现类似，当切换为VR感官刺激时，并没有发现性能的提升，两者比较的具体结果如图7所示。对比分析实验结果发现，VR效果下的性能均比3D效果有所降低，原因可能是HMD头显及其他一些设备对受试者脑电信号产生了干扰。下一步可以设计针对VR环境下的伪迹去除算法，例如选用专用滤波器进行信号预处理以提升分类效果。

通过对受试者问卷调查分析发现，沉浸感较强的虚拟现实环境更能激发受试者的运动想象积极性，不容易产生疲劳，符合长期康复训练的要求，更适合临床的神经康复训练。

3 结束语

本文设计了轻量级BCI-VR上肢康复系统。相比传统的上肢康复系统，离线训练与在线训练平均分类准确率均有较大提升。在不降低受试者感官体验的情况下，实现了虚拟现实环境的快速构建，同时，虚拟现实环境提供的沉浸式感官刺激有助于提高受试者训练的积极性。但是，由于虚拟现实设备对脑电信号的干扰，相比3D桌面动画的实验环境，受试者运动想象的分类效果都有不同程度的降低，后续研究将针对虚拟现实环境下的干扰信号，设计更有效的伪迹去除算法以提高最终的康复训练效果。