基于虚拟现实的脑-机接口技术发展研究

武警工程大学研究生管理大队 陈 思军事基础教育学院 肖 辉

基于虚拟现实的脑-机接口技术发展研究

武警工程大学研究生管理大队 陈 思
军事基础教育学院 肖 辉

脑-机接口与虚拟现实是当前研究的热点,将二者的有效结合,既能更有效地发挥脑-机接口的功能,提高被试的脑-机接口控制效果,又能对虚拟现实技术进行改善。本文介绍了基于虚拟现实的脑-机接口的研究背景,而后介绍了该系统的基本结构,并总结了当前该技术的发展现状,最后提出了未来发展前景。

脑-机接口;虚拟现实;基本结构;发展现状

1 引言

脑-机接口(BCI)是指大脑与外界设备在不通过传统的肌肉组织和神经末梢的前提下,实现直接通信的一种方式。BCI最初的用途主要是集中在康复医学领域,随着该技术的发展,目前其应用范围愈加广泛。近年来,随着多媒体技术的兴起与发展,出现了一种新型的BCI:基于虚拟现实的BCI(BCI-VR)。也就是说为被试提供一种身临其境的虚拟现实环境,使之更加投入,进入感更强,进而更好地控制BCI系统。

兴起几十年以来,BCI技术已经取得了显著的进展,其分类精度和传输速率进步飞速,其应用领域也从康复医学拓展到军事、通信、仪器、多媒体、娱乐等各个领域,逐渐走进人们的生活中。但是,在商业开发的过程中,研究者发现,它存在一个较为致命的瓶颈问题,也正是由于这个问题,才使得其实用性较弱,那就是脑-机接口的控制表现差异问题。所谓控制表现差异,就是不同的被试对脑-机接口具有不同的控制表现,即使是相同的被试,在不同的心理和生理状态下,也会有不同的控制表现。有些被试甚至无法实现对脑-机接口的有效控制,这部分被试被称为脑-机接口盲。在试图解决这个问题的时候,我们发现,对被试进行反馈,使之适时调整自己对脑-机接口的控制,进而找到控制的最佳状态,是改善BCI控制表现的有效途径。而虚拟现实则是反馈的一个有效手段。

2 BCI-VR的基本结构

BCI-VR在原有BCI系统的基础上,增加了VR的部分,分为BCI和VR两个部分。

2.1 BCI系统

BCI系统主要是用来采集、记录、分析和传输被试的脑电信号,实现大脑意愿的,主要由信号采集、信号处理和控制器三个部分组成。在BCI-VR中,将BCI系统看作一个整体,成为BCI硬件部分。其中的信号处理方法构成该整体的软件部分。

信号采集根据是否植入大脑分为嵌入式和非嵌入式采集设备。嵌入式的信号采集需要通过外科手术植入大脑,具有一定的创伤性,因此,除了一些病患之外,在实验中,我们采用的是非嵌入式信号采集设备,例如电极帽等。

信号处理部分由信号预处理、特征提取和特征分类三部分组成。信号预处理的方法以空间滤波和带通滤波为主,主要是为了去除一些不必要的干扰,为特征提取和特征分类奠定基础。特征提取的方法有时域方法、频域方法和时频域方法等,主要是对脑电信号中的有用特征进行提取。特征分类是对提取到的信号特征进行分类分析,主要方法有有线性判别分析、贝叶斯-卡尔曼滤波、人工神经网络等。

控制器是将被试的脑电信号进行分析后传递出去,实现对外部设备的控制。

BCI系统在BCI-VR中充当的是VR系统的输入设备。

2.2 VR系统

虚拟现实,是利用计算机模拟产生一个虚拟的空间或环境,为被试提供视觉、触觉、听觉等感官上的模拟,使之产生身临其境般的体验。BCI-VR中的VR系统,能够为被试提供实时情景的反馈,并处理来自BCI的控制指令。

VR系统由建模、仿真和通信协议等组成,与BCI系统软件互相通信,协同实现对外部设备的控制。若想实现BCI和VR的有效通信,需要一些行之有效的协议,例如UDP协议等[1]。BCI-VR的实现,需要数学建模、计算机技术、通信技术等多领域的合作才能完成。

VR环境是BCI-VR的反馈部分,与传统的VR相比,能为被试提供更加积极主动、丰富多彩、直观直接的情境反馈。

3 BCI-VR的发展现状及应用前景研究

3.1 BCI-VR技术的发展现状

2000年,Bayliss和Ballard等人首次将脑-机接口技术与虚拟现实相结合,使得被试在虚拟环境中操作一辆汽车在红灯前停下,红灯被设置为P300电位[2]。2005年,Lalor 等人1使用基于视觉稳态诱发电位的BCI技术来控制3D虚拟环境游戏[3]。2007年, Leeb R等人实现了在虚拟环境中用BCI控制轮椅前进或者停止[4]。西班牙的Sergi Bermudezi Badia等人设计了一款基于脑-机接口虚拟现实的神经康复系统[5]。

国内关于BCI-VR的研究也取得了不错的成绩。2006年,清华大学马贇、王毅军等人设计出了一种基于脑-机接口技术的虚拟现实康复平台,为病患设计出了一个虚拟的训练平台[1]。2014年,天津大学孔丽文、薛召军等人发明了一种基于虚拟现实的智能眼镜脑-机接口技术[6]。上海交通大学的赵启兵等人设计了一种异步BCI系统,使得被试在虚拟环境中可以自主地控制车辆行驶。2010年,杨帮华等人设计了基于虚拟现实的脑机交互反馈系统,有效改善了BCI的反馈系统[7]。

3.2 BCI-VR技术的应用前景

随着社会各界对脑-机接口技术的关注日益密切,其发展必将得到广泛推进。而想要发展,就要解决瓶颈问题。前文中已经提到,脑-机接口发展的主要障碍之一就是控制表现差异的问题,而解决控制表现差异或者改善被试控制表现的有效方法之一就是基于虚拟现实的反馈方法。因此,BCI-VR技术拥有光明的发展前景。

一是在多媒体和电子科技领域,BCI-VR已经打开了电子科技发展的另一扇窗,成为广大电子发烧友关注的热点问题,下一步的发展将会集中在基于该技术的电子产品的普及上。

二是在康复医学领域,BCI技术在康复医学领域的发展日趋成熟,而BCI-VR为那些大脑思维正常但是有行动障碍的病患带来了福音,将成为病患恢复四肢运动功能的有效辅助工具。

三是在军事领域,科技的发展,最初很多都是为军事服务的。而在以和平与发展为主题的现代社会,BCI-VR技术在军事领域已经崭露头角,相信不久的将来,会为人类的和平事业做出应有的贡献。

4 总结

本文首先介绍了基于虚拟现实脑-机接口的基本结构和功能,而后在前人研究的基础上,总结了BCI-VR技术的发展现状,并展望了其发展前景。BCI技术的发展进入了全新的阶段,在解决其发展瓶颈的基础上,BCI-VR技术必将发挥更大作用。

[1]马贇,王毅军,高小榕,高上凯。基于脑-机接口技术的虚拟现实康复训练平台[J]。中国生物医学工程学报,2007,6(26),373:378.

[2]BAYLISS J D, BALLARD D H, A virtual reality test-bed for braincomputer interface research[J]。IEEE Transactions on Rehabilitation Engineering, 2000,8(2):188-190.

[3]LALOR E C, KELLY S P, FINUCANE C et al。 Steady state VEP-based brain-computer interface control in an immersive 3D gaming environment[J]。 EURASIP journal on applied signal processing。 2005:3156-3164.

[4]LEEB R,FRIEDMAN D, MULLER-PUTZ G R,et al。Selfpaced BCI control of a wheelchair in virtual environments:a case study with a tetraplegic[J]。Computational intelligence and neuroscience,2007.

[5]Sergi Bermudezi Badia,Hani,Samaha。Exploring the Synergies of a Hybrid BCI-VR Neurorehabilitation System[C]。International Conference on Virtual Rehabilitation 2011,2011.

[6]孔丽文,薛召军,明东,等。一种基于虚拟现实环境的智能眼镜脑-机接口方法[P]。中国专利:CN103955269A,2014-07-30.

[7]杨帮华,刘丽,陆文宇,等。虚拟现实在脑机交互反馈系统中的应用[C]。中国科协海峡两岸青年科学家学术活动月"仿真科学与技术"研讨会,2010.