基于脉冲神经网络的SSVEP脑电信号的识别

王 刚,周丽丽,孙凯明

(黑龙江省科学院智能制造研究所,哈尔滨 150090)

0 引言

脑机接口(Brain Computer Interface,BCI)不断发展,可通过该接口识别人类的大脑意图,其分为侵入式、非半侵入式及非侵入式[1],且三者放入大脑的位置不同。侵入式为植入大脑皮层直接获取脑电信号,获得高质量的脑电信号,但存在着高风险及成本。半侵入式为获取大脑皮层之外的脑电信号,主要基于皮层脑电图进行脑电信号分析,信号特点介于其余两者之间。非侵入式为获取大脑头皮脑电信号,由于神经元发出电磁波具有分散性及模糊性,导致采集脑电信号较弱。

脑机接口中的脑神经信号研究可分为诱发电位和自发脑电,诱发电位分为P300及稳态视觉诱发电位两种[2]。自发脑电在大脑不同知觉下,脑电信号呈现不同的变化,按照频段可分为δ波、θ波、α波、β波及γ波,其频率依次为0.2～3 Hz、3～8 Hz、8～12 Hz、12～27 Hz、27 Hz以上。Delta波是在深层次放松与深层次睡眠下产生的,是一种慢节奏脑电波。Theta波存在于人处于恍惚或催眠情况下,会使人更放松、开心。Alpha波是有意识的思维及潜在意识之间的频段,能够使人平静,促进更深层次的满足感及放松。Beta波是清醒中最常见的脑电波,能够促进认知推理、计算、阅读、沟通、思考等,在有意识的状态下发挥作用。Gamma波是神经动力科学领域中发现的较新波段。

研究了一种稳态视觉诱发电位(Steady-StateVisual Evoked Potential,SSVEP)[3]脑电信号识别方法,是一种非侵入式及诱发性脑电信号,通过不同频率闪烁设备刺激视觉(如LED灯闪烁、荧屏图片闪烁等刺激),在大脑皮层中产生对应频段的脑电信号,可通过BCI设备采集脑电信息。影响SSVEP的因素包括刺激呈现、目标编码、目标识别等[4]。本研究采用计算机多图片不同频率刺激,研究通过脉冲神经网络[5],识别脑电信号。

1 稳态视觉诱发脑机接口技术

1.1 SSVEP脑电信号的产生

诱发脑电信号的产生是通过大脑外部刺激,由对听觉系统、触觉系统及视觉系统刺激产生的脑信号,SSVEP信号是通过视觉系统的刺激产生的。图1为SSVEP脑电信号的获取,通过频闪对视觉刺激在大脑中产生诱发电位,通过脑电帽上配有的电极采集脑电信号。稳态视觉诱发产生脑电信号在微伏级,且刺激过程中会受到其他信号的干扰,为了准确获得脑电信号的分类结果,将采集的脑电信号进行预处理,包括信号放大、信号滤波等,对处理后的信号进行信息特征提取,再进行分类。

图1 SSVEP脑电信号的获取

1.2 SSVEP脑电信号的特点

稳态视觉诱发电位信号是一种脑电信号,易受其他生理电信号、工频等信号的干扰,通过脑机接口设备采集脑电信号时,可采集到的生理电信号包括眼动产生的眼电信号及肢体动作产生的肌电信号。工频信号存在于信号采集过程中,是由市电工频带来的干扰。SSVEP脑电信号采集会带来扰动信号,其具有以下信号特点:SSVEP脑电信号微弱,从采集波形幅度信号考虑,幅值在10 uV以下,从采集波形频率角度考虑,有效频率在5～50 Hz,由于受视觉主动刺激诱发,其在主频及谐波频率上展现明显。SSVEP脑电信号呈现周期性,通过采集设备采集的稳态视觉诱发的脑电信号是一定时间内的数据,在时域内观测波形,受扰动信号的影响,看起来像杂乱无章的信号,但通过频域观察可知,其在刺激频率处具有明显的频谱数据。

通过分析稳态视觉下的脑电信号产生及特点可知,其看似具有明显的分辨特征,但在采集脑电信号过程中存在着很大的不确定性,干扰时刻产生时,对于脑电信号的影响极大,采集的扰动信号可能比有用信号强,需应用不同方法分辨出脑电信号。无需训练直接对脑电信号识别的方法包括功率谱密度分析PSDA、典型相关性分析CCA等。需进行训练的方法有指定用户脑电分析算法UD、无指定用户脑电分析算法UI及深度学习的SSVEP分类[6]。

2 脉冲神经网络

脉冲神经网络(Spiking Neural Network,SNN)作为第三代人工智能网络,模仿人脑细胞信息传递方式,属于类脑人工智能,目前应用广泛的是深度学习网络,其使用全连接网络结构,从输入到中间层,再由中间层到输出层,都是通过连续值传递,信息能够被完整保留,在很多识别、分类上有着良好的表现。但从脑科学或生物科学角度而言,并未能模仿人大脑神经元传递方式,而脉冲神经网络是针对此方向的新型神经网络。

SNN不同于其他网络,是以脉冲方式进行传递信息,即发生在某一时间点上的脉冲信号,并非连续的数据信息。脉冲的频率表现出生物特征信号,其信号频率影响着每个神经元得膜电位,达到一定阈值后,神经元发放脉冲,向下一神经元传递脉冲信息,同时置位膜电位。

脉冲神经网络模仿生物神经元进行信息传递方式,每一个神经元输入为脉冲信号,输出也为脉冲信号,故需将识别数据信息进行编码成为脉冲信号,编码方法有速率编码、时间编码、泊松编码等,将编码后的数据变成脉冲送入神经元细胞,神经元细胞等效模型有多种(如HH模型、LIF模型、Izhikevich模型、SRM模型等),通过等效模型完成脉冲发放过程。图2所示为神经元脉冲的发放,其作为脉冲神经网络信息传递关键技术之一,将直接影响着信息识别率。

图2 神经元脉冲的发放

2.1 SNN网络结构

图3为脉冲神经网络结构。借鉴传统深度学习最优化方法与生物神经元等技术,研究人员提出了许多脉冲神经网络学习算法(如无监督学习算法、监督学习算法、强化学习算法、ANN-to-SNN算法)。本研究设计了脉冲神经网络结构,通过全连接方式,将每个神经元相连接,但在训练后因参数调节等效成一种稀疏性连接,由训练参数决定,前一神经元对后一神经元的作用强度不同,影响神经元脉冲的发放。

图3 脉冲神经网络结构示意图

将采集的脑电信号处理后,利用泊松编码[7]完成脉冲信息转化,将编码后的脉冲作为输入,通过中间隐藏层的网络结构,将脑电信号分类,神经元脉冲进行解码,即得到每一分类对应脉冲频率值作为分类结果,将解码频率值转化后作为输出层,达到脑电信号分类的目的。使用类脑脉冲神经网络能够减少功耗,脉冲的发放减少运算时间,解决小样本的训练泛化能力,训练结果鲁棒性高,脑电信号识别能力变强。

2.2 脉冲神经网络脑电信号识别

图4为SSVEP脑电信号识别结构,通过采集SSVEP脑电信号建立训练数据集及测试数据集,根据脑电信号的特点,对同一个人采集6 s的有效脑电数据,将采集的脑电数据切分成多段数据,进行数据增强处理,通过此方式建立数据集,按照9∶1比例,实现训练数据集及测试数据集的随机分组。将脑电信号进行泊松编码,将脑电信号转换成脉冲信号,再送入脉冲神经网络,通过脉冲神经网络结构输出层,输出分类脉冲信号,将输出脉冲进行解码,完成脉冲信号对应脑电信号的分类。

图4 SSVEP脑电信号识别结构

3 实验

3.1 脉冲神经网络训练

脉冲神经网络不同于卷积神经网络,根据脉冲信息传递方式,反向传播不能做链式偏微分,故无法以这种方式梯度回传。但许多研究者研究了多种分类方式,包括无监督学习、有监督学习、基于BP训练算法、基于STDP学习规则、ANN-to-SNN及其他学习算法。本研究采用STAC学习算法,通过Pytorch及Spaic库完成脉冲神经网络搭建,通过TensorBoard显示测试集损失曲线,共计进行200轮以上训练。图5为测试集损失曲线。损失曲线在开始阶段出现微浮动上升,后逐渐下降,形成一条光滑的曲线,符合脑电信号分类趋势,训练结构能够满足SSVEP脑电信号分类。

图5 测试集损失曲线

3.2 实验数据测试

通过训练的脉冲神经网络模型,对5名测试者进行稳态视觉诱发脑电信号识别实验。设计刺激频率时对应26个字母、功能键及10个数字,分别测试A、B、C、1、2、3对应6个频率下的字母及数字测试,采集脑电信号,按照建立数据集方法进行脑电数据处理,经多次采集识别,作为识别结果计算可靠的识别率。表1为SSVEP脑电信号识别结果。

表1 SSVEP脑电信号识别结果

4 结论

从脑机接口引入脑电信号的采集,分析SSVEP脑电信号下基于脉冲神经网络的识别技术,介绍了SSVEP脑电信号的产生及其特点,分析了脉冲神经网络,包括脉冲神经元、脉冲网络结构、SSVEP脑电信号识别。通过采集数据建立数据集,完成脉冲神经网络参数训练,利用训练参数完成实验。实验结果表明,基于脉冲神经网络能够实现SSVEP脑电信号的识别,识别率均值达到84%,说明通过对网络结构的优化及稳态视觉刺激的研究,可提高SSVEP脑电信号的识别率。