基于复杂网络技术的异步脑-机接口分类系统
2020-06-04解承军
张 微, 解承军
(1.中国矿业大学银川学院信息工程学院,银川 750001;2.埃肯铸造(中国)公司生产部,石嘴山 753000)
脑-机接口(brain-computer interface,BCI)技术是一种不依赖周围神经和肌肉组织,实现脑与外部世界之间传递信息和命令的系统[1-2],在医疗康复、运动辅助、人机交互等领域有广阔的应用前景[3]。完整的BCI系统包括信号采集、信号处理、控制装置和刺激反馈等[4]。即首先,通过脑电图(electroencephalogram,EEG)[5]获取脑电信号;其次,对提取的信号进行解析,包括预处理、特征提取和分类识别;最后,将分类识别结果转为控制指令控制外部装置,如智能轮椅[6]、机械手臂[7]、飞行器[8]、电脑操作[9]等。其中,分类识别问题是BCI系统研究的重点。
BCI系统分类常用自回归模型(autoregressive models, AR)[10]、小波包变换(wavelet packet translation, WPT)[11]、共空间模式(common spatial patterns, CSP )[12]等方法提取特征向量。而研究发现,人群中15%~30%的用户存在“BCI盲”问题[13]。此外,不同被试的特征信号存在差异,不同被试电极位置不同会导致导联激活区域和诱发的脑电信号特征有所不同。现有BCI系统通用性是研究难点之一。
大脑是一个在静态和动态活动中都存在连接的复杂网络,其连接模式与行为意识密切相关[14]。EEG可记录不同脑区的时间序列信号,反映脑区之间的活动情况和协同关系[15],而脑区之间相互关系又可以通过脑网络进行解析。因此,提出将EEG时间序列转化为脑网络,脑网络测度可反映脑活动信息且具有普适性[16]。
针对BCI系统分类问题,采用复杂网络技术对异步BCI系统进行分类,针对异步BCI实现中的关键问题,设计了面向脑网络技术的实验范式、预处理、提取特征、分类识别和实现。异步BCI系统的运行实验结果显示,基于复杂网络技术的异步BCI分类系统能够判断大脑工作态和空闲态且避免用户激活脑区和导联之间差异性,为BCI系统研究提供了一种新的途径。
1 复杂脑网络技术
1.1 脑网络构建
脑网络是一个典型的复杂网络,复杂网络的研究是基于图论,即脑网络可抽象为节点集N={n1,n2,…,nN}和边集L={l1,l2,…,lN}的组合,构成网络G(N,L)。脑网络的构建可分为加权脑网络和二值脑网络,二者区别在于连接权重。
(1)定义网络节点:选择头皮电极(即导联)作为节点构建脑网络。
(2)量化网络的边:脑网络的边是通过度量不同节点时间序列的相关性来量化节点间的相互关系,利用锁相值(phase locking value,PLV)加权网络。
(3)选择合适的阈值:脑网络各节点和边之间存在强连接和弱连接,通过选取阈值可去除脑网络中弱连接,即将加权脑网络转化为二值脑网络。具体网络构建如图1所示。
图1 脑功能网络构建Fig.1 Establish brain function network
1.2 脑网络基本测度
脑网络的测度能刻画脑网络的拓扑结构和动力学性质,是分析脑网络特性的重要技术支撑。常用的脑功能网络的3种重要测度如下。
(1)节点度。脑网络节点度能反映该节点在网络中的重要程度,定义为某一节点中其他节点与之相连的边数总和,即将邻接矩阵的第i行或第j列的元素求和,即
(1)
式(1)中:Ki为节点度,表示加权网络中各节点权系数aij相加。
(2)聚类系数。脑网络聚类系数能反映该节点在网络中的连接的紧密程度,定义为某一节点中与之直接相连的邻居节点之间相互连接的概率,即
(2)
式(2)中:Ei表示节点i所有相邻节点之间相互连接的连边数;ki表示节点i与所有相邻的节点连接的连边数。聚类系数0 (3)特征路径长度。脑网络特征路径长度表示节点对在网络中的离散程度,定义为任意一个节点到达另一个节点之间的最小连边数的平均值,即 (3) 式(3)中:N表示脑网络中节点的总数;di,j表示从节点i到节点j所有连边中的最短路径;特征路径长度L表示所有两两相互连接的节点对之间最短路径的平均值。 BCI系统的设计与实现主要包括实验范式设计、预处理、特征提取、分类识别和实现等。基于脑网络技术的BCI与基于EEG的BCI在上述核心环节的设计上有着重要区别。因此,主要解决面向脑网络技术的实验范式设计、信号预处理、脑网络的构建、基于脑网络测度的特征提取、分类识别及实现。 基于脑网络技术的BCI系统主要是围绕工作态和空闲态判断这一核心问题。为减少脑网络技术计算复杂度大而导致的BCI响应延迟的问题,提取脑运动准备信号(brain-motor-preparatory potential,BP)[17],即提取运动执行前2 000 ms的EEG代替运动执行中的EEG作为研究对象。为避免外界干扰,采集被试者完全自主运动手臂时的EEG和肌电图(electromyography,EMG),其中EMG的采集是为了定位BP。单次实验包括运动准备、运动执行和放松,如图2所示。 图2 实验范式流程Fig.2 Test progress 信号分析的第一步是对采集信号预处理。基于脑网络技术的异步BCI系统预处理主要包括去干扰和划分频段,具体步骤如下。 (1)观察原始EEG,剔除质量较差被试EEG。 (2)去除眼电等伪迹干扰。 (3)通过EMG定位BP,截取运动前2 000 ms的EEG作为BCI系统的工作态信号,截取工作态前2 000 ms的EEG作为空闲态数据,将工作态数据和空闲态数据分别保存。 (4)将截取的工作态和空闲态数据通过带通滤波器划分为delta(0~4 Hz)、theta频段(4~7 Hz)、alpha 频段(8~13 Hz)、beta频段(14~30 Hz)四个频段。 PLV是一种从相位角度构建脑网络的方法,能测量导联间脑电信号在某一窄频带的相位同步化程度,通过相位差反映导联间脑电信号的同步性。 2.3.1 节点 采集被试全通道(64导)EEG,采用ERP成分叠加平均法从运动起始前的2 000 ms处以50 ms为周期绘制被试脑地形图,如图3所示。 图3 脑地形图Fig.3 Brain topographic map 图3显示从1 400 ms到1 800 ms大脑激活脑区有明显变化,特别是在C1、C2、C3、C4、C5、C6、CP1、CP2、CP3、CP4、CP5、CP6、FC1、FC2、FC3、FC4、FC5、FC6等分布在大脑后顶叶区和额叶区的18个导联上EEG有较大的变化。因此,选择以上18个导联作为脑网络节点。 2.3.2 边 将预处理之后的数据段采用PLV量化各节点间的关系,生成一个18×18连接矩阵,即PLV加权脑网络模型。 2.3.3 显著性判定 通过小波包变换将采集数据分解为delta、theta、alpha、beta四个频段,采用t检验对PLV加权网络18个节点对的显著性进行判定,结果如表1所示。 表1 PLV脑网络显著性判定Table 1 PLV Brain network significance 表1显示在大样本t检验中delta频段有显著性差异,连接数最多,故选择delta频段构建脑网络。 2.3.4 拓扑特性 脑网络拓扑如图4所示。图4中黑线代表权重相对较大,即连接强度大,工作态加权脑网络与空闲态加权脑网络有显著不同,其中连接强度大的节点集中在后顶叶和额叶区,与神经生理研究结果一致[18]。 图4 PLV加权脑网络拓扑图Fig.4 PLV weighted brain network topology 2.3.5 测度分析 在delta频段计算节点度、聚类系数、平均路径长度网络测度,并提取其特征,如图5所示。 图5对比分析PLV工作态和空闲态加权脑网络的节点度、聚类系数、特征路径长度的差异性:①工作态和空闲态加权脑网络在不同任务态下脑网络测度存在差异性;②工作态节点度、聚类系数均大于空闲态;而特征路径长度与上述表现相反。③工作态脑网络更容易社团化。 图5 加权脑网络测度差异性Fig.5 Weighted brain network measure difference 加权网络能反映网络的全部信息,但极有可能造成虚假连接,影响网络测度。将加权网络转化为二值网络可简化脑网络,更易提取明显特征。 通过设置阈值将加权网络转换为二值网络。采用步进法,阈值T从0到1以0.01为步长步进,选取T=0.87为阈值。大于阈值的连边为1,表现为全连接;小于阈值的连边为0,表现为不连接。 2.4.1 拓扑特性 由于二值化后节点之间的连接强度一致,统一用绿线标识,如图6所示。图中基于PLV的工作态二值脑网络的拓扑比空闲态复杂。 图7 二值脑网络网络测度差异性Fig.7 Network measure difference of binary brain network 图6 PLV二值脑网络拓扑图Fig.6 PLV binary brain network topology 2.4.2 测度分析 基于PLV的二值脑网络对节点度、聚类系数和特征路径长度测度进行分析,如图7所示。对比分析PLV工作态和空闲态二值脑网络的节点度、聚类系数、特征路径长度的差异性,结果同加权脑网络,通过t检验(P<0.05)聚类系数有显著差异性。 针对上述结论,优选聚类系数作为基于脑网络技术BCI系统特征。 常采用线性Fisher和非线性支持向量机(support vector machine,SVM)分类器进行分类。针对EEG的高度不稳定且非线性的特点,采用非线性SVM分类器进行分类。为提高测试算法准确性,采用十折交叉验证,识别正确率,如表2所示。 (1)以脑网络的聚类系数作为特征,基于二值脑网络的分类正确率高于加权脑网络的分类正确率。 (2)基于SVM分类器的平均分类正确率为70.91%,其中最高分类正确率可达88.60%。 基于脑网络技术的异步BCI系统实现主要是将采集的EEG基于脑网络技术进行实时处理,通过控制外部设备实时检验控制效果。控制流程如图8所示。 表2 SVM分类识别正确率Table 2 SVM classification and recognition accaracy 图8 基于脑网络技术的异步BCI在线控制流程Fig.8 Asynchronous BCI online control process based on brain network technology 按照实验范式,采集被试EEG并实时在线处理,提取脑网络的聚类系数为特征判断分类识别工作态和空闲态。若为工作态,前进;若为空闲态,则停止,如图9所示。在线识别正确率如表3所示。 由表3可知,采用基于PLV构建的二值脑网络,提取聚类系数作为特征,以SVM分类器作为分类器,在线识别工作态和任务态的6名被试平均识别正确率为59.84%,其中,最高在线识别正确率达到70.50%,最低在线识别正确率为51.20%。 基于EEG的异步BCI系统是实现人与计算机自主交互的重要技术之一。针对“BCI盲”问题,以脑网络技术为切入点,将EEG时间序列转换成网络。针对BCI系统实现中的关键问题,设计了面向脑网络技术的BCI实验范式,构建脑网络并提取聚类系数作为脑网络的特征,分类识别工作态和空闲态信号,并将识别结果转化为指令控制外部设备运动。得到以下结论: (1)基于脑网络技术异步BCI系统能够判断工作态和空闲态,离线分类平均正确率可达70.91%,在线最高分类正确率可达70.50%。 (2)基于脑网络技术的异步BCI系统具有可行性,可作为实现BCI系统的一种新途径。 表3 SVM分类识别正确率Table 3 SVM classification and recognition accuracy 图9 在线控制外部设备动作Fig.9 Control external device actions online2 系统设计与实现
2.1 实验范式设计
2.2 预处理
2.3 基于PLV加权脑网络的特征分析
2.4 基于PLV二值脑网络的特征分析
2.5 基于PLV二值脑网络的特征分析
2.6 基于脑网络技术的异步BCI系统实现
3 结论