基于脑机接口的智能家居系统设计方案
2021-11-03林苏云
林苏云
(福州职业技术学院 福建省福州市 350108)
1 序言
随着网络通信、人工智能等科学技术的快速发展,人们的家居环境朝着智能化的方向不断发展。在中国加快城市化建设和新农村建设的进程中,人们已不再单纯追求住房面积的增大,而将舒适、便捷、安全、高效的居家环境也作为追求的目标。智能家居应体现实用、易用、人性化,在标准化的基础上,同时还需考虑个性化的需求,以满足不同人群的需要。将脑机接口技术运用到智能家居中,设计新型的基于运动想象脑机接口的智能家居系统,能给人们带来更加舒适和优化的操控体验,同时也能帮助身体残障人士获得正常的生活,具有重要的社会意义。
2 相关工作
目前,智能家居系统采用了多种技术。如Kim 等人[1]采用手势识别来控制窗帘和灯光。Solorio 等人[2]采用语音命令和Web 应用程序进行基于云的半自动化家庭组件开发;Juntunen 等人[3]采用手势和声音混合控制等多种模式组合来控制照明管理系统。但是,这些智能家居无法满足身体运动障碍的人群来使用。近年来,针对特殊人群研发的基于脑机接口的智能家居系统迅速发展。Hoffmann等人[4]在Farwell 等人的工作基础上研发了6-Oddball 范式的智能家居控制系统;Lin 等人[5]和Ou 等人[6]研发了结合即插即用家庭网络的脑机接口智能环境控制系统;Birbaumer 等人[7]研发了基于皮层慢电位的外界机器人控制系统;李凯[8]研发了基于SSVEP 脑电信号的轮椅控制系统,能控制轮椅的左右行驶。这些基于脑机接口的智能家居系统的研发具有重要的意义。
基于脑机接口的智能家居系统能把脑电信号通过特征提取,特征分类,最后转换为控制命令控制外部设备,结合以上案例,本文设计一种基于运动想象脑机接口的智能家居系统。
3 脑机接口系统
大脑是人体的重要器官。大脑的皮质是整个大脑最重要的部位,是高级神经活动的物质基础。大脑皮层负责处理听觉、视觉、感觉等信息,还掌管着运动、语言、思考等许多方面。大脑皮层每个部位都能负责许多功能,彼此之间也存在许多重叠,因此不同类型的脑机接口需要获取不同区域的大脑皮层产生的信号。脑电信号是由大脑神经元的活动产生的电位变化,存在于大脑中枢神经系统的自发性活动电位中,后者是一种生理电信号。脑电信号体现了大脑内部的神经元电位活动,可以通过放置于头皮表面的电极来进行检测,再经过放大、滤波和数字化处理后,得到电信号时间序列,即脑电信号(EEG)。
脑机接口是人脑向外部环境发送信息与命令的通信系统,该通路不依赖于大脑的常规输出通路(外周神经与肌肉组织)[9]。例如,基于EEG 的脑机接口系统将EEG 活动进行编码作为消息命令,来替代神经系统的输出信号,因而脑机接口系统为人们提供了另外一种操控环境的方式,该技术形成于20 世纪70年代[10]。脑机接口系统主要由输入(例如,人的电生理活动信号),输出(例如,设备控制命令),将输入信号转换为输出信号的信号处理部分,如图1所示。其中,信号处理部分包括预处理、特征提取、特征分类3 个环节。
图1:脑机接口系统组成
脑机接口系统的采集部分负责采集脑电信号,将采集到的信号进行放大、滤波、A/D 转换等处理。信号处理部分负责对脑电信号进行预处理和提取特征,然后再将提取到的特征进行分类。设备控制部分根据不同的分类结果对应不同的输出控制命令,实现对外部设备的控制。
信息采集部分要考虑采集的规模、时间分辨、空间分辨率和采用何种方式进行采集。采集方式有侵入式、半侵入式和非侵入式。在采集过程中,来自自身的干扰,如心电、眼电、肌电等,以及来自外界环境的干扰,如电磁干扰等都有可能影响到正在采集的脑电信号。信号的预处理过程是对原始信号进行滤波降噪,消除这些伪迹和噪声。目前常用的预处理方法有空间滤波器、时间滤波器、通道选择、频带选择等。特征提取部分主要是找到能够表征信号的参数,以此构成特征向量。特征参数可以从时域、频域、时频域等进行分析。特征分类是对上一步的特征向量进行分类识别,目前常用的有支持向量机、神经网络、线性判别分析等方法。设备控制部分把分类结果转换为控制外部设备动作的输出命令,完成对外部环境的控制。
4 技术方案
4.1 脑电信号的选择
当人的主要感觉运动皮层不处理感觉信息和不产生运动输出的时候,脑电图会表现出大约在8-12Hz 频率范围的节律活动。这个活动叫做mu 节律,通常认为是由丘脑和皮质之间的交互产生的。电脑分析阐明mu 节律包含了一些8-12Hz 的节律,这些节律在不同的位置,不同的频率点,能够互相区别开来,也就是说,这些节律与当前的感觉输入与运动输出相关[11][12]。
许多因素表明mu 节律活动可以作为BCI 通信的良好载体。这些节律与那些和大脑的常规运动输出通道直接相连的皮层区域相关。如图2 所示,运动和对运动的准备通常伴随着感觉运动皮层的mu 节律的降低,特别是在运动对侧的皮层区域。这种下降被称为“事件相关去同步化”或ERD(event-related desynchronization)。反之,节律的增加,即“事件相关同步化”或ERS(event-related synchronization)发生在运动后时期和休息时期。而且,与BCI 应用高度相关的是,即使运动想象也能产生ERD 和ERS 现象,而不需要实际的运动。因此,它们的发生不依赖于大脑的常规输出通道以及周围神经和肌肉,所以可以作为BCI 的基础[13]。
图2:mu 节律信号拓扑图及其频域分布[14]
4.2 脑电信号的采集
测量和采集脑电信号是整个实验研究的最初步骤,因而对采集到的信号质量有很高的要求,将直接影响到后续处理的精度与研究结论的可靠性。大脑信号的提取有多种手段,包括功能性核磁成像技术、功能性近红外造影技术,正电子放射断层扫描技术、脑磁图(MEG)和脑电图(EEG)等。不过因为前面几种成本比较高昂且时间分辨率不够,所以通常人们更愿意采用EEG 来记录大脑信号,这种手段不仅比较便宜,而且在实际中的应用最为方便和广泛。在脑电信号采集的实际操作过程中,完备的脑电采集系统整体应该包括测量与采集(电极放置方法)、预处理(对脑电信号的放大、滤波、A/D 转换等)和存储记录等。本方案采用想象左手和右手运动的实验任务来进行脑电信号的收集。人们想象自己身体的肢体运动但是并没有产生实际的运动或动作,通过这种运动想象来激发具有节律性的脑电信号。放置在头皮上的电极采集到的信号微弱且含有噪声,采集设备需要对其进行放大、滤波和A/D 转换等处理。脑电信号的幅值容易受到受试者的情绪,心态,动作等的影响,还有来自环境中的噪音,电磁设备等的影响,这些污染实验数据的噪声被称为EEG 伪迹。因此,必须使用有效的算法来减少伪迹带来的影响。在本设计方案中,主要采取去除均值和CAR 滤波的方式来消除运动想象信号的噪声。脑电信号的采集可使用g.tec 放大器和Ag/Agcl电极,双极导联的安放位置如图3 左所示,三个双极EEG 通道(前“+”,“-”后)测量C3 和C4,CZ 导联。脑电信号的采用频率为128Hz,通过0.5-30Hz 的滤波处理。
图3:电极安放位置
4.3 特征提取
从脑电信号中提取到的特征需要能够代表运动想象不同任务下呈现出的特征,通过上述分析已经知道,可以通过mu 节律来进行分析,但是功率谱的计算需要花费一定的时间,考虑到功率谱可以由AR 系数计算而来,因此考虑采用AR 系数来构成特征向量,研究也证实AR 系数可以很好的代表运动想象脑电的特征[15][16]。因此,本设计方案采用AR 系数来构成运动形象不同任务的特征向量。首先要对运动想象脑电信号进行建模。将单个通道的运动想象脑电信号作为一个随机信号,采用k 阶AR 模型进行拟合,表示为:
其中,x(n)表示信号的第n 个采样值,p 为AR 模型的阶数,ak为AR 模型的AR 系数,e(n)为均值为0,方差为δ2的白噪声残差[17]。本论文采用Burg 算法来求解AR 系数,具体实现可以归纳为如下步骤:
(1)初始化:定义k 阶前向预测误差序列为fk(n),k 阶后向预测误差序列为bk(n),初始化:
(2)计算第k+1 阶反射系数uk+1:
(3)采用下式估计k+1 阶AR 模型系数:先计算公式(4),再计算公式(5):
(4)判断是否k+1=p,若否,则进入步骤(5),若是,则停止计算,得到p 阶AR 模型的系数a1, a2,…,ap。
(5)采用下式估算k+1 阶前向预测误差序列以及k+1 阶后向预测误差序列,之后返回步骤(2):
AR 系数计算完之后,将各个通道的运动想象脑电信号的p 阶AR 系数连接成向量,即为对应脑电信号的特征向量。
4.4 特征分类
SVM 是针对线性和非线性数据进行分析的一种分类新方法[18]。它最早是在1992年,被Vladimir Vapnik 和他的同事Berhard、Isabelle Guyon 组成的团队率先提出来,它的基础性工作在20 世纪60年代便已出现。这些年以来,支持向量机的研究,无论是理论上还是实现算法上,都有了显著的提高,为解决“过学习”、“维数灾难”这些问题提供了良好的解决方案。支持向量机主要是基于统计学习理论[19],针对小样本、非线性以及高维的模式识别有着独特的优势,因而在数据分类的领域能够有较大的发展[20]。主要应用范围较广,包括各类识别,如故障、语音、文本、手写字体及人脸图像等等,还可以应用在基因分类,预测等较多前沿领域上。支持向量机的主要思想是寻找能够满足分类要求的最优分类超平面,该超平面在满足分类要求精度的同时,要使得超平面到两侧分类样本的距离最大。在理论上,支持向量机能满足对数据的最优分类。在线性可分支持向量机中,令训练样本集为其中每个样本为d 维向量。如果这些样本是线性可分,那么将能找到超平面把样本无差错的分开。其中,是线性判别函数的权值(即超平面的法向量),b 是常数项,是向量w 与x 的内积,也就是wTx。为了使得分类超平面对所所有的样本都能够正确分类,且具有分类间隔,要求超平面满足一下约束条件这种分类超平面又叫做规范化的分类超平面,如图4 所示。
图4:规范化的最优分类超平面[21]
引入拉格朗日函数, 用拉格朗日发进行求解,可以得到最优的分类超平面最优分类函数为:
其中, 为拉格朗日乘数。
4.5 设备控制
本文设计的运动想象脑电控制的智能家居系统,目标是能够将用户的意图输出为设备的控制行为。采集到的脑电信号,经过上述的预处理、特征提取、特征分类后即可得到是想象左手运动还是想象右手运动两种分类结果。将想象左手运动的脑电信号转换为控制电器设备切换的输出命令,将想象右手运动的脑电信号转换为控制电器设备开关状态的输出命令,即可实现对常用电器设备的脑电控制。
5 总结
智能家居系统能够让人们的居住环境更加舒适与便捷,目前常用的人机交互方式有语音交互、手势交互等,但是对于运动障碍人员,还不能顺利完成这些人机交互。本文给出了一种基于脑机接口的智能家居系统设计方案,将脑机接口技术与智能家居结合,为解决这一问题提供了一种新的思路。本文设计的基于脑机接口的智能家居系统,选择运动想象脑电信号作为输入,提取AR 系数作为信号特征,采用支持向量机进行分类,将分类结果转化为控制对应设备的命令,可实现对常用电器设备的控制,具有现实意义。