基于TGAM模块的脑电信息沟通系统设计与实现

邹家豪 陈群

（吉林大学珠海学院 广东省珠海市 519041）

1 引言

1.1 脑机接口概念

脑机接口(Brain-Computer Interface , BCI)是一种生物脑细胞与外部设备之间创建的直接连接通路，脑机接口系统可以通过采集和分析脑细胞群自发性、周期性的电位活动，实现生物脑细胞与设备的信息交换，绕开了必须由躯体组织控制终端设备这一限制条件，改变了中枢神经系统与内外环境之间的作用方式。构建一个完整的脑机接口系统，需要涵盖脑电信号采集、信号处理和控制外部设备三大组成环节。通常涉及基础神经科学、大脑信号记录和刺激技术、信号处理技术和机器学习技术四大领域知识[1]。脑机接口系统的运行过程是，首先依照神经科学规范，通过刺激技术使受试者产生相对应的诱发反馈，并通过采集设备从受试者身上获取脑电信号；再经过电路放大、A/D 转换等预处理方法，合成出有使用价值的数字信号；然后基于机器学习技术，提取特征向量进行分类识别；最后将识别分类的结果转换为外部设备的控制指令输出，达到仅靠生物脑电波控制外部设备的目的。

1.2 脑机接口研究现状

脑机接口技术的起源可以追溯到20 世纪60年代Delgado 开发的可植入芯片，其利用无线电刺激脑细胞，再通过遥测技术发送和控制受控体的自由移动[1]。到20 世纪90年代，有关BCI 的研究完成了从概念到阶段性成果的飞跃。在21 世纪，更是迎来了应用落地的热潮。当前，BCI 系统通常分为以植入芯片为代表的侵入式BCI、以采集大脑皮层电波信号为代表的非侵入式BCI 和各类混合组合型BCI 系统。在脑机接口系统中，已形成多种实验范式，不同实验范式可以得到不同的脑电信号成分。目前应用于BCI 系统的生理电信号主要分为以诱发电位刺激产生为主的外源性信号和以特定思维自发活动产生的内源性信号两大类。在作业实验中，最常见的三大脑机接口基本范式分别为：

（1）基于想象运动的脑机接口系统（ERD/ERS-BCI）；

（2）基于P300 的脑机接口系统（P300-BCI）；

（3）基于稳态视觉诱发电位的脑机接口系统（SSVEP-BCI）[2]。

而作为三大脑机接口基本范式之一的稳态视觉诱发电位(Steady-State Visual Evoked Potential , SSVEP)是指，当视网膜感受到3.5-75Hz 的视觉刺激后，脑细胞将会产生相同或倍数频率的电气活动，脑电信号类似呈现为正弦波。这种大脑对于特定频率的视觉刺激所诱发的信号，具有更少的用户训练、更高的信噪比和更快的信息传输速率等优势[2]。经研究比较，本文正是采用了SSVEPBCI 范式进行脑机接口实验和应用系统设计开发。

1.3 脑机接口助力失能人士

21 世纪，世界人口老龄化的问题日益严重。据联合国预测分析，当前世界老龄人口平均年增速度为2.5%，同期我国老龄人口的年增速度为3.3%，增长速度超过了世界老龄化的速度，到2030年中国老龄人口比例或达25%。中国已经步入老龄化社会！老龄社会中，会有相当一部分老龄人口因疾病或者身体机能下降，而处于失能的状态。据《我国失能老人数量及其结构的定量预测分析》统计，2015年我国60 岁及以上失能人口约为1536 万人，其中生活完全不能自理的老人330 万人；2054年我国失能老人总量将达到峰值约为4300 万人，生活完全不能自理的老人约1600 万。这类失能老人，大部分有健全的思维能力，但四肢却无法自由活动，也不能开口说话，本文称之为语体失能。语体失能人士没办法向外界表达需求，就连简单的饿了、渴了、排便等，都难以让家属和医护人员知晓，也就很难得到及时的关怀和照顾。而老龄化社会和先前国家实行的独生子女政策导致的“421”家庭结构，将使家庭和社会没有足够的人力可全天候监守关护上述语体失能人士。这种局面下，如果没有新的力量来使状况加以改善，那么无论在人文方面或是伦理上，都将是人间悲剧。

图1：系统逻辑结构

图2：系统技术架构

本文研究一种脑机接口系统，通过稳态视觉诱发电位技术，以按一定频率闪动的图文信息刺激语体失能病患（后文简称为失能病患或病患）的视觉，并检测其反馈出的脑电波，进而经分析、比对和鉴别，解析出病患的意愿和想法，然后及时通知给家属或医护人员，使失能病患可及时得到必要的关怀照料。系统的脑电波采集分析模块，使用美国NeuroSky 神念科技面向大众开发者市场发行的成熟商用且平价的脑波采集模TGAM，可以实时检测大脑皮层枕区的微弱脑电信号；再通过解包获取原始脑电信号数据，进行SSVEP信号的分析处理，并辅之专注度数值，基于SSVEP-BCI 脑电范式完成特征值分析，可准确识别病患注视的是哪条图文信息。这样，就可以通过技术手段，打通失能人士与外界的信息沟通渠道。

2 系统功能与工作流程

本文脑电信息沟通系统以稳态视觉诱发电位刺激SSVEP-BCI脑电范式为基础。用户通过注视前方显示屏，从所显示的隐含特定闪动频率的信息图文块，获得视觉诱发刺激，激发其大脑发出相应脑电信号。接收系统通过基于TGAM 模块的脑电信号采集设备，获取用户视觉诱发的脑电信号；再经分析模块比对脑电信号频率与屏幕上各图文模块的闪动频率，识别出用户注视的是屏幕上的哪条图文信息；从而使用户的“意念”得以被外界实时感知和显式地语言化理解。他人便可借助于该系统，以脑电波为媒介，与用户进行信息沟通。

系统的主要功能有：

（1）用特定布排的、隐含不同闪动频率的信息图文块形成视觉刺激源。图文信息内容涵盖病患基本需求和基本意愿，按照思维习惯和使用频率分类分页设计、合理布排；并基于稳态视觉诱发规范设计闪动，和做到动态更新；还可根据病患使用情况和特点自主生成定制内容。

（2）经脑电信号采集分析，自动比对识别出病患所注视的刺激源图文信息。

（3）病患可以通过注视，“选择”LCD 屏幕上显示的刺激源图文信息或沟通窗口的预设语义情绪语句与内置表情，表达出其需求或意愿。系统检测出相应脑电信号后，进行智能信息补全，然后实时传送到远程终端设备，并以更直观和语义更饱满的图文、语音或视频等表示方式，呈现给家属或医护人员。

（4）家属或医护人员接收到来自病患的多媒体信息后，同样可以图文、语音或视频方式进行实时回应。回应信息将返回到病患眼前的信息终端设备上。同时语音信息自动转文字，增强信息呈现效果。通过这样一来一回的信息互动，可实现病患与家属或医护人员的实时连续沟通。

（5）家属或医护人员可远程调用病患跟前信息终端上的摄像组件，观察病患状态，或是进行视频互动。

（6）病患可通过注视屏幕上的有关操作区，翻看新闻或观看内置影片，进行自娱自乐。甚至可在有关软件辅助下，从事一定的脑力工作。

图3：系统硬件架构

（7）系统实时监测记录病患生命体征数据，并结合病患与家属或医护人员的信息互动情况，通过大数据分析，产生智能化自动信息提示，提高护理治疗的针对性。

（8）系统全面记录存储日志信息，和护理及诊断治疗的实施情况信息。后期可扩充作为一套完善的全周期病患生命管理系统，辅助病患高质量地、尊严地存活，并方便家属和医护人员管理病患相关护理及医疗信息，提高护理及治疗的针对性、质量与效率。

系统的工作过程为：

（1） 护理人员给病患佩戴电极帽，开通脑电信息系统。刺激源图文信息显示在病患眼睛前方平板电脑的LCD 屏幕上。

（2）病患要表达愿望或需求时，视觉搜寻屏幕上的图文信息或操作键，并注视。当专注度超过阈值时，诱发出相应频率的脑电波。

（3）系统通过SSVEP-BCI 脑机接口范式，识别出病患注视的信息或操作键，并给出确认提示。

（4）病患注视提示来确认后，系统将病患想表达的信息，通过互联网，传递给家属与医护人员的信息终端，并以直观精准的多媒体方式及时呈现给他们。

（5）收到病患信息的家属和医护人员，以图文、语音或视频等某种恰当方式，及时向病患发送回应。必要时进行视频互动，或赶到病患卧床处进行探视处理。

（6）系统将家属或医护人员的回应信息传送到病患眼前的LCD 屏幕，以相应方式呈现给病患。

（7）病患收到并理解回应信息后，可再通过视觉意念，切换或选择显示屏上的图文条目内容，进一步表达信息，与家属医护进行互动沟通。

（8）当病患有精力时，也可通过视觉意念，打开显示屏上的内置影视或新闻内容进行观看，自我娱乐，甚至可以进行简单脑力工作。

（9）系统实时采集记录脑机互动过程，和监测病患生命体征数据，并经大数据分析，挖掘出重要隐含信息，提示给病患或家属医护，以供精准治疗和护理。

3 系统总体架构

本文系统以脑电信息沟通为目的进行设计，系统的逻辑结构如图1 所示，由三大部分构成。

图4：TGAM 脑电模块实时数据

图5：TGAM 大包数据包格式

图6：TGAM 小包数据包格式

（1）脑机接口部分。该部分由符合医用的脑电采集设备组成，包括电极帽、干电极、Arduino-UNO 和TGAM 脑电芯片等，完成对脑电信号的采集、传输和预处理工作。其采取SSVEP-BCI 脑电范式方案，实时监测失能病患受到视觉诱发的反馈。当失能病患注视前方屏幕上的几块以固定频率闪烁的图文信息中的一块，诱发出相应频率的脑电波时，脑机接口模块将检测到信号，识别出失能病患所注视的图文信息块。

（2）病患视听界面与视觉刺激部分。该部分由平板电脑及其内置的脑电信息沟通系统核心软件组成。系统采用Python Django Web + Vue.js 框架，完成对脑电信号的完整分析，包括SSVEP 的特征值匹配分析，及整体管理控制功能。平板电脑维护一个词句库，按照一定规则与相应图片绑定，分段显示在屏幕上，并按指定的频率闪动。在病患注视屏幕时，这些频闪图文信息成为对失能病患的视觉诱发刺激。当平板电脑接收到脑机接口部分输出的视觉诱发反馈脑电信号，并经分析识别出刺激源图文块后，进行智能信息补全，然后通过互联网传送给家属或医护人员的信息终端；病患也可以通过“视控”，完成屏幕信息翻页，或启动影视播放，以供病患自我娱乐。

（3）家属医护界面部分。该部分的核心是远程终端(手机/电脑)上的应用软件，同样为Python Django Web + Vue.js 架构。它接收显示来自平板电脑的病患意念信息，可输入和发送应答，并能够远程调用病患眼前的终端摄像头，观察病患情况，实现家属或医护人员与失能患者间的互动沟通。

考虑到该系统通常建立在专用的医疗管理网络中，用户群相对固定，软件对处理速度、功能和信息安全的要求较高，因而系统采取结构上更为安全的C/S（Client-Server）架构。服务器负责数据的管理，客户机负责完成与用户的交互任务，并通过串口、蓝牙和互联网实现系统互联和数据传输。系统技术架构如图2 所示。

系统技术架构划分为门户层、接入层、应用层、数据层和基础支撑层五个层次。 其中，门户层服务三类目标用户，即语体失能病患、家属和医护人员；接入层指明，目标用户可从终端设备或服务接口的Web site，使用该系统；应用层涵盖该系统的设计功能，包括脑电信号相关的采集和分析、脑电信息沟通的视频和图文交流等；数据层定义三个数据库，分别是患者数据库、医护数据库和家属数据库；基础支撑层对系统的基础软硬件设备做出要求，包括脑电采集设备、病患使用的平板电脑、所使用的操作系统和网络数据使用的服务器及其相关传输设备等。此外是身份识别与鉴权和日志服务，对所使用的设备终端和数据库进行分化，方便后期的维护和管理。

4 模块设计

4.1 硬件组成

该系统的硬件主要分为脑电采集、脑电分析通信、脑电应用三大组成部分。其中，脑电采集部分是该系统的关键，佩戴于语体失能患者头部，由符合医用标准的电极帽、干电极和耳夹等构成；脑电分析通信部分是该系统的灵魂与桥梁，起着解析脑电信号和传输信息数据的作用，由TGAM 脑电芯片和Arduino-UNO 分析模块以及两个型号分别为SPC-C 2.0 和HC-05 的主从蓝牙设备构成；脑电应用部分是该系统人机交互的具体化对象，包含给失能患者提供信息的平板电脑以及家属和医护人员使用的远端监控设备。系统的硬件结构如图3 所示。

失能病患佩戴的电极帽、干电极和耳夹，持续采集头部发出的脑电信号。采集到的信号通过线路传输给TGAM 芯片，进行预处理；再经过SPC-C 2.0 和HC-05 主从蓝牙互连，传输给Arduino-UNO 芯片，开展进一步处理，解析TGAM 模块封装的Attention 专注度数值；接着再经过物理COM 串口，传输给失能病患眼前的平板电脑上的SSVEP 模块，深度处理rawdata，分析SSVEP 的特征值，匹配当前病患注视的刺激源图文的闪烁频率，从而识别出病患以“意念”所选择的信息图文块。然后平板电脑对所识别出的病患意念信息，作进一步直观化加工和语义补全，并通过互联网，通知给远端的家属或医护人员信息终端。

4.2 数据采集

图7：快速傅里叶变换实验样例

数据采集模块的主体部分是美国NeuroSky 神念科技的TGMA脑电解决方案。搭配上医疗专用脑电帽套件，可有效解决常规医用的湿传感器使用上的不便。而TGMA 模块本身能够实现电路放大和A/D 转换，可以过滤绝大部信号噪音，从而使干电极的输出变为有价值的脑电信号，并最后转化为数字信号输出。TGMA 脑电模块处理后的信号包括8 个基本的EEG Power 数值，即Delta、Theta、LowAlpha、HighAlpha、LowBeta、HighBeta、LowGamma 和MiddleGamma，及三个出厂预设的内置数值，即专注度Attention、放松度Meditation 以及信号强度Signal。三个出厂预设值的各自数值范围均为1 到100，数值越高则说明其预设值越大。如，两个Attention 值比较，约定85 大于55。图4 为TGAM 脑电模块所实时采集到的信号数据的可视化呈现，图中横轴为时间，纵轴为信号数值大小。

4.3 数据处理

数据处理模块主要是完成对脑电信号的综合分析，即通过TGAM 脑电模块获取Attention 专注度，并解析原始数据，进行SSVEP-BCI 脑电范式分析。其中，TGMA 脑电模块以异步的串行字节流发送数据包。根据不同需求，可以通过诸如蓝牙、USB 等通信串口进行传输。该模块将干电极贴近待测点，并使用双面电机耳夹。两个参考电极置于左右耳乳，用于持续获取脑波电信号。TGAM 每秒发送约513 个十六进制数数据包，其中分为大包和小包两种，约512 个数据小包和1 个数据大包为一组，进行发送。数据包格式如图5 和图6 所示。

从图5、图6 可知，大包数据包内含有信号强度Signal、专注度Attention、放松度Meditation 和8 个EEG Power 信号值。其中EEG Power 信号值由24 个字节组成，每三个字节为一组。而小包数据包中，xxHigh 和xxLow 组成TGAM 模块采集到的原始脑电波信号数据rawdata。为了进行SSVEP 分析，数据处理模块使用TGAM 小包数据包中的xxHigh、xxLow 和xxCheckSum，经过如下伪代码操作，得到原始数据rawdata:

该系统的视觉刺激源的闪烁频率选取范围是5.99-29.95Hz。考虑到脑电采集设备作业过程中会受到诸多干扰，例如工频干扰和眼电等[3]，所以数据处理模块需要对解析得到的原始数据进行预处理，主要是TGAM 脑电模块自带的电路放大和滤波。原始数据rawdata 经过前期预处理后，能有效地排除掉噪音的干扰。为了进一步提高SSVEP-BCI 特征提取精度，达到有效脑电控制目的，系统在离散傅立叶变换的基础上采取快速傅里叶变换（fast Fourier transform，FFT）。如图7 所示，借助特定系数的对称性和周期性，依照“分而治之”的策略，用递归的方法将长序列的DFT 分解为短序列DFT，将大大降低计算量，并提高计算精度，运算时间大约是TlogT。

4.4 人机互动

人机交互模块是系统的灵魂，遵循易上手、清晰简洁的人机交互的原则。无论是语体失能病患使用的平板电脑，还是家属和医护人员使用的远程终端，都不存在分散用户注意力的非必要元素，如动态效果等。界面的功能描述突出关键，不隐藏于子菜单；界面操作符合人脑的直觉逻辑，无需反复的确认；重要信息始终前置于屏幕，以免在操作上需要多次无意义的反复；每一级操作都给予使用者及时的反馈；使用微音效提醒和必要的线性振动提醒[4]。

语体失能病患佩戴脑电采集设备，通过注视平板电脑上的信息图文块，诱发视觉刺激。一但所诱发出的脑电信号经数据分析模块实时处理后，匹配到刺激源图文信息，屏幕即给予反馈，使患者明确成功完成了一次操作。每一级操作都可以直达脑电信息沟通的目的，方便病患与家属或医护人员进行无障碍信息沟通或生理需求提示。而家属或医护人员可通过远程终端（手机或电脑），使用键鼠或触屏点击的方式进行终端操作。设备自带的高清摄像头组件，则可通过互联网，随时随地连接到脑电信息沟通系统，辅助视频互动。

图8：SSVEP 刺激界面示意图

4.5 视觉刺激模块

视觉刺激模块采取SSVEP-BCI 脑电范式。稳态视觉诱发电位作为BCI 系统常使用的一种信号范式，它是在人眼受到固定频率超过3.5Hz 的视觉刺激时，大脑皮质活动将被调动，导致类似于刺激的周期性节律活动。SSVEP-BCI 通过固定频率的闪烁刺激诱发。而诱发产生SSVEP 信号的视觉刺激源通常包括光刺激源、图形刺激源以及模式翻转刺激源。依照具备多目标、多任务的非侵入BCI模式的使用场景，本文系统采取常见的LCD 型刺激源硬件，更易于编程设计刺激形状和刺激颜色等条件。但LCD 型刺激源产生的刺激频率受到LCD 屏幕刷新率的限制。为了避免两种刺激频率难以区分，编程设计的刺激频率不应为倍数集合，并且设计的刺激频率也应该大于4Hz[5]。此外，由于过多检测对象需要极高的识别精度，所以本文系统每层设计不多于五个刺激源图像。比如，如图8 所示，设置“帮助”、“沟通”和“娱乐”，分别以29.95Hz、14.98Hz 和5.99Hz的频率闪烁，界面右侧则是专注度指标尺和返回键。

5 结束语

立足于解决语体失能患者与外界的沟通难题，本文设计与实现了一种基于TGAM 模块的脑电信息沟通系统。该系统采用美国神念科技的TGAM 芯片，基于SSVEP-BCI 脑电范式，完成了从脑电信号采集，到脑电信号处理分析，以及脑电信号运用的一整套脑波控制的标准化流程，实现了将脑波“意念”转化为他人可直观解读的个人需求信息或意愿信息的目的。语体失能病患能够通过该脑电信息沟通系统，与外界进行有效交流。这必将提高医疗护理领域的自动化和信息化水平，在给予失能病患足够的人文关怀的同时，能够使家属或医护人员更有针对性地开展护理和治疗工作，减轻工作负担和心理负担，解决很多家庭的困扰，增进社会和谐友爱。未来，可深入结合脑控信息技术和医疗保健需求，在进一步提升脑电信号识别准确度的基础上，扩展脑电信息沟通系统的功能，发展为针对失能病患的全面生命管理系统，更好地服务人类社会。