基于表情辅助的假手脑控方法

陆竹风 张小栋 李 睿 郭 晋

1.西安交通大学机器人与智能系统研究所，西安，710049

2.陕西省智能机器人重点实验室，西安，710049

0 引言

据统计，2010年末我国残疾人总人数约8 502万人，其中肢体残疾约2 412万人，约占中国总人口数的1.80%。当今医疗水平尚不能使肢体再生，因此，为截肢者安装假手成为恢复其手部功能的唯一途径。现有市售假肢存在诸多缺陷，如：装饰性假肢功能性差；牵引式假肢操作不便；声控假肢应用场合受限；传统肌电假手在残肢缺乏肌肉控制能力或肌肉疲劳的情况下不能良好工作。脑电信号相较传统信号具有直接反映人脑活动及便于实时提取分析的优势，可以由大脑提供一种脱离人体神经肌肉系统的控制方式，建立人与假手之间信息交流的新型通道，即利用脑-机接口实现向外界发送指令，实现假手的精确控制［1］。

常见的假手脑控范式有P300、稳态视觉诱发（steady state visual evoked potential，SSVEP）和运动想象（motor imagery，MI）三种。P300范式与SSVEP范式同属于视觉刺激范畴，实验中需添加额外视觉刺激源，存在易造成受试者视觉疲劳、无法在假手动作时完成视觉反馈的问题［2］；MI范式属于自发型脑电信号，其识别类别有限，且需要较多前期训练才可以适应其使用过程。考虑到目前常见的脑-机接口范式对系统识别能力、环境干扰及受试者情绪存在较高要求，且脑电检测系统需要附带大量复杂的外部设备，不利于生活应用［2⁃3］等实际情况，本文提出了一种基于表情辅助脑电信号的假手控制方法。

表情辅助下的脑电信号是一种不需要外加刺激器的诱发信号，目前鲜有将其应用于假手控制中的研究报道。表情动作对受试者的要求较低，且具有跨人种、跨文化的统一性，因此具有非常广泛的应用价值。在表情辅助下的脑电信号采集过程中，受试者完成不同的表情（如提眉、皱眉、撇嘴等），即可采集相应表情下的脑电信号。与传统假手脑控范式相比，基于表情辅助的假手脑控方法具有无需前期训练、无需外加刺激源、不易造成使用者疲劳、操作简便和利于设备实现便携化可穿戴设计的优势。

本文对假手便携可穿戴脑控系统进行研究，根据神经生理学方面的相关研究成果，确定表情辅助脑电信号的产生区域和频率分布特性，并采集相应大脑区域的脑电信号，利用小波分析和人工神经网络算法对信号特征信息集中的频率段进行分类识别，并设计相应控制算法以提高操作正确率，最终通过表情辅助假手便携化可穿戴脑控系统的在线实验，验证将表情辅助下的脑电信号应用于假手控制的可行性和有效性。

1 表情辅助假手脑控方法的提出

1.1 表情辅助脑电信号的可分类性分析

脑电信号依据高低频及其不同功能可分为δ、θ、α、β和γ 5个频段，其中δ频段多出现于人深度睡眠中，γ频段属于高频部分，其意义尚未十分明确。在θ、α和β频段中，θ与α频段是一种具有高度暗示性的信号，当人做出不同表情时，通常暗示大脑处于某种精神状态，例如提眉时瞳孔放大，更多视觉信息进入眼部供大脑快速处理分析，皱眉时人的视觉往往会将焦点聚集到某处，使人的注意力集中，嘴角上扬则预示人表现出轻松的状态［3］。

利用双区域耦合下的多动态基本神经元集群模型，可仿真验证表情驱动下脑电信号的可分类特征。神经元集群模型依据“脑内功能相似的同一区域的集总参数相同”这一“平均区域近似”原理，通过神经元群间的耦合作用，可模拟表情辅助下的大尺度仿真脑电信号。表情辅助的真实信号与仿真信号对比图见图 1［4］。

图1 表情辅助的真实脑电信号与仿真脑电信号对比图［4］Fig.1 Comparison between collected EEG signals and simulated EEG signals under expression assisted paradigm

通过对比表情辅助的真实脑电信号和仿真信号可发现，提眉动作的脑电信号多集中于低频10 Hz以内，中高频分量较少；右撇嘴动作的脑电信号自低频到高频分量的能量依次递减，信号多由低频部分组成并包含部分中高频信号杂波。上述结果说明提眉和右撇嘴动作脑电信号能量多分布于低频θ、α频段，其余频段处信息较少。由此验证表情辅助下的脑电信号具有集中于θ与α频段的特性，在特征提取操作中利用小波分解提取该两频段的信息，就能用作很好的分类特征。

1.2 基于表情辅助的假手脑控模型构建

表情表达是一种人类与生俱来的能力，运用表情所实现的脑机接口技术具有用户操作便捷、无需事先训练、利于便携化等众多优点。表情的加工和完成由脑内一个分布式神经网络所控制，经由前额叶皮质和边缘系统相互协调合作，通过大脑生理电信号产生、脑神经系统生理信号传递、运动神经元产生、面部神经生理信号传递及面部肌肉运动共同协作完成。1937年，Papez将情绪的产生和人的生理活动联系在一起，认为边缘叶中存在参与情感表达的特殊回路，称为Pa⁃pez环路［5］。1949年，MacLean基于Papez的研究，认为边缘系统为大脑中参与情感表达与表情控制的区域，其重要组成部分包括海马回、杏仁和、扣带回和丘脑前部等，通过Papez环路相互连接并与下丘脑进行反应，经由脑桥产生具体运动神经元，控制面部肌肉，参与表情表达［6］。表情动作产生的生理学机理如图2a所示。通过采集大脑对应区域在表情动作控制过程中所产生的脑电信号，可对应识别受试者所呈现的表情动作，并用于外设假手控制。

表情辅助假手脑控机理模型如图2b所示。根据EEG采集设备国际10-20导联系统电极布置规则，结合本研究所采用的16导联便携化Emotiv⁃EPOC脑电帽电极分布图，确定分布于大脑左侧边缘系统及前额叶皮质的F7、FC5导联及右侧的F8、FC6导联为有效脑电信号采集通道。通过检测F7、F8、FC5、FC6四导联信号，经由信号提取、放大滤波、特征提取、模式识别、控制命令输出、电机运动环节，控制假手完成相应动作。在所有可完成的面部表情中，选择较为容易的提眉动作对应假手的手指张开，皱眉对应手指闭合，左撇嘴对应手腕内旋，右撇嘴对应手腕外旋动作。

图2 基于表情辅助的假手脑控模型Fig.2 Brain control model for prosthetic hand based on expression aided

2 假手便携可穿戴脑控系统的构建

基于表情辅助的假手便携可穿戴脑控系统构建应该包括它的硬件选型设计与系统组建，以及表情辅助脑电信号分类识别算法和假手控制算法的设计研究与软件模块开发等。

2.1 系统硬件构建

基于表情辅助的假手便携可穿戴脑控系统的穿戴图见图3。系统通过便携化Emotiv脑电帽采集用户因自发表情运动产生的脑电信号，经由蓝牙无线实时传输至微型平板电脑进行基于表情辅助脑电信号的特征提取和模式识别分析处理。所得模式分类信号经驱动控制模块转化为相应的假手控制信号，输出相应的动作指令，通过柔顺化控制算法，控制假手连续地完成相应动作。

图3 假手便携可穿戴脑控系统的穿戴图Fig.3 Demonstration of portable wearable brain control prosthetic hand

假手便携可穿戴脑控系统的各模块具体构成如图4所示，可由以下4个模块组成。

图4 假手便携可穿戴脑控系统的组成Fig.4 Composition of portable wearable brain control prosthetic hand

（1）脑电信号采集模块。Emotiv⁃EPOC脑电帽通过经生理盐水浸润的16导联电极采集用户因自发表情产生的脑电信号，经由蓝牙无线实时传输至微型平板电脑。设备改善了传统脑电采集设备笨重、不易使用的缺点，适应便携可穿戴要求。

（2）脑电信号分析处理模块。信号处理识别过程在微型平板电脑上完成。通过基于小波分解的特征提取和基于神经网络的模式识别算法，生成实时脑电信号的分类结果，作为控制类别，并通过蓝牙模块将之实时输入假手驱动控制模块。

（3）驱动控制模块。所得模式分类信号经驱动控制模块转化为相应的假手控制信号，通过一系列阈值判断、柔顺化控制等方法，输出相应的动作指令，控制假手连续地完成相应动作。

（4）假手。该假手具有手指张开/闭合、手腕内旋/外旋4个功能，可基本满足基本日常生活需求。设计中，在兼顾功能的同时进行了轻量化设计，并将电池嵌入臂筒之中，兼顾美观性。

以上系统在兼顾以往假手脑控功能的同时，实现了整体的便携可穿戴化设计，保证使用者长时间佩戴的舒适性。4种表情信号将作为不同的信号源用于控制假手的4种手势动作。基于易表达、易识别的考虑，选取提眉、皱眉、左撇嘴、右撇嘴作为4种假肢控制的表情动作。

2.2 表情辅助脑电信号分类识别算法

自发表情辅助脑电信号属于非平稳、非线性的时变信号，小波作为多尺度、多分辨率的分析方法可用于提取脑电信号各频段信号的特征［7］。表情辅助脑电信号分类识别算法流程如图5所示。

图5 表情辅助脑电信号分类识别算法Fig.5 Signal processing method of expression aided EEG

经过便携化Emotiv⁃EPOC采集所得脑电信号的采样频率为128 Hz，信噪比低，故需要先进行预处理操作以滤去杂波信号。根据香农采样定理，该表情辅助脑电信号有效频率为0～64 Hz，选用具有正交性的DB⁃6小波基将各通道预处理后的表情辅助脑电信号进行4层小波分解，使其独立地分解至0～4 Hz，4～8 Hz，8～16 Hz，16～32 Hz，32～64 Hz频段上，对应脑电信号的δ、θ、α、β和γ 5个波段。基于双区域耦合下的多动态基本神经元集群模型进行仿真验证，表明表情辅助下的信号具有较集中于θ与α波段的特征，故提取小波分解后四通道（F7、FC5、FC6、F8）脑电信号中θ与α波段的小波系数模均值，组成1×8特征向量：

式中，θF7,θFC5,θFC6,θF8分别为F7、FC5、FC6和F8四通道脑电信号中的θ波小波系数模均值；αF7,αFC5,αFC6,αF8分别为四通道脑电信号中的α波小波系数模均值。

建立3层误差前向传递神经网络（BP神经网络）对特征向量进行分类，输出结果以格雷码区分四类信号。该网络输入层有8个神经元，隐层有12个神经元，输出层有2个神经元，结构如图6所示。一般而言，3层神经网络可实现任意维数间的映射。利用样本数据对神经网络进行训练，修正参数与误差，最终用于个体表情辅助脑电信号的分类识别。

图6 BP神经网络拓扑结构Fig.6 Topology of BP neural network

2.3 表情辅助假手脑控算法

表情辅助假手脑控算法流程如图7所示，该驱动控制模块共分为三大部分：系统初始化、综合决策算法和操作执行。其中，综合决策算法为提高操作正确率，避免因个体差异性及人为误操作带来的错误动作，在算法中采用多决策方法混合的模式，根据操作者自身训练数据设置阈值，并结合多传感器数据反馈进行决策判断。

图7 表情辅助脑控假手控制方法Fig.7 Control method for expression aided brain control prosthetic hand

系统初始化为控制驱动模块启动后第一步，进行各项参数初始化设置、手部位置复位设置，使手部操作处于各向动作安全状态，保证系统的可操作性。

综合决策算法分为阈值判断和传感信息融合判断两部分。为避免因受试者错误操作、不熟练操作或单次错误识别结果而导致手部错误操作，在读取分类算法的识别结果后执行阈值判断，在达到或超过该阈值时视为受试者确实执行该指令。该阈值设置为受试者在连续10次动作分类结果中，某类别动作被执行了X次，则视为受试者意图执行该操作，具体阈值数值因人而异。该阈值判别方法虽损失了一定手部操作的响应速度，但大大提高了手部动作执行的正确率。阈值判断通过后，读取电机位置信息及位于食指与大拇指指腹的压力应变片反馈数据，判断是否执行该操作，若判断结果为阳性，则控制电机进行操作。

操作执行过程中不断接受压力应变片反馈数据及电机位置数据，若出现压力已达到抓握适宜压力、电机已达到位置极限、或受试者不再发出操作指令这三种情况之一，则视为操作执行结束。

2.4 多自由度假手设计

系统所用假手为课题组定制生产的带有腕关节的二自由度假手。该假手具有手张开/闭合、手腕内旋/外旋两个自由度，在大拇指指腹及食指指腹安装有压力应变片以检测抓握时的指尖压力，可完成日常生活中人手的基本功能。该假手技术性能指标如表1所示。

表1 假手技术性能指标Tab.1 Technical performance index of prosthetic hand

3 实验研究

为验证上述基于表情辅助的假手脑控方法的有效性，本文搭建了一套表情辅助的假手便携可穿戴脑控系统，进行表情辅助脑电控制假手在线实验，要求受试者利用4种表情辅助控制假手完成一个日常生活的完整动作。

共有4名受试者参与此次实验，包括3名男性受试者及1名女性受试者，年龄为23～29岁。4名受试者在该实验前均无利用表情辅助脑电控制外设的经验，且不参加该系统调试。每名受试者在4种表情辅助脑电控制实验开始前，每次均给予20次离线训练机会。

实验过程中，受试者通过提眉、皱眉、左撇嘴和右撇嘴四种表情辅助的脑电，依次控制假手手指张开、手指闭合、手腕内旋及手腕外旋。实验场景如图8所示。受试者所佩戴的Emotiv⁃EPOC脑电帽采样频率为128 Hz，信号预处理选用5～50 Hz巴特沃斯带通滤波器。

图8 实验场景图Fig.8 Experimental scene diagram

每一位受试者每个表情要求完成10组实验，每组实验包括10次动作，即每一受试者每一表情对应100组数据。在每次动作中，提示音响起即实验开始，2 s准备时间后，受试者保持某一表情4 s。在不同表情切换之间可以休息几十秒，以减少因受试者的疲劳和乏味引起的脑电信号失真。根据实际情况，一般间隔几天再进行下次EEG采集实验。

实验数据中每一表情的前30组数据作为训练样本用以训练分类器及确定阈值X，后70组数据作为测试样本。表2所示为4名受试者的在线识别与控制正确率。

表2 4名受试者在线识别正确率Tab.2 Online recognition accuracy of 4 subjects %

表2的实验结果数据显示，多次实验的统计结果中最高在线识别与控制正确率为受试者S1的92.8%，最低为受试者S4的78.6%，总平均识别与控制正确率为（86.41±3.92）%。在4名受试者中，男性受试者平均识别正确率为87.8%，女性受试者整体识别正确率为82.1%。在4种表情辅助中，皱眉的识别正确率相对最高，即对应控制的手指闭合操作效果最好，达到（88.9±4.47）%；提眉的识别正确率相对最低，即对应控制的手指张开操作效果较差，为（85.3±5.13）%；总体平均识别与控制正确率均高于85%。实验结果表明：基于表情辅助的假手脑控方法是有效的，依据该方法所开发的假手便携化可穿戴脑控系统是可行的，能够帮助残疾人完成假手的表情辅助脑控操作，从而为智能假手的拟人化控制开辟了新的研究方向。

4 结论

（1）表情表达是一种人类与生俱来的能力，运用表情辅助所实现的假手脑控方法不仅行之有效，而且具有用户操作便捷、无需事先训练、利于便携化等众多优点。

（2）由于系统各组件均采用微小化设备，且组件间信号传输均使用无线蓝牙通信，故这种系统构建方式能够很好地实现假手脑控系统的便携可穿戴设计。

（3）由于采用了基于表情辅助的假手脑控方法，使所开发的假手便携化可穿戴脑控系统不但可以对不同表情下的脑电信号进行高识别率分类，而且能够成功应用于假手的控制，帮助残疾人完成日常生活所必须的手操作，如手指张开、手指闭合、手腕内旋及手腕外旋等。

（4）目前脑电信号采集系统对硬件的精确度要求较高，在脑电信号采集过程中产生的少量伪差，一般在数据预处理阶段要进行识别并剔除，这在一定程度上会影响识别的效果。另外，脑电信号的个体差异较大，因此，有必要研究适应具体受试者的自适应特征选择算法，从而提高不同表情辅助下脑电信号模式识别的针对性和泛化性。

［1］ 张小栋，李睿，李耀楠.脑控技术的研究与展望［J］.振动、测试与诊断，2014，34（2）：205⁃211.ZHANG Xiaodong，LI Rui，LI Yaonan.Research and Forecast on Brain⁃computer Interface［J］.Journal of Vibration，Measurement&Diagnosis，2014，34（2）:205⁃211.

［2］ 芦莹，基于BCI的假肢控制方法研究［D］．秦皇岛：燕山大学，2011．LU Ying.The Controlling Method Research of Pros⁃thesis Based on BCI［D］.Qinhuangdao：Yanshan Uni⁃versity,2011.

［3］ 张小栋，郭晋，李睿，等．表情驱动下脑电信号的建模仿真及分类识别研究［J］．西安交通大学学报，2016，50（6）:1⁃8.ZHANG Xiaodong，GUO Jin，LI Rui，et al.Study on Modeling Simulation and Pattern Recognition of EEG Driven by Expression［J］.Journal of Xi’an Ji⁃aotong University，2016，50（6）:1⁃8.

［4］ LOPES F H，HOEKS A，SMITS H，et al．Model of Brain Rhythmic Activity［J］．Kybernetik，1974，15：27⁃37.

［5］ DALGLEISH T．The Emotional Brain［J］．Nature Reviews Neuroscience，2004，5（7）：583⁃589．

［6］ JOSEPH L P，WAYNE C D． Neurocircuitry of Mood Disorders［J］． Neuropsychopharmacology Reviews，2010，35:192–216.

［7］ 王登，苗夺谦，王睿智．一种新的基于小波包分解的EEG特征抽取与识别方法研究［J］．电子学报,2013,41（1）：193⁃198．WANG Deng，MIAO Duoqian，WANG Ruizhi.A New Method of EEG Classification with Feature Extraction Based on Wavelet Packet Decomposition［J］.Acta Electronica Sinica，2013，41（1）：193⁃198.*