脑机接口技术的仿人控制综述*

韩震坤，陶 庆，2，关向恒

（1.新疆大学机械工程学院，乌鲁木齐 830047；2.新疆大学机械工程博士后研究中心，乌鲁木齐 830047）

0 引言

脑机接口（BCI）位于信号处理、机器学习和机器人系统的交叉点。脑机接口是一种记录和处理人的大脑信号以执行所需动作的技术。脑电图（EEG）、皮层电图（ECoG）和近红外光谱（NIRS）是几种用于记录大脑信号的方法，而脑电是脑机接口应用中最常用的方法之一［1－2］。脑机接口为开发一种利用大脑信号控制的新的交流机制提供了机会，这种机制对那些运动障碍的人非常有帮助［3］。例如，可以使用脑机接口开发脑控肢体、脑控椅子、脑控语音系统等应用。将这种通信机制结合起来，并与类人机器人对接，为复制人类的行动开辟了几种可能性。

类人机器人［4－5］在形状和动作范围上与人体相似。这使得类人机器人成为接收来自大脑信号的激励然后与其环境进行相应互动的完美候选者。由于类人机器人几乎是人类的复制品，它可以被控制来执行人类执行的各种日常任务。因此，类人机器人有很大的潜力，它们可以执行大量预期的日常应用。这样的人形机器人可以通过帮助残疾人的日常活动来充当他们的助手。类人系统还可用于关键任务操作，如灾难恢复［6－7］、军事行动［8－10］等。然而，此类应用对系统的可靠性要求比以前的应用要高得多。这类系统的安全性也是一个主要问题。

因此，在这个方向上有越来越多的研究来保护这样的系统，从而避免它们被黑客攻击和滥用［11－13］。在设计BCI控制的仿人机器人时，脑控接口系统需要对输入的脑信号进行转换，生成控制信号给仿人，而传统的方法是将脑信号单独作为输入信号。然而，有时存在训练时间长、准确性差的问题。造成这一现象的主要因素之一是输入信号的显著变化。为了提高这类系统的性能，在过去的几年里，研究人员积极探索多传感器融合。这类系统通常被称为混合脑－机接口系统，它们根据来自不同传感器的输入进行融合来做出控制决策。这种多传感器融合的使用已经被证明提高了基于BCI的系统的鲁棒性［14－15］。

本文介绍了国内外脑控技术的研究概况，论述和分析了脑电信号模式、控制信号转换算法和应用系统研究等问题，探讨了进一步研究的方向和思路，并对脑控的未来发展方向和应用前景进行了分析和展望。

1 研究现状

1.1 国外研究现状

2006年，布朗大学的研究人员使用植入的犹他州电极来证明侵入性脑－计算机接口技术可以用来控制计算机鼠标。2012年，研究小组证明，侵入性脑－计算机接口技术可以执行更复杂的操作。在这项研究中，瘫痪患者可以使用植入芯片来控制机器人手臂，如喂水或巧克力。匹兹堡大学2013年的一项研究证明，侵入式BCI技术不仅可以控制机器人手臂，甚至可以控制机器人手臂进行各种不同的手运动，从而满足BCI用户在日常生活中可能需要的手抓取功能。

2016年，来自巴特利纪念研究所和俄亥俄州立大学的一个联合研究小组证实，具有侵袭性的犹他州启用的脑－计算机接口不仅能区分不同的手部动作，也可以用来控制身体的残疾人，让其控制自己的手做出不同的手部动作。该研究表明了此技术可以用于控制表面功能性电刺激，收缩失去控制的肌肉，从而使残疾人对自己的躯体重获控制。这也是脑机接口研究史上第一次展示侵入式脑机接口直接让残疾人控制自己躯体。2017年，凯斯西储大学用侵入式脑机接口控制植入式功能性电刺激装置，使得脊柱截瘫的残疾人能够通过意念控制自己的手臂，喂自己吃点东西。这一技术的突破，不仅使侵入脑机接口能够控制患者自己的身体，而且也是人类史上首次采用脑信号到躯体控制设备（功能电刺激）的同时，采用了植入技术（2016年研究利用非植入性表面功能电刺激控制了肌肉）。2016年，荷兰乌特勒支大学通过一种侵入脑机的技术，成功地让一位患有渐冻症、失去运动能力甚至眼动的患者利用意念进行计算机打字，其准确度达到了95%，使侵入脑机接口的技术应用程度又向前迈了一步。2017年2月，斯坦福大学研究小组报告了高性能的脑机接口应用系统，该系统使用颅内脑计算机进行字符输入。研究人员在脊髓侧索硬化症和脊椎损伤瘫痪病人的运动皮层植入高密度微电极阵列，采集动作电位及高频局部场，解码该电极上神经活动信息，实现连续控制屏幕二维光标，并选择字符的“点击动作”，从而使患者能够通过屏幕虚拟键盘输入文本和外部交互。3名使用这一系统的患者分别实现了每分钟输入39.2、31.6和13.5个英文字符的速度，这也是运动障碍病人中目前最快的信息传递速度。

虽然这些侵入式脑机接口的研究很令人振奋，但是上述仅仅只是脑机接口技术需要实现的一方面：解码大脑的信息，用于控制。脑机接口很重要的另外一方面则是编译外界的信息，并将其送入大脑。直观地说，人的本体感觉和触觉。2014年，凯斯西储大学团队证明了使用外周神经刺激技术可以恢复截肢病人的手部触觉，其后续研究表明此项技术能够让截肢病人区分不同的手部触觉。而对于脊柱截瘫病人的触觉恢复，外周神经刺激不再有效，是因为神经信号无法越过脊柱损伤处再传回大脑。对于脊柱截瘫病人的触觉回复，刺激的部位会选择在脊柱损伤处之上更靠近大脑的地方。匹兹堡大学的研究人员于2016年展示了植入式犹他电极的脑机接口技术可以提供微小电流刺激给大脑的感觉中枢，从而恢复高位截瘫病人的手部触觉。

由于非侵入脑机接口的操作比较简单，研发小组更多地使用了非侵入脑电图EEG、脑磁图MEG、近红外光谱NIRS、功能磁共振成像FMRI等研究方法。其中，基于EEG的脑机接口系统是最常见的，广泛应用于文本输入、轮椅控制或机器人的控制。美国罗切斯特大学的一项研究表明，用户可以利用P300信号来控制一些虚拟实现场景的对象，如开关或操纵虚拟汽车等等。奥地利g.tec公司研发的非入侵式脑机接口系统，可用于恢复脑中风后肢体运动的功能，并获得FDA认证。日本大坂大学的研究小组发现，通过脑机接口训练，幻肢在感觉运动皮层的表征减弱，可以有效地减少幻肢的疼痛感，使脑机接口训练有望成为一种可以面向临床的幻肢痛治疗手段。美国加州大学圣迭戈分校研究小组开发了稳态视觉诱导电位计算机接口系统，该计算机将电极安装在耳后的无毛发覆盖地区，并在12分类任务中达到85%，信息传递率在30 bit／m左右。这一研究的进展为普通人群提供了有效的脑电收集和高效地使用脑机接口，为日常生活提供可行性的支持。2019年7月17日，Space X和特斯拉创始人埃隆马斯克召开了一次发布会，宣布Neuralink公司成立两年来的脑机接口技术取得了重大突破，他们已经找到了高效实现脑机接口的方法。这实际上本身就是一个全大脑机器人接口植入系统：它是利用进行神经移植手术的辅助机器人将数十条波长直径仅为46μm的“线”通过植入连接到机器人的大脑内，以及植入专用神经技术图像芯片和大脑信息条，然后通过USB－C接口直接进行读取进入大脑内的信号。与以往的信息技术应用相比，新型的技术由于损伤人的大脑较小，传输数据更多。

1.2 国内研究现状

中国在脑机接口研究方面也取得了很多成就。清华大学、浙江大学、华东理工大学、华南理工大学、上海交通大学、国防技术大学、天津大学、中科院、华中技术大学等已成立研究组，开展相关领域的研究，在国际BCI大赛上取得成绩，在研究结果方面取得突破性进展。例如，清华大学在2001年就开始实现鼠标控制和电视按键控制。2006年，他们用运动的想象控制了两只机器狗，进行足球比赛，并采用了基于运动的想象脑接口和功能电刺激技术进行康复的新方法。浙江大学早年研究的大白鼠“动物机器人”，通过意念控制试验和猴子脑信号“遥控机械手”，完成了国内首次植入病人颅部的电极，然后用意念控制机械手的实验，在“入侵式脑接口”领域处于国内领先地位。华东理工大学的研究小组提出，让用户想像汉字是一种以手写为题材的想象运动任务，在分类方面取得显著优于传统格式的性能。该范式以国内用户群体为基础，设计范式任务，为BCI在中国推广和应用提供良好思路。华南理工大学正研究以P300为基础的文本输入系统，该系统将运动想像、互联网和电子邮件光标控制、生活辅助（例如，家用电器和轮椅）以及残疾人的神经功能恢复。2015年，上海交通大学成功地实现了远程对蟑螂进行控制的目标。2016年10月，天津大学神经工程队主要负责在轨道上进行互动、脑负荷的设计和发展，将视觉功能及其他神经功能测试系统送入天宫二号，进行了国内首次空间脑机互动实验。2017年，中国科学院半导体研究所与合作研究组进行了一次突破，提出与任务有关的组成分分析算法，进一步提高稳态VEP脑机接口通信速度为5.4 bit／s，优化结果为6.3 bit／s。这是目前为止最快的头皮脑电机接口系统之一。华中科技大学的研究小组进行的是非侵入脑机接口系统安全的研究。

2 初步认识

本节讨论理解本文中描述的工作所需的几个初步基础知识。

2.1 脑机接口

康复是脑－机接口应用的主要领域之一。脑机接口可以作为运动障碍者的沟通机制。对于有运动障碍的人来说，他们的神经系统不能按照大脑的信号执行。例如，大脑可能会想到抬起左手，但由于一个人的左手瘫痪（由于神经紊乱），手可能无法移动。然而，来自大脑的信号可以使用脑电图电极直接感知，并可以用来控制可能模仿左臂抬起的机械臂［16］。目前已有各种研究讨论了几种脑－机接口的应用，这类应用极大地推动了脑机接口最近的发展，因为它为瘫痪或患有各种身体残疾的人提供了新的交流可能性［17－30］。脑－机接口的工作分为3个阶段。第一阶段包括从大脑获取输入，通常使用脑电图（EEG）；第二阶段包括将来自大脑的输入信号映射到预先定义的输出命令的转换算法；第三阶段包括基于命令控制外部设备［31－33］。

接下来，对这3个阶段进行更详尽地讨论。脑机接口（第一阶段）：这个阶段的数据包括与大脑活动中一个或几个特性相关的信息。大脑有不同功能负责不同区域的处理。例如，与视觉有关的感知功能在大脑枕叶上进行处理。此外，额叶还负责计划、决策和演讲［34］。根据所需的动作，脑电传感器可用于从大脑部分获得大脑信号，以便进行深入处理。第二个阶段，即翻译算法，将获得的大脑信号转换成输入，并将它翻译为特定的输出命令，该命令适用于某些动作。特别是，这一阶段包括使用线性分析（LDA）、人工神经网络（ANN）等各种分类方法，将动作划分为特定的类别。转换算法的主要特征是使用传递函数，适应所有情况。传递函数可以是线性的（例如LDA）或非线性的（例如神经网络）。自适应算法可以使用复杂的机器学习算法来根据大脑进行调整［35］。第三阶段，BCI输出，处理输出，为专用设备产生的控制输出可以是离散的或连续的这两种形式。离散输出是可以用于在固定输出（例如，字母选择）中进行选择的输出，而连续输出可以帮助导航（例如，光标移动）［17］。

2.2 混合脑机接口

传统的脑机接口方法依赖于仅仅使用大脑信号来产生输出，然而，据观察，不同的受试者大脑信号的显著特征可能不同，事实上，有时甚至对于同一受试者，不同的试验的特征也不同［36］。此外，分析单个方面或特征有时会导致遗漏重要信息。这些挑战使得使用机器学习从信号中指定和提取特征变得非常合适。过去，机器学习已经被用于各个应用领域来解决各种性质的挑战［37－39］，并且在解决与BCI信号相关的挑战方面也发现了很大的适用性。机器学习方法已经能够显著地提高解码精度，正如本文后面讨论的那样。为了最大限度地提高系统的鲁棒性，提高信息传输率，减少训练时间，脑－机接口系统记录和分析多个互补信号［40－41］。这些系统使用数据融合技术，并使用机器学习算法来融合互补信号。这种技术称为混合脑机接口，如图1所示［42］。

图1 混合脑机接口（BCI）

任何混合式脑－机接口系统必须满足4个主要标准，即［42－43］：

（1）脑－机接口系统必须使用脑信号；

（2）用户应能够有意地控制其中一个脑信号；

（3）脑－机接口系统应对信号进行实时处理；

（4）必须向用户提供脑－机接口输出的反馈。

通常，混合脑机接口使用的信号组合包括肌电图［44］（EMG）＋脑电图（EEG）、事件相关去同步（ERD）与稳态视觉诱发电位（SSVEP）、近红外光谱（NIRS）与EEG、ERD与P300等的组合［45－46］。表1所示为上面讨论的主要信号和方法的说明［47－49］。

表1 用于记录特征的各种方法的比较分析

2.3 分类算法

在脑－机接口系统中，分类器的一个主要要求是在分类精度方面确保良好的性能［50］。例如用BCI控制轮椅的患者来做例子。现在，假设他们有控制BCI轮椅的设施，可以根据他们的想法左右、前后或向后移动轮椅。因此，当他们认为轮椅应向左移动的时候，BCI系统应该适当处理大脑的信号，并且必须把动作分类为“向左移动的”。该分类算法有多个特点（例如，大脑信号）用于输入和区分不同的类别（如，在这个示例中所提供的左右、后两个类别）。在执行这项任务时，重要的是仔细选择特征，以便分类算法能够显著地区分多个类别［51］。作为一种输入类型的BCI系统，用于控制类人机器人，其输入有时间特征和频率特征这两个类型。时间特征表示信号随时间变化产生的幅度，频率特征表示信号的频谱功率谱。通常，基于P300的BCI使用时间特征，而基于ERD和SSVEP的BCI使用频率特征。

不同的分类器用于将从脑信号中提取的特征翻译成控制命令［52－55］。这些分类器从简单的线性分类器再到复杂的非线性都不同。一些常用的分类器有线性判别分析（LDA）、支持向量机（SVM）、人工神经网络（ANN）和统计分类器［56］。下面将对这些分类方法进行详细的分析讨论。

（1）线性判别分析（LDA）

LDA是一种线性分类器。使用LDA的主要优点如下［57］。

①LDA的计算复杂度较小，从而减少了分类所需的时间。当在稍后讨论的在线会话中使用该算法时，这是很有用的。

②LDA是一种易于使用和可视化的分类器。在处理非线性脑电图数据时，线性可能是一个限制。另一方面，更简单的技术，如LDA，在训练数据集较小的情况下是合适的。LDA被用于许多由脑－机接口控制的类人应用程序中进行分类。LDA的典型决策边界如图2（a）所示，对于LDA，决策边界是单连通的和凸的。图中表示了3类分类，其中区域的颜色表示被预测的类。

图2 不同分类器的决策边界

（2）人工神经网络（ANN）

人工神经网络是一种非线性分类器。分类器的灵感来自于大脑的神经元结构。它用于逼近非线性函数［58－59］。使用人工神经网络通常是计算密集型的，需要配置许多参数，与LDA相比，它的用法更复杂，生成输出所需的计算时间也更长。然而，人工神经网络具有很强的适应性，可以应用于各种各样的用例。不幸的是，人工神经网络容易过度拟合，因此参数／结构的选择和规则化需要仔细地进行。ANN的判决边界如图2（b）所示，从图中可以看出函数的非线性。该图显示了两类，一类用红色表示，另一类用蓝色表示，这两种颜色已经用人工神经网络进行了分类。

（3）支持向量机（SVM）

支持向量机也是一种非线性分类器。但是，在使用SVM时，不需要设置配置。它在训练数据较少的情况下很有用。在大多数情况下，它更好地概括了这一点。这使得它的使用对于BCI系统是有利的，因为一旦训练好分类器，就可以对多个会话的大脑信号进行分类。即使对于单个用户，在多个会话期间生成的特征也可能不同。因此，对过拟合不太敏感的模型可能表现得更好［57－60］。支持向量机在处理高维数据时表现也很好。然而，支持向量机有时比其他分类器速度慢，这在处理大数据时成为一个问题。图2（c）所示为类之间具有最大边际的决策边界。

（4）统计分类器

这些分类器［61］基于每个新实例的输入特征，使用后验概率来选择概率最高的类别。这种类型的分类器利用先验知识对实例进行分类。这些分类器在不确定性的情况下也表现得很好，这在处理大脑信号时是可以预期的。信号的不确定性可能是由疲劳或学习效应引起的。表2所示为BCI中应用的典型分类器。

表2 分类算法比较

2.4 应用系统研究

目前，脑控系统研究多在实验室和现场研究中，而实际应用系统则较少。然而，与最初的研究相比，许多基于BCI的大脑控制系统实现了在线的实时控制和回馈，并且一些应用系统已经开始发布。从应用角度看，它可分为两大类：医学和非医学。在医疗领域，它主要帮助正常思考和身体障碍的患者外部设备进行外部交流和控制，如基于BCI的智能轮椅、神经假肢、虚拟打字和操作机器人等等。BCI在非医学领域中已被应用到操作人员的功能状态监测、游戏娱乐、智能家庭等领域中。其中，游戏娱乐是一种成功的应用方式。利用BCI技术，人们可以通过对鼠标、键盘或操作杆进行思想控制来完成视频游戏，也可以玩机器人足球。

从实际角度看，目前的脑－机接口技术还存在许多问题。在脑电信号模式和控制信号转换算法方面，除了上述问题外，还需要重点解决以下几个问题［62］。

（1）脑电信号的更新设备。BCI研究的第一个问题就是稳定地获取有效信号，以确定系统是否能够准确地、快速地运行，这是BCI研究的关键。通过改进传感器、放大器等硬件采集设备，在采集过程中有效抑制非脑信号，从而解决因头皮、颅骨等影响而引起的脑电信号弱化、干扰等问题，提高了脑电信号的质量。另外，设备易用和便携性也需要不断提升。一些企业生产便携脑电图捕捉装置。这些携带设备虽然还没有完成，但它们是BCI应用中的一个重要步骤。

（2）大脑控制系统的安全。脑控系统是人机一体化高度的系统，其安全性是首要考虑因素之一。近年来，为了考虑安全，一项研究提出了“脑开关”：在实际的脑控系统中，为了避免非任务状态下产生任务指令，脑机接口系统切换，也称脑开关，是必要的。在基于计算机信号的轮椅控制系统中，对假肢的操纵在实际运作中的控制系统指令错误会使用户陷入危险，也可能造成许多不必要的麻烦，而这一系统主要应用对象是无法正常活动的残疾人，他们经常很难打开具体操作按钮来控制系统。如何寻找安全、可靠的脑开关信号，也是大脑控制系统应用于实际运行的一个值得研究的方向。

（3）对人脑控制系统人机的适应性。一方面，有必要对BCI性能的问题进一步研究；另一方面，应进一步检查BCI系统用户的情况。由于使用终端的人，人的状态和感受也会对系统性能产生直接的影响，因此判断脑机界面的范例和设置参数，必须考虑人的情况，因此设计出一个高用户友好度的大脑界面控制系统，可以真正地为人类服务。

（4）BCI系统性能评价的统一标准。由于现有的研究基本上处于实验室阶段，没有一个统一的理论体系和规范，兼容性较差。目前，BCI主要从人机互动评估方面，如信息传递速率，延迟和反应时间，脑负荷和用户的友好度等。从应用产品的商品化角度来看，科学评估标准的进一步完善与统一需要。

3 结束语

40多年来，脑控系统研究取得了快速的发展。在未来，作为多学科交叉研究的新兴领域，脑控系统有着广阔的发展前景，也面临着一系列的严峻挑战，目前主流消费型脑机接口的研究以非侵入型脑电技术为主，尽管相对于侵入型技术更容易得到分辨率较高的分辨信号，但风险和成本仍然很高。然而，随着大量人才和资本涌入，非侵入脑电技术的发展必然会向小型、便携、可穿戴和简单的易用性方向迈进。

而对于非侵入性大脑机器的接口技术来说，在未来，如果能够解决了由于人体的各种排异生理反应和人类颅骨细胞对外环境传递信息的巨大减损，再加之对人类大脑内部神经元的深入科学研究，将会更有望对目前人类整体思维力和意识状态进行实时地准确认识。这一点可以有助于人类计算机更好地深入了解使用人脑的一些大脑生理活动及其特性，并可以指导人类计算机更好地学习模仿使用人脑；另一方面，可以帮助使人类计算机更好地与其他人相互工作。

总的说来，目前脑机接口技术仍然只能对计算机信号进行读取转换，从而对计算机／机器人进行简单的控制。要想达到更为复杂、精细的交互与功能，实现“想即得”，甚至可以完美地将思想与计算机进行对接，实现通过“下载”熟练掌握新的知识和新技术，而这还要走很长的路。