基于脑机接口的无人机控制系统研究综述

兰 珍,李子杏,闫 超,相晓嘉,唐邓清,周 晗

(国防科技大学智能科学学院,湖南长沙 410073)

1 引言

无人机(unmanned aerial vehicle,UAV)技术在近年来取得了快速发展,因其具有响应速度快、使用成本低、部署灵活等独特优势,被普遍认为是未来信息化发展的重要平台[1].目前传统的无人机控制模式需要操作员将意图转化为控制指令,再通过键盘、鼠标等设备向无人机下达,这种非自然交互方法给无人机控制带来了天然的效率瓶颈.脑机接口(brain-computer interface,BCI)提供了一种不依赖大脑、周围神经系统和肌肉组织的先进自然交互方式,可以将人脑信号直接解码转换成外部设备的控制信号,在康复医疗、生活娱乐以及外设控制等领域具有广阔的应用前景[2-3].因此,为了使操作员摆脱传统的手持控制器的束缚,提高控制效率,许多研究人员将BCI技术与无人机技术结合进行了一系列基于BCI的无人机控制系统研究.基于BCI的无人机控制技术仅通过解码大脑信号即可实现人与无人机的交互,不仅可以减少操作人员工作量,提高工作效率和控制精度,也为残障人士提供了新的康复治疗思路,因此引起了广泛的关注[4].

大脑信号的采集是实现基于BCI的无人机控制系统的重要环节,根据采集电极的放置位置可以将BCI系统分为侵入式和非侵入式.尽管侵入式BCI采集的信号质量明显优于非侵入式,但存在更高的安全风险,因此非侵入式BCI 是目前提取大脑信号最常用的方式.通过非侵入式BCI 采集的用于表征大脑功能状态的脑信号主要有脑电图(electro encephalo graphy,EEG)、脑磁图(magneto encephalo graphy,MEG)、功能性磁共振成像(functional magnetic resonance tmaging,fMRI)和功能性近红外光谱(functional near-infra-Red spectroscopy,fNIRS)等[5].相比于其他几种脑信号,EEG具有成本低、风险小、时间分辨率高、操作简单等特点,是目前基于BCI的无人机控制系统主要采用的实现方式[6].

基于单模态的BCI系统在范式设计、脑电信号处理算法和控制系统方面已经取得了重大进展,但由于EEG存在信噪比低[7]、解码精度较低[8]等问题,在实际应用中存在较大局限性.近年来,随着眼动跟踪设备、手势识别设备、虚拟现实头戴设备(headmounted device,HMD)等智能交互设备和信息处理方法的不断涌现和更新,人机交互方法趋向多样化,交互界面趋向个性化,交互设备趋向智能化[9].因此,研究人员提出了许多创新的想法,例如将两种脑机接口系统相结合或将非脑活动作为附加输入添加到脑机接口中组成混合式BCI(hybrid BCI,hBCI)系统以提高脑机接口的准确性和命令数量[10].在无人机控制方面,hBCI不仅能够丰富无人机的控制手段,提供额外的控制信号,而且能够提高BCI系统的准确率,使无人机能更好地完成特定任务,因此在康复、娱乐、军事等领域均有广泛的应用前景.

目前,已有国内外学者发布了有关BCI研究进展的综述性研究报告,但其综述角度及内容安排均与本文有较大不同.例如,2020年,天津大学张力新等[11]从提升用户维度的角度,对适用于群体协作的群脑协同BCI(collaborative BCI,cBCI)的研究进展进行了总结;2021年,华南理工大学邓晓燕等[12]从人机共享控制技术的角度,对非侵入式BCI的研究进展进行了梳理;2022年,天津大学的曹洪涛等[13]从控制策略的角度,总结了直接控制和共享控制两种控制方式的研究进展;迟新一等[14]从高通讯速率BCI的角度,综述了结合稳态视觉诱发电位(steady state visual evoked potentials,SSVEP)的hBCI的研究进展;天津大学的施文强等[15]将hBCI 分为3 类,分别从刺激范式、分类性能、实际应用的角度对hBCI的研究现状进行了总结.此外,2018年Nourmohammadi等[16]对BCI系统在无人机控制中的应用进行了综述.然而,随着BCI技术在外设控制领域的进一步深化和拓宽,近期在无人机控制方面取得了大量新的进展.

本文围绕现阶段基于BCI的无人机控制系统研究现状进行了梳理,对其中涉及到的关键技术进行了归纳总结,并列举了该领域迫切需要解决的关键问题和未来的发展方向,旨在帮助相关研究者理解该领域研究动态,为基于BCI的无人机控制系统方面的研究提供思路和参考.

2 基于BCI的无人机控制系统结构

BCI是人类理解和改善大脑功能的重要手段,是一种新的通信和控制系统,允许大脑直接对外部设备进行控制[17].一个完整的BCI系统主要包括范式设计、信号采集、信号分析与处理、外部设备4个部分,其结构如图1所示.

图1 BCI系统结构Fig.1 Structure of BCI system

该系统的工作流程为:首先,利用信号采集技术采集被试在执行实验范式设计的任务时大脑神经系统的活动变化;然后,通过信号分析与处理单元对采集的信号进行预处理、特征提取和模式识别,准确分析并识别被试操作意图;通过计算机技术将被试的意图转换为可以控制外部设备的控制指令,从而驱动外部设备执行相应的操作.在控制过程中,被试依据外部反馈的信息对自己的行为实时更新,产生新的控制指令[18].

基于BCI的无人机控制系统通过实时识别无人机操作员的控制意图并将其转化为相应的控制指令来实现无人机的实时控制.图2展示了面向无人机飞行控制的BCI系统结构.具体而言,该系统主要由决策子系统和机载控制子系统两部分组成.其中,无人机操作员执行任务过程中产生的EEG信号在决策子系统中被解码成相应的控制指令,机载控制子系统根据控制指令生成无人机在状态空间中需要遵循的轨迹,并控制无人机在遵循轨迹飞行的同时通过机载传感器稳定机身.在控制过程中,无人机上的机载摄像头将实时捕获的视频数据回传给电脑屏幕,操作员根据电脑屏幕展示的环境和目标信息,结合任务要求执行相应的操作,完成对无人机的飞行控制.设计一个鲁棒的决策子系统是实现基于BCI 的无人机控制的关键[16],因此,越来越多的研究人员针对这一关键技术进行了研究.

图2 基于BCI的无人机控制系统结构Fig.2 Structure of BCI-based UAV control system

3 基于BCI的无人机控制系统研究现状

经过数十年的发展,基于BCI的无人机控制技术已取得重大突破,是BCI领域和无人机控制领域的重点研究课题之一.基于BCI的无人机控制系统的多样性使其存在多种分类方式.例如,根据无人机操作员与无人机之间的互动程度以及输出指令的形式可将其分为直接控制系统和共享控制系统[12],根据生成控制指令时采用的模态数量可将其分为单模态BCI系统和多模态BCI系统,其中多模态BCI系统也被称为混合式BCI系统[19].直接控制系统结构简单,不需要机器人额外的智能[20],直接通过脑电信号控制无人机的运动.共享控制系统将BCI技术与机器智能结合(如定位系统或识别系统)[21-22],整合了人的认知能力和机器智能强大的运算与存储能力,可实现效率更高、鲁棒性和稳定性更强的无人机控制.然而,迄今为止,大多数基于BCI的无人机控制系统仍然采用直接控制的方式,仅有少数研究中采用了共享控制的方式[23-25].因此,本文从单模态BCI和混合式BCI的角度对现有的无人机控制系统研究现状进行梳理.

3.1 基于单模态BCI的无人机控制系统

根据脑机交互过程中大脑的主观心理活动所起的作用,可将现有的单模态BCI系统划分为自发式和诱发式两大类.其中,自发式BCI系统是通过被试主动执行特定的有意识的大脑活动直接控制外部设备的系统,该类系统不需要任何外部刺激就能产生相应的特征电位[26].目前最常用的自发式BCI系统是基于运动想象(motor imagery,MI)的MI-BCI[27].诱发式BCI是指在给予特定类型的刺激(如声、光、电)时诱发大脑产生特定神经响应的系统,通过分析神经响应特点可以识别大脑意图,进而输出控制指令.目前,典型的诱发式BCI 系统主要包括基于稳态视觉诱发电位的SSVEP-BCI[28]和基于P300 视觉诱发电位的P300-BCI[29].该类系统具有脑电特征诱发稳定、识别响应速度快、训练要求少、准确率高等优势,研究较为广泛[30].表1中列出了近年来各类单模态BCI系统在无人机控制领域的代表性研究及相应参数[31-61],下面将分别对不同典型的单模态BCI系统在无人机控制领域中的研究现状进行梳理和总结.

表1 基于单模态BCI的无人机控制系统代表性研究Table 1 Representative research for UAV control system based on single-mode BCI

3.1.1 基于MI-BCI的无人机控制系统

基于运动想象(MI)的BCI系统不依赖于任何外源性刺激,可以做到真正意义上的“所思即所动”.具体而言,通过想象不同肢体运动产生的EEG 信号通常伴随着不同的感觉运动节律(sensory motor rhythm,SMR),即对侧和同侧半球的感觉运动区域中mu节律(8～12 Hz)和beta节律(16～26 Hz)的功率将被抑制或促进[62-63],因此会产生不同的事件相关同步电位(eventrelated synchronization,ERS)和事件相关去同步电位(event-related desynchronization,ERD).通过提取EEG信号中与SMR相关的特征并分类,即可实现被试运动意图的识别.由于MI-BCI系统具有灵活、无创、不依赖外界刺激等特点,在无人机控制领域受到广泛关注并取得了大量研究成果.

2010年,Royer等[32]设计了一个具有4类MI任务的BCI系统,该系统采用智能控制策略实现了虚拟直升机在三维空间内的稳定飞行,证明了通过BCI控制虚拟直升机的可行性.2013 年,Lafleur等[34]采用基于MI的BCI系统第一次实现了物理世界中四旋翼无人机的飞行控制.在该系统中,操作员可以通过想象握紧左手、握紧右手、握紧双手和放松的方式,控制四旋翼无人机起飞、降落、左/右和前/后运动.同时,操作员还可根据机载摄像头实时反馈的实验环境调节自己的感觉运动节律,精确控制无人机的飞行轨迹,实验结果成功率达90.5%.2015年,Song等[36]采用Emotiv EPOC采集操作员执行MI任务时的EEG信号并实时解码成相应的指令,以控制四旋翼无人机执行翻滚、俯仰和偏航等飞行任务.此外,Shi等[37]基于MI建立了决策子系统以从半自主导航子系统提供的可行飞行方向中选择无人机当前的飞行方向,并由半自主导航子系统实现无人机自主避障,该系统实现了基于人机交互和半自主导航的六旋翼无人机低速控制.2016年,Alshbatat等[40]将设计的基于MI的四旋翼无人机控制系统在Simulink与物理世界中都进行了实验,实验结果表明BCI系统能够控制仿真和物理环境中的四旋翼无人机飞行.2021年,Choi等[56]基于MIBCI实现了虚拟无人机在二维和三维场景中的异步控制,并将该系统的性能与使用键盘控制无人机时的性能进行比较,验证了MI-BCI在无人机控制领域的应用潜力.2023年,Shi等[24]基于此前工作开发了一种集成单目视觉导航和MI-BCI的无人机控制系统,该系统采用共享控制策略,实现了低速无人机在室内三维空间的目标搜索.在该系统中,单目视觉导航子系统为决策子系统提供可行的飞行方向,基于MI的决策子系统进行最终决策,实验验证了该无人机控制系统的适应性和控制稳定性.

MI-BCI具有的优势是不依赖外部刺激,通过操作员自发产生的EEG信号就能直接控制无人机,在一定程度上解决了应用不灵活、体验较差等问题.此外,由于操作员能够直观地执行想象任务,疲劳度较低.然而,目前MI-BCI在实际应用中仍然存在一定的局限性: 1)可用的指令数较低,目前最高水平的MI-BCI只能实现7个指令[64],且操作员往往需要预先进行大量的离线训练才能达到较好的效果;2)部分被试无法产生可检测的感觉运动节律,即BCI盲现象[65],且这类被试在人群中占有15%至30%的比例[66];3)为了保持较高的识别准确率,MI-BCI系统需读取较长的时间窗口,导致系统时效性较差.

3.1.2 基于SSVEP-BCI的无人机控制系统

稳态视觉诱发电位(SSVEP)是指当人体受到特定频率闪烁的视觉刺激时,在大脑的初级视觉皮层上检测到的与刺激频率有关的(刺激频率的基频或倍频处)具有周期性节律的连续响应.通过分析EEG 信号中峰值对应的频率,可以有效捕获被试视觉凝视的刺激源,从而识别被试的意图.在一些良好的条件下,SSVEP可实现高达5.32 bit/s的信息传输速率,且能通过同步方式实现多达40个指令的输出[67].此外,该信号还具有特征显著、幅值稳定、抗干扰能力强等诸多优势,是基于BCI 的无人机控制领域的研究热点之一[68-69].

2017年,Merino 等[41]设计了基于异步SSVEP 的BCI系统,实现了无人机的多指令控制,且该系统无需任何训练就能获得良好的检测性能和信息传输速率.2018 年,西安电子科技大学郭毅[70]结合BCI技术与机器人操作系统(robot operating system,ROS)设计了一套模块化、可移植、高度集成的脑控无人机系统,实现了对无人机的实时飞行控制.2019 年,Chiuzbaian等[46]将4个显著的SSVEP信号用作操纵无人机的控制信号,并通过实验验证了该系统在实际三维场景中的有效性.2020 年,Mei 等[51]设计的基于SSVEP 的BCI系统实现了具有12个指令的四旋翼无人机控制.该BCI控制系统与键盘控制的对比结果显示,大脑控制与键盘控制的时间消耗比率低至1.34,有效证明了SSVEP-BCI系统对四旋翼无人机控制的实时性和有效性.2021年,Chung等[54]将监控屏幕上放置的3个LED灯作为视觉刺激诱发操作员产生SSVEP信号,从而控制无人机的左转、前飞和右转.

虽然基于SSVEP的BCI系统在无人机控制领域中具有诸多优势,但是由于SSVEP-BCI依赖于用作刺激呈现的庞大的液晶显示器、CRT显示器或LED显示器,因此限制了其移动性和便携性,进而影响了其实用性[71].针对这一问题,研究人员将BCI系统与头戴式设备结合,使系统在显示视觉刺激的同时允许用户自由地观察周围环境,为无人机操作员提供更舒适的用户视角.例如,2018 年,Wang等[43]设计了一种基于SSVEP的可穿戴式BCI系统,该系统使用头戴式设备实现了四旋翼无人机的三维导航和沉浸式第一人称视觉反馈.2023年,Niu等[60]创新地将虚拟现实(virtual reality,VR)技术与SSVEP-BCI系统结合组成混合系统,实现了四旋翼无人机向前、向后、左转和右转4个指令的控制.除此之外,Deng等[61]将基于VR-SSVEP的BCI系统应用于四旋翼无人机集群控制,创建了一个模块化、可扩展的多无人机控制系统,成功实现了对无人机集群在运动方向和编队形状上的控制.

SSVEP-BCI系统因其性能稳定、信息传输率高、训练要求少、指令数量多以及个体差异性小等优点被广泛应用于无人机控制领域.然而,SSVEP-BCI在实际应用中仍然具有很大的局限性: 1)依赖于视觉刺激,便携性较差;2)能较明显诱发SSVEP信号的刺激频率集中在中低频段(4～30 Hz),其他频段能诱发的响应较小,限制了指令集数量的进一步发展;3)低频闪烁容易导致视觉疲劳,长时间人机交互体验较差,严重时甚至会诱发癫痫.

3.1.3 基于P300-BCI的无人机控制系统

P300电位是事件相关电位(event-related potential,ERP)的一个组成部分,指的是当大脑受到随机产生的小概率事件刺激时,在刺激呈现后的300 ms左右出现的一个正向峰值,可客观反映大脑认知加工过程.P300-BCI系统提供的指令数量取决于呈现给用户的随机闪烁的视觉刺激个数,每个视觉刺激都能代表不同的控制指令.此外,P300电位是典型的生理自然反应,具有特征明显、训练要求少等优势,且能够通过视觉、听觉或触觉刺激来诱发,因此已被广泛应用于认知神经科学领域与实际应用场景.

2020年,Al-Nuaimi等[50]提出的基于P300-BCI的无人机控制系统实现了四旋翼无人机的多指令运动控制,使无人机能够通过EEG控制追逐其他无人机并侦察隐藏的敌人区域.此外,该系统还实现了拍照等功能.2021年,Kim等[53]开发了一款基于P300-BCI的可同时用于VR和增强现实(augmented reality,AR)的无人机控制系统,其中VR使用虚拟地图控制虚拟无人机,AR控制真实无人机并通过无人机摄像头观看实时环境视频,该系统实现了虚拟无人机和真实无人机在7个方向上的指令控制.

虽然P300已成为BCI领域的3大主流范式之一,但由于P300需要特定刺激诱发,控制指令只能从预定义的命令集中进行选择,难以满足对无人机连续控制的要求,导致目前基于P300-BCI的无人机控制系统研究仍然较少.然而,由于P300具有无需训练即能准确诱发的优势,在无人机控制领域具有较大的应用潜力.

3.1.4 基于其他范式的无人机控制系统

前文介绍的3种典型BCI系统在无人机控制任务上的应用越来越广泛,但目前仍存在一些技术问题(见表2): 一方面,为了获得P300或SSVEP信号,用户必须持续关注显示器呈现的视觉刺激,由于视觉空间的限制,系统的便捷性和实用性较低;另一方面,MI能够克服刺激依赖问题,但是需要长时间的训练,并且,由于与身体运动相关的大脑信号数量有限,难以实现多类别控制.因此,为了实现更直接有效的控制,视觉想象(visual imagery,VI)[72]和语言想象(speech imagery,SI)[73]等与人类认知功能相关的新型范式被提出.VI和SI与MI一样均不依赖于外界刺激,仅通过大脑想象特定的任务即可自发产生相应的脑电信号,具有较强的独立性.其中,VI范式要求被试者在脑海中想象特定的对象或场景,SI 范式要求被试默念特定的单词或句子.与MI相比,SI更自然,更易于重复执行,且个体之间差异性较小.此外,语音可以对应任意指令,因此用户可以通过将单词与对应动作进行关联实现更加直观的交互.

表2 3种典型的单模态BCI系统的比较Table 2 Comparison of three typical BCI systems

2018年,Koizumi等[45]首次将VI应用于无人机运动方向控制,实现了具有6个指令的四旋翼无人机三维运动控制.与其他BCI范式相比,VI范式通过对特定的对象或场景进行想象来实现,在编队控制方面具有独特优势.2020年,Jeong 等[48]设计了基于VI范式的无人机集群控制系统,使50架无人机能够实现盘旋、分裂、分散和聚集这4种不同的编队任务.此外,Lee和Kim等[57,59]也通过设计的想象无人机编队变换的VI实验范式实现了无人机集群的分散、分裂、降落和悬停控制,验证了通过VI实现无人机编队控制的可行性.

近年来,也有一些研究将面部表情变化、眨眼以及头部运动与无人机的运动相匹配以实现无人机的运动控制,例如扬起眉毛对应无人机起飞、用力眨眼对应无人机着陆、向右看对应无人机向右移动等.2015年,Lin等[38]通过被试向左微笑、向右微笑、扬眉、皱眉、左眨眼、右眨眼的面部表情来控制无人机向左、向右、向前、向后、起飞和降落.2019年,Yu等[47]采用无线的头戴式设备获取被试睁眼和闭眼时产生的枕叶α波、快速眨眼时产生的额部肌电伪影以及头部运动时头戴式设备的陀螺仪信号,并将其转换为相应的控制指令控制无人机飞行,该系统训练要求少且指令识别精度高,适用于多种机器人控制.2022年,Chu等[58]也设计了5种眼部动作来下达无人机向前、向后、向左、向右和向下的飞行指令.与EEG信号相比,面部表情变化、眨眼以及头部运动等方式产生的信号强度更大,易于识别和处理,具有较强的鲁棒性和稳定性.

3.2 基于混合式BCI的无人机控制系统

单模态BCI系统控制指令有限且多分类识别准确率低,系统鲁棒性和稳定性受限,难以在实际应用中实现较好的控制.为了解决单模态BCI系统存在的问题,可以将多个单模态系统通过并行或者串行的方式组成混合式BCI(hBCI)系统[74].并行式hBCI和串行式hBCI的组合方式如图3所示.混合后的系统可以在一定程度上提高分类正确率、增加控制命令数量以及控制维度,在无人机控制领域有着广阔的应用前景.根据组合的信号类型的不同,可以将现有的hBCI分为3大类: 1)两种或两种以上的实验范式混合;2)两种或两种以上的脑信号混合;3)脑电及脑电以外其他生理信号混合,如表3 所示.表4 中整理了近年来混合式BCI 在无人机控制领域的代表性研究及相应的参数[75-94].下面分别对以上3类混合式BCI的在无人机控制领域的研究现状进行梳理和介绍.

表3 3种hBCI系统的比较Table 3 Comparison of three hBCI systems

表4 基于混合式BCI的无人机控制系统代表性研究Table 4 Representative research for UAV control system based on hybrid BCI

图3 hBCI的组合方式Fig.3 The combination method of hBCI

3.2.1 基于多种范式的脑控无人机系统

由于MI,P300,SSVEP等单模态EEG信号依赖于不同脑区,如MI任务依赖运动区,SSVEP任务依赖于枕叶视觉区,P300和ERP任务依赖中央皮层区域,因此不同模式的EEG信号可以分别体现大脑不同的活动状态,并提取出不同的EEG 信号特征.基于多种范式的BCI 系统可以将不同范式对应的EEG信号结合,利用各类EEG信号独有的特征实现信息互补,提高BCI系统的性能.因此,基于多种范式的混合式BCI系统成为了基于BCI的无人机控制领域的研究热点.

2018年,Koizumi等[82]将VI和SI两种新型范式结合设计了混合实验范式,实现了四旋翼无人机在6个方向上的运动控制.2019年,Duan等[84]设计的基于SSVEP,MI和眨眼技术的多模态BCI系统成功实现了对四旋翼无人机的飞行控制,任务成功率达到了86.5%,且能够实现实验室外的稳定飞行.Yan等[83]设计了一个基于离线优化和人机交互增强的混合式BCI控制系统,该系统通过6种不同的SSVEP和两种不同的MI任务来控制四旋翼无人机在三维物理空间内飞行,在线实验证明了该混合式BCI控制系统的实用性和可操作性.此外,2020年,Choi和Jo[86]将基于MI和SSVEP的混合式BCI与增强现实设备结合,设计了一种用于四旋翼无人机飞行导航的异步混合AR-BCI系统,该系统能够在减少训练时间的同时增加指令数量.针对现有基于BCI的无人机控制系统导航速度慢、控制精度低、训练严格、指令较少等问题,2022年Kapgate[93]设计了一种结合SSVEP和P300的混合式BCI系统,实现了对四旋翼无人机在前、后、左、右4个方向的飞行控制,实验结果证明了该混合式BCI系统优于单模态BCI 系统.

除了控制单个无人机,基于混合式BCI的多无人机控制系统也引起了越来越多学者的关注.2019年,Nguyen等[85]将MI和SI范式结合设计了具有4个控制指令的自适应在线学习BCI系统,该系统可以控制集群密度和编队形状.2020年,西北工业大学谢松云团队实现了多模式联合诱发的脑机协同无人机编队智能控制系统[89],该系统采用多种脑特征联合诱发的脑控技术和脑机协同控制技术,基于MI,SSVEP和眨眼3种范式控制无人机集群完成队形变换、叠飞、翻转等高难度动作.2020年,Lee等[90]提出了一种基于MI,VI和SI的混合式BCI系统,实现了无人机集群基本的方向控制、编队控制和的高级任务控制,增加了无人机集群控制的自由度.

3.2.2 基于多种脑信号的脑控无人机系统

不同的神经成像技术可以从不同角度反映大脑的活动信息.EEG信号具有较高的时间分辨率,但是由于容积效应的影响,EEG信号通道中存在噪声干扰和信息冗余,空间分辨率较低[95].与EEG信号相比,基于血氧(如fMRI,fNIRS)和基于脑磁(如MEG)的脑成像技术具有较好的空间分辨率,是探究大脑活动机制的重要工具.因此,通过结合不同的脑信号,能够在保留EEG信号高时间分辨率的同时弥补低空间分辨率的缺陷,得到高分辨率的时空神经图像[96],提升基于BCI的无人机控制系统的性能.

fNIRS是除EEG外最常用的脑信号,被广泛应用于各类反应型任务中,如心理(例如数学、计数等)和运动相关任务(例如MI).然而,与EEG-BCI系统相比,fNIRS-BCI在增加指令数量的同时,也会导致准确性的降低.针对这一问题,基于fNIRS 和EEG 的混合式BCI系统被提出,该系统能够在提升分类准确性的同时增加指令数量.例如,2015年,Khan等[77]提出了一种基于EEG-NIRS的四旋翼无人机控制系统,该混合式BCI系统将基于MI和SSVEP范式的EEG信号和fNIRS 信号结合,以异步的方式控制无人机.2016 年,Khan等[79]在之前研究的基础上设计了基于EEG 和fNIRS的混合式BCI系统以增加控制命令数量,并应用于四旋翼无人机的飞行器控制,其中前额叶的fNIRS用于解码心算任务以控制无人机向前移动.此外,2017年Khan和Hong[81]设计的基于EEG-fNIRS的混合式BCI系统通过使用fNIRS和EEG分别解码4项心理任务和4种眼动类型,实现了具有8个指令的四旋翼无人机实时控制.

以上研究表明,基于脑电和其他脑信号的混合式BCI可以提高系统的分类精度[97],增加命令数量[98],实现更有效的无人机飞行控制.

3.2.3 基于多生理信号的脑控无人机系统

除EEG信号外,产生机制相对简单的眼动跟踪信号、眼电(electro-oculogram,EOG)信号和肌电(electromyography,EMG)信号等生理信号也被视为新的交互手段,且越来越多的研究人员将这些生理信号用于计算机或智能设备的控制.与EEG 信号相比,EOG 和EMG等信号具有信号强度高、规律性简单、训练要求少、易于理解和分析等优势,且用户不需要借助额外的辅助设备即可控制自身信号的产生,因此将EEG信号与其他生理信号结合有助于提升BCI系统的整体性能[99].

2014年,Kim等[76]提出了一种基于EEG和眼动跟踪的可穿戴混合式BCI系统,其中眼球运动用于从屏幕展示的8个飞行方向中选择无人机当前的飞行方向,表示用户注意力集中状态的EEG信号用于实现无人机的起飞、降落以及子系统之间的切换.2017年,Karavas等[80]设计了一种利用操纵杆和BCI结合的无人机集群混合控制系统,该系统直接将用户的想法转换为控制指令,以最小的延迟和简单的交互为用户提供直观的控制策略,实现了3架无人机的分散和降落控制.2018年,Shi等[25]针对低速多旋翼无人机的三维空间室内目标搜索问题,提出了一种基于眼电和EEG的混合式BCI系统,其中基于眼电的子系统用于切换水平和垂直的MI任务.2020年,Chen等[87]设计了基于MI、眼动和眨眼的混合式BCI系统,其中左右运动想象用于控制无人机的起飞和降落,眼睛的左右移动用于控制无人机向左和向右飞行,3次和4次眨眼用于控制无人机向前和向后飞行.在线实验结果显示,4 名被试的分类正确率均达到了95%以上,信息传输率均在43 bit/min以上.2021年,Zhou等[91]提出了一种基于有限状态机的混合式BCI系统,该系统通过有限状态机将EEG信号中的α波和眼电伪迹转化成相应的控制命令,从而实现四旋翼无人机在三维空间中的全方位飞行控制.Wu等[92]针对无人机智能指挥控制的应用,设计了一种基于SSVEP和眼动跟踪的高效智能人机交互系统,并进行了多无人机编队飞行实验,实验结果表明该人机交互系统的指挥选择成功率达到了100%.2023年,Wu等[94]设计了一种结合脑机接口和陀螺仪的无人机控制系统以解决无人机的多维运动和控制精度问题,该系统能够通过检测EOG信号控制无人机的起飞和着陆,通过SSVEP范式控制无人机的方向运动,并通过检测头部姿势控制无人机的纵向倾斜和旋转飞行.

以上研究采用不同生理信号控制不同维度,通过将操作频繁的指令分配给易于控制的EOG等信号进行控制,有效提高了控制系统的即时性.

3.3 评价指标

在线BCI系统的性能可通过各种指标进行量化,标准的性能指标可用作跟踪BCI开发的通用基准,是促进研究人员基于共同出发点不断推动系统和算法性能优化的重要内容.一种评价指标往往只能反映BCI系统的一部分性能,因此研究人员通常设计不同的评价指标从不同的角度对BCI系统进行评价.目前基于BCI的无人机控制系统中常用的评价指标可以分为两类.一类为任务相关指标,即关注系统执行任务的情况,如成功率、时间效率和信息传输速率(information transfer rate,ITR)等[43,84-85].其中,成功率表示BCI系统在有限时间内成功完成的任务数量占总任务数量的比率,时间效率是指BCI系统完成任务所需的平均时间,ITR是指令数量、输出指令速度和识别正确率的综合指标,可以有效地反映出BCI系统的工作效率[100].另一类指标主要是从用户角度出发,关注用户在执行任务时的心理状态,如系统舒适度和系统工作量(NASA task load index,NASA TLX)等[93],这类评价指标通常以问卷形式来完成.

在现有的研究中,Wang等[43]采用成功率、时间效率以及一种适用于异步任务的ITR度量标准对系统搜索和接近目标的总体表现进行评价.实验结果显示,使用该系统完成相关任务的平均成功率为83.3%,平均时间效率为0.64,平均ITR为4.6 bit/min,证明了被试可以使用该系统控制无人机在物理三维空间中准确、流畅的完成飞行任务.Duan等[84]除了采用成功率、时间效率和ITR来衡量系统性能外,还引入了一些特定指标,如采用单位时间出界次数(boundaries per unit time,OBUT)评估每个试验中无人机穿越边界的平均次数.实验结果显示该在线系统获得了86.5%的成功率且平均ITR为1.69 bit/min,证明了该BCI系统在有效提高准确率的同时减轻了被试的精神负担和视觉疲劳.Nguyen等[85]不仅根据传统的成功率指标评估BCI系统的表现,而且采用混淆矩阵的质量、数据的可分离性和不稳定性等指标分析被试在技能上的改善程度和自适应系统的有效性.Kapgate等[93]将基于SSVEP-P300的混合式BCI系统的成功率、时间效率、ITR、系统舒适度和系统工作量等指标与传统的SSVEP-BCI,P300-BCI和商用键盘控制系统进行比较.实验结果证明了所提混合式BCI系统优于传统的单模态BCI系统,但性能效率略低于商用键盘飞行控制系统.

4 基于BCI的无人机控制系统关键技术

由于脑电信号是人自发产生的微弱电信号,具有信噪比低、样本量小、随机性强、个体差异性大等特点.因此,开发准确、高效且泛化能力强的特征提取算法和模式分类算法,实现被试意图准确、高效的识别,是实现基于BCI的无人机控制系统的关键.此外,在并行式hBCI系统中,多模态融合算法也是实现无人机高效控制的关键技术之一.下面分别对基于BCI的无人机控制系统中的特征提取算法、模式分类算法以及多模态融合算法这3个关键技术进行详细介绍.

4.1 特征提取算法

通过特征提取算法将无人机操作员的高维EEG数据映射到低维的空间表示,提取出与操作员意图相关的特征,是实现操作员意图识别的重要步骤.合理、典型的EEG特征不仅能够全面的表征EEG的信号模式,而且能有效的描述各种状态下EEG信号的区别,从而提高模型的准确度和泛化能力.常用的EEG特征主要分为时域特征、频域特征、时频域特征和空间域特征[101],如表5所示.下面分别对以上4种脑电特征的提取方法进行详细介绍.

4.1.1 时域特征提取

EEG信号的采集大多以时域形式进行,因此EEG信号的时域特征常被用于脑电的相关研究.时域分析关注的是EEG信号波幅随时间进程的变化情况,常用的时域特征提取方法包括过零点分析、直方图分析、方差分析、相关分析、峰值检测和波形分析等.波形分析中的ERP分析是最常用的时域特征提取方法,该方法能够快速捕获由某个事件所引起的波幅变化,如常见的事件相关电位成分P300,N400等.

EEG信号的时域特征主要包括幅值、方差、均值、标准差等,这类特征因其计算简单而成为EEG特征提取研究方法中常用的特征信息[102].此外,由于时域分析不需要进行滤波处理,具有更高的时间精度和准确性.例如,2017年Khan等[81]提出的结合EEG和fNIRS的混合式BCI系统中,采用2 s移动窗口内氧合血红蛋白数据的峰值、最小值和平均值特征对fNIRS进行解码,并采用1 s窗口内EEG信号的峰值数量和平均值对EEG信号进行解码,实验结果表明该系统可以对来自前额叶和前皮层的fNIRS和EEG信号进行实时解码并转换成8个控制指令控制四旋翼无人机的飞行.

时域特征具有计算简捷、便于研究者直观理解的优势.然而,由于EEG信号波形复杂,难以找到统一的时域特征提取方法,只能通过对既定数据的波形进行观察和分析以选取合适的特征.此外,时域特征仅能体现幅值随时间的变化,缺少频段信息.

4.1.2 频域特征提取

频域特征提取方法是指通过一定的变换将脑电信号从时域变换到频域,再对频域数据进行分析并提取有效特征的方法.频域中常见的特征有功率谱、功率谱密度(power spectral density,PSD)[82]和功率谱能量等.常用的频域特征提取方法包括功率谱估计(PSD analysis,PSDA)、傅里叶变换(fourier transform,FT)等.其中,傅里叶变换的类型包括快速傅里叶变换(fast FT,FFT)[25,46,55,80]和离散傅里叶变换(discrete FT,DFT)[77,80].与DFT相比,FFT具有计算简单、计算时间短的优点,因此被广泛使用.例如,Karavas等[80]在对实际或想象的运动信号进行预处理后,采用FFT为每个EEG通道自动选择ERD/ERS现象更为明显的频带,提取信号的频谱特征.Hireche等[55]利用FFT提取EEG信号中与SSVEP相关的频谱特征,实现了高准确率的多分类任务,并在三维空间中对无人机的控制进行了在线仿真.

频域特征提取方法能够提取出不同频带内的特征信息并加以识别,但由于噪声干扰,在出现频带重叠时所提取的特征辨识度会有所降低.此外,频域特征不能反映频率随时间的变化,仅适用于稳态数据.

4.1.3 时频域特征提取

由于EEG信号是一种非线性、非平稳的时变信号,因此仅从单一维度的时域或频域提取特征不够全面.为了提取更加全面的EEG特征,研究者通常对EEG数据进行加窗处理,并假设在该时间窗内数据是稳态的,进而利用频域特征提取方法提取该时间窗内的频域信息.将窗口沿着时间轴向前滑动,并对每个时间窗内的数据进行同样的频域特征提取,即可得到随时间变化的频率信息,即时频特征.

在基于BCI 的无人机控制系统中,常用的时频特征提取方法有短时傅里叶变换(short-time fourier transform,STFT)[24]和小波变换(wavelet transform,WT)[44]等.其中,STFT能够指定随时间和频率变化的原始信号的相位和幅度[103],是分析非线性和非平稳信号的常用算法之一.例如,Shi等[24]采用基于STFT算法的堆叠频谱图和数据增强方法将空间滤波后的EEG信号转换为二维时频图像,对时频图像进行特征提取和分类后将分类结果转换为相应的控制指令控制无人机运动.WT具有灵活的时频分辨率和可变的时频窗口,可用于信号的逐步细化,且能够在时域和频域中表示信号能量强度或密度,因此也常用于EEG信号分析.例如,2018 年Vijayendra 等[44]采用离散小波变换(discrete WT,DWT)提取EEG信号中每个频带的时域信息,并利用提取的时频特征对无人机操作员在执行MI任务时的脑电信号分类,进而实现无人机的飞行控制.

在时频特征提取方法中,时间窗口的大小会影响到系统识别的准确率和信息传输速率.STFT的时间窗大小固定,而WT的时间窗则可以随着频率变化而伸缩,使用更灵活.因此,WT比STFT换更适合分析非平稳的EEG信号.时频域特征提取方法虽然能够很好地刻画瞬时特征,适用于时频特征随时间不断变化的EEG信号,但无法描述信号的变化趋势.

4.1.4 空域特征提取

空域特征提取方法可以同步利用各导联EEG信号之间的空间分布及相关性信息,消除信号中的部分噪声,实现局部皮层的神经活动定位,因此适用于处理多维的EEG信号[104].空域特征提取方法有效结合了信号的时频特性,可以得到更好的处理效果.常用的空域特征提取方法包括公共空间模式(common spatial pattern,CSP)及其变体[24,84,90,93]、主成分分析(principal component analysis,PCA)[38,80]等.

由于MI任务信号的产生通常伴随着不同的感觉运动节律,即各脑区特定频段功率的升高或降低,因此空间特征提取在基于MI的运动意图识别任务中着重要作用.例如,Shi等[24]在使用两个五阶Butterworth带通滤波器对MI任务的原始EEG信号进行预处理后,采用CSP对EEG信号进行空间变换以增加空间分辨率.Duan等[84]采用完整信息公共空间模式(complete information CSP,CICSP)提取更具区分性的MI 特征,以控制四旋翼无人机向左和向右飞行.此外,空域特征提取方法在其他模式的EEG信号中也有大量应用.例如,Lin等[38]采用PCA方法减少EEG信号的大量特征向量以识别操作员面部表情并转换成相应的控制指令,进而控制四旋翼无人机平稳飞行.然而,由于EEG信号空间分辨率有限,且具有低信噪比和高动态等特性,传统方法通常无法实现高精度的解码.

空域特征提取方法在处理空间相关性上的优势使其被广泛应用于提取多通道EEG信号中特征向量的空间分布.然而,该方法对噪声敏感且依赖于多通道分析.

4.2 模式分类算法

采用准确、高效的模式分类算法对提取到的与操作员意图相关的EEG特征进行分类是实现操作员意图识别的核心.目前,基于BCI的无人机控制系统中常用的模式分类算法主要分为传统机器学习方法和深度学习方法,如表6所示.下面分别对这两种分类算法进行介绍.

表6 不同类型的模式分类算法比较Table 6 Comparison of different classification algorithms

4.2.1 传统机器学习方法

由于不同实验范式诱发的EEG信号存在不同程度的差异,因此在实际应用中,通常针对不同模式的EEG信号使用不同的分类方法.

在基于MI-BCI的无人机控制系统中,通常首先通过CSP等算法从SMR中提取特征向量,然后利用线性判别分析(linear discriminant analysis,LDA)[34]、支持向量机(support vector machines,SVM)[25,87]、K值最近邻(K-nearest neighbor,KNN)[35]、隐马尔可夫模型(hidden Markov model,HMM)[80]等传统机器学习分类器对提取的特征向量进行模式分类.例如,Lafleur等[34]设计的基于BCI的四旋翼无人机控制系统通过LDA对各种任务进行分类,实现了四旋翼无人机在6个方向上的运动控制.Karavas等[80]将PCA与HMM结合对实际或想象运动过程中产生的ERD/ERS现象进行分类,实现了四旋翼无人机集群的密度控制.Nguyen等[85]设计的自适应在线学习BCI系统中,采用自适应加权混合相关向量机(relevance vector machines,RVM)作为在线分类器,并将做出的决策向用户提供持续反馈,同时定期更新模型和参数.

SSVEP分类算法根据是否需要训练数据可分为无训练和有训练算法两类.无训练算法主要包括典型相关分析(canonical correlation analysis,CCA)及其改进算法[41,43],这类算法不需要额外的被试脑电数据作为校准数据,但分类正确率较低.有训练算法主要包括任务相关成分分析(task-related component analysis,TRCA)及其改进算法[51],同时还包括部分需要训练的CCA改进算法.这类算法需要先用被试数据进行训练以更新模型参数,并将训练得到的最优模型用于测试集样本的分类识别,这类算法能够取得较好的分类效果.CCA算法由于实现简单且精度较高,在SSVEPBCI中被广泛使用.例如,Choi等[86]提出的基于MI和SSVEP的混合式BCI系统中分别通过滤波器组共空间模式(filter bank CSP,FBCSP)和CCA算法提取MI 信号和SSVEP信号的特征,并采用SVM进行特征分类,最终实现了四旋翼无人机的飞行导航.2020年,Mei等[51]使用基于TRCA和LDA的组合分类算法对基于SSVEP-BCI采集的脑电数据进行解码,实现了具有12个指令的四旋翼无人机控制系统.

P300分类算法主要包括LDA及其改进算法[50,53,93]、SVM算法等.其中,LDA具有计算简单,分类效率高等特点,是P300-BCI中常用的典型分类算法.例如,Kim等[53]采用LDA方法对AR和VR场景中基于P300-BCI 采集的EEG信号进行分类,实现了四旋翼无人机在7个方向上的指令控制.此外,Al-Nuaimi等[50]设计的无人机控制系统中也采用LDA对提取的P300振幅平均值进行分类,实现了基于P300-BCI的无人机控制.

传统机器学习方法的优势在于模型复杂度低,对硬件要求较低,检测速度较快,可解释性强.然而,该类方法需在分类操作前进行手工特征提取,过程繁琐且易丢失重要信息.此外,由于EEG信号具有非平稳性,而传统分类算法大多数是线性的,导致模型分类精度受限,泛化能力和鲁棒性较差.

4.2.2 深度学习方法

与传统机器学习方法相比,深度学习方法可以直接从原始EEG数据中提取具有判别性的特征并进行分类,端到端完成整个信号分析与处理过程,且部分深度学习算法可适用于跨被试、跨时间、跨试次的脑电数据,具有较强的泛化能力,因此成为了现阶段的研究热点.

在基于BCI的无人机控制系统中,常用的深度学习方法包括卷积神经网络(convolutional neural networks,CNN)[49,57]和循环神经网络(recurrent neural network,RNN)[52]等架构.例如,Liu等[49]受到自注意机制能够提取可区分特征的启发,提出了一种端到端的基于并行空间-时间自注意力卷积神经网络的EEG信号分类方法,并将所提出方法用于无人机实时控制,验证了该方法实时应用的可行性.Vijayendra等[44]利用人工神经网络(artificial neural networks,ANN)对EEG数据进行分类,实现了四旋翼无人机的平移和角速度控制.Lee等[57]提出了基于CNN的子时期特征编码器(subepoch-wise feature encoder,SEFE)来提高跨被试任务的性能.Ishizuka等[52]提出了结合CNN和长短期记忆网络(long short-term memory,LSTM)的深度学习方法,并使用该方法对EEG信号进行分类,实现了对无人机起飞、着陆、向前、左转和右转5个指令的控制.Chu等[58]采用Butterworth带通滤波器对基于面部表情获取的EEG数据进行预处理后,将自适应神经模糊推理系统(adaptive neuro-fuzzy inference system,ANFIS)作为分类器对EEG信号进行分类,并将分类结果用于操纵四旋翼无人机飞行.为了提升无人机控制系统的高效性和稳定性,Wu等[94]提出了一种基于1D-CNN和LSTM模块的深度学习算法对SSVEP信号进行解码,实现了无人机在前后左右4个方向上的移动.

尽管深度学习方法在EEG信号分类中已经得到了广泛应用,但仍有诸多关键问题亟待解决.首先是数据集问题.理论上,在训练充分的情况下,深度学习可以实现对EEG更有效的特征提取和精度更高的模式分类.然而,由于EEG数据的收集成本较高,标记样本难以获得[105],导致用于深度学习训练的数据量有限,模型容易因参数过拟合影响泛化性能[106].其次是训练成本的问题.由于深度学习模型计算复杂,计算量大,训练普遍耗时,导致现有的深度学习方法通常都是在离线环境下以批量式学习的方式进行,没有考虑在线应用对算法的实时性和稳定性要求.到目前为止,深度学习在EEG信号解码中尚未表现出显著优势[107].因此,深度学习方法在EEG信号解码方面的应用仍需进一步探索.

4.3 多模态信号融合算法

建立混合式BCI系统的关键是将多模态信号进行有效融合,进而实现对无人机操作员意图的精确识别.常见的多模态融合方法包括数据融合、特征融合以及决策融合.数据融合将不同模态的原始数据直接融合在一起.特征融合首先提取不同模态数据的特征,再将提取的特征进行融合.决策融合先由各个分类器基于自己的数据做出决策,然后再由决策融合规则给出最终的决策结果.常见的决策融合规则包括最大值规则、求和规则、平均值规则、贝叶斯规则以及D-S证据理论.

由于不同模态生理信号的频率和幅值等物理特性相差较大,数据层和特征层的融合较为困难,因此目前的混合式BCI 系统普遍采用决策融合的形式[88,92-93].例如,Kapgate[93]采用决策融合的方式将基于SSVEP的分类结果与基于P300的分类结果进行融合,并将融合后的最终分类结果用于无人机控制.Zhao等[88]设计的基于EEG和眼动的混合式BCI系统首先收集用户的EEG和眼动信号并分别进行预处理、特征提取和分类识别,然后在D-S证据理论下融合不同分类器的分类结果,并将最终结果用于虚拟单无人机或虚拟无人机集群的飞行控制.此外,Wu等[92]设计的基于EEG和眼动的智能人机交互系统,先分别通过脑机监测系统模块和眼动监测系统模块生成相应的控制信息,再在无人机远程控制模块中将两个信息结合起来生成最终的无人机控制命令.在该系统中,如果脑机监测系统模块和眼动监测系统模块生成的控制信息一致,则为最终结果;如果不一致,则数据无效.实验结果证明了融合后的混合系统性能优于单模态系统的性能.

决策融合可简单的处理数据的异步性问题,整个系统可随模态个数的增加进行扩展,每个模态的专属预测模型能更好地针对该模态进行建模,当模型输入缺少某些模态时也可以进行预测.然而,这种融合方式未考虑特征层面的模态相关性,很难挖掘不同模态数据的深层次互补信息.

5 挑战与趋势

基于BCI的无人机控制技术已经在军事、医疗和娱乐等领域表现出广阔的应用前景,但依然存在一些有待突破的技术瓶颈.本节分析了基于BCI的无人机控制技术当前面临的挑战和亟待解决的问题,并讨论了其未来的发展趋势.

5.1 面临挑战

为进一步扩展基于脑机接口的无人机控制系统的应用范围,提高准确性和稳定性,以下挑战有待进一步解决.

1)在范式设计方面,缺乏指令数更多、舒适度更高的实验范式.

虽然现有研究中设计的实验范式实现了无人机的方向控制和无人机集群的编队密度和编队形状控制,但是要扩展到实际应用仍然存在指令数量少、任务执行能力受限、舒适度较低等问题.一方面,现有的单模态BCI系统仍然存在一定的局限性,如MI-BCI存在指令数量少、训练时间长、通信速度低等问题,SSVEPBCI和P300-BCI需要依赖视觉刺激,便携性较差且被试容易疲劳,只能实现无人机的简单控制[71];另一方面,虽然现有的混合式BCI系统在一定程度上解决了指令数量少和准确度低等问题,但是由于混合式BCI系统有多种输入信号,需要对不同类型的数据进行采集、处理、特征提取和分类识别,不仅增加了系统的复杂性和信号之间的信息冗余等问题,同时也增加了使用前的准备时间[15].因此,如何在系统复杂度、指令数量、用户舒适度之间折中,实现指令数更多、舒适度更高的实验范式仍然是一个未解决的问题.

2)在信号处理方面,缺乏分类精度更高、泛化能力更强的信号处理技术.

尽管现有的脑电信号处理技术有了很大的提升,但是脑电信号存在的个体差异性大、训练集小、信噪比低等问题仍未得到根本性解决,这些问题导致现有脑电解码技术的分类精度和泛化能力仍有待进一步提升.一方面,虽然传统的机器学习方法在训练集小时具有更优的性能,且能更好的理解和解释,但由于需要经过复杂的手工提取特征阶段,过程繁琐,功能单一,准确性和泛化性能较差[59];另一方面,深度学习虽然能够实现端到端的解码,自动提取特征,适应性较强,但可解释性差,且需要大量训练样本,训练效果受样本数量的限制[106-107].因此,现阶段传统的机器学习模型和深度学习模型的在信号处理上的不足,依然是制约鲁棒性强、分类精度高、迁移性好的EEG信号解码算法的主要难题之一.

3)在控制方式方面,缺乏控制效率更高、稳定性和鲁棒性更强的控制方式.

现有研究中,大多数基于BCI的无人机控制系统仍然采用直接控制方式或人和机器智能简单融合的共享控制方式,这些控制方式存在控制效率较低、稳定性和鲁棒性较差等问题,制约了无人机的任务执行能力.一方面,直接控制方式需要操作员通过BCI系统频繁发送特定的方向指令(即上/下、前/后、左/右等)来控制无人机的每一个动作,因此当控制无人机完成较为复杂的任务时,只使用直接控制往往会给操作员带来巨大的压力和精神负担[20];另一方面,人和机器智能简单融合的共享控制方式通常使人和机器的智能工作在不同的时间周期[23-25],操作员无法对无人机的任务执行过程进行干预,当操作员的控制意图解码准确率较低时,这类系统的稳定性将受到影响,存在一定的局限性.因此,如何有效地融合人的控制能力和机器智能的自主能力,实现控制效率更高、控制的稳定性和鲁棒性更强的控制方式仍然是研究者必须面临的挑战.

5.2 发展趋势

作为一种新兴的学科交叉研究领域,基于BCI的无人机控制系统既有广阔的发展前景,也面临诸多严峻的挑战,尤其在无人机集群控制、共享控制、多模态控制等方面,相关研究尚处于起步阶段.下面对未来基于BCI的无人机控制技术的进一步研究和发展提出一些方向与展望.

1)从控制单无人机到控制多无人机.

目前大多数基于BCI的无人机控制主要针对单架无人机进行,然而单架无人机所能携带的任务载荷相对单一,任务执行能力有限,无法实现任务区域的多维度、大范围覆盖和多任务同步执行,且在高危环境中任务系统容错性较低.与单无人机相比,无人机集群可以凭借其规模优势,通过多架无人机的能力互补和行动协调,完成比单架无人机更加复杂的任务,实现整个系统效能的提升,具有更好地鲁棒性和更强的生存能力.因此,基于BCI的无人机控制应用正逐步从单无人机向多无人机方向发展.

近年来,基于BCI的多智能体控制技术的提出为实现多无人机的控制提供了研究基础[108-109],但是现有的方法多为先控制其中一个智能体,然后将该智能体与其他智能体结合来实现多智能体的控制,对整体的多智能体系统的设计较少[110].多无人机系统与单无人机系统相比存在更复杂的不确定信息,需要考虑无人机之间的分布控制、协调控制等问题,控制问题更复杂,控制难度更大[111].虽然已经有部分研究人员在基于BCI的无人机集群控制方面取得了一定的研究成果[57,61,85,90],但现有的研究仍存在集群行为单一、运动模型固定、灵活性和多样性较差等问题.因此,如何利用BCI控制多个无人机完成同一任务,学会彼此合作或竞争,也是未来基于BCI的无人机控制技术的研究方向之一.

2)从单模态控制到多模态控制.

虽然单一模态的BCI系统在范式设计、脑信号处理算法和控制系统方面已经取得了重大进展,但依然存在较多不足.此外,由于脑电信号存在信噪比低、解码精度较低等问题,基于单一模态的BCI系统在实际应用中仍然存在较大局限性.

目前,脑机接口的研究和应用已逐渐趋向于融合多种信号构建混合式BCI系统,以利用不同信号的特点取长补短,扩展现有控制能力,提高系统的实用性、鲁棒性和普适性[15].具体而言,通过解码相同活动的脑信号或生理信号并组合特征或分类结果,可以提高分类准确性;通过对不同脑区的脑活动(例如EEG的运动任务和fNIRS的精神任务)进行解码可以增加指令数量,使无人机的功能更加多样化.因此,与单模态BCI系统相比,多模态BCI系统更有利于进行准确有效的控制.虽然研究人员已经对基于混合式BCI的无人机控制技术进行了大量研究,如文献[25,50,84,89]等,但是目前该研究仍然停留在初级阶段,有待进一步深入探索.因此,研究基于多模态的BCI系统仍然是实现无人机控制的重要内容.此外,现有的诱发式BCI系统往往只考虑视觉刺激,而多感官刺激可以增强大脑模式.因此,将视觉、听觉和触觉等感官刺激进行组合也是未来基于BCI的无人机控制领域的研究方向之一.

3)从直接控制到共享控制.

直接控制方式虽然在脑电特征解码算法的不断优化和创新下,实现了识别准确率的较大提升,但在实际应用中仍然存在信息传输率低、指令数量有限、系统稳定性较差、认知压力和精神负担大等问题,只能实现对无人机的简单控制.因此,在复杂环境中仅通过直接控制很难达到预期的精细控制效果.降低操作员的工作量和交互负担,提高系统的控制精度和鲁棒性,是基于BCI的无人机控制技术走向实际应用的一项重要研究内容.

近年来,随着人工智能技术的发展,共享控制被提出.在基于共享控制的系统中,机器人具有主动避障、路径规划等能力,且不需要用户连续实时对机器人发出控制命令,控制更加平滑自然,可以减少用户的工作量,弥补直接控制对复杂系统的局限性.将BCI技术与机器视觉(machine vision,MV)[22]、强化学习(reinforcement learning,RL)[112]和自动路径规划[113]等机器智能技术结合是共享控制策略的重要手段,且在机械臂、轮椅等外部设备控制方面已经取得了大量成果.然而,在无人机控制系统中,这方面的工作尚处于起步阶段,且面临着复杂度高、稳定性差等问题.因此,研究面向无人机的共享控制策略,设计更灵活的人机智能融合框架,实现更深层次的人机智能融合,是未来基于BCI的无人机控制技术研究的重要方向之一.

4)从单用户控制到多用户控制.

单用户的BCI系统是目前BCI系统采用的主要架构,然而,这种架构存在信息传输速率较低且鲁棒性差等问题,且系统性能容易受用户周围环境和心理因素的影响,导致系统难以满足高精度、多指令、短时限等复杂作业的性能需求,因此很难转化为实际应用.

适用于多用户实时交互控制的协同脑机接口系统(collaborative BCI,cBCI)的提出[114-115]为强化BCI系统的控制能力提供了可行的方向.cBCI相当于多个信息处理系统,可充分发挥群体智慧的优势,显示出更高的群体决策性能和更强的鲁棒性.此外,多人协同工作更有利于未来人机交互社会化的发展需求.然而,cBCI系统的研究目前主要集中在增强基于人体视觉信息的系统决策能力上,对增强系统控制能力的研究较少[11],且目前尚不存在针对无人机控制的cBCI 技术.因此,cBCI技术的发展也将促进无人机控制系统的进一步研究.

6 总结

BCI作为一种新兴技术,已经在无人机控制领域崭露头角.本文聚焦基于BCI的无人机控制问题,从研究进展、关键技术和面临挑战与发展趋势3个方面对现有基于BCI的无人机控制系统研究进行了梳理和归纳.具体而言,首先,对基于BCI的无人机控制系统结构进行了介绍;其次,将现有的基于BCI的无人机控制系统划分为单模态BCI系统和混合式BCI系统两类,并分别对不同类型BCI系统在无人机控制领域的研究现状进行了梳理和总结;然后,对该技术体系中的特征提取算法、模式分类算法和多模态信号融合算法这3个关键技术进行了分析和总结;最后,结合目前现有研究进展,讨论了基于BCI的无人机控制系统当前面临的挑战与未来的发展趋势.与手持控制器相比,基于BCI的控制系统解放了操作者的双手,使操作者可以执行其他任务,提高操作者的工作效率,尤其是在军事领域具有重要意义.众多研究证明了基于BCI系统的无人机控制的可行性,但是现阶段基于BCI的无人机控制技术还处在初级阶段,随着科学与工程技术的进步,未来BCI在无人机控制领域的应用前景十分广阔.