神经网络算法在癫痫预测模型中的应用研究综述
2023-11-16黄红红吕良福司霄鹏
黄红红,张 丰,吕良福+,司霄鹏
1.天津大学 医学工程与转化医学研究院,天津 300072
2.天津大学 数学学院,天津 300354
癫痫是一种由大脑神经元突发性异常放电导致的大脑功能性障碍疾病。据世界卫生组织统计,全球约有7 000万人患有癫痫[1]。癫痫患者在发病时呈现肌肉抽搐、呼吸困难、意识丧失等症状。由于癫痫发作的偶然性,患者极有可能在高空、驾驶、游泳等危险情况下发病并丧失意志从而产生意外事故与伤害,并带来不良社会和经济影响[2]。据统计,癫痫患者过早死亡的几率比健康人高出近3倍[3]。医学研究表明,癫痫虽然无法被完全治愈,但是可以通过药物、电刺激或者手术等治疗手段来控制发病[4]。通过建立癫痫预测模型,在发病之前进行警报,可以留给患者足够的时间采取防范和治疗措施,这将显著提高癫痫患者的生活质量[5]。
在脑电图(electroencephalography,EEG)的辅助下,医生结合患者临床表现对癫痫病情进行诊断。脑电图中的脑电信号记录着脑神经细胞自发电生理活动。癫痫患者发病时脑电图上会呈现出棘波、尖波、棘慢波等癫痫特征波,医生可借助特征波进行病情诊断。脑电图用于癫痫研究已经有70多年的历史[6],在过去的十年中,研究热点逐渐由癫痫检测向癫痫预测转变[7]。尽管在之前的研究中,有大量传统机器学习算法用于建立癫痫预测模型,但都面临需要手动提取特征、泛化性较差等问题。神经网络算法具有自动提取特征、变体多等诸多优点,可适用于处理海量脑电信号的场景。
目前在癫痫预测领域,应用的神经网络算法主要包括多层人工神经网络(artificial neural network,ANN)和脉冲神经网络(spiking neuron networks,SNN)。传统的多层人工神经网络算法主要包含多层感知机(multilayer perceptron,MLP)、卷积神经网络(convolutional neural networks,CNN)、循环神经网络(recurrent neural network,RNN)、生成对抗网络(generative adversarial networks,GAN)、Transformer 等神经网络及其变体。在应用中受限于数据不足、硬件条件有限、模型性能不足等因素,基于传统多层人工神经网络的癫痫预测模型仍待进一步发展[8]。SNN是一种基于神经脉冲信号传递的神经网络模型,被称为第三代神经网络。与神经网络中的传统人工神经网络模型不同,脉冲神经网络模拟了人脑神经元脉冲放电来传递信息的行为[9],采用脉冲信号传递信息,更具有生物学特性。
常见的癫痫预测模型按照图1 所示流程进行搭建,本文按照癫痫预测模型的搭建流程依次从数据集、数据预处理、特征提取(特别是手工设计特征提取)、模型算法几个模块进行综述。
图1 癫痫预测模型的构成模块Fig.1 Modules of epilepsy prediction model
1 数据集
按照发病的阶段,EEG 信号可以分为癫痫发作间期、发作前期、发作期、发作后期四个阶段[10],如图2所示[11]。癫痫发作前期可以看作癫痫发作前的预警,根据EEG 信号及时准确地识别出癫痫发作前期,即可预测癫痫发作。癫痫预测问题本质为癫痫发作间期、发作前期的二分类问题,这与癫痫检测问题类似。以上建立在癫痫发作前期存在的假设上,许多研究也成功地验证了癫痫发作前期脑电图动力学的变化,间接验证了假设的成立[7]。
图2 癫痫发作过程的脑电信号Fig.2 EEG signals during seizures
EEG数据集的质量会直接影响癫痫预测模型的预测效果。由于私有EEG 数据集获取困难、数据量小且标注困难,当前的癫痫预测模型多采用公开数据集进行训练。但不同的公开数据集中包含了来自不同采集方式、不同通道和质量的数据,数据集中包含各种噪声,这会对模型的训练和泛化能力产生负面影响。常见的数据集分类方式如图3所示。
图3 数据集分类情况Fig.3 Dataset classification
1.1 按数据来源分类
按照数据来源进行划分,EEG 数据集可以分为公开数据集、私有数据集、合成数据集三类。公开数据集是指由机构、组织或个人公开发布的数据集;私有数据集是指未公开发布的数据集;合成数据集是指通过人工或者算法生成出来的数据集,其数据特性与真实数据相似,可用于癫痫预测模型的训练。
1.1.1 公开数据集
由于公开数据集的易得性,目前研究中常使用公开数据集进行模型训练,便于和其他研究对比模型效果。常用公开数据集如表1所示。
表1 常用EEG公开数据集Table 1 Common public EEG datasets
1.1.2 私有数据集
私有数据集来源于实验室或医院中癫痫患者的脑电检测记录,由经验丰富的专业医师进行标注后,经过适当数据处理而构建。可以用于模型的外部验证,检验模型的泛化性能。如TJU-HH 数据集,记录了2019 年5 月至2020 年12 月于天津大学环湖医院17名癫痫患者的颅内脑电数据。
1.1.3 合成数据集
由于私有数据集数据有限且获取困难,有学者尝试利用GAN 等算法学习构建合成数据集,这可缓解数据量不足的问题。如Xu等人[12]提出了一种基于GAN的模型,可以用于合成癫痫发作前期EEG数据,缓解数据量不足、分布不均衡的问题。
1.2 按信号采集方式分类
1.2.1 头皮脑电信号
通过头皮表面的电极所检测的脑电信号为头皮脑电信号(scalp EEG,sEEG),也被称为颅外脑电信号。这种采集方式容易受到工频干扰和被试者体动和眼动活动影响,因此sEEG信号噪声多、强度弱。
1.2.2 颅内脑电信号
通过手术在大脑中植入电极所检测到的脑电信号为颅内脑电信号(intracranial EEG,iEEG)[13]。iEEG可以直接记录大脑深部区域的脑电信号,相比于sEEG信号来说噪声小、空间分辨率高,且可以检测到头皮脑电信号无法检测到的阴性癫痫发作与特征。但由于手术的有创性,iEEG不及sEEG应用广泛。
1.3 按数据是否连续分类
1.3.1 非连续数据集
非连续数据集是指数据集的脑电数据在时间上是非连续的,是在原始EEG信号中截取出来的片段,即人为剔除了部分数据,目前大部分的公开癫痫发作数据集如Freiburg、Kaggle等数据集都是非连续的。
1.3.2 连续数据集
连续数据集是指数据在时间上是连续的。连续数据在癫痫的自动检测和实际应用具有研究价值,但由于数据量较大且癫痫发作时脑电变化的不规律性,基于连续数据集的模型更容易发生误判,导致效果不如非连续数据集。常用的连续数据集有SWECETHZ数据集等。
2 数据预处理
数据质量的好坏会直接影响模型的性能,因此原始的EEG数据通常不能直接应用于癫痫预测模型中,需要进行数据预处理。在实际的应用中,数据预处理和特征提取步骤顺序不固定,常见的数据预处理有以下几种。
2.1 标注不同阶段
EEG信号可以分为癫痫发作间期、发作前期、发作期、发作后期四个阶段。在构建癫痫预测模型前,需要对原始EEG数据中的不同发作阶段进行定义与标注,常用的一个标注方法如下:癫痫发作前预留5 min 的时间间隔用于采取预防措施;将癫痫发作开始前5~35 min 的数据标注为发作前期;考虑到发作间期和发作前期之间无明显的界限,4 h 的间隔可以避免数据标注不明确对实验结果的影响,因此将距离每一次发作开始和结束4 h 之外的数据标注为发作间期。
2.2 去噪
采集到的信号中往往包含各类伪影与噪声,常采用带通滤波的手段进行消除,如巴特沃斯滤波器(Butterworth filter)等,其具有较低的截止频率(0.1 Hz)和较高的截止频率(127 Hz),是一种广泛应用于生物医学信号分析的滤波技术[14]。
另外sEEG信号由于采集方式的限制,会被50 Hz和60 Hz 的电源线噪声污染,也称为工频干扰,需要人为进行消除。Truong等人[15]通过去除47~53 Hz和97~103 Hz 频带信号来去除50 Hz 的工频干扰;通过去除57~63 Hz 和117~123 Hz 频带信号来去除60 Hz的工频干扰,其去除工频干扰前后的对比图如图4所示。
2.3 其他处理
由于EEG信号不同通道间可能存在较大的相关性,可能需要对数据集进行一些其他数据处理操作,如主成分分析、通道选择等。
3 人工设计特征的提取方法
EEG 数据作为一种人体生理信号,在应用于算法模型时需要特别注意一些特性。(1)数据处理难度:由于癫痫发作具有偶然性和突发性且持续时间较短,这导致在收集到的数据中癫痫发作前期和发作期的数据较少,样本分布不均衡,需要进行适当处理。(2)特征提取难度:EEG蕴含着人脑大量信息,但是由于人类对于大脑以及神经网络模型认识的不足导致目前无法判定何种信号是对预测癫痫发作有益的,在进行EEG信号的特征提取时,希望尽可能提取多维度的信息。
人工设计特征的提取方法常常与传统机器学习相结合来构建癫痫预测模型,但是此类模型在处理海量数据时暴露出了普适性差、模型性能差等缺点。而神经网络模型可自动提取特征,在处理海量数据和复杂问题时具有更大优势。由于EEG中含有大量噪声,在数据预处理阶段进行初步特征提取可以有效提高数据质量,从而提升模型性能。因此在癫痫预测领域常将自动提取特征和人工设计特征结合使用,以尽可能多地提取到多维度的信息,常用的人工设计特征如表2所示。
3.1 时频相关特征
EEG 的时域和频域特征中包含了大量病理信息,对时域和频域相关特征进行提取,有利于模型性能的提升。利用频域变换和时频变换等手段可以有效提取时域、频域等信息。常用的时频变换方法有傅里叶变换、小波变换、Gabor变换、Hilbert-Huang变换等[16]。
另外一个常用的与时频相关的特征为采样信号的梅尔频率倒谱系数(Mel-frequency cepstral coefficients,MFCCs),Dissanayake 等人[17]考虑到MFCCs 对生物医学信号相关神经网络任务具有广泛适用性,使用了MFCCs 作为模型特征,构建的癫痫预测模型表现出了较优性能。
3.2 非线性特征
熵特征是一个广泛应用于生物信号处理的非线性特征,主要指从信号的随机性和复杂性中提取的信息熵和相关熵,例如模糊熵、近似熵、多尺度熵等。
扩散距离也是一种非线性距离测量方式,用于量化两个分布之间的差异。它是由Ling 和Okada[18]引入的,用于形状匹配和图像特征匹配。Yuan等人[16]采用了扩散距离作为特征构建了癫痫预测模型并表现出了较佳的性能。
3.3 互信息特征
在癫痫预测领域,互信息可以提取到EEG 信号中不同特征间的相关性。基于这个原理,Salafian 等人[19]提出了一种算法,借助一维卷积神经网络(1DCNN)提取原始EEG的特征,并与神经互信息估计算法中提取到的不同通道之间的瞬时相关性特征进行特征融合,利用软估计作为学习函数节点进行因子图推断并纳入时间相关性来构建癫痫预测模型,经实验验证后发现该特征可以作为癫痫预测模型的有效特征。
4 基于神经网络算法的癫痫预测模型
应用于癫痫预测模型的神经网络方法有很多,主要分为多层人工神经网络和脉冲神经网络两类。多层人工神经网络主要有MLP、CNN、RNN、Transformer模型等,其中CNN 模型应用最广泛。脉冲神经网络也有很多变体,在应用于癫痫预测领域时展现出了良好的性能。
4.1 基于MLP的癫痫预测模型
MLP 是一种最简单的人工神经网络算法,广泛应用于分类、回归任务。Guevara 等人[20]提出应用MLP等机器学习方法结合EEG和功能性近红外光谱(functional near-infrared spectroscopy,fNIRS)建立模型,对癫痫进行预测。Yang 等人[21]使用基于MLP 的算法研究了时间序列非平稳性对癫痫发作预测性能的影响,并表现出了较优的性能。Li等人[22]提出了一种基于MLP的端到端的癫痫发作预测模型。该模型将去噪加权和MLP 相结合,实现了多个通道信息的整合。实验结果表明,该模型在癫痫发作预测领域具有良好的应用前景。
4.2 基于CNN的癫痫预测模型
CNN 是一种具有局部连接、权重共享等特性的神经网络,通常由输入层、卷积层、池化层和全连接层组成,基础神经网络结构如图5 所示,其借助卷积的设计可以极大减少神经网络参数数量,提升计算效率,常用于计算机视觉领域。在癫痫预测领域,基于CNN 的癫痫预测模型已经具备了比较成熟的范式,如Truong等人[15]提出利用30 s时间窗口的短时傅里叶变换来提取脑电信号中的时频特征,并借助重叠采样技术解决了样本分布不均衡问题,极大改善了数据质量,在此基础上建立的CNN 癫痫预测模型表现出了良好性能。Khan等人[23]提出使用连续小波变换提取脑电信号中的时域、频域特征,再借助卷积神经网络构建癫痫预测模型。Xu等人[24]提出不对脑电信号进行处理与变换,采用原始脑电信号作为输入,建立了一种基于CNN 的端到端神经网络解决方案,为癫痫预测模型提供了另外一种思路。
在基本的范式上,有很多学者提出了由改进后的CNN 构建的癫痫预测模型,具有更良好的模型性能。本节按照CNN 算法的架构改进、训练策略改进、其他改进方式对基于CNN 的癫痫预测模型进行综述。
4.2.1 CNN架构改进
在癫痫预测领域,对CNN 架构进行合理改进可以获得更好的性能。Khan等人[25]根据神经网络架构改进类型,将CNN模型的改进大致分为7个方向:基于空间利用、深度、多路径、宽度、通道改进、特征图利用和注意力的使用。本文主要围绕维度、空间、宽度三方面对改进的CNN架构的癫痫预测模型进行总结,对比分析列表如表3。
表3 CNN架构的不同改进方式Table 3 Different improvement methods for CNN architecture
CNN神经网络按照卷积核的维度可以分为一维卷积神经网络、二维卷积神经网络(2D-CNN)、三维卷积神经网络(3D-CNN),其中三维卷积神经网络应用最为广泛。Wang等人[26]提出了一种结合随机选择和数据增强策略的1D-CNN 模型来检测癫痫发作。在该模型中采用两个具有不同计算规模的并行1DCNN 模块来同步提取EEG 的特征,将这两个并行1D-CNN 块的输出连接起来用于最终分类。该文还给出了基于时间片段的评价和基于事件的评价方法这两种评价方式,提供了客观、全面的评价体系。Gupta等人[27]也提出了一种基于1D-CNN的癫痫发作预测与诊断系统EpilNet,并开发了一个应用程序接口,便于该模型的工程性运用。Wang 等人[28]提出了一种应用多尺度扩张卷积的3D-CNN 来分析脑电信号时域、频域和通道信息,实现了80.5%的准确度、85.8%的敏感性和75.1%的特异性。
卷积核的空间大小会直接影响到神经网络提取到的特征,一般来说卷积核越大神经网络提取到的信息越多,但这会直接导致计算量的增大。为了进一步提高模型性能,有学者采用扩张卷积神经网络来构建癫痫预测模型。Hussein等人[29]首次提出了一种半扩张卷积的结构,并将多个具有不同扩展速率的半扩张卷积组合在一起代替标准卷积网络中的卷积层,使卷积神经网络在具有大的视野的同时保持图像高分辨率,应对脑电信号这种图像数据具有良好性能。Gao 等人[30]建立了一种基于扩张卷积神经网络的癫痫预测模型。该模型采用基于注意力机制的特征加权融合策略,充分利用了脑电信号的时空多尺度特征。
多视图卷积网络在癫痫预测模型上也展现出了较好的性能。Liu等人[31]提出了一种多视图卷积神经网络框架来预测癫痫的发作,通过特征拼接可同时获得时域和频域特征的特征表示。
4.2.2 CNN训练策略改进
在改进CNN架构的基础上对训练策略进行改进可以进一步提升癫痫预测模型的性能。
采取合理的训练策略可以使模型仅用小样本数据进行模型训练,可以很好解决数据量不足的问题。Tariq等人[32]提出了一种基于孪生神经网络的癫痫预测模型,该方法以小波变换后的脑电信号张量为输入,用CNN 模型来检测癫痫发作前期的脑电信号。该模型摆脱了以往神经网络模型对大数据的依赖性,仅需要一次癫痫发作数据进行模型训练即可获得优异的性能。
针对模型抗干扰性不强的问题,Liang 等人[33]提出了一种基于一致性的训练策略来解决模型在小干扰下不稳定的问题,并借助多视图CNN 在内的多个模型进行验证,使得模型的泛化能力得到了充分增强。
对损失函数进行优化也可以提升模型性能,Yarlagadda 等人[34]提出了一种具有子网损失函数的CNN 癫痫预测模型。将子网损失函数应用于CNN,用合适的损失值更新网络模型。实验表明该模型具有良好的学习性能,在iEEG 和静息态功能磁共振成像(resting-state functional magnetic resonance imaging,rs-FMRI)两类数据集上的训练测试结果可达到99.2%的准确度。
预训练可以极大提升模型性能,广泛用于计算机视觉、自然语言处理等领域,在癫痫预测领域也展现出了良好的性能。Das 等人[35]提出采用自监督策略以增强扩张卷积递归神经网络模型的性能,这种策略的核心思想是将自监督预训练阶段中学习的权重应用到监督训练阶段,以提高模型的预测能力。
4.2.3 CNN其他改进
针对数据集是否来源于同一个患者,癫痫预测模型可以分为两类:一类不区分不同患者,旨在设计一种通用型分类器,其可以识别癫痫发作的普遍规律,适用于多个患者,具有跨数据集的全局预测能力;另一类是针对某个患者特征构建独属于患者的个性化癫痫预测模型。Dissanayake 等人[17]提出了适用于多个患者的多任务二维卷积神经网络和连体网络,它们具有不同的学习策略,可以利用来自多个患者的数据来进行模型训练。
针对数据量不足、标注不全的问题,Rasheed 等人[36]提出了一种用于生成合成EEG数据样本的深度卷积生成对抗网络,并使用卷积癫痫发作预测器来检验人工数据与其对应标签的匹配程度。Liang等人[37]基于一致性原则在CNN基础上针对医学数据标注不全的问题提出了一种半监督的癫痫预测模型,可以充分使用未标注的数据。
针对CNN模型的训练时间长和硬件要求高的难题,Wu 等人[38]着力于解决设备中的传输带宽与计算资源的限制问题,提出一种基于残差神经网络的模型C2SP-Net。该模型通过一种即插即用的传感器内压缩矩阵,对采集到的原始脑电信号进行压缩,压缩后的信号可直接用于癫痫发作预测,降低了对传输带宽与计算资源的要求,在癫痫发作之前可以及时给予癫痫患者警报。并且压缩后的信号也可以被高保真地还原,便于医生/科学家进行事后分析,具有巨大应用潜力。Li 等人[39]提出了一种新颖的低延迟并行卷积神经网络架构,与最先进的CNN 体系结构相比,其网络参数减少了至少50%,可以极大提高运算速度。Zhao 等人[40]针对神经网络硬件要求、计算资源消耗高的问题,提出了一种硬件友好的二进制一维卷积神经网络,用于癫痫发作的预测。该模型利用一维卷积内核来提高预测性能。除第一层外,所有参数都被二值化以减少所需的计算和存储。该模型经公开数据集测试,展现了优良的性能。
神经网络也可以作为一种自动提取特征的工具,将提取出的特征输入分类器中进行学习以实现癫痫的预测。Agarwal 等人[41]结合CNN 与支持向量机(support vector machine,SVM)提出了一种CNNSVM 模型,将提取到的时域、频域信息和CNN 网络自动提取到的深度特征进行特征融合,采用SVM 算法构建了癫痫预测模型。将模型部署在自动边缘计算服务系统中,实验结果验证这是一种可行的癫痫发作预测方法。
4.3 基于RNN的癫痫预测模型
RNN 是一种带有短期记忆能力的神经网络,可以处理时间序列数据,常用于语音识别、自然语言处理等领域。长短期记忆网络(long short-term memory,LSTM)是RNN的一种变体,可以解决RNN中常见的梯度爆炸问题和梯度消失问题,是预测癫痫领域中的常用模型,其基本记忆单元如图6所示。
图6 LSTM结构记忆单元Fig.6 Memory cell of LSTM
汤云琪等人[42]采用小波变换提取脑电信号中的不同能量特征作为LSTM 的输入,将电子搜索算法(electronic search algorithm,ESA)和随时间反向传播算法(backpropagation through time,BPTT)相结合更快更准确地调整网络参数,以实现癫痫病发作的短时预测。与现有的网络预测分类模型LSTM、SVM进行对比实验,本文算法较大提高了分类精度。Singh等人[14]提出了一种基于谱特征的双层LSTM网络模型,利用长期多通道脑电信号自动预测癫痫发作,并与传统机器学习算法随机森林分类器、决策树分类器、K 近邻分类器、支持向量机分类器和朴素贝叶斯分类器等进行对比实验,实验表明LSTM模型效果较好。Ali 等人[43]提出了一种双向LSTM 网络(bidirectional long short-term memory,Bi-LSTM),与SVM 和门控循环单元网络(gated recurrent units,GRU)相比优势显著。
4.4 基于Transformer的癫痫预测模型
Transformer 是一种基于自注意力机制的神经网络,主要用于自然语言处理领域。Transformer 主要包括编码器和解码器,其中编码器和解码器都由多个堆叠的自注意力层和前馈神经网络层组成,Transformer的网络结构如图7所示。
图7 Transformer结构Fig.7 Structure of Transformer
Transformer 在处理长序列问题上具有天然的优势,在癫痫预测领域具有巨大的应用潜力。张晓玲[6]将Transformer 用于构建癫痫预测模型,构建了基于图谱识别分类的视觉转换器(vision transformer,ViT),用于癫痫发作个性化预测研究,实验表明该模型表现出了较优性能。Godoy 等人[44]更侧重于不同通道的信息,基于Transformer 开发了两个神经网络模型,分别是时序多通道变压器(temporal multichannel transformer,TMC-T)和时序多通道视觉转换器(temporal multi-channel vision transformer,TMCViT),并对不同时间长度的癫痫发作前期进行探索。实验结果和统计验证表明,TMC-ViT 模型性能超越了CNN模型。Hussein等人[45]也基于Transformer提出了一种多通道视觉转换器模型,用于多个通道EEG数据的时空光谱特征的自动同步学习。实验表明该模型对sEEG 数据集的平均预测灵敏度可达99.80%,对iEEG 数据集的平均预测灵敏度可达90.28%~91.15%。
Yan等人[46]将EEG信号进行短时傅里叶变换,将得到的三阶张量按照不同维度进行mode-n矩阵展开得到三个矩阵,将其作为三层结构Transformer 模型的输入,从而实现癫痫预测任务。与以往的脑电分类模型相比,该模型能够更好地利用脑电信号中的时间、频率和通道信息,提高了癫痫发作预测的准确性。
Hu等人[47]提出了一种混合Transformer模型并在此基础上针对性地提出一种混合脑电图节律信号的特征融合方法,该模型可以从多尺度分辨率分析EEG数据并应用注意力机制对不同通道特征进行提取。实验结果表明,该模型比CNN 具有更好的特征序列模式建模能力。
4.5 基于SNN的癫痫预测模型
基于人工神经元的神经网络在预测癫痫发作领域展现出了巨大的应用潜力,但是在性能与消耗资源方面都与生物神经元相差甚远。SNN被公认为是新一代更接近人脑的神经网络算法,它能够捕获生物神经元的丰富动态、表示和整合不同的信息维度(例如时间、频率和相位),具有对大脑中复杂信息进行建模的应用潜力[48]。此外SNN模型对硬件的算力要求较低,可部署在低功耗硬件上。
在生物体中来自一个神经元的信息可以通过多个突触以多个尖峰的形式传输到下一个神经元,受此启发,Ghosh-Dastidar 等人[49]提出了一种多尖峰神经网络模型,并基于此开发了一种名为Multi-SpikeProp 的监督学习算法,将原始单脉冲神经网络模型的效率提高了两个数量级,在癫痫检测的EEG分类问题上获得了更高的精度。
随着神经网络算法的发展,有学者尝试将SNN与多层人工神经网络进行结合,借助卷积神经网络的架构与更新原理来改进SNN 模型,使其具有更高的稳定性与准确度。Zarrin等人[50]开发了一个具有两个卷积隐藏层的深度尖峰神经网络(deep spiking neural network,DSNN),输入层可将iEEG 频谱图转换为尖峰作为SNN 的输入。由于尖峰的离散性,原始SNN 模型直接使用冲激函数进行梯度下降,这会使得网络的训练不稳定,因此Zarrin等人采用替代梯度法(surrogate gradient method)用于反向传播计算并使用Sigmoid 函数来近似Heaviside 阶跃函数的导数。改进后的深度尖峰神经网络模型在癫痫检测的EEG二分类问题的准确度可达到97.6%。Tian等人[51]聚焦在SNN 能量效率高的特点上,提出了一种用于癫痫发作预测的神经形态计算方法。该方法使用高斯随机离散编码器(Gaussian random discrete encoder)将连续脑电信号转换为离散的时间相关尖峰序列,并在脉冲卷积神经网络(Spiking-CNN)中进行预测,该网络结合了CNN 和SNN 的优点,硬件友好,并且具有较高精度。
以往的SNN模型大多依赖神经网络自动提取特征进行模型构建,而Burelo等人[52]将研究重点放在性能稳定的癫痫生物标志物对模型的提高。将脑电信号中出现的高频振荡(interictal high frequency oscillations,HFO)作为活动性癫痫的生物标志物,设计了一个双层网络的SNN 模型,并在神经形态模拟电路上进行了实现,准确度可达80%,这项研究是朝着使用低功耗可穿戴设备进行无创癫痫监测迈出的又一步。
4.6 各模型对比分析
基于神经网络的癫痫预测模型种类繁多,有学者尝试对不同的癫痫预测模型进行对比分析。Salafian等人[19]比较了传统机器学习算法和CNN、LSTM等神经网络模型在预测癫痫上的性能差异。在这项分析中,发现LSTM是处理海量时间序列的脑电数据的最佳癫痫发作预测模型。也有学者尝试将多种模型结合起来构建癫痫预测模型,Daoud等人[11]将多层感知器、深度卷积神经网络(deep convolutional neural networks,DCNN)、Bi-LSTM 网络、自动编码器(autoencoder,AE)四个模型进行组合,并组成了一个DCAE+Bi-LSTM 的模型,预训练一个基于DCNN 模型的编码-解码器,并在训练好的AE 后连接一个Bi-LSTM模型作为分类器,实验证明该模型超越了以往模型的性能,但是耗费时间较长,不能达到实时预警的效果。为了对比不同模型的效果差别,以CHBMIT数据集上的模型表现为例,以准确度作为衡量指标,如图8。本文还对近期有关癫痫预测模型的文献进行总结,如表4。
表4 基于神经网络的不同癫痫预测模型对比Table 4 Comparison of different epilepsy prediction models based on neural network
图8 同一数据集上的不同模型表现Fig.8 Performance of different models on same dataset
5 不足与未来展望
基于神经网络算法的癫痫预测模型展现出了优异性能,正在成为癫痫预测领域的研究热点,但在实际应用过程中仍存在一些挑战与不足。
5.1 多层人工神经网络对硬件要求过高
虽然SNN 算法是硬件友好型的,但是目前癫痫预测模型中采用的主流算法是以CNN、RNN 为代表的多层人工神经网络,它依赖于强算力和高内存,对于硬件的要求较高,这限制了癫痫预测模型的实际应用。针对这个问题,可以借助云计算技术提供算力支持或研发资源节约型的高效算法进行本地实现。
5.1.1 基于云计算的解决方案
将模型部署到云端服务器,检测的脑电数据实时传输到云端进行计算,再将计算结果传输回来,这种云计算方法可以缓解本地算力不足问题。由于数据量过大,数据传输和计算将导致严重延迟,云计算解决方案也面临较大挑战。Hosseini等人[54]提出了一种基于云的脑机接口系统,将脑电数据进行降维,实时上传到云端堆叠式自动编码器,进行无监督特征提取和分类,是目前为止较为前沿的解决方案,可以借鉴此解决方案进一步压缩数据量和提高传输速率,降低时延。
5.1.2 基于本地计算的解决方案
由于云计算的时延问题,将模型部署在本地硬件上也是一种可能的解决方案。这种方案对算法模型和硬件特性同时提出了要求:算法模型应是资源节约型的,不要求过高的算力和内存空间;硬件需要提供尽量大的算力和利于计算的硬件系统结构设计。Kiral-Kornek 等人[55]聚焦于硬件的改进,使用神经形态TrueNorth芯片来部署基于多层人工神经网络的癫痫预测模型,为硬件的选择提供了可参考的解决方案。Zaghloul等人[56]聚焦可穿戴系统,提出了一种用于癫痫发作早期预测的无线可穿戴式自适应系统,具有巨大应用潜力。Seethalakshmi等人[57]提出了一种基于神经网络的物联网框架,设计了更适于本地硬件的算法模型并优化了系统流程,为其他癫痫预测模型的物联网应用提供了一个可行的范式。
5.2 神经网络算法会增大患者隐私泄露风险
基于神经网络的癫痫预测模型需要海量数据进行训练,在这个过程中可能会有患者隐私泄露风险。针对这个问题,可以通过对患者信息加密来保护隐私,但是加密算法存在被破解的风险。另一种解决方案是采取联邦学习形式进行模型训练,只共享用本地患者数据训练好的模型参数或者训练结果而不共享数据,这样可以在源头上杜绝患者隐私的泄露。Borovac等人[58]提出了一种数据不能共享的情况下的模型训练解决方案,即在各自的数据集上分别进行模型训练,最终通过融合算法将训练结果进行融合,这是一个行之有效的解决方案。
5.3 当前神经网络算法训练数据单一
目前发表的论文中,癫痫预测模型大多采用EEG 数据集,这使得输入的数据中患者生理信息可能是不全面的。可采用多模态信息输入,增加其他生理信号或指标,提供人体更多维度的信息,可能会提高模型性能。Cichy 等人[59]为了更好捕获大脑信息,同时采用了功能性磁共振成像和脑磁或脑电图多种生理信号,以同时捕获大脑中的时间、空间信息。Truong等人[53]将EEG、心电图信号(electrocardiogram,ECG)、体温和时间多种数据进行数据融合,并借助无监督的GAN 进行特征提取。在癫痫预测模型中,也可以将fMRI、EEG、ECG、体温等多种生理数据进行多模态的癫痫预测模型的构建。
5.4 神经网络模型缺乏解释性
虽然当下基于神经网络的各种癫痫预测模型都表现出了极佳的性能,但是学界至今无法完全解释模型内部的具体原理与机制,神经网络算法也因此被称为黑箱模型,基于神经网络算法的癫痫预测模型难以大规模应用于临床实践。针对这个问题可以借助可视化、局部敏感度分析等技术来研究神经网络的可解释性问题。Gabeff等人[60]应用DeepLIFT 算法等方法对基于CNN的癫痫预测模型的第一层输出进行可视化分析,来探索第一层的内核如何对最终决策做出贡献,为研究癫痫预测模型的可解释性提供了一个可行方案。基于神经网络的癫痫预测模型可解释性是一个非常重要的问题,但是目前相关研究十分有限,模型可解释性仍待进一步挖掘。
6 结束语
本文系统回顾了神经网络算法在癫痫预测领域的应用,从算法特点与模型结构等方面介绍了常用的神经网络算法并对比不同模型在数据集上的预测性能。同时,提出目前基于神经网络算法的癫痫预测模型具有硬件要求高、隐私保护难、多模态信息利用不足、缺乏解释性等不足,并针对这些不足进行展望提出了可能的解决方案。神经网络算法在癫痫预测领域有很大的应用潜力,但是目前仍然面临很大的挑战,需要研究人员进一步探索。