基于卷积和注意力机制的癫痫脑电检测模型

邓 欣,高红伟,张家豪,刘 柯,项小红

(重庆邮电大学 数据工程与可视计算重点实验室,重庆 400065)

0 引 言

作为一种常见的非传染性神经系统疾病,癫痫发作可能导致意识丧失以及运动和感觉等功能的紊乱[1]。根据世界卫生组织报告,全世界约有6 500万的癫痫患者,且这一数字以每年近250万人的数量不断增长[2]。其中,约70%的癫痫患者可以通过使用抗癫痫药物来抑制癫痫发作。为了启动抗癫痫药物治疗,及时和准确的癫痫诊断对患者而言是至关重要的[3]。

脑电(electroencephalogram, EEG)是根据放置在脑部的颅内电极或头皮表面电极采集获得的,表示大脑中神经元放电活动,这些活动包含了大脑的实时信息[4]。癫痫患者的脑电活动在走向癫痫发作的过程中会随着时间的推移出现显著变化,因此癫痫患者的脑电图可以作为判别癫痫发作的依据[5]。

目前,癫痫的检测诊断主要依靠有经验的医学神经学家对长期记录的脑电信号进行视觉检查和人工分析。然而,连续的脑电监控系统产生了大量的脑电数据,这使得对长时间的脑电图进行分析检查变成了一项耗时低效的任务。特别是临床上依靠人工分析存在着极大的主观性,这会导致检测结果存在偏差。因此,癫痫发作的自动检测就显得极为有意义。一方面,癫痫自动检测可以帮助医生节省时间和精力,并为诊断提供参考依据;另一方面,癫痫自动检测技术可以为提高癫痫患者脑电信号的检测效率和分类识别精度提供一个更有效客观的解决方案[6]。

癫痫发作自动检测技术已经有几十年的历史,许多研究人员提出的各种方法都取得了较好的效果,如时频域方法[7]、非线性方法[8]以及机器学习方法[9]等。文献[10]对EEG脑电信号进行处理,将脑电信号分成半波信号,然后通过提取峰值幅度、持续时间、斜率和尖锐度等特征来进行癫痫检测。文献[11]构造了基于Stein核的稀疏表示框架,用于对称正定矩阵空间中的癫痫发作检测。文献[12]提出了一种新型的基于局部均值分解的时频脑电信号分析方法,即局部均值分解,能够将任意信号分解为一系列乘积函数。局部均值分解先将原始脑电信号分解成若干个波形,然后计算前5个波形的时间统计特征和非线性特征,之后将每个乘积函数的特征输入到支持向量机、线性判别分析等分类器来进行任务分类。文献[13]利用小波变化对脑电信号进行分解,并用支持向量机来进行局灶区和非局灶区的分类,从而对癫痫脑电信号进行识别。文献[14]提出了一种综合广义Stockwell变换、奇异值分解和随机森林分类的癫痫发作检测方法,利用Stockwell变换将原始脑电信号转化成时频矩阵,然后利用奇异值分解从变换的整体矩阵和分块矩阵中分别提取全局和局部特异值,并根据特异值向量计算4个局部参数,最后输入到2个随机森林分类器中进行分类。这些方法都通过手工构建特征向量,然后通过分类器进行分类。因此,特征的提取和选择对于检测的准确性而言非常重要。如何设计一个有效的特征向量耗时耗力,且依赖专业的相关先验知识。深度学习方法能以更方便的方式对特征进行提取,在图像分类、人工智能等领域取得了良好的效果。

近些年来,一些研究人员开始将深度学习方法应用于癫痫发作检测领域。文献[15]提出了基于卷积神经网络(convolutional neural networks, CNN)和长期短期记忆两种特征提取器的自主广义回顾性和患者特异性混合的模型。该模型将脑电信号分解为时域、频域和时频域的特征以进行癫痫检测分类,达到了较好的效果。文献[16]以深度学习的方式构建了一个18层的长期递归卷积网络模型,用于头皮脑电中癫痫信号的自动识别。文献[17]提出了一种基于单通道原始脑电信号的13层深度卷积神经网络模型来检测正常、预发作和癫痫发作类别。文献[18]将信号变换和CNN神经网络结合使用,通过傅里叶变换、小波变化和经验模式分解等将原始脑电信号进行转化,然后作为深度神经网络的输入,在2个公开数据集的实验效果方面有进一步的提升。文献[19]基于癫痫发作期与非发作期脑电数据的不平衡性,提出了一种不平衡分类与深度学习相结合的癫痫发作自动检测方法,利用多种数据增强方法来对数据集进行平衡处理;之后设计了一维卷积神经网络来进行检测和分类,具有更进一步的检测效果。这些研究都取得了良好的效果,表明深度学习技术在基于脑电分析的癫痫发作自动检测方面仍然具有很大潜力。但目前基于深度学习的癫痫自动检测模型中,大都聚焦于构建复杂的网络模型进行从浅层特征到深度特征的提取,或是使用图形处理的方法来进行搭建二维卷积神经网络模型,或是通过机器学习的方式来进行特征向量的构建,然后使用深度学习进行特征处理分类,未考虑特征向量之间的关联性,缺乏对特征的重构强化;而注意力机制的出现,则可以对卷积神经网络提取到的特征进行重构强化,增强有效特征之间的关联性,从而更好地为分类器提供特征向量。

基于此,本文在卷积神经网络提取特征之后,引入了注意力机制。通过使用注意力机制,增强了已提取特征之间的关联性,同时简化了网络模型结构。该模型首先将原始脑电信号切片输入1D-CNN网络用于去噪处理和特征提取;然后利用注意力机制模块对特征向量进行重构强化;最后将强化后的特征向量输入多层感知器(multilayer perceptron,MLP)进行分类,得到最终结果。

1 融合1D-CNN和注意力机制的癫痫自动检测模型

基于1D-CNN和注意力机制的癫痫自动检测模型组成如图1所示。该网络模型处理过程可以分为3个步骤:特征提取、重构和分类。在特征提取阶段,通过1D-CNN对输入的脑电信号进行去噪并进行特征提取处理;特征重构阶段将处理后的数据作为特征重构部分的输入,利用自注意力机制将提取到的特征向量进行强化重构,得到更进一步的特征向量;特征分类阶段将特征向量输入到分类部分,通过全连接层来进行分类。

图1 网络模型Fig.1 Network model

1.1 特征提取模块

将原始脑电数据信号输入到卷积神经网络来进行处理,通过3个卷积块来对原始脑电信号进行局部特征提取,其中,每个卷积块包括一维卷积层、批归一化(batch normal,BN)层和非线性激活层3部分。

1.1.1 卷积层

普通的神经网络模型通过全连接的方式进行上一层和下一层之间的信息传递,这样任何一个输出单元与任何一个输入单元之间都需要进行互相连接。这种全连接方式拥有很大的计算量,且在计算过程中需要存储大量的计算参数。卷积层能够完成稀疏交互,将原本由全连接的交互形式转为使用卷积核进行交互连接,且卷积核的尺寸远小于原始输入数据的尺寸。因此,卷积神经网络可以大大缩减模型的计算参数量。本文利用一维卷积运算对原始脑电信号进行特征提取和滤波处理。卷积层部分包括感受野和特定深度的多个卷积核。不同类型的特征向量可以通过不同的卷积核从输入信号获得。卷积核的数量随着网络深度的变化而改变,浅层的卷积核学习表层特征,深层的卷积核学习深层特征。

1.1.2 批归一化层

在训练过程中,首先将原始数据进行归一化处理,经过归一化处理之后的数据样本可以加快神经网络学习速度。样本分布是随着训练进行而不断变化的,如果只在开始时在输入层进行了归一化处理,没有在中间层处理,经过卷积运算之后,原本归一化处理后的数据分布可能变化很大,会导致神经网络难以训练、收敛速度变慢,甚至出现梯度爆炸从而导致无法训练。因此,需要使用批归一化方法来解决这一问题。在批归一化过程中,每一层的每一小批数据样本都被归一化处理,这样可以避免数据分布在经过矩阵运算和非线性运算之后发生偏移,同时使得模型拥有更快的收敛速度。在本文的模型中,每一次进行批归一化处理的时机是在每一层卷积运算之后。

1.1.3 非线性激活层

在网络训练过程中,如果仅仅使用线性函数,则每一层输出都是上层网络输入的线性映射。这样导致的结果是最终无论神经网络模型有多少层,输出层和输入层之间都仅仅是简单的线性叠加关系,从而导致加深神经网络模型的层数毫无意义。因此,需要在网络中使用非线性激活层。引入非线性激活函数后,层与层之间不再是简单的线性组合关系,这可以使得神经网络逼近任何非线性函数,从而发挥多层网络的作用。本文在每个卷积块的最后使用Relu函数实现非线性化。

1.2 特征重构模块

本文引入了Transformer[20]神经网络模型中的自注意力机制。Transformer是Google在2017年提出的神经网络模型,主要用于机器翻译等任务。与传统的神经网络结构相比,其使用了全Self-Attention结构。针对很多自然语言处理任务,自注意力机制都获得了极佳的效果。本文在网络模型搭建中引入了自注意力机制,搭建了类似于Transformer中Encoder部分的网络结构,主要分为2个部分:自注意力模块和前馈神经网络模块,详细描述如下。

1.2.1 自注意力机制

输入注意力机制模块的特征向量后,各个通道之间特征向量不存在联系,但脑电信号处理需要各个通道之间的关联性,经过注意力机制模块重构强化后的特征向量,各个通道之间的脑电信息建立起了相互的关联性,有利于促进结果区分。脑电信号先经过一个Self-Attention层,Self-Attention层在处理输入的局部特征向量时,会考虑各个特征向量之间的联系性,从而对每个特征向量进行重构。Self-Attention的具体特征重构过程如图2所示。

输入的每个局部特征向量会创建3个与之对应的向量,分别是Query向量、Key向量和Value向量,这3个向量是通过特征提取模块提取到的每个特征向量与3个权重矩阵WQ、WK和WV相乘后得到的,用Q,K,V分别表示Query、Key和Value向量,可得

Q=X×WQ

(1)

K=X×WK

(2)

V=X×WV

(3)

(1)—(3)式中:WQ、WK和WV分别是模型的权重矩阵;X是输入的特征向量。根据这3个向量分别计算每个特征向量的Attention分数Z,表示为

Z=Attention(Q,K,V)=

(4)

X=MultiHeadAtten(Q,K,V)=

concat(head1,…,head2)×WO

(5)

(5)式中,WO是模型中联合训练得到的矩阵,headi表示利用一组Q、K、V向量得到的一个Z值。

1.2.2 前馈神经网络

前馈神经网络是由全连接层s组成的。每个特征向量首先经过Self-Attention层得到对应的特征向量,得到的每个特征向量分别经过前馈神经网络层。前馈神经网络的主要作用是用来对重构后的特征向量进行维度转化。

1.2.3 残差连接和层标准化

为了在建立深层模型的同时防止梯度消失和梯度爆炸,Transformer在每个模块的子层之后采用了残差连接和层标准化。在Encoder中,首先将局部特征向量输入到Self-Attention子层中,通过残差连接和层标准化计算,将计算后的结果作为前馈神经网络的输入;经过前馈神经网络处理的输出,同样经过残差连接和层标准化计算,作为下一模块的输入。模块中的残差连接和层标准化计算表示为

H′=LayerNorm(SelfAttention(X)+X)

(6)

H=LayerNorm(FFN(H′)+H′)

(7)

(6)式中:LayerNorm表示层归一化操作;SelfAttention表示自注意力层所要进行的运算,根据输入向量X计算注意力分数并同自身相加。(7)式中:LayerNorm表示经过层归一化运算后得到中间向量H;FFN表示进行前馈神经网络子层运算。

2 实验及分析

2.1 数据集

本文研究采用了2个公开数据集,分别是德国波恩大学癫痫研究中心脑电数据集[21]和美国波士顿儿童医院的CHB-MIT数据集[22]。

2.1.1 波恩大学数据集

波恩大学癫痫研究中心脑电数据集由5组脑电数据组成,每组数据集总共包含100段脑电信号,每段脑电信号的持续时间为23.6 s,采样频率为173.61 Hz,共有4 097个采样点。数据采集如下: A、B两组采自5名健康志愿者,A组记录志愿者清醒且睁眼状态的脑电信号,B组记录闭眼状态;C组和D组记录癫痫患者在发作间期的脑电信号,C组位于致痫区对称区域,D组位于致痫区域;E组记录癫痫患者发作期的病灶区脑电信号。数据集中包含的信号在发布之前已经进行了滤波和伪迹去除处理。

2.1.2 美国波士顿儿童医院CHB-MIT数据集

CHB-MIT数据集使用双参考电极来记录儿童癫痫患者的多通道脑电信号。其研究对象总共包含22例被试,分别为5名男性和 17名女性。数据采样频率为256 Hz,多数被试采样时长为1 h(其余被试中,chb10为2 h,chb4、chb6、chb7、chb9、chb23为4 h)。这些脑电图采用国际10-20脑电图电极位置来进行记录,多数被试的脑电图通道为23个,极少数为26、28或32个。表1中描述了CHB-MIT数据库采集的24组脑电信号详细信息。

表1 CHB-MIT数据集信息Tab.1 Information of CHB-MIT dataset

2.1.3 数据预处理

德国波恩大学数据集中每段信号约包含有4 097个采样点,信号以每段512个采样点的长度作为数据切片进行切分,作为模型的输入。美国波士顿儿童医院的CHB-MIT数据集中,由于每个被试的采样通道不一致,故选取通道一致的16名被试作为实验数据。本文在处理时,使用降采样的方法,通过将非发作数据时长与发作数据时长对齐的方式来达到数据平衡的效果,然后对数据进行长度为2 s(512个采样点)、步长为1 s的数据增强切片。最后,同样以获得512个采样点长度的数据段作为输入。

2.2 评价指标

在传统的分类问题中,准确率被认为是评价方法最重要的性能指标之一。然而,在涉及到疾病相关的分类问题时,灵敏度和特异度被认为是反映方法在正类上真实性能的关键度量,因为针对疾病的漏检和误检都可能造成很严重的后果。因此,在本研究中,采用准确率等4重评价指标来对模型进行全面评估。各项评价指标的定义如下。

准确率(RA):表示要识别的实例占所有示例的比例。

(8)

敏感度(RSE):表示被分为当前类别占所有该类别的比例,衡量分类器对正例的识别能力。

(9)

特异度(RSP):表示被分为非当前类别占所有非该类别的比例,衡量分类器对负例的识别能力。

(10)

精确率(RP):表示实际为该类别在被分为该类别的示例中所占比例。

(11)

在(8)—(11)式中,TP表示正确诊断为正例的正例;TN表示正确诊断为负例的负例;FP表示错误诊断为正例的负例;FN表示错误诊断为负例的正例。

2.3 实验结果及分析

为了证明本文所使用方法在公开数据上是可行的,在2个公开数据集上分别基于卷积神经网络模型和基于卷积神经网络与注意力机制模型进行了分类实验。对波士顿儿童医院数据集进行二分类实验所得结果如图3所示。

图3 二分类实验结果对比Fig.3 Comparison of the results of the binary classification experimental

同样地,基于波恩大学数据集,进行了三分类实验,并将实验结果进行了对比,见图4。

图4 三分类实验结果对比Fig.4 Comparison of the results of the ternary classification experiment

此外,在基于波士顿儿童医院进行的发作间期和发作期二分类实验中,将本文所取得的结果与基于相同数据集进行相同实验的结果进行了对比,如表2所示。文献[16]中构建了一个18层的长期递归卷积网络模型,取得结果的敏感度为84%,特异度为99%,准确率为99%,其特异度和准确率高于本文的最终结果,但敏感度低于本文的93.09%,且没有给出精确率评价指标。这表明该模型针对于癫痫发作间期和发作期这2类各自的区分效果存在着极大的差异,这会导致漏检。文献[19]方法得到结果敏感度为92.35%、特异度99.88%和精确率90.68%,其特异度评价指标高于本文的方法,但敏感度和精确率指标都低于本文。文献[23]的方法在各项评价指标方面都较好,但本文方法在4个评价指标上都取得了更为良好的效果。这说明,相较于传统的机器学习手工设计特征提取,基于深度学习的特征提取方式和分类方法具有更好效果。

表2 基于CHB-MIT数据集的不同癫痫检测方法的分类结果对比Tab.2 Comparison of classification results of different epilepsy detection methods based on the CHB-MIT dataset %

基于波恩大学数据集,进行了健康(AB)、发作间期(CD)和发作期(E)的三分类实验,本文与对比文献的实验结果见表3。文献[24]采用Dual-Tree Complex Wavelet Transformation和Complex-valued neural networks的方法,实现了98.28%的分类准确率,但该模型针对发作期脑电的敏感度指标和特异度指标较低,分别为94.01%和94.26%,远低于本文方法的99.38%和99.91%,且该方法并未给出精确率评价指标。文献[25]采用了基于可调Q小波变换的多尺度熵测量方法来进行癫痫脑电信号的分类,实验结果有进一步的提升,有部分指标要优于本文所提出的方法,但同样没有给出精确率评价指标。文献[26]使用LBP和SVM的方法来进行分类实验,达到了98.80%的分类准确率,但没有给出其他指标。与上述方法相比,本文提出的方法达到了98.99%的分类准确率,略高于之前提到的方法。另外,本文提出的方法在特异度、敏感度和精确率这些指标也达到较为良好的效果。

表3 基于波恩大学数据集的不同癫痫检测方法的分类结果对比Tab.3 Comparison of classification results of different epilepsy detection methods based on the Bonn dataset %

3 结束语

本文针对癫痫发作自动检测问题,利用癫痫EEG信号识别方法并结合现有研究成果,提出了一种结合注意力机制和CNN的检测模型。实验结果表明,与现有方法相比较,本文方法的分类性能有了进一步的提升。这不但对癫痫发作的辅助检测具有重要意义,同时也为其他类似的时序分类任务提供了可参考的方法。本文实验都是基于癫痫公开数据集预处理之后开展的,在接下来的工作中,我们将直接采用临床数据构建应用系统,进一步提高辅助诊断的准确率。