基于深度神经网络多模态融合的颞叶内侧癫痫鉴别

钟霁媛，陈思翰，王晗

（1.成都市第七中学，成都610041；2.四川大学华西医院，成都610041；3.四川大学机器智能实验室，成都610065）

0 引言

近年来，随着机器智能蓬勃发展，其相关理念与研究成果随着新闻传媒技术的成熟达到了家喻户晓的程度。目前，在机器学习领域，最成功的算法就是神经网络方法。在智慧医疗、广告推荐、问答系统等领域，基于深度神经网络的方法已经超越传统的数理分析方法，更加高效、准确，甚至在部分应用上超越了人类大脑的识别能力。

癫痫是一种以大脑神经元异常突然性放电为特征的神经系统疾病。近年来的研究证明，癫痫是一组包含各种并发症的复杂神经网络疾病，而不同类型的癫痫，受累的神经网络往往各有区别，这也可能造成癫痫患者表现出不同的临床综合征以及临床药物治疗效果的差异。因此，在癫痫患者疾病的早期进行癫痫网络特征识别并进行预后的判断，可以有效改善目前的癫痫治疗方案，进行个体化的精准治疗。癫痫的鉴别和治疗具有重要的社会意义和临床意义。

目前癫痫主要通过医生检查受试者脑电图中的癫痫波，并结合受试者的临床病史，进而判断受试者是否患有癫痫以及癫痫的具体类型。往往需要对受试者的脑电波进行24 小时甚至更长期的监测，这样就会导致癫痫鉴别十分耗时。此外又依赖于医生的临床经验。为了克服上述的局限性，近年来有学者把目光投向受试者的磁共振影像，希望借助机器学习的方法对受试者进行癫痫鉴别。

颞叶内外侧癫痫的鉴别诊断是目前临床上时常遇到的问题，颞叶内侧癫痫患者的癫痫波位于大脑深面，普通的头皮脑电难以准确捕捉到这种脑电信息，而深部电极安置存在技术难度高，术后并发感染的可能性等，所以颞叶内外侧癫痫的鉴别诊断时常对临床经验不丰富的医生构成困扰。为了解决这个问题，本文创新性地提出了基于深度神经网络的方法对颞叶内外侧癫痫患者进行鉴别。

1 研究现状

在脑部疾病诊断的相关领域中主流研究方法是基于脑电图提取关键特征进行疾病诊断，然而随着机器学习的兴起，另一种基于磁共振影像利用机器学习进行疾病诊断的研究方法也渐渐受到人们的关注。

1.1 癫痫等脑部疾病鉴别研究现状

脑电图用于癫痫研究已有较长历史，为了对癫痫性发作进行准确检测，研究者往往使用特征提取的方法，即从时域和频域角度分析脑电图。但随着磁共振技术的成熟，研究者逐渐将研究目光投向磁共振影像上，因为脑功能磁共振影像不光提供了脑部的动态信息，还可以提供脑网络的特征信息，在癫痫、抑郁症等脑部疾病的鉴别方面有了一定的研究的成果。

Jahankhani 等利用离散小波变换将脑电分解为1～4 赫兹、4～8 赫兹、8～13 赫兹以及13～30 赫兹等不同的频率子带信号，计算出小波系数的相关统计特征，并将其作为脑电特征。Guo 等人[1]现将脑电信号经小波变换分解，提取出子带信号的线长特征作为癫痫脑电特征，同时设计了前馈神经网络，将子带信号的线长特征输入神经网络，完成癫痫发作的自动检测。Dai 等人[2]从磁共振功能影像和磁共振结构影像中提取低频振幅（ALFF）、局部一致性（ReHo）、灰质密度（GMD）、局部功能相关强度（RFCS）等指标，并将其相互组合后，利用支持向量机（SVM）的方法，实现了对阿尔茨海默病的鉴别。刘珍银等人[3]认为人脑是一个非常复杂的网络，具有多种重要的网络属性，其中包括“小世界”属性，并使用基于血氧水平对比度的功能磁共振成像技术，分析了颞叶癫痫患者和健康人的脑功能网络的“小世界”属性，并结合具体数据集在数理统计层面上对比了两者在“小世界”属性上的差异。刘文钊等人[4]利用静息态下的功能磁共振影像和机器学习的双视角分别对ReHo、ALFF 和FALFF 进行了实验探究，通过SVMRBF 算法对抑郁症患者和健康人进行分类并对特征重要性与统计量之间的关系做了定量分析，实验表明抑郁症患者在统计水平上与健康人有差异。上述研究的结果表明，相较于传统的临床-电生理诊断体系，机器学习通过对大数据进行稀疏化处理的方法对癫痫患者的疾病特征进行了提取以及泛化，这是一个全然不同的视角，可能使我们加深对癫痫等神经系统疾病复杂病理过程的理解，进而为精准治疗以及个体化治疗提供依据，进而大大改善目前的治疗方案以及患者预后[5]。

1.2 神经网络研究现状

神经网络研究在近十年间飞速发展，在特征提取、图像分类、目标检测、语意分割、语音识别等诸多领域都取得了显著性成就[6]。

Krizhevsky 等人[7]于2012 年提出了AlexNet 网络，在公开的大型图像数据库ImageNet 的图像分类比赛中以超过第二名11%准确性的压倒性优势夺得了比赛冠军。自此引起了学术界对卷积神经网络的关注。谷歌Szegedy 等人[8]于2015 年提出了Inception 模块，并在此基础上设计了Inception V1 网络，再次刷新了ImageNet上的图像分类准确性。同年Ioffe 等人[9]提出了批标准化，并应用于Inception 网络，再次刷新纪录。2016 年Szegedy 等人[10]继续挖掘Inception 网络潜力，提出了用多层连接的小卷积核组成小网络代替大卷积核，设计了Inception V3 网络，进一步提高了纪录。同年，Szegedy 等人[11]吸收微软RestNet[12]网络的优点，进一步改进网络提高了准确性。谷歌Zoph 等人[13]于2017 年提出NASNet 网络，用于大规模图像分类和识别。该网络能够实现机器学习模型设计自动化，并在ImageNet图像分类任务上取得了迄今为止最好的准确性。

Hochreiter 等人[14]于1997 年提出了经典的LSTM网络，解决了回复神经网络长时依赖问题，同年Schuster 等人[15]在此基础上，增加反向连接利用反向信息，提出了双向LSTM 网络。Cho 等人[16]于2014 年提出LSTM 网络的变体GRU 网络，旨在解决标准RNN 中出现的梯度消失问题。相比经典LSTM 网络，GRU 网络计算速度更快。

2 基于深度神经网络的癫痫鉴别方法

为了完成受试者癫痫诊断，受试者平躺于磁共振扫描仪设备中，经过脑部磁共振扫描后获得磁共振扫描序列，将某个受试者单次扫描的磁共振序列经过一定的预处理方法后作为输入数据传入到系统中检测。系统采用多模态融合的深度神经网络方法对跨模态输入数据进行分析，其本质上是对跨模态输入数据的分类问题。

本文用深度神经网络实现对一组跨模态输入数据的分类，具体包括：①数据准备；②深度神经网络模型设计；③深度神经网络模型训练；④深度神经网络模型测试几个部分。

2.1 数据准备

本研究使用深度神经网络对受试者是否是健康人（HC）、是否患有颞叶内侧癫痫（mTLE）和是否颞叶外侧癫痫（TLE）的诊断是从大量受试者的磁共振扫描序列数据中自动地学习到相关癫痫特征后进行的。因此，对深度神经网络进行训练之前，需要对大量受试者的磁共振扫描序列数据进行标注（由神经内科专科医生诊断）和预处理（从受试者扫描序列中提取出多模态信息），并对数据集进行相应划分。

（1）数据标注：受试者完成磁共振扫描后，本发明将某个受试者的单次磁共振扫描序列作为一例数据。专业的神经内科医生结合磁共振扫描序列及受试者临床症状对每例数据是否是健康人，是否患有颞叶癫痫和是否患有良性中央颞区癫痫进行精准地标注。

（2）图像预处理：对每例磁共振扫描序列进行时间矫正，空间标准化，空间平滑、时序压缩等预处理操作后得到脑区间相关强度，以及各脑区的信号强度作为神经网络输入数据。

（3）数据集划分：为了训练和测试深度神经网络模型，将经预处理的数据集按照4:1 分为训练集和测试集。

图1 方法流程示意图

2.2 深度神经网络模型设计

基本的神经网络由神经元以及神经元之间的连接组成。神经网络分为输入层、隐藏层和输出层。隐层神经元本质上是在逼近输入数据与其特征之间的高度非线性关系。深度神经网络与浅层神经网络相比，“深度”体现在隐层数量更多，连接方式更加灵活和复杂，能够用相比浅层网络少得多的参数获得输入数据到其特征之间的映射关系，也就是说，深度神经网络学习到输入数据特征的能力更加强大。本文中设计的深度神经网络模型包括三个大类模块，其中图像提取模块包含2 个子类模块：

（1）时序提取模块：包括一个或多个双向长短时记忆模块层。该模块在时序信号上对输入数据中的时序数据进行时序特征提取。

（2）图像提取模块：由特征提取模块和特征绑定模块构成

①特征提取模块：包括一个输入层和多个卷积结构。每个卷积结构由多个不同尺度的卷积层和池化层构成。

②特征绑定模块：包括一个或多个多尺度池化层。该模块在图像维度上对输入数据中的图像数据的特征进行绑定。

③分类模块：包括一个多类别分类器（Softmax）。时序提取模块和图像提取模块提取的信息跨模态融合后由分类模块进行最后的分类。

2.3 深度神经网络模型训练

深度神经网络对输入数据进行学习的过程也称为训练。训练神经网络的目标是找到一组权值（连接不同层神经元之间的数值），使得对一个较大规模数据集的损失函数最小。具体步骤包括：

（1）数据编码

对神经网络网络的输出层，考虑到本发明要解决的是一个三分类问题，即输出三个不同类别，通过对类别进行编码，如第i 个图像样本属于第1 类，那么，其目标输出表示为di=[1 ,0,0]T，反之，其目标输出表示为di=[0 ,1,0]T或di=[0 ,0,1]T。

（2）跨模态融合

深度神经网络经过时序提取模块和图像提取模块后，会分别得到一组代表时序特征向量，记为vr和vc。然后将两个特征向量拼接起来从而实现跨模态信息的融合。

（3）性能函数设计

根据所使用的多类别分类器，设计性能函数,通过求解最优化问题来获得网络的权值矩阵。

（4）网络计算

通常，对一个L 层的前馈神经网络，设其训练样本集合为X ∈Rm×n，其中，m 为单个样本的维度，n 表示训练样本的个数,那么，第i 个样本可表示为Xi。设第l层的第j 个神经元到l+1 层的第k 个神经元连接权值记为，那么，第l 层到l+1 层的连接权值矩阵W(l)。设第l 层上神经元的激活函数为f()∙(l)，从输入层到输出层，不断进行前向计算，其过程为：

通常，对一个L 层的长度为T 的回复神经网络，设其训练样本集合为，其中，m 为单个样本单个时序的单个维度，n 表示训练样本的个数, 表示训练样本的时序长度。那么，第i 个样本的第l 层的第t个时刻可表示为t),U(l)和W(l)可表示为第l 层相应连接权矩阵，b(l)表示第l 层的偏置，设第l 层上神经元的激活函数为σ()∙(l),那么，从输入层到输出层，不断进行回复计算，其过程：

接着，进行跨模态融合，将前馈计算和回复计算得到的最终计算结果拼接起来，即：

最后设计性能函数：

（5）将网络计算所获得的输入数据的预测类别，与其真实所属类别相比对，使用（5）中的性能函数来计算网络预测值与目标输出值的差异，并使用反向传播算法实现网络权值更新：

（6）重复（4）和（5）直至网络收敛或达到规定的迭代次数。

2.4 深度神经网络模型测试

深度神经网络模型的测试是测试所设计的神经网络是否能够对从未学习过的数据进行正确的分类判断，可用于对所设计的深度神经网络性能进行评价。本系统在测试过程中，输入划分出的测试集中的磁共振扫描序列数据。系统通过已经训练好的网络计算出网络输出层神经元的激活值，并根据激活值预测出该组图像相应的所属类别。这一过程完全由神经网络独立完成。

将由深度神经网络预测的类别与样本实际类别标签进行比对，统计预测正确的样本个数。当测试结果达到预期效果，则完成癫痫诊断问题的深度神经网络的训练。

3 实验及分析

表1 癫痫数据集数据分布

本文实验中所用的癫痫数据集数据分布如表格1所示，总计395 例数据。癫痫数据集中每例病例均为扫描帧数为200 帧磁共振功能像扫描序列。为获得实验中时序数据，利用MATLAB 的DPABI 包将原始脑部的磁共振扫描序列数据预处理成能反映具有时序关系的FC 指标，得到各脑区时序上的信号强度，其数据维度为190×160（190 代表扫描序列去掉前10 帧后的剩余帧数，160 代表使用的Dosenbach 等研究的脑区模型有160 脑部分区）。为了获取实验中图像数据，利用MATLAB 的DPABI 包将原始数据处理成维度为160×160 的功能连接强度矩阵。

将本文提出的方法应用于真实癫痫数据集上的结果如图2 所示，可在划分好的测试集上达到92.3%的准确率，说明本文提出的方法经过了真实数据的考验。

图2 利用本文提出的方法在划分好的测试集上的分类准确率随训练周期变化图

4 结语

本文的工作从磁共振功能像出发，基于深度学习的方法，从深度卷积神经网络和深度回复神经网络特征融合的视角来进行癫痫鉴别，在查阅的文献中，首次利用深度学习的方法进行癫痫诊断，同时也具有一定的实际临床意义。