基于脑网络的图卷积神经网络在脑疾病中的研究进展

张 格，林 岚，吴水才

（北京工业大学环境与生命学部生物医学工程系智能化生理测量与临床转化北京市国际科研合作基地，北京100124）

0 引言

人体大脑中的大量神经元、神经元集群和脑区在时空尺度上相互连接并传递信息构成了复杂的脑网络系统[1-2]。研究者充分意识到基于图论复杂网络分析的重要性，提出了脑连接组的概念[3]。脑连接组研究将大脑视为纵横交叉、相互连接的复杂统一体，研究者致力于从宏观到微观角度，全面且细致地研究人体大脑网络的连接规律、信号交换与脑区间的影响等。已往研究显示，阿尔茨海默病（Alzheimer’s disease，AD）、精神分裂症、抑郁症等多种疾病与脑网络的异常连接密切相关[4-8]。随着神经影像技术和基于图论复杂网络分析工具的快速发展，以结构性磁共振成像（structural magnetic resonance imaging，sMRI）、弥散张量成像（diffusion tensor imaging，DTI）生成的脑结构连接网络和基于功能性磁共振成像（functional magnetic resonance imaging，fMRI）、脑电图（electroencephalogram，EEG）、脑磁图（magnetoencephalography，MEG）生成的脑功能连接网络[9-10]为深入窥探大脑认知活动的基本规律和各种疾病的发病机理提供了全新视角[11-12]。

从图论的角度，脑网络在形式上可以表示为连接一组节点和一组边的集合。网络节点具有不同层次规模，对于DTI和f MRI一般基于预定义的解剖和功能模板定义，而EEG和MEG一般以电极帽内电极作为节点。节点间的相互关系可以看作是复杂网络的边，因此存在不同性质、不同类型的脑网络，如由DTI生成的脑结构连接网络一般基于确定性或概率性纤维追踪脑区间白质纤维连接数量来构建。由sMRI生成的脑结构连接网络一般基于各个脑区的形态学特征（皮层厚度、曲率、表面积等）关系进行构建。而fMRI、EGG、MEG等生成的脑功能连接网络一般基于网络不同节点的时空相关性构建，网络形式也可以被进一步分为二值网络或加权网络。脑结构和功能连接网络的基本构建流程如图1所示。

图1 脑结构和功能连接网络构建流程图

近年来，随着医学工程技术和计算机技术的快速发展，神经影像领域迎来了大数据时代。机器学习、深度学习等技术与脑网络分析相结合，突破了传统神经影像分析方法的局限性，从连接性差异角度为脑科学研究创立了新的应用模式。Cui等[13]基于AD患者（N=21）、轻度认知障碍（mild cognitive impairment，MCI）患者（N=25）和健康认知（healthy cognitive，HC）受试者（N=22）的fMRI数据构建最小生成树脑功能连接网络。根据最具判别力的子网络重建脑网络，并从重建的脑网络中提取网络拓扑特征，利用支持向量机（support vector machines，SVM）分类器对3组患者进行分类，模型具有较高准确率。Kong等[14]基于78例孤独症谱系障碍（autism spectrum disorder，ASD）患者的T1WI sMRI构建基于皮层特性的个体脑结构连接网络并提取网络关键特征，采用深度神经网络（deep neural network，DNN）对ASD和HC进行分类，分类准确率达90.4%。Lotfan等[15]基于23例健康男性在不同压力状态下采集的EEG数据分别构建个体脑功能连接网络，利用距离补偿评估技术选择脑功能连接网络中的最佳敏感特征，通过SVM模型对数据集进行半监督训练学习，状态判别准确率达93.6%。Lin等[16]基于112例健康老年人的DTI数据构建个体脑结构连接网络，采用主成分分析法（principal component analysis，PCA）对脑网络的全局与局部属性进行降维，利用神经网络对健康老年人脑年龄进行预测，预测脑年龄的平均绝对误差仅为4.29 a。

深度学习模型具有较强的复杂特征提取和表达能力[17-19]，其中卷积神经网络（convolutional neural networks，CNN）算法以其局部连接、权值共享的优点被广泛应用于计算机视觉、自然语言处理等领域。但CNN算法只能处理欧氏空间中的数据，例如一维文本数据、规则的二维和三维数据，无法处理各个脑区邻域非规则、非欧空间数据的脑网络。图卷积神经网络（graph convolutional neural networks，GCN）算法是图论复杂网络分析工具与CNN算法相结合的综合体，可处理脑网络中的不规则空间数据，并保留了CNN算法局部连接、权值共享等优势，为理解脑疾病发病机理、诊断和预测提供了新的机制。本文首先介绍脑结构和功能连接网络的构建及深度学习在该领域的部分应用，然后根据特征提取方法差异分别介绍频域和空间域GCN的基本思想和模型，并列举目前GCN在脑疾病研究中的应用，最后分析多模态、多网络构建方法以及影像和非影像特征对该领域研究的影响，提出今后潜在的研究方向。

1 GCN算法

GCN算法可看作是CNN算法在非欧几里得域运算的推广，其从解决非欧空间节点分布不规则和节点邻居数量随机的问题出发，从不规则拓扑图中提取图中隐含特征。GCN算法关注的对象是由节点和含有节点间关系的边组成的拓扑图，完成特征提取后，使用这些特征完成对图数据的节点分类、图分类和边预测等任务[20]。根据特征提取方法的不同，GCN可分为频域法和空间域法。

1.1 频域法

基于频域的GCN算法，其基本思想是利用信号处理理论将空间中的卷积运算映射为频域中的乘积运算。具体分为2步：（1）在不规则图上进行傅里叶变换，将空间域信号映射到频域。（2）在频域图上进行乘法运算。傅里叶变换是时域信号与拉普拉斯算子特征函数在时间上的积分，确定不规则图上的拉普拉斯算子就可以进一步定义图上的傅里叶变换形式。不规则图的拉普拉斯矩阵L由节点的度矩阵D和邻接矩阵A定义，即L=D-A，其对称归一化形式为L=I N-D-1/2AD-1/2=UΛUT（I N为单位矩阵；U为拉普拉斯矩阵L的特征向量；Λ为拉普拉斯矩阵的特征值构成的对角阵）。特征向量U对应频域中拉普拉斯算子的一组正交基，借助不规则图拉普拉斯矩阵的特征向量，可得时域信号f及滤波器g在图上的矩阵傅里叶变换形式：

图的频域信号卷积运算可表示为：

式中，h为该层激活函数；p和q分别是该层的输入、输出特征维数为图中节点在第n层的第i个输入特征，其中R为所有输入特征的集合。公式（4）涉及矩阵L的特征分解，在大图中特征分解的计算复杂度呈指数增长且未实现卷积的局部连接特性。针对计算复杂度和局部连接问题，Defferrard等[21]提出第二代GCN，即切比雪夫图卷积神经网络（Chebyshev GCN，ChebNet-GCN），用切比雪夫多项式近似拟合滤波器gθ。ChebNet-GCN不再依赖于整个图，而是依赖于距离中心节点K步之内的节点（即K阶邻居），中间计算过程不涉及矩阵的特征分解，降低了计算复杂度，第n层的结构定义如下：

式中，θk为切比雪夫多项式参数为切比雪夫多项式。公式（6）为切比雪夫多项式的递归定义，ChebNet-GCN的诞生开启了GCN在大型图领域的分析与应用。随后Kipf等[22]在ChebNet-GCN的基础上进一步简化模型，使中心节点仅可学习到一阶邻居信息并固定拉普拉斯矩阵的最大特征值，令λmax=2，为了进一步防止过拟合令切比雪夫多项式系数满足θ=θ0=θ1，由此可得到一阶ChebNet-GCN，即GCN。公式（7）为第m层结构定义：

1.2 空间域法

基于空间域的GCN提取特征方式可类比CNN在二维图像上的卷积。GCN直接在图上定义卷积运算，通过聚合邻居节点的信息进一步更新中心节点的状态。空间域GCN的卷积运算主要涉及2个方面的问题：（1）根据各个节点不同数目的邻居定义卷积核大小。（2）处理节点不同数目的邻居特征。图归纳网络（sample and aggregate graph，GraphSAGE）[23]引入聚合函数定义了卷积运算，该模型首先对中心节点的一阶邻居进行随机采样，然后通过聚合采样的邻居节点信息再更新节点自身状态。类似GraphSAGE固定中心节点邻居数量的还有可学习式图卷积神经网络（learnable GCN，LGCN）[24]、划分式图卷积神经网络（partition graph convolutional-deep graph CNN，PGC-DGCNN）[25]等。中心节点将多个邻居的信息都聚合到自身会造成信息冗余，图注意力网络（graph attention network，GAT）[26]以及门控注意力网络（gated attention network，GaAN）[27]引入注意力机制来评价不同邻居节点对中心节点的贡献，进一步筛选出对中心节点更重要的信息来更新图的状态。

1.3 频域及空间域GCN的比较

虽然频域和空间域GCN是从不同域提取不规则图的拓扑特征，但随着频域GCN的不断发展，二者已经成为“包含”关系，频域GCN是一种特殊的空间域GCN。从卷积核的设计角度出发，频域中的3个GCN都可看作是在频域中利用了图的特征向量及其变体作为聚合函数进而聚合图中其他节点信息并进一步更新自身中心节点的状态，因此频域GCN是一种显示了谱变换空间的特殊空间域GCN。例如，一阶ChebNet-GCN先变换一阶邻居节点特征再进行特征聚合，这充分体现了空间域GCN的“信息聚合”思想，其虽然是频域GCN发展过程中的产物，但同时也是空间域GCN发展的开端。

1.4 GCN变体模型

GCN算法能较好地对复杂网络特征进行提取和表达，在社交、交通、化学等多个领域应用，进一步演化出众多变体模型并各有其特点。在频域中，有研究者根据傅里叶变换思想提出了图小波神经网络[28]，该方法利用小波变换实现信号从空间域映射到频域，模体网络[29]实现GCN在有向图上的应用。相比频域，空间域GCN发展较为迅速，在邻域信息的处理机制方面涌现出GAT[26]、GaAN[27]等模型，在大规模网络应用方面涌现出GraphSAGE[23]、对偶图卷积神经网络[30]，此类模型可降低训练的节点或边数量，优化GCN在大规模网络的应用。另外，GCN在对节点及边缘这种固有特征学习外，还可利用子图拆解或对偶图构建的方法学习额外的网络信息，代表模型有关系图神经网络[31]、关系图注意力网络[32]等，其进一步学习网络的边属性及高阶网络结构等特征。动态脑网络以时间为单位刻画了脑网络随时间的实时工作机制变化，为解释人类大脑高级认知能力研究提供了重要参考价值，因而受到广泛关注。图卷积递归神经网络[33]等组合式模型既利用GCN对网络的复杂拓扑特性进行提取，同时利用可捕获数据时间动态特征的模型达到充分考虑网络图的空间及时间依赖的性能。

2 GCN在脑疾病研究中的应用

由于具备处理不规则空间数据的优势，GCN已在交通流、化学成分结构、生物基因蛋白等数据领域得到成功应用[34]。将大脑连接性建模为不规则图能较好地反映脑连接网络的特性，因此随着GCN研究的不断深入和推广，GCN逐渐开始被应用于脑疾病的分类与预测研究中。其中脑部卷积神经网络（CNN for brain networks，BrainNetCNN）[35]模型秉承GCN的“信息聚合”思想，包含3种不同尺度的信息聚合滤波器。脑结构连接网络由115例早产儿的DTI数据构建，网络大小为90×90。BrainNetCNN模型提取早产儿的脑网络特征，并对早产儿脑健康发育情况进行预测。模型预测婴儿的胎龄误差仅为2周。随着BrainNetCNN的成功应用，研究者开始注意到GCN在不规则脑网络图中良好的特征提取能力，由此开启了GCN算法在脑疾病中的研究工作[35]。

2.1 频域GCN在脑疾病中的应用

频域GCN模型与CNN架构较为近似，输入的网络连接图和节点特征矩阵经图卷积层提取隐藏的特征、池化层进行聚合降维，全连接层和分类函数输出分类结果。由于脑网络的相似性度量学习可以在保留输入空间语义距离的同时，将输入的网络模式映射到目标函数空间，因此在频域研究中孪生网络与频域GCN被结合应用。基于GCN算法和孪生网络构建的脑网络相似性度量学习模型的输入是一对脑网络，若2例受试者为同一类型则为匹配对，反之则是非匹配对，2个共享权重的相同频域GCN网络分别提取2个脑网络图特征，2个分支提取的特征经融合层融合为一维向量，再由距离度量函数输出相似性分数，该相似性度量学习基本模型如图2所示。通过学习匹配对和非匹配对的脑网络之间的相似性和差异性，大大扩充了模型的训练样本量，通过该模型得出的相似性度量分数也进一步为疾病的分类和预测任务提供了重要参考依据。Ktena等[36]基于脑网络相似性度量学习模型进行疾病分类探究。数据集为自闭症脑成像数据交换（Autism Brain Imaging Data Exchange，ABIDE）数据库中的部分数据，包含来自20个采集地点且采集协议均不同的403例ASD患者及468例HC受试者的rs-fMRI数据，采用时间序列相关性根据哈佛牛津模板构建大小为110×110的脑功能连接网络。2层频域GCN用于提取脑网络图特征，滤波器的切比雪夫多项式系数K为3，表明滤波器学习距离中心脑区3步以内的邻域脑区信息。五折交叉检验结果显示，基于所有数据的匹配对和非匹配对分类工作特性AUC值为0.58，其中在具有最大样本量的单个采集地点AUC值为0.64。在相似性度量分数的基础上，K近邻分类器进一步对样本进行分类，基于所有数据的分类准确率为66.0%，在具有最大数据量的单个采集地点分类准确率为68.0%，较K最邻近分类算法（K-nearest neighbor，KNN）分类器准确率有明显提升。

图2 脑网络相似性度量学习模型

在频域GCN算法中融入随机游走策略可获得脑网络高阶特征。Ma等[37]基于ABIDE数据集（ASD，N=70；HC，N=102）、人脑连接组计划（HC，N=100）、艾滋病（acquiredlmmune deficiency syndrome，AIDS）数据集（AIDS，N=56；HC，N=21）、双向情感障碍（bipolar disorder，BP）数据集（BP，N=52；HC，N=45）的静息态fMRI（rs-fMRI）数据分别构建个体脑功能连接网络。融入随机游走策略同时从设定的多个中心节点出发，调节滑动窗口和游走长度随机获取各个中心节点的邻居并更新脑网络。模型卷积层数为2，K为3。五折交叉检验结果显示，在ASD、HC、AIDS、BP 4个数据集中匹配对及非匹配对分类的AUC值分别为0.96±0.02、0.98±0.03、0.77±0.20、0.94±0.07，远优于经PCA和谱嵌入2种方法学习到的低维特征作为模型输入的结果。根据模型在ABIDE和BP数据集学习的相似性分数，采用K近邻分类器对2个数据集的样本进行分类，分类准确率分别为66.0%和67.0%。该模型将捕捉到的高阶邻近性和全局结构融入图形表示以获得更复杂的脑网络拓扑信息，在小数据量的ABIDE数据中也可获得不错的分类结果。

不同脑网络追踪方法构建的脑网络存在互补性，融合后可进一步提升模型的性能。Zhang等[38]基于帕金森患者（N=596）和HC受试者（N=158）的DTI数据构建大小为84×84的个体脑结构连接网络模型。该研究使用6种不同脑纤维束追踪算法得到同一受试者的6种不同脑结构连接网络，经频域GCN处理后可融合为一个特征矩阵，再与另一受试者的融合特征矩阵进行相似性度量后，经Softmax函数获得脑网络关系的预测结果，架构如图3所示。五折交叉检验结果显示，在匹配对和非匹配对分类中，GCN算法与元素最大池化算法结合构建的模型AUC值达0.954±0.059，优于PCA和全连接网络。根据匹配对和非匹配对分类分数，进一步使用K均值算法对数据进行聚类分析，聚类标准化互信息达1.00。Zhang等[39]基于同样影像数据构建了大小为84×84的个体脑结构连接网络。为研究非影像的临床纵向信息对疾病分类的影响，建立了用于脑网络度量学习的记忆GCN模型。该模型共有3个分支，其中2个分支都使用3个卷积层提取脑网络特征，另一分支利用记忆机制从受试者的电子健康记录序列中提取对诊断有用的纵向信息并融入另外2个提取特征的分支中。利用双线性匹配函数设计融合层，将电子健康记录序列与频域GCN获取的神经影像信息融合得到患者较全面的特征信息。模型增加多跳策略不断迭代更新电子健康记录信息，保证将患者全局电子信息充分纳入分析中。该模型的匹配对与非匹配对分类准确率可达96.0%，AUC值为0.968±0.063，与传统机器学习方法相比较优，与Zhang等[38]研究结果基本一致。

图3 基于频域GCN的多视图卷积神经网络分类架构[38]

2.2 空间域GCN在脑疾病中的应用

空间域GCN关注各个脑感兴趣区间的相互连接，聚合邻近节点或边上携带的信息并更新中心节点或边的状态。BrainNetCNN[35]模型是空间域GCN在脑连接网络分析中的代表，通过构建3种不同尺度的滤波器聚合不同类型的邻域信息，空间域GCN在脑疾病应用中多以该模型提出的滤波器提取不规则脑网络特征为主。模型中滤波器的类型有以下3种：（1）边到边滤波器，将邻居边的权重信息聚合到中心边并更新中心边的状态。（2）边到节点滤波器，将连接到节点的每条边的传入和传出权重进行加权组合计算节点的单个输出值。（3）节点到图滤波器，获得所有节点的单个响应值。

基于相同的不规则图数据特征提取任务，较简单的空间域GCN模型与传统机器学习方法相比显示出较大优势。Song等[40]基于HC、早期MCI、晚期MCI、AD 4类受试者（各12例）的DTI数据，采用自适应合成采样技术扩充至每个类型132例，使用预定义模板构建大小为112×112的个体脑结构连接网络。模型共含有9个卷积层，采用BrainNetCNN中的3种不同卷积滤波器提取脑网络连接特征，2个全连接层分别输出32、10个节点，平均分类准确率达89.0%，显著优于网络节点度和聚类系数作为输入的SVM模型。

基于相同脑连接网络，通过设计不同卷积核可提取不同类型图特征而进一步提高模型性能。Meszlényi等[41]根据25例MCI患者和24例HC受试者的rs-fMRI数据构建大小为499×499的个体脑功能连接网络，使用反映功能连接强度的动态时间扭曲距离和连接稳定性的扭曲路径长度2个指标作为互补信息共同描述节点间的连接性。模型的行（滤波器大小为1×499）、列（滤波器大小为499×1）卷积层分别考虑邻居节点对中心节点的传入和传出权重信息。2个卷积层分别含64、128个滤波器，第二个卷积层输出的128维特征向量作为全连接层的输入，经Softmax函数输出分类标签，该模型分类准确率达71.9%，优于SVM模型和DNN算法。Phang等[42]基于45例精神分裂症患者和39例HC受试者的EEG数据中16个通道记录的信息构建大小为16×16的个体脑功能连接网络。模型共有3个分支，其中2个分支分别使用二维卷积层提取频域部分定向相干系数、时域向量自回归模型系数，另一分支使用一维卷积层对网络复杂拓扑特征进行提取，模型架构如图4所示。获取的特征通过全连接层和Softmax函数输出预测概率，并在决策级进行融合后经多数投票法输出良性或恶性标签，五折交叉检验显示模型分类准确率为93.1%，显著优于SVM模型。

图4 基于3层空间域GCN的精神分裂症分类架构[42]

基于多个影像模态数据构建的融合性脑连接网络与单模态相比具有较多敏感特征，可作为互补信息提高模型性能。Yang等[43]基于BP患者（N=59）、HC受试者（N=47）的fMRI和sMRI数据构建大小为129×129含有多模态特征信息的个体脑连接网络，其中该网络底图用fMRI数据构建，以sMRI数据的7个结构特征（顶点数、表面积、灰质体积、平均厚度等）和fMRI数据的4个功能特征（节点连通向量到其他节点的平均值、标准差、峰度、偏度）作为感兴趣区域节点特征。模型的3个卷积层加入图注意力算法进一步增强聚合节点的邻域信息能力，该算法通过自注意力机制聚合中心节点的一阶邻居节点并计算中心节点与相邻节点间的注意权重，通过潜在的连接性加权关注图上其他所有节点，对图中重要信息进行提取。与相同参数设置但仅用fMRI数据构建的模型输入相比，本模型分类准确率提高11.3%，相比提取构建的网络图特征作为输入的SVM、随机森林等传统机器学习分类器最多提高20%，充分肯定了多模态影像信息结合空间域GCN的优势。

3 研究中存在的问题

3.1 影像模态与网络构建差异对GCN研究的影响

大量研究证实了多种脑疾病与脑区间的异常连接相关联，因此脑网络分析为探索疾病的发病机理提供了新的研究思路，但是现阶段由不同影像模态、不同脑网络构建方式得到的脑连接网络存在较大差异性。首先，各种模态的影像数据从不同时空角度描述大脑内部信息处理机制，例如基于sMRI的脑结构连接网络是灰质形态学特征的相似性度量[44]，而基于DTI的脑结构连接网络则反映了白质纤维束的连接[45]，因此同一类疾病患者根据影像模态的不同可建立具有较大差异性的脑连接网络。其次，脑网络的构建方案至今还未有“金标准”，相同影像模态数据也因构建方案不同产生差异性不小的脑网络：（1）不同脑模板将大脑分割成许多不同的解剖区域，其决定了脑网络研究的分辨力尺度不同，基本的网络属性会存在明显的差异[46]。（2）不同的边定义会得到不同特性的脑网络。例如Zhang等[38]在研究中使用6种不同脑纤维束追踪算法来定义连接边、Meszlényi等[41]使用反映功能连接强度及稳定性的指标定义边。而现有GCN模型对大脑网络的特征进行提取时，并不存在任何校正或归一化方法消除不同构建方法带来的影响。另外，脑网络作为一个高度集成的复杂系统，单一的度量方法并不能充分挖掘脑网络的特征信息，因此在使用GCN进行脑网络分析中，需要对影像模态、网络构建方案给予更多的关注。

3.2 影像和非影像特征对GCN研究的影响

GCN与CNN的作用一样，是一个特征提取器，只不过其对象是图数据。GCN精妙地设计了一种从图数据中提取特征的方法，从而可以使用这些特征对脑网络的图数据进行分类。由于GCN在脑科学研究中的发展还处于萌芽阶段，研究者在网络中输入的影像特征一般为网络特征，敏感度一般，这一定程度限制了GCN的特征表达能力。输入影像特征的优化对于提升GCN的分类预测性能有着重要作用[47]。

另外，性别、年龄及采集站点等非影像特征也与疾病存在不可忽略的联系，若同时将受试者的影像、非影像特征输入模型可最大限度地获得受试者特征表达。在群体图中，每个受试者都作为一个单独的节点构建网络，节点特征是受试者的影像学信息，网络中的边是2个受试者间影像和非影像特征的相似性，将受试者多类型信息输入GCN网络中实现疾病的分类预测任务。考虑到受试群体间的联系与受试者非影像信息的不可忽略性，研究者已经开始尝试从单个脑连接网络扩大到群体网络规模的研究[48-49]，更有研究者同时考虑脑网络和群体网络实现网络的端到端分类模型[50]。

4 结语

随着研究者对GCN的深入研究，GCN逐步在脑科学研究中崭露头角。虽然GCN在脑网络中的研究还处于初步阶段，但随着更多研究者致力于从脑网络角度运用GCN算法开展研究，该领域会产生更多值得关注的研究方向。从脑网络发展角度来看，基于多模态、多网络构建方法的特征融合可进一步提升模型的分类、预测能力。另外，特征在GCN分类、预测模型中起着关键作用。基于CNN的脑区影像特征提取和GCN相结合可以大大扩展GCN的特征表达能力，而基于非影像特征构建群体网络也需要给予一定的关注。GCN在多领域的应用研究产生了许多结构更复杂、设计更加巧妙的变体模型，这些在其他领域性能优异的GCN模型通过一定程度地修改，在未来也有可能运用于脑网络的研究中。总而言之，该领域仍处在高速发展阶段并存在不少未知的问题，但预计未来GCN在脑网络研究中会具有更光明的前景。