基于多模态影像特征的AD诊断研究

张 格，林 岚，康文杰，吴水才

（北京工业大学环境与生命学部生物医学工程系，智能化生理测量与临床转化北京市国际科研合作基地，北京 100124）

0 引言

阿尔茨海默病（Alzheimer's disease，AD）是一种神经退行性疾病，表现为记忆力逐渐丧失和认知功能障碍，是最常见的痴呆症。预计到21世纪中叶，全球将有1.07亿人罹患该病[1-2]。与正常受试者（normal control，NC）相比，AD患者的全脑体积萎缩，灰质、白质减少以及脑区间连接性紊乱等症状更为严重[3]。该病起病较为隐匿，早期症状不明显，约有50%的患者未被及时检出[4]。到目前为止，AD患者还没有治愈的可能。然而，若能在患病早期及时检出并积极干预，可以有效延缓该疾病的发展进程。由于老年人的认知退化进程和其临床表现存在差异[5]，单凭认知量表来评判AD病情并不准确。

MRI以其无创性、高空间分辨力和良好的组织对比度等优点，被广泛用于AD的相关研究中。其中，结构MRI（structural MRI，sMRI）由于能够实现高分辨力结构成像，被大多数研究者所采用，并迅速成为该研究领域最流行的影像模态之一。多项基于sMRI的研究发现，AD患者的海马体、扣带回、顶叶等区域的灰质体积减少，部分脑区出现明显萎缩[6-7]，基于受试者的sMRI数据可获得海马体、颞叶等脑区的皮层厚度、纹理等特征，将这类特征输入传统机器学习模型中可得到不错的分类性能[8-9]。随着神经网络技术的快速发展，基于sMRI数据构建的二维、三维卷积神经网络（convolutional neural networks，CNN）在AD研究领域已得到广泛应用，并取得了较好效果[10-13]。本课题组前期基于阿尔茨海默病神经影像学计划（Alzheimer's Disease Neuroimaging Initiative，ADNI）数据库中400余例sMRI数据，采用迁移学习和多切片集成方法获得了较好的分类性能，AD/NC分类准确率达90.4%[14]。虽然基于sMRI的AD诊断模型性能相对优异，但是多模态融合模型在分类性能方面还有一定的提升空间。多模态的影像数据可从不同时空角度对大脑信息进行描述[15-16]。例如，sMRI是从脑灰质角度揭示AD结构变化，而弥散张量成像（diffusion tensor imaging，DTI）是描述大脑中的白质变化，可从不同角度揭示AD疾病进程中的差异。因此，单个模态影像数据学习的特征之间存在一定互补性，利用多模态神经影像进行AD诊断研究可以进一步提高模型性能。

已有的神经病理学研究证实了脑白质病变是影响AD发展的一个重要因素[17]，也有研究表明白质微结构的改变与大量Tau蛋白存在轴突变性密切相关，这同样支持着白质微结构的改变在AD发病机制中起重要作用的论点[18]。DTI可反映白质微结构的变化，在AD分类研究中逐渐引起研究者的注意，被认为是具有较大研究潜力的影像模态。基于DTI构建的脑连接网络可反映出大脑复杂的网络特性，是研究人体大脑白质网络连接规律、信号交换和脑区间相互作用的数据基础[19-20]。图论方法以图网络为研究对象，可探究图网络的拓扑结构特性。但是，图论方法提取的脑白质网络特征是人工筛选的初级网络特征，特征表征性一般，因此采用深度学习方法自动提取脑网络特征具有重要意义。图卷积神经网络（graph convolutional neural networks，GCN）算法是图论分析工具与CNN算法的综合体，可以处理数据结构不规则的脑白质网络，同时也保留了CNN权值共享、局部连接等优势，适合与基于sMRI的深度学习模型结合并进行多模态研究。

本研究基于ADNI数据库中的多模态影像数据，在二维CNN提取的T1加权成像（T1weight image，T1WI）的影像特征基础上，再利用GCN提取DTI影像数据中的脑连接网络特征，经过多模态特征融合后实现AD/NC的分类。

1 资料与方法

1.1 研究对象及数据获取

本研究受试对象是81例年龄分布在56～80岁的老年人，他们都来自于ADNI数据库中ADNI-GO和ADNI-2阶段。受试者根据认知评分可分为AD、NC 2类人群，他们都是相应阶段的基线数据。每个受试者的影像数据均包含T1WI和DTI 2个模态。受试者均无抑郁等精神疾病。受试者的特征信息见表1。

表1 受试者的特征信息

1.2 数据预处理

T1WI数据预处理是基于MATLAB 2017b中的SPM12软件包[21]实现的。图像预处理包括数据标准化，白质、灰质、脑脊液的分割，灰质密度图的标准化与平滑。其中，在生成灰质密度图后采用了2×2×2的高斯平滑核进行灰质密度图的平滑。

DTI构建结构脑连接网络是由PANDA软件[22]实现的。PANDA是同时集合了MRIcron、Diffusion Toolkit、FSL等开发软件的自动化处理DTI数据的流程化软件包。采用自动解剖标记（anatomical automatic labeling，AAL）模板定义脑网络节点，由确定性纤维追踪算法确定脑网络的边，最终得到纤维数量（fiber number，FN）、纤维长度（fiber length，FL）、各向异性分数（fractional anisotropy，FA）3种不同类型的结构脑连接网络，分别从白质纤维束的FN、FL和FA描述脑白质结构。为了防止追踪算法造成的伪连接干扰，以FN=3为阈值对FN结构脑连接网络进行预处理[23]，PANDA具体实现流程可参见文献[24]。采用脑网络分析软件GRETNA[25]计算脑网络特征。

1.3 基于CNN的结构特征提取

基于CNN网络提取T1WI结构特征的方法[14]主要包括切片选择和切片特征集成2个部分。经SPM预处理后，T1WI数据大小统一为121×145×121，沿冠状面切割成145张大小为121×121的二维脑切片。随后利用VGG16网络对145张切片进行单独训练，最终确定了分类排名前11的切片。切片特征集成基于深度卷积对抗生成网络（deep convolutional generative adversarial networks，DCGAN）模型完成：首先，利用145张受试者全脑切片训练DCGAN[26]；然后利用迁移学习方法将训练好的DCGAN判别器迁移到单张切片预测训练中，每个受试者根据11张切片的训练模型可得到11个预测标签；最后利用投票法对结果进行集成可获得受试者的最终预测标签。

1.4 基于频域GCN的DTI特征提取

GCN是CNN在非规则域运算的推广，可从不规则脑网络图中提取关键隐藏特征[27]。引入卷积算子，并利用傅里叶变换将信号和卷积算子映射到频域中，运用乘积运算即可实现不规则图上的卷积运算。对称归一化形式图的拉普拉斯矩阵为

式中，L为图的拉普拉斯矩阵；IN为单位矩阵；D为图中节点的度矩阵；A为反映节点间关系的邻接矩阵；Λ为拉普拉斯矩阵的特征值构成的特征向量；U为拉普拉斯矩阵L的特征向量。图的拉普拉斯矩阵的特征向量可将信号和滤波器转到频域中，由此图上的信号与滤波器卷积运算可表示为

式中，f为输入时域信号；g为滤波器；gθ为可学习参数的滤波器；⊗为卷积运算符；⊙为哈达玛乘法运算符。由此可定义谱卷积神经网络（Spectral CNN），其中第n层结构可表示为

式中，X（n+1）j为n+1层中j个输入特征向量；h为激活函数；p和q分别是输入、输出的特征维数；为滤波器∈Rn，代表图中节点在第n层的第i个输入特征向量，R为所有输入特征的集合。但Spectral CNN计算较复杂，并且未实现局部卷积的效果。随后Defferrard等[28]提出ChebNet，该网络使用切比雪夫多项式近似拟合滤波器，并定义参数K控制滤波器的学习范围，大大降低了网络计算的复杂度并实现了卷积的局部性，该网络可使用公式（4）、（5）表示：

式中，θk为切比雪夫多项式参数；Tk（）为切比雪夫多项式；Tk（）=U Tk（）UT。Kipf等[29]进一步将滤波器学习范围减小到1，利用近似简化的方法实现层式传播，GCN可表示为

式中，H（l+1）为l+1层的输入节点特征；f（·）为激活函数；H（l）为l层的输入节点特征，且H（0）=f；W（l）为第l个滤波器的参数矩阵。随着GCN的不断发展，其已经在多个领域得到应用，也产生了结构复杂、设计更巧妙的新模型。

对应于AAL模板得到的结构脑连接网络，GCN的节点数为90。GCN的输入包含2个部分，分别是邻接矩阵A和节点特征矩阵X。由PANDA计算出的FN矩阵是各个脑区间白质纤维束的连接数量，反映了脑区间的连接程度。本研究将预处理后的FN矩阵同时作为受试者的邻接矩阵和节点特征矩阵，利用GCN算法提取不规则脑网络间的连接特征，探究AD与NC受试者的脑网络连接差异。模型共包含2个卷积层、1个全局平均池化层和2个全连接层：2个卷积层的输出特征维度分别为64和32，每个卷积层后都添加线性整流（rectified linear unit，ReLU）激活函数。由于这项研究是图分类，需要在最后1个卷积层后利用全局平均池化操作将整个图的特征压缩成一维特征向量。2个全连接层的输出特征维数分别为32和2，GCN模型架构如图1所示。

1.5 多模态融合

类别提升（categorical boosting，CatBoost）[30]算法是一种基于对称决策树为基学习器的机器学习算法，该集成算法可较好地处理各种类别特征，与极限梯度提升（extreme gradient boosting，XGBoost）算法、轻量级梯度提升机（light gradient boosting machine，LightGBM）算法并称为梯度下降树（gradient boosting decision tree，GBDT）的三大主流神器。CatBoost算法与其他集成算法相比具有以下优势：（1）性能优异：CatBoost算法在性能方面可与其他所有机器学习算法相匹敌。（2）鲁棒性强：该算法减少了超参数的调优，降低了过拟合概率，使得模型具有更好的通用性。（3）实用性强：该算法不仅可以处理类别型数据，还可以处理数值型的特征。（4）可扩展性：该算法除了自带的损失函数，还可以自定义损失函数。

本研究首先分别采用GCN和CNN模型提取DTI脑白质网络拓扑特征和T1WI结构影像特征，然后导出GCN模型中第一个全连接层和CNN模型最后一个全连接层的输出特征，最后基于CatBoost集成算法根据DTI和T1WI 2种模态的融合特征可得到受试者的预测标签。多模态融合模型如图2所示。

图2 多模态融合模型

1.6 评价指标

为了全面描述实验结果，本研究选取了准确率（ACC）、精确率（PRE）、召回率（REC）、F1分数作为模型结果的评价指标，其计算公式如下：

式中，TP是正确检测出的AD样本；TN是正确检测为NC的样本；FP是NC受试者错误划分为AD；FN是AD受试者错误划分为NC。

2 结果

2.1 实验参数设置

为了排除实验结果的随机性，将受试者随机打乱10次并按照6∶4的比例划分训练集和测试集。CNN采用Adam优化器，学习率为1×10-5，当模型验证集的准确率在30个回合（epoch）不再上升时就停止训练。GCN模型同样采用Adam优化器，学习率为1×10-5，权重衰减为5×10-4，损失函数为交叉熵，epoch为7 000个。CatBoost算法使用默认参数进行训练。以上模型构建及训练均在Windows系统下的Pytorch学习框架，基于NVIDA Geforce GTX 1050 Ti下执行。

2.2 GCN模型训练

为了探究GCN在不规则脑网络中的特征提取能力，将基于图论提取的人工特征（脑网络局部特征，根据先验知识提取网络的节点度、节点强度、节点局部效率、度中心性、节点效率、聚类系数这6个局部特征）与分类结合，与GCN模型进行对比实验。每例受试者共有540维脑区特征输入SVM模型中进行训练，该过程通过LIBSVM工具箱[31]实现。基于受试者DTI数据的AD/NC分类结果见表2，该结果是10次随机划分数据的平均值。由表2可以看出，GCN模型明显优于SVM模型，仅使用2个卷积层便可以学习到脑网络中更复杂的特征表达。

表2 基于DTI数据的AD/NC分类结果

2.3 多模态融合

基于T1WI单模态和DTI、T1WI多模态影像数据的AD/NC分类性能比较见表3。由表3中可以看出，多模态融合相比单一模态影像数据可获得更加优异的分类性能。

表3 单/多模态的AD/NC分类结果

3 讨论

3.1 深度学习在高级脑网络特征提取中的优势

AD患者的大脑伴随着大量神经元的丢失，这在一定程度上可理解为脑白质和脑灰质的退化[32]。患者脑区之间的白质连接通路受损，脑白质网络出现异常拓扑变化，通过特征选择或数据挖掘的方法捕捉脑白质网络的拓扑异常可获得较好的分类性能。传统的机器学习方法通常需要根据先验知识手工提取脑网络特征，在本研究中，选取了脑连接网络的6个重要局部特征，分别从不同角度描述了大脑各个脑区间的联系和交互作用。节点度和节点强度分别从二值和加权脑网络直观描述脑区的相互连接统计，度越大，脑区间的连接就越多，说明脑区在整个脑网络中的地位越重要；节点局部效率是评判脑网络局部信息传输能力的重要参数，也在一定程度上反映了脑网络防御随机攻击的能力；度中心性和节点效率分别从度和效率2个角度度量脑区在脑网络中的重要性；聚类系数可衡量脑网络的集团化程度，表示脑区的邻居之间互为邻居的可能性。深度学习模型是端到端的学习，不再需要手工设计特征[33]，并且可以自主设计损失函数并不断优化学习规则，通过多个卷积核尽可能地学习目标域复杂、高级的特征。在基于DTI影像数据构建的结构脑连接网络特征学习中，深度学习模型提取的脑白质网络特征明显优于人工选择的脑网络特征，因此深度学习算法可在脑网络中提取更具有表征性的脑连接网络分类特征。

3.2 AD多模态特征的互补性

大量组织病理学和影像学研究证实了AD患者的颞叶、额叶和枕叶皮层相比其他脑皮层有更严重的灰质萎缩。在疾病早期阶段就已经存在海马体异常加速萎缩情况，这些灰质结构的改变与患者的病症表现基本一致，从脑灰质角度进行AD研究是研究者们的首选之一[34-36]。但在后续研究中发现，在AD临床早期阶段，通过DTI数据监测到白质纤维扩散率的改变与疾病严重程度相关[37]，白质纤维异常和脑脊液生物标志物异常也存在联系[38-39]。另外，在一项家族性携带AD基因的群体研究中发现，认知正常的个体中也出现了脑白质扩散率的改变，这表明白质纤维退化可能存在于AD的海马体萎缩等症状之前[40]。除灰质外，脑白质病变也参与到整个疾病的发展中。虽然二者在AD早期阶段表现出相似的退化模式，但在整个疾病发展中脑白质病变仍然保持一定的独立性，因此它们所表达的结构信息存在互补关系[41]。DTI数据是当前唯一一种能较好观察和追踪脑白质纤维束的无创检查技术，由DTI构建的脑白质连接网络可通过脑区纤维连接特性识别白质纤维变化趋势和脑白质损伤程度[42-44]。T1WI数据通过高分辨力成像反映脑灰质萎缩程度，DTI则通过构建的白质连接网络反映白质微结构变化，2种不同模态的脑结构数据分别从灰质和白质角度提供互补型的多模态脑结构信息。本研究中，在CNN模型提取的T1WI灰质特征基础上，加入GCN模型提取的DTI白质连接网络特征后获得了更好的AD/NC分类性能，证明了T1WI和DTI多模态特征在AD研究中的互补性。

4 结语

本研究采用多模态特征融合的方法，基于ADNI数据库中81例老年人的多模态数据实现AD/NC分类。首先，以CNN模型提取的T1WI全脑灰质密度图特征为基础，将GCN模型提取的DTI结构脑连接网络特征和基础特征融合，然后基于CatBoost集成算法实现AD/NC分类，最终得到多模态融合特征，准确率为85.3%，优于单一模态特征的分类性能。当然，深度学习的模型性能与数据量高度相关。本研究目前仅采用81例受试者进行研究，一定程度上影响模型表现。基于T1WI影像的模型在较大数据集（约400）中，分类准确率为90.4%，多模态影像特征的分类模型在性能提升方面还具有较大空间。在后续研究中，需要获取更大规模的多模态数据进行研究。