个性化动态集成的阿尔茨海默症辅助诊断模型

梁浩霖，潘 丹，2，曾 安，杨宝瑶，Xiaowei Song

1.广东工业大学计算机学院，广州 510006

2.广东技术师范大学电子与信息学院，广州 510540

3.素里纪念医院临床研究中心，不列颠哥伦比亚省 V3V 1Z2

阿尔茨海默症（Alzheimer’s disease，AD）是一种伴随年龄增长过程中的常见病。临床上AD 多以全面性痴呆为特征，具体表现为记忆障碍、语言功能缺失、认知障碍等。据《中国阿尔茨海默病报告2021》[1]显示，我国60 岁以上老年人的AD 和MCⅠc 患病率分别为3.7%和15.5%。此外根据《2021 世界阿尔茨海默症报告》[2]显示，预计到2023年，全球AD患者人数将从5 500万增加到7 800 万。由于AD 成因复杂，目前尚无成熟的医治方案，需要更多的AD相关研究促进该领域的发展。

在研究AD的早期阶段，研究人员使用生物跟踪方法对AD进行研究。随着人工智能领域的快速发展，越来越多的研究者开始研究基于机器学习算法来辅助AD的诊断。然而，传统机器学习算法通常针对的是结构化数据，而对于核磁共振影像（magnetic resonance imaging，MRⅠ）这类非结构化的数据，模型性能表现欠佳（如Salvatore 等人[3]）。近期基于深度学习的方法提升了分类准确率，尤其集成方法表现更好。集成模型整体分为两个阶段：模型的第一阶段训练基分类器，并根据基分类器的表现进行挑选和集成；集成后的结果输入到第二阶段模型中进行特征融合和学习。这种集成方法在模型训练的第一阶段固定了挑选策略，使得所有样本共享同一集成策略，忽略了样本间的差异性。针对上述问题，其中一种解决方案是将模型的特征选择和特征融合两个阶段串联起来统一训练，但由于这种解决方案只会挑选部分基分类器的结果进行融合，会使未被挑选的基分类器的无法获得优化梯度而不能在端到端的框架下优化。

为了能够使模型根据样本的特异性制定特定的集成策略，本文提出了一个个性化动态集成卷积神经网络（personalized dynamically ensemble convolution neural network，PDECNN）。该模型针对输入样本各脑区退化程度给出个性化的集成策略，使模型关注到样本间的差异情况，从而提升模型分类准确率。具体而言，首先为每个脑区设计一个脑块注意力卷积神经网络（patch attention convolution neural network，p-ACNN）以自动学习各样本的个性化关注度参数，并根据此参数来评估该脑区的退化程度。此外，该参数作为集成学习的挑选依据，可以使模型自适应挑选p-ACNN的输出结果并进行集成。由于个性化关注度参数与输入样本相关，可以根据不同的输入样本给出不同的集成策略，从而使模型适应不同样本的脑区退化情况。通过重新设计损失函数，保证反向传播过程中每个p-ACNN都能获得优化梯度，解决未被挑选的p-ACNN无法获得优化梯度而不能在端到端的框架下优化问题。

1 相关工作

AD 的研究主要有生物跟踪方法、传统的机器学习方法以及深度学习方法。其中生物跟踪方法是一类使用可跟踪的生物标记物，来监测AD的病理过程的方法，主要包括基因生物标记物（genetic AD biomarkers）[4]、生物化学标志物（biochemical AD biomarkers）[5]以及神经影像生物标记物（neuroimaging AD biomarkers）[6-7]等。但这些方法都是侵入式的，在临床诊断中存在一定的局限性。而传统机器学习方法使用特征提取与分类模型结合的方式进行AD识别。具体地，Salvatore等人[3]提出使用主成分分析（principal components analysis，PCA）进行特征选择，并利用支持向量机（support vector machine，SVM）对MRⅠ进行分类，预测样本是否为AD患者。Battineni 等人[8]分别训练朴素贝叶斯模型（naive Bayes，NB）、人工神经网络（artificial neural network，ANN）、k最近邻模型（k-nearest neighbor，KNN）、SVM模型，最后将四个模型的结果进行集成，从而得到分类结果。

另一方面，近年来由于卷积神经网络在医疗影像分析领域取得突破进展[9-10]，基于深度卷积神经网络的方法逐渐成为AD 分类的主流方法。Pan 等人[11]提出了一种基于MRⅠ切片方法，通过获得多个二维切片，并对多个二维卷积神经网络模型进行集成训练，有效利用关键退化脑区对AD进行分类。Lian等人[12]将MRⅠ分成若干个小块，分别训练基分类器。将选定的高分块输出集成在一起以预测分类结果。Kang等人[13]先对MRⅠ的冠状轴切片训练二维的基分类器，再挑选表现较好的切片输入到由生成对抗网络（generative adversarial networks，GAN）、VGG16 和ResNet50 组成的集成模型中进行训练，得到分类结果。这些方法都是先对MRⅠ进行切分并训练对应的基分类器，再根据训练结果确定集成策略。所有样本根据同一集成策略挑选基分类器进行结果融合，最后得到预测结果。然而，由于上述集成模型的挑选策略在获得样本预测结果前被固定，无法实现基分类器结果的动态集成，导致集成模型的性能无法进一步提升。

2 个性化动态集成卷积神经网（PDECNN）

PDECNN 的整体结构如图1 所示。模型由退化评估模块和动态集成模块组成。输入样本经过特征提取和切分后，提取的脑区特征图和全脑特征图会被输入到退化评估模块，得到各脑区特征向量vi和全脑特征向量vg，同时该模块中的注意力机制层将用于得到各脑区的退化程度{αi}i=1,2,…,N（作为确定脑区退化差异的选择依据）以及全脑的退化程度αg。退化程度{αi}i=1,2,…,N和αg以及特征向量{vi}i=1,2,…,N和vg将输入到动态集成模块进行集成网络训练。动态集成模块将根据各脑区的退化程度{αi}i=1,2,…,N给出动态集成策略，以挑选样本个性化的脑区特征{vi}i=1,2,…,N进行集成，得到全脑预测结果。退化程度评估模块与动态集成模块将通过损失函数联合训练。同时，持续优化各脑区的退化程度{αi}i=1,2,…,N，并使得集成策略可以动态调整。

2.1 退化程度评估模块

退化评估模块由脑区退化评估和全脑退化评估组成。输入的MRⅠ表示为x∈ℝH,W,D,H、W、D分别表示MRⅠ的高、宽、深。使用特征提取网络(CNN(·))提取全脑特征图xGFM=CNN(x)。根据Fan 等人[14]提出的人类大脑图谱，将全脑特征图按脑区位置切分成N个脑区特征图{xpatcℎi}i=1,2,…,N，进行脑区退化程度评估。同时对全脑特征图进行全脑退化程度评估。脑区退化程度评估与全脑退化程度评估介绍如下。

2.1.1 脑区退化程度评估

脑区退化程度评估包含N个p-ACNN。每个脑区特征图xpatcℎi都被送入第i个的p-ACNN，获取对应的脑区特征向量vi和脑区退化程度αi。其中p-ACNN由特征提取网络(CNNi(·))、attention-net(Atti(·))与全连接层(FCi(·))拼接组成。p-ACNN中的特征提取网络由两个三维卷积核和一个三维最大池化层组成。三维卷积核的大小为3，步长（stride）和填充（padding）为1。三维最大池化层大小为2。attention-net 由一个三维卷积核以及全连接层组成。attention-net 的全连接层最后的激活函数为sigmoid函数，使由attention-net输出的脑区退化程度αi的输出范围在0 到1 之间。脑区退化程度αi在训练过程中不断被优化，αi越大说明该脑区退化程度越高。P-ACNN 的全连接层的长度为64。脑区特征向量vi和脑区退化程度αi可表示为：

2.1.2 全脑退化程度评估

全脑退化程度评估由一个全脑注意力神经卷积网络（global attention convolution neural network，g-ACNN）完成。g-ACNN 的结构与p-ACNN 的结构大致相同，但由于全脑特征图比脑区特征图尺寸更大，g-ACNN的全连接层长度为512。由于全脑特征图保留了全脑信息，所以全脑特征向量能保留脑区特征向量中丢失的全局信息。全脑的退化程度αg以及g-ACNN输出的全脑特征向量vg可表示为：

其中，CNNg(·)、FCg(·)以及Attg(·)分别表示g-ACNN中特征提取网络、全连接层以及Attention-Net。

2.2 动态集成模块

动态集成策略根据输入样本各脑区的退化程度{αi}i=1,2,…,N，挑选退化较严重脑区的特征向量S={vi|topk}i=1,2,…,N和全脑特征向量vg进行拼接表示为vc=concat(vg,S)。拼接后的特征向量将被输入全连接层(FC(·))，得到模型预测结果：

在上述动态集成策略中，由于部分脑区特征(vi∉S)未被选中，导致对应的p-ACNN网络参数的优化梯度无法获取而不能继续训练。为解决该问题，受Lian等人[12]提出的复合损失函数启发，重新设计损失函数。将每一个特征向量输入到全连接层中，对AD分类结果进行预测，分类结果表示为ŷi。然后把{ŷi}i=1,2,…,N与模型最终的预测结果ŷ相结合，计算模型整体损失，使得在反向传播过程中未被选中脑区的p-ACNN 网络都能获得优化梯度。在训练过程中，所有脑区的退化程度{αi}i=1,2,…,N与全脑退化程度αg都能持续优化并适用于不同个体，从而达到动态集成的目的。PDECNN模型中可学习的参数表示为W，模型使用的损失函数表示为：

其中，C表示类别数，yc表示样本对于类别c的标签，ŷic表示第i个p-ACNN对于类别c的预测得分，ŷc表示PDECNN对于类别c的预测得分，N表示脑区数量，亦即PDECNN中p-ACNN的数量。

3 实验

3.1 数据集

本文实验使用的MRⅠ来自阿尔茨海默症神经影像学倡议[15]（Alzheimer’s disease neuroimaging initiative，ADNⅠ）数据库。该数据库致力于推动AD 的研究进展。根据Liu等人[16]、Silveira等人[17]和Roberts[18]等人的描述，本文将样本分为四类：阿尔茨海默症（Alzheimer’s disease，AD）、会向AD 转变的轻度认知障碍（mild cognitive impairment who will convert to AD，MCⅠc）、不会向AD 转变的轻度认知障碍（mild cognitive impairment who will not convert to AD，MCⅠnc），以及正常认知（healthy cognition，HC）。

ADNⅠ数据库中的787 个结构影像（structure MRⅠ，sMRⅠ）被用作训练集和测试集。影像的采集过程使用的场强为1.5 特斯拉（Tesla，T）。数据集的详细情况如表1 所示。具体地，表1 展示了数据集中各类别的样本数、性别、年龄、体重、简易精神状况检查（mini mental state examination，MMSE）[19]、临床痴呆评定（clinical dementia rating，CDR）[20]、总体衰退量表（global deterioration scale，GDS）[21]的情况。

表1 数据集中的受试者的详细信息Table 1 Details of subjects included in studied dataset

3.2 数据预处理

数据预处理过程如图2 所示。所有的预处理过程都是通过CAT12软件包（https：//neuro-jena.github.io/cat/）完成。首先通过矫正和去除头骨如图2（b）来去除MRⅠ非脑组织结构并校正到蒙特利尔（montreal neurological institute，MNⅠ）标准空间（使用软件包中提供的MNⅠ模板）。然后使用2×2×2大小的平滑核进行高斯平滑处理如图2（c），以消除MRⅠ采样过程中的噪声对MRⅠ图像质量的影响。最后进行灰度值归一化处理如图2（d），减少不同样本的MRⅠ灰度信息差异性。本文最后采用经预处理后的MRⅠ体数据。

图2 MRⅠ预处理过程Fig.2 MRⅠpreprocessing

3.3 实验设置

实验进行5折交叉验证实验。在每一次实验中，选取MRⅠ数据集中其中一折作为测试数据集，其余四折作为训练数据集。每次实验的测试集相互独立。记录五次实验预测平均值与方差作为最终结果。

本文评估模型性能的分类性能指标包括：准确率（accuracy，ACC）、ROC 曲线下面积（area under curve，AUC）、F1 值（F1-score）、马修斯相关系数（Matthews correlation coefficient，MCC）。相关的计算公式如下：

式中，TP 表示样本为正例样本且被预测为正例的样本数，FP 表示样本为负例且被预测为正例的样本数，FN表示样本为正例且被预测为负例的样本数，TN 表示样本为负例且被预测为负例的样本数。P(·)表示事件发生的概率。

3.4 实验结果

3.4.1 分类实验结果

将PDECNN 的预测结果与当前主流的AD 分类模型结果进行比较。对比方法包括Salvatore[3]的PCA+SVM方法、由Hu[22]等人的SENET 方法改进而来3D-SENET方法、Lian[12]的wH-FCN方法和Li等人[23]的Trans-ResNet方法。实验结果如表2 所示。在AD vs.HC、MCⅠc vs.HC、MCⅠnc vs.MCⅠnc 三组实验中，本文方法性能都优于其他方法。模型的ACC 分别取得大约4%、11%以及8%的提升，AUC 分别取得大约7%、3%以及21%的提升。值得注意的是，表2 中PCA+SVM[3]、wH-FCN[12]和Trans-ResNet[23]的准确率相较原文有所下降，这是由于PCA+SVM[3]、wH-FCN[12]和Trans-ResNet[23]使用的数据集不一致导致。

表2 分类实验结果对比Table 2 Comparison of classification experimental results

3.4.2 消融实验

为了验证g-ACNN和动态集成策略的有效性，设计如下消融实验：（1）屏蔽模型中的g-ACNN，在vc中去除全脑特征向量vg，进行AD分类实验。（2）屏蔽动态集成策略，所有脑区特征向量{vi}i=1,2,…,N和全脑特征向量vg都输入到最后的全连接层中，获取AD分类结果。（3）屏蔽模型中的g-ACNN和动态集成策略，vc由脑区特征向量{vi}i=1,2,…,N组成并输入到全连接层中，作为基线实验。消融实验的结果如表3所示。在AD vs. HC实验组中，对比基线实验，单独添加g-ACNN 后模型准确率（ACC）上升8%，单独添加动态集成后模型准确率（ACC）表现上升7%，PDECNN（无屏蔽模块）准确率（ACC）上升14%。在另外两个实验组（MCⅠc vs. HC、MCⅠc vs. MCⅠnc）中，消融实验亦可发现相似的模型准确率（ACC）上升趋势。消融实验结果表明，PDECNN准确率和泛化能力的提升，得益于全局信息的保留和动态集成策略。g-ACNN 为模型最后的全连接层提供重要的全局特征信息。有效解决以往AD 分类模型（如Pan[11]和Lian[12]）忽略全局信息的问题。动态集成策略可以根据输入样本有针对性地挑选退化程度更高的脑区，充分适应样本间的差异性，使得模型的准确率提升。

表3 消融实验结果Table 3 Results of ablation experiments

3.4.3 行为域实验

为了证明模型挑选脑区的有效性，本文将AD的临床表现和退化脑区的行为域（behavioral domains）得分进行比对。将模型在ADNⅠ测试数据集中发现的所有退化脑区记录下来，并根据Brainnetome Atlas官网[14]的各脑区行为域得分，统计PDECNN 模型找到的退化脑区在各行为域上的得分。图3 各子图分别展示在AD vs.HC、MCⅠc vs.HC、MCⅠc vs.MCⅠnc 实验组中的行为域得分结果，其中纵坐标表示各行为域，横坐标表示该行为域上的得分。实验发现这些退化脑区主要和语言、情感、记忆以及认知有关。这些行为域都与AD患者的临床表现如记忆障碍、语言功能缺失、认知障碍等基本一致，这进一步证实了PDECNN模型挑选脑区的有效性。

图3 行为阈值实验结果Fig.3 Results of behavior domain experiments

3.4.4 退化脑区频次实验

为了探究AD 的病因，本文统计ADNⅠ测试数据集中所有样本退化脑区的出现频次，频次越高表明该脑区的退化与AD 的病发相关性越高。表4 中展示了在AD vs.HC、MCⅠc vs. HC和MCⅠc vs. MCⅠnc实验组中退化频次较高的脑区。实验结果发现左侧背外侧区（L.A37dl，37）在AD vs. HC和MCⅠc vs.HC实验中有较高的出现频次，而左侧喙腹区域40（L.A40rv，145）在MCⅠc vs.HC 和MCⅠc vs. MCⅠnc 实验组中有较高的出现频次。这两个脑区分别与语言和感知功能相关，可能是导致AD语言功能缺失和感知障碍这些临床表现的主要原因。

表4 退化脑区出现频次Table 4 Occurrence frequency of degenerate brain regions

4 讨论

4.1 模型便捷性

PDECNN 模型的训练过程不需要手动挑选退化脑区，模型可以在端对端框架下完成特征挑选和融合操作，便于医生或缺乏深度学习相关背景知识的人使用。对比Pan[11]和Lian[12]等将特征学习与特征挑选和融合分为两个阶段的方法，本文提出的PDECNN模型更具便捷性。

4.2 样本脑区退化差异性

p-ACNN 可根据不同输入样本给出不一样集成策略，有助于挖掘患者个性化的退化脑区。图4（使用Brainnetome Atlas Viewer 制作，其官网为https：//www.nitrc.org/projects/bn_atlas）展示4 个测试样本中，5 个退化最严重的脑区。图中不同退化程度的脑区使用不同颜色标注。从图中可以观察到，样本A、B、C、D 退化最严重的五个脑区具有差异性。样本A 退化最严重的脑区为左侧区域11（R.A11l，46），行为域主要与味觉相关。而样本B 和C 退化最严重的脑区为左侧喙部区域35/36（A35/36r，109），行为域主要与记忆相关。样本D退化最严重的脑区为左侧区域31（L.A31，153），行为域主要与语言相关。上述发现表明，在临床表现中，不同患者可能是由于不同脑区的退化而患有AD。该模型发现的患者间脑区退化的差异性，对AD的病理研究和临床分析具有更大的科学价值。

图4 不同样本脑区退化程度差异Fig.4 Differences in degree of degeneration of brain regions in different samples

4.3 样本脑区整体退化规律

在退化脑区出现频次实验中，本文发现AD常见的退化脑区。如表4 所示，本文找到的大部分退化脑区（如左腹侧极端区域37（L.A37elv，91）、右侧喙部区域35/36（R.A35/36r，110）、左侧喙部海马（L.rHipp，215）等）与近期AD诊断的相关工作（如Pan[11]等人）的结果一致。另一方面，实验还发现部分新的退化脑区，如左侧尾部后颞上沟脑区（L.cpSTS，123）、左侧喙后颞上沟（L.rpSTS，121）等。L.cpSTS 和L.rpSTS 脑区位置如图5 所示。L.cpSTS 和L.rpSTS 脑区主要负责语言功能，这两个脑区的退化与AD 患者语言功能受损的临床表现高度一致。

图5 部分新发现的大脑区域的位置示意图Fig.5 Ⅰllustration of location of partial newly discovered brain regions

5 结论

本文提出了一种基于个性化动态集成策略的卷积神经网络（PDECNN）用于AD 分类辅助诊断。通过融合局部与全局的MRⅠ信息，模型在AD分类上性能得到提升。该模型能适应样本脑区退化的差异性，使模型根据不同样本动态调整关注的退化脑区。由于PDECNN模型可以根据输入样本找到样本特有的退化脑区，在临床问题中该模型具有辅助诊断意义。通过统计退化脑区出现的频次，该模型还可以关注到AD患者的脑区退化规律，并发现AD 患者语言功能退化的相关脑区，对AD病因溯源有参考意义。