基于双线性卷积神经网络模型的阿尔茨海默病自动诊断*

曾雷雷， 杨帆， 雷平贵， 缪月红， 谢弘， 叶远浓

(1.贵州医科大学 大健康学院， 贵州 贵阳 550025； 2.贵州医科大学 生物与工程学院， 贵州 贵阳 550025； 3.贵州医科大学附属医院 影像科， 贵州 贵阳 550004)

阿尔茨海默病(Alzheimer's disease，AD)是一种发病原因较难发现的进行性发展神经系统退行性疾病，临床上主要表现为记忆障碍同时伴随失语、视空间技能丧失或损坏、执行功能障碍以及人格改变等全面痴呆性行为，最终导致无法开展日常活动[1-2]。AD是导致老年痴呆最常见的疾病，据2015年国际老年痴呆协会发布的AD报告，预计至2050年，全球患者人数将从现在的4 600万增加到1.315亿，大量的痴呆患者将给社会卫生系统和患者家庭带来巨大的压力[3]。因此需要尽早诊断AD，以便在不能完全停止其病变的情况下减缓发病进程[4-5]。为了实现AD的准确和早期诊断，研究人员已经开发出许多神经成像技术，如磁共振成像(magnetic resonance imaging，MRI)和正电子发射断层扫描(positron emission on computed tomography，PET)用于放射科医生对AD进行诊断[6]。但是面对大量的AD患者，专业放射科医生数量却不多，从而导致人工诊断效率较低的问题；为了解决该问题，研究人员提出了基于深度学习和机器学习的方法对AD进行自动诊断以及制定适当的治疗策略[7-11]。目前，对AD自动诊断的机器学习方法主要为利用随机森林、支持向量机、boosting等机器学习算法对MRI图像进行分析以区别AD、轻度认知障碍(mild cognitive impairment，MCI)及正常认知(normal control，NC)受试者[12-14]。由于传统的机器学习方法需要人工预先勾选出大脑变化较为明显的区域，例如海马、杏仁核及颞叶等感兴趣区域(region of interset，ROI)后再通过机器学习方法对ROI区域进行特征分析并诊断，其弊端在于需要具有丰富临床经验的相关医生进行人工勾选ROI，耗时耗力且易出现经验错误，因此研究人员为解决该问题提出利用深度学习的方法实现AD的自动诊断[15]。近年来，针对使用深度学习方法分析MRI图像诊断患者是否患有AD的研究取得了一定的进展，大多采用卷积神经网络(convolutional neural network，CNN)对MRI图像进行分析，例如Hosseiniasl等[16]采用3 D CNN预测AD，该网络经过在对3 D卷积自编码器的预训练后，可以对未进行颅骨剥离和预处理的MRI图像数据进行预测，并且研究表明其准确率优于几种传统的方法；Spasov等[17]提出基于3 D可分离和分组的卷积模型用于预测MCI到AD的转换和AD、NC的分类；Ju等[18]采用深度学习的方法用于AD的早期分类、其针对性建立的自编码器网络能将正常衰老和MCI(AD的早期阶段)的预测精度提高31.21%；曾安等[15]基于MRI、PET两种模态数据提出了一种基于2 D CNN和循环CNN(recurrent neural network，RNN)的多模态融合分类模型用于AD的诊断。先前针对提高AD自动诊断精度的方法主要是通过3 D CNN网络对MRI图像进行分析、以及利用患者多模态数据融合的办法进行分析预测，存在对硬件要求高、训练成本高及数据预处理繁琐的问题。因此本研究为了改善此种情况，提出了基于双线性卷积神经网络(bilinear convolutional neural network，BRNV)的模型，该模型采用2 D Resnet18和2 D VGG16作为基础特征提取器，使用患者MRI模态数据进行特征提取分析数据，实现AD的自动诊断。

1 材料与方法

1.1 数据集与预处理

1.1.1数据集 数据集来自AD神经成像倡议(AD neuroimaging initiative，ADNI)数据库(www.loni.ucla.edu/ADNI)[19]，从该数据库中仅下载AD、MCI及NC组受试者T1权重的MRI数据，其中AD组受试者93人，男54人、女39人，年龄66～83岁、平均(74.59±7.82)岁；MCI组受试者76人，男34人、女42人，年龄68～80岁、平均(74.10±5.26)岁；NC组受试者100人，男55人、女45人，年龄72～82岁、平均(77.24±4.70)岁。

1.1.2预处理 从ADNI数据库下载269名受试者的MRI数据，每名受试者只有唯一的MRI数据。首先使用统计参数图谱(statistical parametric mapping，SPM)中的工具包CAT12对MRI进行头动矫正，对头动矫正后的MRI数据分别进行颅骨剥离、配准到Template_MNI152标准模板空间及图像平滑(平滑核大小为6 像素×6 像素×6 像素)等操作，除平滑核大小外其余均使用CAT12中的默认参数；经过上述处理后的图像大小均为121 像素×145 像素×121像素，空间分辨率为1.5 mm，3组受试者处理前后图像对比见图1。由于本研究的受试者数据是MRI数据，MRI数据是三维数据而本文模型输入是二维图像数据，因此需要对数据进行二维切片操作。然而在观察受试者二维切片数据时，发现部分切片中脑组织较少或者不包含脑组织区域，因此本研究只取受试者三维MRI数据中的冠状面21～125 mm、矢状面20～97 mm、横断面28～96 mm，间隔取出分别冠状面、矢状面及横断面各50、40及33张切片，最终取出来自3个观察面共123张切片作为1位完整受试者的数据，并对这123张图片进行灰度归一化，将所有图片尺度统一为224 像素×224 像素×3 像素的格式以便于输入网络进行训练。

1.1.3训练集、验证集及测试集 将所有完成预处理的受试者数据按照8 ∶2的比例将整个数据集划分为训练集和验证集。采用10次随机交叉实验的方法，每次实验从训练集与验证集中按8 ∶2比例重新随机选取训练集和验证集。由于本文涉及迁移学习，为了验证模型在测试集上的精度，选取ADNI中不同于以上已经选取的受试者数据150例作为测试集，AD、MCI及NC受试者各50例。将所选取的数据经过“1.1.2”项下方法处理后，最终分别提取出每1例受试者冠状面、矢状面及横断面2 D切片123张，因此AD组受试者人数以及受试者训练集、验证集及测试集2 D切片总数分别为143例、9 225张、2 214张及6 150张；MCI组受试者人数及受试者训练集、验证集、测试集2D切片总数分别为126例及7 503张、1 845张、6 150张；NC组受试者人数及受试者训练集、验证集、测试集2D切片总数分别为150例及9 840张、2 460张、6 150张。

1.2 研究方法

1.2.1BRNV模型 BRNV模型融合Resnet18及VGG16深度学习模型特点[20]，模型结构如图2所示。BRNV模型对经过预处理后的MRI图像均在同一局部位置利用两个基础特征提取器提取图像特征，在初期阶段两个特征提取器Resnet18和VGG16分别独立地进行特征提取，其中Resnet18和VGG16均是不包含全连接层的模型。特征提取后，Resnet18的输出向量维度为1×512，VGG16的输出向量维度为1×2 048，利用如上2个向量进行双线性变化，得到维度为256×2的输出向量，最后通过线性变换以及归一化指数函数(softmax)将前一步操作得到的特征向量转换为1×2的可用来预测类别概率的特征向量，进行类别分类预测。在整个模型中，网络使用交叉熵损失函数(cross entropy loss)作为模型的损失函数，用于评估模型的鲁棒性。

1.2.2实施 本研究设计的BRNV模型基于Pytorch 1.7.1平台开发，所采用的Resnet18和VGG16均加载官方提供的预训练参数作为初始参数权重，加快模型的收敛速度；为了弥补训练数据量过少，防止因数据量过少导致模型训练出现过拟合现象，本研究通过利用Pytorch中的Transforms函数对图像进行随机水平旋转、随机垂直旋转、随机噪声及随机仿射等操作，以对数据进行扩充；随后采用本研究中已选取并且进行二维切片后的受试者数据对模型进行训练，所有的实验都是在一块GTX 1080Ti上面完成的，图像处理器(graphic processing unit，GPU)显存为11 GB，其中模型训练的epoch为50，batchsize为40，学习率为0.001，衰减程度为每迭代10次后学习率除以10，均使用随机梯度下降(stochastic gradient descent，SGD)更新算法[21]。第1次完整的50个epoch训练后，将模型在测试集上进行准确率的排序，选择精确度最高的模型做为下一轮模型训练的预训练模型，更新整个模型的初始参数权重，并在该划分的数据集上再进行30次的实验，每次将前一次的训练模型作为下一轮模型训练的预训练权重参数并重头训练，最后经30次重复上述操作后，得到精度达到饱和的分类模型和最优的模型初始参数权重。

1.3 统计学分析

采用Python 3.7进行图表绘制及数据统计分析，以BRNV模型识别AD、MCI的效果绘制受试者工作特征曲线(receiver operating characteristic，ROC)，计算ROC曲线下面积(area under the curve，AUC)和准确率(accuracy，ACC)、敏感性(sensitivity)、特异性(specificity)等作为评估指标来评价分类模型的分类效果。

2 结果

2.1 模型训练

对比分析BRNV、Resnet18、VGG16对ADNI数据库中AD 和 NC、MCI 和 NC的训练准确率、损失曲线以及测试ROC曲线，显示BRNV模型较Resnet18、VGG16模型的准确率具有更高的指标。见图3。

2.2 模型测试结果与统计结果

AD和MCI分类模型评估指标对比，BRNV模型较Resnet18、VGG16模型分类效果更好；本研究和最新算法的ACC和AUC结果表明，本研究的2个指标均高于先前只利用MRI模态数据的算法。见图4和表1。

3 讨论

AD与NC、MCI与NC的自动诊断分类对于研发AD的计算机辅助诊断系统具有重要意义，AD、NC与MCI自动诊断算法的开发能够缓解因临床放射科医生数量不足而导致的AD诊断效率不高问题[23]。本研究结果显示，针对ADNI数据库中的AD受试者和NC受试者的诊断分类，BRNV模型准确率、AUC、特异性及敏感性分别达85.4%、91.3%、86.1%及84.2%；对MCI受试者和NC受试者的诊断分类，BRNV模型准确率、AUC、特异性及敏感性分别达73.3%、75.1%、72.0%及74.0%，提示BRNV模型在AD与NC、MCI与NC的诊断分类中取得了较好的分类精度。

表1 不同模型的ACC和AUC比较Tab.1 Comparison of ACC and AUC of different models

本研究通过分析、对比BRNV、Resnet18及VGG16分类模型训练过程曲线，结果显示在针对AD、NC的分类中Resnet18和VGG16虽然模型能够收敛、但准确率不高且极不稳定，整体模型效果不理想；在MCI、NC的分类中可以明显看出Resnet18和VGG16已经出现模型不能很好收敛的问题，且准确率无法随着训练次数的增加而上升；但在将VGG16与Resnet18融合进双线性网络组成的BRNV模型中，BRNV模型在AD、NC与MCI、NC训练过程中均能保持较高的准确率以及较低的损失值，并在测试集上利用AUC评估指标证明了BRNV模型的优越性。

针对AD自动诊断的医学分类问题，模型分类结果的敏感性和特异性同样是需要重点关注的指标，其中敏感性越高，代表漏诊的患者越少，特异性越高，代表正常人被误诊为患者的概率越小，因此在医学分类问题中，实验结果通常希望漏诊和误诊的患者越少越好[24]。本研究中BRNV模型在AD、NC与MCI、NC诊断分类中的敏感性和特异性能够有效地降低漏诊和误诊的人数，虽然ACC和AUC指标略低于文献[15]中利用MRI和PET数据的信息融合方法，但是BRNV模型的2个指标均高于先前只利用MRI数据的算法，并且分别提升1.0%、1.3%。

本研究主要采用Resnet18和VGG16作为研究模型BRNV的基础特征提取器，主要原因是Resnet18中的深度残差模块能够为模型带来更好的收敛效果，VGG16中均是3×3的卷积核的特点能够给较为精细的区域带来更优秀的特征提取能力[25-26]。但是从模型训练准确率曲线以及损失曲线可以看出单一的Resnet18和VGG16对于AD的诊断分类准确率不高且稳定性较差。以往通常使用将Resnet18和VGG16改进成3 D的训练网络或者使用MRI、PET多模态融合的方法，来达到提高准确率的目的，但是此种方法对硬件和数据的要求高，训练时间长。本研究提出的BRNV模型，融合将Resnet18和VGG16的优势，在不增加硬件和数据要求前提下，能够有效地提高AD的诊断分类准确率。此外，本研究结果显示前期2个基础特征提取器在大部分特征提取中存在相似的地方，这会部分地造成资源浪费，在今后的研究中，将进一步改进BRNV模型中的基础提取器部分，减少资源浪费问题，以期进一步提高分类准确率与分类速度。

综上所述，本研究采用的BRNV模型在AD自动诊断分类中准确率、特异性、敏感性及AUC均取得了较高的评估指标，与最新算法对比验证了BRNV模型对于AD自动诊断的可行性和有效性。AD自动诊断方法的研究，未来有助于计算机辅助诊断系统的开发，帮助医生减少阅片时间，提高AD的诊断效率。