联合多MR序列迁移学习网络用于自动分级胶质瘤

李 阳，宋 悦，张淑丽，穆伟斌，梁明辉

(齐齐哈尔医学院医学技术学院，黑龙江 齐齐哈尔 161003)

胶质瘤是起源于大脑或脊髓的常见肿瘤，约占中枢神经系统肿瘤的30%；WHO分级系统根据病理特征和遗传学特征将其分为Ⅰ～Ⅳ级，其中Ⅰ～Ⅱ级为低级别胶质瘤(low-grade glioma, LGG)，Ⅲ～Ⅳ级为高级别胶质瘤(high-grade glioma, HGG)。迁移学习网络利用大规模数据模型参数降低训练成本、解决数据量不足问题，近年来其在医学影像学中的应用成为研究热点。本研究提出一种联合多MR序列迁移学习网络胶质瘤自动分级算法，并评估其效能。

1 资料与方法

1.1 构建数据集 于开源数据集——2019年脑部肿瘤分割竞赛(brain tumor segmentation challenge 2019, Bra TS2019)数据集[1]内来源于多机构的术前MRI中选取76例LGG和259例HGG患者的带标签头部平扫轴位T1WI、T2WI、液体衰减反转恢复(fluid attenuated inversion recovery, FLAIR)序列数据用于训练模型，均含与轴位图像所示肿瘤最大层面相邻的20个层面图像，共6 700幅图像；将图像格式转化为[224，224，3]，以相同的随机数列按7∶1.5∶1.5比例将各序列图像划分为训练集、验证集和测试集，分别包含4 690、1 005及1 005幅图像。

1.2 方法

1.2.1 数据增强 以离线增强和在线增强两种方式对训练集数据进行增强。离线增强：对原图进行水平翻转后,分别将原图和水平翻转图像旋转5°和-5°，得到6倍增强效果，共28 140幅图像(图1)；在线增强则是在训练过程中随机对训练批量(batch)进行指定范围内的变换操作，即对每个batch中的图像随机进行15个像素的水平和垂直平移、以50%的概率水平反射、随机于-45°～45°旋转及随机在20°内进行水平和垂直错切变换，故每期(epoch)训练输入均不相同。

图1 数据离线增强示意图

1.2.2 选择预训练网络 GoogLeNet预训练网络的参数量和深度适宜且错误率较低(表1)，故以之作为迁移源。

表1 各常见预训练网络的参数量、深度及在CIFAR100数据集的错误率

1.2.3 改进GoogLeNet预训练网络 GoogLeNet预训练网络的提取特征部分包括5个模块，前2个由卷积层和池化层、后3个模块由Inception模块(图2)和池化层构成。重新设计其输出模块为节点数量分别为1 024、512和2的3个全连接层(图3)，内含大量参数，在3个全连接层间添加随机丢失概率为0.5的Dropout层，以减少神经元共同适应的复杂度、促进各神经元融合。

图2 Inception模块的结构图

图3 改进的GoogLeNet预训练网络输出模块图

1.2.4 选择损失函数及设置迁移学习模型训练参数 选取二值交叉熵(KL散度)函数[2]作为各序列迁移学习模型的损失函数(公式1)进行训练，以使损失值(损失函数的值)不断趋于0。

(1)

其中，p(x)和q(x)是同一随机变量x的2个单独的概率分布，p(x)为MRI胶质瘤级别标签的概率分布，q(x)为模型预测结果的概率分布。

将迁移学习网络输出模块的全局学习率设置为0.000 1，输出模块学习率为0.001；将批量尺寸(batchsize)设置为128。对迁移学习模型进行400期训练后，发现其在100期时收敛、之后维持低损失值，故将训练的最大期数设置为100。

1.2.5 联合多序列迁移学习网络投票机制 完成训练后，分别以3种单一序列模型预测测试集中各样本的胶质瘤分级，以结果中类别票数≥2者为联合多序列模型的最终结果(图4)。

图4 联合多序列模型的投票机制

1.2.6 评价指标 以准确率、敏感度、特异度、F1分数(F1-score)和受试者工作特征(receiver operating characteristic, ROC)曲线评价单一序列及联合多序列模型进行胶质瘤分级的效能，曲线下面积(area under the curve, AUC)越接近1则分类效能越好。计算公式见2～5。

(2)

(3)

(4)

(5)

2 结果

各单一序列模型对训练集和验证集胶质瘤分级的准确率曲线(图5)均呈稳步上升趋势，前60期上升较快，之后上升速度趋缓并逐渐收敛；损失值曲线(图6)均呈稳步下降趋势，前60期下降较快，之后逐渐收敛。

图5 各单一序列模型对训练集和验证集胶质瘤分级的准确率曲线 图6 各单一序列模型对训练集和验证集胶质瘤分级的损失值曲线

T1WI、T2WI及FLAIR模型对测试集胶质瘤分级的AUC分别为0.951 3、0.934 2及0.961 4，其中T2WI模型的诊断敏感度最高，为1.000 0，FLAIR模型的其他各项指标均较高，准确率达98.11%；联合多序列模型的AUC达0.995 0，准确率为99.00%。见表2及图7。

图7 联合多序列模型及单一序列模型对测试集胶质瘤分级的ROC曲线

表2 联合多序列模型及单一序列模型对测试集胶质瘤分级的效能

3 讨论

HGG具有高侵袭性，生长速度快且无规律，预后差；LGG生长速度相对较慢，患者生存期可达5～10年。准确分级胶质瘤对制定治疗方案及预测预后具有重要意义。组织病理学检查为胶质瘤分级的金标准，但活检具有侵入性，且存在癫痫及感染等并发症。MRI是常用非侵入性影像学诊断方法，可作为临床决策的重要依据；多项常规MRI定量特征可用于鉴别HGG与LGG[3]，表明MRI可提供表征胶质瘤类别的信息。

机器学习方法现已广泛用于胶质瘤分级相关研究。机器学习模型的效能与手动提取的图像特征的质量密切相关，而胶质瘤具有高异质性，导致选定和提取特征的过程复杂，机器学习模型难以适应。TIAN等[4]基于常规MRI、弥散加权成像(diffusion weighted imaging, DWI)和动脉自旋标记(arterial spin labeling, ASL)图像提取特征，用于训练支持向量机(support vector machines, SVM)模型，其区分HGG与LGG的准确率为96.8%。ZHANG等[5]将基于DWI分割得到的胶质瘤区域覆盖于弥散张量成像(diffusion tensor imaging, DTI)平均弥散率(mean diffusivity, MD)和各向异性分数(fractional anisotropy, FA)图上，再提取图像纹理及形状等特征以构建SVM分类模型，其分级胶质瘤的准确率达98%。

深度学习是人工智能领域的主流算法，利用深度卷积神经网络(convolutional neural network, CNN)可自动提取深层图像特征，且性能好；经大量数据训练后，深度CNN具有良好效能。ZHUGE等[6]采用常规MRI训练2D Mask R-CNN和3D Mask R-CNN以区分HGG与LGG，其诊断准确率分别为96.3%和97.1%。ÖZCAN等[7]设计拥有7个线性结构卷积层的深度CNN，以之训练模型区分HGG与LGG，准确率为97.1%。深度CNN用于医学影像学领域的主要问题在于难以获得带标签的训练数据，利用数据增强和迁移学习可在一定程度上加以解决。LUNDERVOLD等[8]发现，通过迁移学习方法将以大量自然事物图像预先训练的深度学习模型用于特定领域，可在提高分类任务准确率的同时降低训练成本。本研究经过图像增强使用于训练单一序列模型的数据达28 140幅图像，可有效保证模型的收敛性；作为迁移源的GoogLeNet预训练网络系经包含约150万幅图像的ImageNet数据集训练而得，能精细理解自然事物的微小差异，只需微调即可适应胶质瘤分级任务。本研究对GoogLeNet预训练网络加以改进，在输出模块3个全连接层间添加随机丢失概率为0.5的Dropout层，以减少神经元共同适应的复杂度、促进各神经元融合；将批量尺寸(batchsize)设置为128，以减少训练过程振荡和降低训练成本。

为使模型有针对性地提取胶质瘤的图像特征，有学者[5,7]在训练模型前手动提取胶质瘤ROI，过程复杂，难以实现全流程自动化。刘征华[9]采用迁移学习方法基于头部增强T1WI分割的胶质瘤区域训练Inception-v3网络，分级胶质瘤准确率为94.19%。本研究所用数据无须预分割胶质瘤ROI，实现了全过程自动化；以平扫MRI作为数据来源使其适用性更佳，各单一序列模型分级测试集胶质瘤的准确率均超过97.00%。

不同序列MR图像能提供不同的诊断信息，联合多种信息能更精准地进行诊断。多数胶质瘤自动分级方法[10-11]仅采用单一MR序列图像，未充分利用MR多序列成像优势；即使增加机器学习特征数量或改进深度学习模型，亦难以提升其性能。本研究引入以多种MR序列模型分别进行胶质瘤自动分级的投票机制，可避免不同序列图像之间的干扰，有效利用多种序列图像包含的不同信息，降低单一序列模型对误分类的影响，最终使分级准确率达99.00%，且操作简便，有助于临床医师诊断，并可为开发胶质瘤自动分级系统提供技术支持。

总之，联合多MR序列迁移学习网络胶质瘤自动分级算法过程简洁、效能高；向深度CNN特征提取部分中添加不同模块对胶质瘤分级模型性能的影响有待后续进一步观察。