基于多模态融合的肝脏纤维化自动分类的算法*

曹 鹏 徐 军 张 腾 查俊豪 李子昂

（1.南京信息工程大学人工智能学院智慧医疗研究院 南京 210044）

（2.东南大学医学院 南京 210009）

1 引言

慢性肝病是最常见的慢性疾病之一，全世界每年有超过一百万人因慢性肝病死亡［1］。慢性肝病形成伴随着肝脏纤维化的发生，肝脏纤维化涉及到肝脏的结构和功能变化，早期肝脏纤维化经过治疗可逆，而一旦发展成肝硬化则会伴随患者终生［2］。因此，及时诊断肝纤维化程度并制定合适的治疗方案对延长患者生存时间、提高生活质量等具有重大临床意义。

病理组织学检查可以直观地反映肝脏的病理变化和分布特点［3］，是诊断肝纤维化和肝硬化的金标准［4］。然而有创的活检会造成患者明显的疼痛感，甚至出现严重的出血并发症。此外，活检存在取样误差，是半定量的结果［3～4］。

目前无创的肝纤维化分期方式，主要包括血清生物标志物、超声弹性成像和磁共振弹性成像（MRE）等［5～6］。血清生化物指标存在评估肝纤维化程度准确度不足，无法反映纤维化过程中的动态变化等缺点。超声弹性成像受操作者的影响较大，可重复性较差。MRE 通过可视化剪切波的传播，处理波形图转换成弹性图像［7］，从而分析组织的弹性状态，显示出最好的诊断性能，可用于诊断患者的肝纤维化程度［8］，然而，MRE价格昂贵，需要专用的硬件设施，难以开展大规模临床应用。因此，使用传统的影像数据预测肝脏纤维化的等级将十分具有应用前景［9］。磁共振图像（MRI）比计算机断层扫描（CT）包含更多的纹理和形状信息，在检测肝脏纤维化程度方面具有更大的应用价值。

Park H J 等［10］利用传统的影像组学方法，基于T1 增强磁共振图像对肝脏纤维化分级获得了较好的结果，准确率为0.80，然而传统影像组学方法高度依赖影像科医生对肝脏的勾勒和选定，十分耗时且存在一定的主观性。一些研究采用天冬氨酸转氨酶血小板比率-国际正常化比率（APRI）和纤维化-4 指数（FIB-4）等指标无创评估肝纤维化程度［11］，但是APRI、FIB-4 不稳定，易受到其他因素的影响。FIB-4 虽然可以有效评估晚期纤维化，然而FIB-4 伴随着高特异性和阴性预测值［12］，因为这种临床指标容易受其他炎症的影响。而APRI在预测肝脏临床显著纤维化方面比FIB-4 好，受试者工作特征曲线（ROC）下的面积（AUC）为0.70［13］。

医学人工智能是一项快速发展的新技术，从肿瘤器官分割［14～15］到疾病的诊断分类［16～17］，人工智能技术展现了良好的应用前景。在超声图像分析中，已有研究通过构建卷积神经网络分类模型实现了肝纤维化的自动分级［18～20］。Stefanie J.Hectors 等［21］利用钆喷酸增强的磁共振成像构建了全自动肝纤维化无创评估模型，达到了与MRE 相似的评估性能。然而当前研究主要依赖于影像学数据，未将影像学数据和丰富的临床信息结合起来［22］。为解决上述问题，本研究旨在通过使用深度学习技术，将图像数据和临床数据两种模态进行融合，实现临床显著肝脏纤维化程度的自动分类。

2 算法设计

本文基于Resnet18 分类网络框架和多通道的思想，将图像数据和临床数据在网络层面相融合，构建一个多模态（Multi-modality）多通道（Multichannel）融合的分类网络（MCMD-Resnet18），实现临床显著肝脏纤维化的自动分类。

2.1 数据预处理

肝脏区域的勾画由三位具有多年工作经验的放射科医生完成，勾画所使用的软件是ITK-snap。由于患者患有弥漫性肝病，一旦出现肝脏边缘粘连等情况，由三位医生共同标注确认得到完整的肝脏区域。

由于磁共振图像强度值分布范围大以及成像的不均匀性［23～24］，需对T1 增强磁共振图像预处理。预处理包括三个步骤，偏置场校正、体素重采样和图像强度归一化：

1）偏置场是一种低频平滑的不良信号，由于MRI机器磁场的不均匀性，会破坏磁共振图像。本文使用低通滤波进行校正，以补偿不均匀性伪影。

2）体素重采样的目的是使输入网络的图像大小一致。所有的数据集通过线性插值在三维上进行等向重采样。体素最终被重采样为0.85×0.85×7.12 mm3，这是患者的平均体素大小。

3）强度值标准化是为了保留具有诊断价值的强度值的差异的同时，减少由于成像参数的差异导致的图像强度的不一致。强度值标准化公式如下：

其中，x是磁共振图像的初始强度值，μ和σ分别代表均值和标准差，计算方法分别为

临床文本特征均是数字信息，各个不同的特征之间数值相差较大，均采用归一化，公式如下所示：

其中，y是临床文本特征初始值，ymin和ymax分别代表该特征的最小值和最大值。

2.2 方法

本文设计的MCMD-Resnet18 基于多通道的思想，将磁共振图像数据和文本数据部署于不同通道，在分类器阶段实现通道融合，实现临床显著肝脏纤维化的自动分类。图2是算法总体流程图。

图1 患者整肝预处理（a）和勾画（b）流程图

图2 算法总体流程图

图3 Resnet18网络特征提取器结构

T1 增强磁共振图像数据通道包括一个图像输入层、一个迁移学习摸块和一个融合训练模块。图像输入层包含n 个平行输入子通道，选取n 个固定尺寸的轴向T1 增强磁共振图像的单独切片（只有肝脏区域，以排除由于背景等因素对分类的干扰），T1 增强图像按比例缩小至224×224 的矩阵大小，最终网络的输入层为n×224×224。在特征选择器的选取中，网络越深，训练得到的网络性能越好，但是随着网络深度的增加，随之出现梯度消失、梯度爆炸等问题。Resnet18［25］引入残差连接，很好地解决了这个问题，与此同时，Resnet18 的残差连接很好的利用了各个尺度特征层的语义信息。本文基于迁移学习的思想，使用Resnet18预训练模型的权重（从第1 层到第17 层）作为迁移学习模块［26～27］。最终图像通道经过Resnet18 特征提取器得到512×7×7大小的语义特征图，并进行全局池化。

文本通道输入将一维K 个元素的文本数据扩充维度到K×1×1，经过1×1×1 的卷积得到非线性数据，并进行批标准化。经过扩充维度的文本数据通道（K×1×1）和512×1×1 大小的图像语义特征图一起输入融合训练模块一起送入融合训练模块，被一个全连接层所整合，利用softmax函数实现二分类。

本文使用的损失函数是交叉熵损失函数，具体公式为

其中，yi代表样本i的标签，pi表示为样本预测为正的概率。

本文使用内部验证和数据增强的方法全面评估了MCMD-Resnet18，并且在一个独立的测试集中进行外部验证。

2.3 评价指标

评价一个分类网络的性能，通常使用准确率（Accuracy）、灵敏度（Sensitivity）、特异度（Specificity）和曲线下面积（AUC）。下面是四个指标的公式，其中，TP 表示分类模型预测为阳性且样本标签为阳性，TN 表示分类模型预测为阴性且样本标签是阴性，FP 表示分类模型预测为阳性，实际样本标签是阴性，FN 表示分类模型预测为阴性，实际样本标签是阳性，TP 和TN 表示模型预测正确，而FP 和FN表示模型预测错误。

Accuracy 表示正确的预测结果和总的预测结果的对比：

Sensitivity 表示正确的预测结果和总的预测结果的对比：

Specificity 表示正确的预测结果和总的预测结果的对比：

AUC 表示的是受试者工作特征曲线（ROC）下的面积，通常应用于医学图像分类问题，表示正例排在负例之前的概率。

3 实验及结果分析

3.1 数据集信息

来自江苏省东南大学附属中大医院的数据集被用于算法的开发和验证。该研究得到了机构审查委员会的批准。由于该研究的回顾性性质和使用完全匿名的图像，所以放弃了对知情同意的要求。

本文使用的数据根据以下几个条件进行筛选：

1）患者全都经过了肝脏活检，有准确的肝脏纤维化程度分级；

2）图像质量无瑕疵，不存在伪影等干扰信息；

3）与患者相应的临床信息均完整。

2015 年6 月至2018 年12 月期间共收集了432例患者数据，根据上述筛选标准最终得出共260 名患者。肝脏纤维化共分为五个等级，分别为F0～F4，其中各个等级数量如表1所示。

表1 肝脏纤维化程度患者数量表

所有患者都在3.0T（Sigma Exite，GE Medical System）或3.0T（Titan，Toshiba）进行了常规腹部MRI 检查。对于在Sigma Exite 机器上得到的T1 增强磁共振图像，采集参数如下：重复时间150ms，回波时间2.6ms，翻转角度90°，矩阵224×228，切片厚度6mm，视野80×380。对于Titan 机器上得到的T1 增强磁共振图像，采集参数如下：重复时间105ms，回波时间2.4ms，翻转角度40°，矩阵256×368，切片厚度6mm，视野293×421。

当样本量不大且一个类别的数量过多时，分类模型更倾向于分成一类。基于患者数据在不同纤维化等级分布不均的问题，本文按照临床显著肝脏纤维化划分，即F0-1 vs F2-4，两类比值为1∶2。对数据集随机划分，其中140 例作为训练集，60 例作为验证集，60例作为单独的测试集。

图4（a）是早期肝纤维化患者的T1增强磁共振图像（F0），男性，37 岁。图4（b）为肝硬化患者（F4），男性，44 岁。晚期肝纤维化患者的肝脏边缘已经出现锯齿状，而早期肝纤维化患者的肝脏边缘更平整、更光滑。

图4 T1增强磁共振图像

3.2 实验环境

监督训练是在Ubuntu 18.04.5 LTS 系统上进行的，内存为1T。分类网络基于Pytorch 构建，使用Python3.6 实现。深度学习分类模型由NVIDIA-1080TI 训练，内存为12G。为了拟合肝脏纤维化分类模型，输入图像被调整为224×224 像素。在实验过程中，使用了数据增强的方法，除了截取图像块和选取多张上下层切片外，还使用了随机翻转和随机旋转。其中，数据增强只应用于训练集，而不用于测试集。

3.3 实验结果

MCMD-Resnet18 分类模型训练的超参数如下，模型的总迭代次数为100，批量训练的大小为128，学习率0.001，优化器使用的是Adam 优化器。图5 和图6 分别是训练时的loss 和准确率图，可以发现该算法模型在训练时，模型拟合良好。

图5 MCMD-Resnet18训练损失下降图

图6 MCMD-Resnet18训练准确率图

在这些最优的超参数下，对模型进行训练和测试，在训练集上AUC 为0.92，在测试集上AUC 为0.80，准确率为0.82，灵敏度为0.85，特异度为0.75。

为了体现所设计的算法有性能的提升，进行了两组消融实验。首先仅使用图像通道的数据进行临床显著肝脏纤维化分类，使用Resnet18 分类网络，结果如下所示，训练集上AUC为0.86，测试集上0.76，其余指标见表2。

表2 测试集上各个模型性能参数指标表

由于临床文本数据仅有十四维，不足以构建深度学习模型，于是基于机器学习构建了支持向量机（SVM）分类模型。十四维临床特征之间存在冗余，本文使用了LASSO［28］特征选择函数，最终选取了八维最佳特征子集。基于最佳特征子集构建的分类器模型，实验结果如下，在训练集上AUC为0.82，测试集上0.74，其余指标见表2。

临床常用的APRI 方法被应用于对比实验，利用APRI 指标构建临床显著肝脏纤维化分类模型，简化了肝纤维化的预测，在相同的训练集和测试集对该模型进行训练和预测，结果如下，在训练集上AUC 为0.76，测试集上0.67，准确率为0.68，灵敏度为0.70，特异度为0.65。

为了验证Resnet18特征提取器的效果，额外使用了Resnet51 作为backbone，实验结果如下，训练集上AUC 为0.80，测试集上AUC 为0.71，其余指标见表2。

图7和图8将各个模型在测试集上的结果做了统计，可以发现对比仅使用单通道数据，本文设计的MCMD-Resnet18 在无创评估临床显著肝脏纤维化分类时，在独立测试集的测试结果有所提升，实验证实了提出的融合模块的有效性，在AUC 上有3%～5%的提升。对于基于临床特征构建的模型，机器学习可以挖掘到更多有关于特征与特征之间的内在关系，将临床数据的维度降至血小板计数、球蛋白等八维，提供的临床显著肝脏纤维化的诊断优于使用APRI。Resnet51相比较于Resnet18，有更深的层数和更大的参数量，由于本文样本量有限，导致模型过拟合。

图7 各个模型测试集AUC结果图

图8 各个分类模型在测试集上的混淆矩阵图

综合考虑各个模型，基于两种模态的数据在灵敏度和特异度中相差不大，均会存在一部分漏诊和误诊的问题。而对于临床模型，特异度较低，APRI模型漏诊，会将肝硬化患者诊断为早期肝脏纤维化。

3.4 深度特征可视化

对于深度学习分类模型，相比较于影像组学方法会被认为可解释性不高。影像组学可以将决定分类的特征可视化到原图上，提供了一定的临床可解释性。本文引用了这种思想，利用Grad-CAM 实现深度特征的可视化［29］。Grad-CAM 体现了深度学习网络对于某个类别的关注区域，通过网络关注的区域能够反过来分析网络是否学习到正确的特征或者信息。图9为深度特征可视化的流程图。

图9 深度特征可视化流程图

分类网络通过正向传播得到特征层A 和预测值y，对最大预测值类别C 的yc进行反向传播，得到特征层A的梯度信息A'，对特征层A每个通道的重要程度进行计算和加权求和，最后通过ReLU 函数得到的结果即是Grad-CAM。ReLU公式如下：

图10 是对分类模型深度特征可视化的结果图，越是高亮的区域，代表网络对此关注度越高。从可视化结果图来看，对于严重肝纤维化的患者，网络更倾向于学习血管附近的纹理特征，有研究证实，肝脏纤维化与肝脏中胶原蛋白的沉积有关，这会导致肝脏血管的扭曲变形，而对于低纤维化的患者，网络更多地去学习肝脏边缘的一些特征，因为肝硬化患者在肝脏边缘呈现锯齿状，这和本文可视化的结果相匹配，从侧面验证了该算法的有效性，提供了一定的可解释性［30］。

图10 深度特征可视化结果图

4 结语

针对肝脏纤维化有创评估会引发严重并发症，而无创的血清学指标不够精确，磁共振图像无法对肝脏纤维化等级精准预测等缺点，设计了一个多模态多通道融合分类的算法，该算法能实现临床显著肝脏纤维化的自动分类。多通道深度学习模型的表现优于仅使用临床或图像数据的单通道模型，而对深度特征的可视化则证明了肝脏纤维化会导致肝脏血管的扭曲和变形。

研究结果表明，该算法在临床显著肝脏纤维化预测方面比APRI 有更好的表现，然而需要在其他人群中进行验证研究以证实这些结果。后续工作可以按照晚期纤维化（F0-2 vs F3-4）实现分类，也可以在提升数据量的基础上，实现肝脏纤维化五个等级的分类。深度学习可以应用于大规模数据，该算法是一种有前途的、可以广泛适用于评估肝脏纤维化的方法。