基于3D-ResNet深度影像特征的胆囊癌生存预测模型

尹梓名，董东民，陈涛

1.上海理工大学医疗器械与食品学院，上海 200093；2.上海交通大学医学院附属仁济医院胆胰外科，上海 200127

前言

胆囊癌是临床常见的胆道系统恶性肿瘤［1-2］。由于其高度恶性且极易发生淋巴结转移及远隔器官转移，早期诊断困难，故发现时已多见于晚期，治疗效果极差，而放疗、化疗等传统治疗手段亦未能在治疗中体现出显著优势，手术切除仍是胆囊癌唯一有效的治疗方式［3］，患者的总体预后情况较差，5年生存率仅为5%～10%［4］。

目前较常用的生存模型为胆囊癌肿瘤的TNM分期［5］。一项将美国监测、流行病学和结果数据库9 616 例胆囊癌患者按照第8 版分期系统进行分析的结果显示，其C 指数仅为0.596，生存预测的准确度较差［6］。且TNM 分期无法做到对胆囊癌患者的个性化预测，也无法做到根据分期精细调整后续治疗方案，所以预测的价值有限。其他传统的生存分析模型，多基于术后的特征来建立预测模型。Zhang等［7］基于2010～2014年SEER 数据库的1 422 例胆囊癌患者建立了非转移性的胆囊癌术后列线图预测模型，其C指数为0.775。Bai 等［8］利用北京协和医院胆囊癌根治术的142 例患者数据，通过Cox 回归模型分析得到患者的独立预后因素，再建立对应的列线图，最终通过ROC 曲线评价模型预测精度，发现其预测精度较好。上海新华医院陈晨等［9］则基于胆囊癌阳性淋巴节数、T 分期、病理学分级及肿瘤切缘建立胆囊癌术后的列线图预测模型，其3年和5年生存模型的C 指数分别为0.791和0.794。上述模型均是通过术后特征建立，但这对于患者在术前状况的诊断和评估所起作用较小，且更加依赖于手术的效果和质量，并不能正确反应患者自身状况与术后存活的关系。计算机断层扫描（CT）等医学影像技术已经广泛应用于临床检查、诊断、治疗和决策，是目前最有价值的临床诊断手段，但其却很少被应用于患者的预后分析等场景［10］。本文充分利用患者的增强CT 影像数据以及部分术前临床检查的特征，通过深度学习技术在术前根据胆囊癌患者的检查结果预测其生存情况，更加有利于对患者状况进行个性化评估和术后风险预测。

传统医学影像分析最初通常针对特定任务而设计，采用边缘检测、纹理特征、形态学滤波以及构建形状模型和模版匹配等方法进行手工定制［11］，而其影像特征也需要经验丰富的专业医师手工提取，费时费力，难以实际临床应用。深度学习可以从数据样本中隐式地自动学习图像特征［12］。此外有文献指出手工提取的并不如深度学习提取到的特征有效［13-14］。故在胆囊癌上应用深度学习技术提取患者的影像特征，构建患者的深度影像特征独立预后因素，进行胆囊癌患者的生存预测，有着巨大的应用价值和潜力［15］。3D-ResNet 在解决了卷积神经网络层数过深时容易出现的退化现象，使得能够构建深度更深的卷积神经网络，用以提取医学影像的深度特征。

本研究通过收集胆囊癌患者的CT 影像数据以及生存信息，利用3D-ResNet深度学习模型提取患者的CT 影像的深度特征，筛选并构建胆囊癌患者的预后独立因子，同时结合受试者工作曲线（ROC）评价该预后独立因子对胆囊癌患者生存预测的效果。

1 研究方法

本研究的整体方法如图1所示。首先对患者的数据进行预处理，将患者的CT 影像根据医生标记进行裁剪至合适大小，并根据患者的存活天数的中位数，将其分为长期存活和短期存活两组用以训练3DResNet，再通过训练好的3D-ResNet 模型，对患者的CT 影像的特征进行提取。通过Cox 单因素分析、Lasso 回归等方法筛选3D-ResNet 提取到的深度影像特征，最终通过Cox比例风险回归模型构建胆囊癌患者的深度影像特征预后因子，并用列线图整合最终的深度影像特征，展示深度影像特征之间的相互关系和模型预测结果。

图1 基于深度影像特征的胆囊癌患者预后模型构建流程图Figure 1 Flowchart of constructing a prognostic model for gallbladder cancer patients based on deep image features

1.1 基于3D-ResNet的CT影像深度特征提取

卷积神经网络是一种前馈神经网络，在大批量图像的分析处理中有着出色的表现［16］。基础的卷积神经网络通常由卷积层、激活层和池化层3种结构构成，而它的输出结果则是每幅图像的特定特征空间，在针对某种特定任务时，将这些特征空间连接至全连接层，并作为输入来完成从图像到标签的映射［17-18］。因此选择通过卷积神经网络的卷积层对图像的特征进行提取［19］。不同的卷积神经网络有着不同的架构。一般来说，通过加深神经网络模型的深度能够提高模型的精度［20］，但随着模型的加深，模型要学习的参数将会越来越多，也更容易出现梯度消失的情况。但深度学习所需要的数据量比传统机器学习和基于概率论等方法的数据量要大［21］，而由于患者隐私保护和数据共享限制，医学领域的数据集往往都较小，因此通常需要采用迁移学习的方式进行模型构建［22］，即采用其他领域已经训练好的模型架构，并采用数据增强对数据集进行扩增，用以二次训练模型。

ResNet是由微软亚洲研究院科研人员在2015年所提出，它解决了深层网络模型在训练时会出现的梯度消失、梯度爆炸以及准确率下降等退化问题［23］。ResNet 提出了残差块的网络结构，通过残差块内部的恒等跳跃连接的方式，这就可以训练非常深的卷积神经网络，如图2所示。

图2 ResNet的跳跃连接结构Figure 2 Skip connection block of ResNet

在神经网络模型的第l层，不同于其他卷积神经网络，ResNet的输出如公式（1）所示：

其中，l为神经网络的层数索引，H为非线性操作组合，xl为神经网络第l层的输出。使用来自输入的直接连接将原始输入xl-1绕过变换层，直接添加到此变换，保留了上一步的特征，使得模型能够更加稳定地学习。

ResNet 在数据集ImageNet 上进行测试时，其模型表现远远超过了VGGNet、GooleNet等其他卷积神经网络模型，模型分类的误差降低到4.49%。但患者CT 扫描所得到的影像数据是三维体数据，而不是日常所处理的二维图片，因此并不能使用在ImageNet数据集上预训练好的ResNet 直接对其进行特征提取，而是要针对CT 数据对模型的卷积层重新设计并且重新训练模型的参数权重。我们参照ResNet网络模型结构，将其卷积层的卷积核由二维卷积替换成三维卷积，同时针对本研究的数据集所设计的二分类任务，将模型的最后一层输出层的个数进行了修改，最终改写得到3D-ResNet 的深度卷积网络模型，如图3所示。

图3 3D-ResNet结构图Figure 3 Structure of 3D-ResNet

为了重新训练3D-ResNet模型的参数，本文将数据集中的140 例患者按存活天数的中位数分为长期存活和短期存活两组，在此基础上训练3D-ResNet分类模型。由于训练深度神经网络需要的数据量较大，因此将这140例患者的影像在随机方向进行平移或中心旋转进行数据增强，最终将数据集的大小扩增了4倍，由原先的140例通过数据增强变为560例，同时并将其按4：1随机划分为训练集和测试集，在训练集上训练模型，通过测试集选择表现较好的模型。

在测试集上对3D-ResNet 训练时，通过5 折交叉验证选取训练过程中的超参数后，最终模型训练的超参数batch size 大小设置为8，epochs 设置为1 000，训练的优化器为Adam。由此参数训练得到的3D-ResNet模型在训练集上的准确率为0.98，而在测试集上的准确率为0.96。

1.2 深度影像特征的筛选

基于3D-ResNet 所提取的2 048 个深度影像特征，先将这2 048 个深度影像特征对患者的生存情况进行Cox 单因素分析，在置信区间为95%的情况下，筛选P＜0.05 的较为显著的深度影像特征，结果剩余602 个深度特征变量。对于Cox 单因素分析筛选后的变量，进行Lasso 回归分析做进一步的筛选（图4），最终得到6 个深度影像特征，分别是X27、X693、X1166、X1526、X1843和X1854。

图4 深度影像特征的Lasso回归分析Figure 4 Lasso regression analysis of deep image features

2 实验平台与数据处理

2.1 实验平台

本实验深度特征模型的训练以及运行均在Linux Ubuntu16.04系统环境下进行。深度学习的框架采基于Python 的深度学习库 PyTorch，GPU 使用NVIDIATITANRTX，显存64 G，内存32 G。CUDA的版本为10.1。Cox比例风险回归模型的建立等采用的平台是64位Windows系统，使用R4.1.0进行编程实现。

2.2 数据及预处理

本研究所用实验数据集来自上海交通大学医学院附属仁济医院在2010～2017年间入院的胆囊癌患者，共140 例。截至最后一次随访，每个样本患者的存活状况为对该患者最后一次随访时患者的存活状态，患者的存活时间的计算从患者入院时间开始计算，到最后一次对患者随访的时间为止。其中存活的样本数量为53 例，死亡87 例，存活天数中位数为579 d，男女比例为17：11。

对于每个患者样本的CT 数据，首先选取切片厚度为1.0～1.5 mm，并为增强期阶段的CT 影像，然后请具有丰富经验的影像科医师对CT 影像上的胆囊区域进行标注。由于CT 设备之间的差异性以及样本的特异性，每个患者所得到的CT 影像数据大小并不相同，而3D-ResNet的模型要求输入图片尺寸大小固定，故对于每个样本，最终选取连续的32张包含胆囊区域的切片，并裁剪其大小为224×224，保留医生所标记的胆囊及周边区域，作为该样本的CT 影像数据。同时为了更加关注胆囊以及周围区域，对于每个样本的CT 影像，选取最适合观测胆囊部位的窗宽300、窗位40对其进行归一化处理。

2.3 实验评价指标

2.3.1 C 指数C 指数即一致性指数（ConcordanceIndex），用来评价模型的预测能力，C 指数是指所有病人对子中预测结果与实际结果一致的对子所占的比例，估计预测结果与实际观察到的结果相一致的概率。C 指数的计算方法是：将研究资料中的所有研究对象随机两两组成对子，以生存分析为例，1 对病人，如果生存时间较长的1位的预测生存时间也长于另1 位的预测生存时间，或预测的生存概率高的1 位的生存时间长于生存概率低的另1位，则称之为预测结果与实际结果一致。

2.3.2 ROC 曲线以及曲线下面积（AUC）ROC 曲线全称为受试者工作特征曲线（Receiver Operating Characteristic Curve），是根据一系列不同的二分类方式（分界值或决定阈），以真阳性率（敏感性）为纵坐标、假阳性率（特异性）为横坐标绘制的曲线。其中真阳性率是指模型预测的所有正例占所有正例的比例，而假阳性率则是指模型预测的负例占所有负例的比例。通过ROC 曲线，能够更直观地反映模型预测的性能。当ROC 曲线越接近左上角，则表示该模型的预测准确率越高。但在实际应用时，更需要有一个数值放映模型的预测性能，于是引入ROC 曲线的AUC。AUC 被定义为ROC 曲线下与坐标轴围成的面积，由ROC 曲线下的面积求和计算得到。AUC的数值越大越接近于1，则模型的预测效果越好。

3 实验结果

3.1 基于深度影像特征的胆囊癌患者预后独立因子

基于3D-ResNet提取的深度影像特征筛选后的6个深度影像特征，通过Cox比例风险回归模型构建胆囊癌深度影像特征的独立预后因子，其中每个影像特征的系数如表1所示。

表1 深度影像特征系数表Table 1 Coefficients of different deep image features

绘制出基于深度影像特征独立预后因子的患者生存预测的列线图，如图5所示。通过列线图模型，可以更直观地反映出筛选出的6 个深度影像特征以及深度影像特征得分与患者3、5年存活之间的关系。

图5 基于深度影像特征的胆囊癌患者生存列线图Figure 5 Survival nomogram for gallbladder cancer patients based on deep image features

3.2 深度影像特征独立预后因子验证

通过基于深度影像特征建立的胆囊癌患者预后因子在预测患者生存时的C 指数达到0.734，远优于先行的AJCC 第7 版分期（C 指数为0.65）。这证明该预后因子预测患者生存性能较强，同时基于深度影像特征的Cox比例风险回归模型，计算患者的深度影像特征得分，将患者分为高低风险两组并绘制出KM生存曲线（图6），在置信区间0.95水平下，模型的P值小于0.001，说明利用该深度影像特征所构建的患者生存预后独立因子预测患者生存效果显著，能够准确区分出高风险与低风险的患者群体。

图6 基于深度影像特征预后因子的胆囊癌患者KM生存曲线Figure 6 KM survival curve of patients with gallbladder cancer based on prognostic factors of deep image features

利用深度影像特征预后因子预测患者1、3、5年存活率的精度时预测结果也较为精准，通过绘制ROC（图7）评价该模型，结果显示模型在1、3、5年的存活率时，ROC 曲线的AUC 分别达到0.833、0.791、0.813。

图7 模型预测受试者工作曲线Figure 7 Model prediction ROC curve

4 总结与讨论

本文通过3D-ResNet提取患者CT 影像的深度特征，利用得到的深度特征，构建患者的深度特征独立预后因素。对于通过深度特征提取器所提取到的特征，先进行Cox 单因素分析，再进行Lasso 回归筛选，基于最后得到的深度特征构建深度影像特征的独立预后因素。

结合实验结果，可以发现深度卷积神经网络在提取患者影像特征、预测患者生存状况方面有着巨大的应用和发展潜力，通过3D-ResNet提取的深度影像特征，构建胆囊癌患者的独立预后因素，模型的C指数达到0.73，远远高于现行的胆囊癌TNM 分期标准（C 指数为0.65）。建立的列线图模型，在预测患者1、3、5年存活的表现上效果也较为精准。通过本文的实验可见，将深度学习运用到癌症预后模型构建中的特征选择和特征提取方面，对提高建立患者生存预测的准确性有着较为显著的效果，从而建立更加准确的患者生存预测模型。这在辅助医生选择与制定个性化治疗和随访方案、延长患者存活时间等方面都具有重要意义。结合深度学习技术建立癌症预后预测模型也将是未来预后模型发展的趋势之一［24］。

由于患者隐私保护和数据共享限制，本文收集的数据并不足够多，后续研究尚需收集更多不同型号的CT 扫描设备和不同扫描时期的CT 影像数据，以此增强模型的泛化性和鲁棒性。同时医学数据匮乏、共享限制和低质量医学标签也是深度学习在癌症预后模型应用以及普及上的主要局限性，因此小型医学数据集目前更多采用的是迁移学习和数据增强以及采用轻量型深度学习网络架构，未来的研究方案应当从探索不同网络架构、不同数据增强以及医学图像生成方法等方面提高模型的准确率和稳健性，以及探究建立无标签弱监督学习的深度学习癌症预后模型的可行性。