基于纵向时间深度网络融合的乳腺癌新辅助化疗疗效预测

薛泰龙 范 明 陈淑君 厉力华∗

1(杭州电子科技大学生物医学工程与仪器研究所，杭州 310018)

2(浙江省肿瘤医院放射科，杭州 310022)

引言

乳腺癌是女性最常见的癌症，严重影响了女性的生命健康[1-2]。 提高乳腺癌的治愈率并降低死亡率的关键是寻找有效的治疗方法[3-4]。 常见的治疗方法是在术前进行新辅助化疗，其目的是缩小肿块，使得原本无法进行手术的患者有机会进行手术，提高了治疗效果，并且增加了保乳机会[5]。 新辅助化疗还有助于了解肿瘤对化疗药物的敏感性以及制定更合理的化疗方案[6]。 但是，新辅助化疗并不是对所有的患者都有效，化疗的过程也很痛苦，故准确地预测新辅助化疗的疗效对患者的临床诊治极为重要[7]。 临床评估新辅助化疗的疗效主要是根据肿瘤体积与数量的变化，根据实体瘤疗效评价标准(RECIST1.1)，将新辅助化疗疗效分为病症完全缓解(complete response， CR)、病症部分缓解(partial response，PR)、疾病稳定(stable disease，SD)和疾病进展(progressive disease， PD)等4 类[8]。有研究表明，在进行新辅助化疗后疗效较好的患者，尤其是疗效为CR 的患者，后期生存率将大为提升[9-10]。 但是，新辅助化疗依旧存在问题，其治疗周期较长，通常需要进行6～8 个疗程，而且部分患者在进行新辅助化疗后可能无法取得良好的化疗效果，疗效为PD 的患者经过新辅助化疗后肿块反而增大，并且延误了手术治疗时间。 对于这类患者在手术前不应进行新辅助化疗，故预测患者在进行新辅助化疗后的疗效十分重要。 按照新辅助化疗疗效将患者分为两组，疗效为CR 和PR 代表化疗有效，疗效为SD 和PD 代表化疗无效，准确地预测新辅助化疗的疗效对医生确定患者后续的治疗计划起到关键作用。

影像学检查是诊断乳腺癌的常用方法，在临床诊断中具有指导作用[11]，其中磁共振成像(magnetic resonance imaging，MRI)凭借其良好的空间与软组织分辨率，在乳腺疾病诊断领域受到重视[12]。 同时随着影像学技术的快速发展，MRI 在乳腺疾病诊断方面发挥着越来越关键的作用[13]。 动态增强磁共振成像是在常规扫描的基础上注入对比剂后每间隔一段时间进行的连续动态扫描，通过观察对比剂的变化以更加清晰地勾勒出乳腺癌恶性病变区域，该技术显著提高了对乳腺良恶性病变的诊断能力[14]。 动态增强 MRI ( dynamic contrastenhancedMRI，DCE-MRI)能够获取乳腺癌病变的生理性变化情况以及形态学信息[15]。 目前已有研究表明，DCE-MRI 可用于乳腺癌新辅助化疗疗效的预测[16]，同时已有根据DCE-MRI 通过化疗前后组织病理学的改变对新辅助化疗疗效进行预测的研究[17]。 Sun 等[18]通过MRI 定量参数的容量转移常数、速率常数等预测新辅助化疗疗效；Song 等[19]通过MRI 定量参数的纹理参数预测新辅助化疗疗效；Alina 等[20]使用DCE-MRI 影像量化后的信息对新辅助化疗疗效进行预测；Aghaei 等[21]使用计算机辅助方法对MRI 影像特征进行分析预测化疗疗效。但是这类方法需要手动提取特征，具有一定的限制，并且手动提取特征的过程繁琐，容易出错。 故本课题使用深度学习的方法对新辅助化疗的疗效预测进行研究。 深度学习模型无需手动设计特征，可以通过神经网络自动提取影像特征，并且可以尽可能挖掘数据的潜在特征。 但是神经网络的学习需要消耗大量的计算资源和时间资源，硬件成本较高，设计神经网络模型也存在一定的难度，并且深度学习依赖数据，在数据不平衡的情况下效果不佳。 使用现有的图像分类网络，如VGG19、ResNet等，并改进最后的分类器可以简单地构建适合的神经网络。

在以往的新辅助化疗疗效预测的研究中，通常是使用化疗前影像进行预测，并且大多是通过手动提取影像特征。 本研究尝试将化疗前影像和2 个疗程化疗后影像融合并通过深度学习的方法自动提取特征进行预测，将化疗前影像与2 个疗程化疗后影像成对输入神经网络，神经网络通过学习并得到化疗前影像与2 个疗程化疗后影像的特征，将两种特征融合共同对疗效进行预测。

1 方法

1.1 患者病理信息

所使用的数据来自浙江省肿瘤医院和复旦肿瘤医院，每个病例同时需要有化疗前影像和2 个疗程化疗后影像。 经过一系列的数据筛选，最终使用95 例浙江省肿瘤医院和69 例复旦肿瘤医院的病例。 对于从浙江省肿瘤医院和复旦肿瘤医院采集的病理报告，通过分析整理得到每个病例的病理信息，在使用的164 例病例中，所有患者均为女性，年龄分布在25～67 岁之间，其中家族史有肿瘤患者的38 例，家族史无肿瘤患者的126 例，已绝经的88例，未绝经的76 例，新辅助化疗疗效为CR 的15例，疗效为PR 的132 例，疗效为SD 的17 例。

1.2 患者影像信息

影像数据来自浙江省肿瘤医院放射科和复旦肿瘤医院放射科，并且所有影像均是德国西门子3.0 T 的MRI 设备扫描，MRI 设备采用俯卧位，影像均为横断面，DCE-MRI 共6 个序列(S0～S5 序列)，S0 序列为蒙片，即未使用对比剂增强的序列。 S1～S5 序列为增强序列，两个医院的DCE-MRI 参数略微不同，浙江省肿瘤医院DCE-MRI 参数:重复时间(TR)4.51 ms，回声时间(TE)1.61 ms，矩阵896×896，翻转角度(FA)10°，视野( FOV) 为340 mm×340 mm，层厚为2.4 mm，像素分辨率为0.379 mm×0.379 mm；复旦肿瘤医院DCE-MRI 参数:重复时间(TR)4.5 ms，回声时间(TE)1.56 ms，矩阵384×384，翻转角度(FA)10°，视野( FOV) 为360 mm×360 mm，层厚为2.2 mm，像素分辨率为0.938 mm×0.938 mm。

1.3 患者乳腺区域分割

本研究的影像数据需要提取出乳房区域并去除皮肤和胸腔，故对所选取的164 例数据均分割出乳房区域。 浙江省肿瘤医院的DCE-MRI 原始影像每个序列一般有80 张切片，复旦肿瘤医院的DCEMRI 原始影像每个序列一般有144 张切片，分割方式采用人工的方法。 每个病例有化疗前影像和2 个疗程化疗后影像，化疗前影像和2 个疗程化疗后影像又分别有6 个序列，每个序列选取肿瘤最大径及其上下扩张2 cm 的切片进行分割，最终分割结果是去除了皮肤胸腔部分只留下的乳房部分。 每个序列最终有数十张分割后的切片，将S0～S5 共6 个序列的对应位置切片的分割结果进行叠加并作为神经网络的1 个输入。 最终，每个病例的化疗前影像和2 个疗程化疗后影像分别有数十个6 序列叠加数据，乳房区域的分割过程以选取其中一个序列为例，如图1 所示。 S0～S5 序列的叠加方式为选取每个序列分割结果的对应位置进行叠加，如图2 所示。

图1 乳腺区域分割过程Fig.1 Breast region segmentation process

图2 DCE-MRI 的6 个序列叠加作为神经网络的一个输入Fig.2 The six sequences of DCE-MRI are superimposed as an input to the neural network

1.4 影像数据扩充

研究中的影像数据量偏少，并且正负样本极其不均衡，故需要对影像数据进行扩充。 首先每个病例的影像分为化疗前影像和2 个疗程化疗后影像。以化疗前影像为例，由于化疗有效的样本量远大于化疗无效的样本量，因此对化疗有效的每个病例，选取肿瘤最大径及其上下2 张切片对应位置的6 序列叠加数据；对化疗无效的每个病例，选取肿瘤最大径及其上下6 张切片对应位置的6 序列叠加数据，最终将数据扩充至442 例，其中正样本331 例，负样本111 例，然后将数据集以7 ∶3 的比例随机划分为训练集和测试集，训练集312 例，测试集130例，训练集的正样本232 例，负样本80 例，测试集的正样本99 例，负样本31 例。 由于训练集的正负样本比例依旧不平衡，故对训练集需要进一步扩充，并且仅扩充训练集，测试集保持不动，对于正样本的影像进行水平翻转，而对于负样本除了进行水平翻转外，还进行随机正向旋转10°～20°、随机逆向旋转10°～20°、先水平翻转再随机正向旋转10°～20°、先水平翻转再随机逆向旋转10°～20°，扩充后训练集的数据量为864 例，其中正样本464 例，负样本400 例，对已扩充的数据再一次进行扩充，对所有样本进行垂直翻转，最终训练集的数据量为1 728 例，其中正样本928 例，负样本800 例，扩充后的训练集正负样本比例接近1。 扩充数据集的方式为旋转、镜像，并不会改变数据的标签，而且提供了足够的先验知识，对图像进行旋转和镜像都是模拟拍摄过程中可能存在的情况，并且仅扩充训练集，测试集的分布与真实数据分布一致，不存在数据泄露问题，使用测试集评估数据增强后的训练集训练的模型的泛化能力是有效的。 对于化疗前的数据和2 个疗程化疗后的数据的扩充均需采用以上方法，并且划分数据集时需保证每个病例的化疗前数据被分配至训练集时，其2 个疗程化疗后数据也应被分配至训练集。

1.5 基于改进的VGG19 的深度学习模型

对分割的数据通过神经网络进行特征提取，常见的图像分类网络有VGGNet、ResNet、DenseNet 等，以上神经网络对图像分类均有非常好的效果[22]。本研究采用的是VGG19，并改进最后的分类器，以达到符合本研究要求的优异特征提取模型。VGGNet 的结构十分简洁，整个网络结构都是用了相同大小的卷积核(3×3)和池化层(2×2)，只需要很少的迭代次数就可以收敛，缺点是需要消耗更多计算资源，训练时间更长，占用更多内存[23]。VGG19 的输入为3 通道，本研究使用的输入数据是由6 个序列叠加的，故需要将VGG19 的输入通道数改为6 通道；而VGG19 的输出是1 000 维，本研究需要预测新辅助化疗的疗效，属于二分类，故需要将1 000 维的输出修改为2 维，修改方式是先将4 096维降为2 048 维再降为256 维最后降为2 维，改进后的VGG19 网络结构图如图3 所示。

图3 改进后的VGG19 网络结构Fig.3 Improved VGG19 network structure diagram

1.6 融合化疗前影像和2 个疗程化疗后影像的深度学习模型

本研究重点在于融合化疗前影像和2 个疗程化疗后影像的影像特征以及化疗前后影像变化的潜在特征，提高对新辅助化疗疗效的预测效果，融合的方式是通过神经网络分别提取两种影像的特征再融合两者特征共同进行预测。 同样是使用VGG网络对影像数据进行特征提取，将化疗前影像和2个疗程化疗后影像分别输入VGG19 得到2 个4 096维的特征向量，随后将2 个4 096 维的特征拼接成8 192维，这8 192 维的向量就包含化疗前后影像的全部特征，得到的特征维度较高，需要使用全连接层进行逐级降维，并且为了防止网络过深导致过拟合，对每层全连接层进行dropout。 设计分类器对融合的特征向量进行分类，分类器首先将8 192 维的特征向量降为4 096 维，在FC2 后面引入dropout层，再由4 096 维降为2 048 维，在FC3 后面引入dropout 层，再将2 048 维降为256 维，同样在FC4 后面引入dropout 层，最后将256 维降为2 维实现二分类。 融合2 个VGG19 的网络结构图如图4 所示。

图4 融合2 个VGG19 的网络结构Fig.4 Fusion of two VGG19 network structure diagrams

1.7 不同全连接层的深度学习模型性能对比

为证明VGG19 网络对新辅助化疗疗效预测的有效性，对融合2 个VGG19 的网络模型进行消融实验，通过删除部分全连接层，再次对新辅助化疗疗效进行预测。 删除后的全连接层的结构如图5 所示，将4 096 维向量直接降为256 维，删除中间降为2 048 维再降为256 维的那一层连接层。 通过对比全部全连接层以及删除部分全连接层的网络模型进行新辅助化疗疗效预测的性能以验证VGG19 的有效性。

图5 删除部分全连接层的网络结构Fig.5 Network structure diagram after deleting some fully connected layers

1.8 不同神经网络的新辅助化疗疗效预测性能对比

为证明VGG19 网络在本实验中相较于其他深度学习模型对新辅助化疗疗效预测的先进性，选用ResNet50 与VGG19 进行对比，融合2 个ResNet50的方式与融合2 个VGG19 类似，将化疗前影像以及2 个疗程化疗后影像分别输入ResNet50，得到2 个2 048维向量，然后将2 个2 048 维向量拼接为4 096维，最后逐步降为2 维，FC1、FC2、FC3 后面引入dropout 层，融合2 个ResNet50 的网络结构图如图6所示。 通过对比融合2 个ResNet50 的网络模型以及融合2 个VGG19 的网络模型对新辅助化疗疗效预测的性能以验证VGG19 的先进性。

图6 融合2 个ResNet50 的网络结构图Fig.6 Fusion of two ResNet50 network structure diagrams

1.9 算法评估指标以及实验流程

实验流程为先将化疗前影像输入VGG19 网络，预测其化疗疗效，然后将2 个疗程化疗后影像输入VGG19 网络，同样预测其疗效进行对比，最终将化疗前影像以及2 个疗程化疗后影像同时输入融合2个VGG19 网络的模型进行新辅助化疗疗效预测，将其预测结果与前两种方式进行对比。 为验证VGG19 的有效性，进行消融实验，为验证VGG19 的先进性，进行与ResNet50 的对比实验。

本实验对于新辅助化疗疗效性能的评估指标为ROC 曲线下面积(the area under the ROC curve，AUC)、准确度(Accuracy)、灵敏度(Sensitivity)、特异度(Specificity)。 ROC 曲线的横纵坐标分别表示伪阳性率和真阳性率，ROC 曲线越靠近左上方，AUC 的值越接近1，新辅助化疗疗效的预测性能越好，AUC 作为一个数值，能够更清晰地判别模型的性能。 准确度表示预测正确的样本数占总样本数的比例。 灵敏度是指实际为阳性的样本中，判断为阳性的比例。 特异度是指实际为阴性的样本中，判断为阴性的比例。

2 结果

2.1 基于化疗前影像的疗效预测

每一个神经网络的输入都是S0～S5 共6 个序列叠加的数据，建立新辅助化疗疗效预测模型，使用化疗前影像对新辅助化疗进行疗效预测研究，将化疗前影像数据输入改进后的VGG19 网络进行新辅助化疗的疗效预测。 为防止偶然性，对数据进行3 次随机划分，划分为不同的训练集和测试集，共进行3 次实验，实验结果如表1 所示。 3 次实验结果中预测疗效的AUC 值分别为0.775、0.759、0.726。由此可见，使用化疗前影像可以对新辅助化疗疗效进行预测。

表1 基于化疗前影像的新辅助化疗疗效预测Tab.1 Prediction of efficacy of neoadjuvant chemotherapy based on the images before chemotherapy

2.2 基于2 个疗程化疗后影像的疗效预测

为了对比2 个疗程化疗后数据和化疗前数据对新辅助化疗疗效预测的效果，需要研究2 个疗程化疗后影像的预测效果，使用的预测模型与化疗前影像相同，将2 个疗程化疗后的影像数据输入改进的VGG19 网络，同样对数据进行3 次随机划分，划分方式与化疗前影像一致，实验结果如表2 所示。 3次实验结果中预测疗效的AUC 值分别为0.808、0.798、0.741。 由表可知，使用2 个疗程化疗后影像数据对新辅助化疗疗效进行预测的效果要优于使用化疗前影像，尝试将两种影像融合对新辅助化疗疗效进行预测。

表2 基于2 个疗程化疗后影像的新辅助化疗疗效预测Tab.2 Prediction of efficacy of neoadjuvant chemotherapy based on the images after 2 courses of chemotherapy

2.3 基于纵向时间影像融合的疗效预测

现将化疗前影像与2 个疗程化疗后影像融合进行新辅助化疗疗效的预测，建立融合纵向时间影像的新辅助化疗疗效预测模型，将化疗前影像和2 个疗程化疗后影像成对地输入到2 个VGG19 融合改进的网络中，共进行3 次实验，实验结果如表3 所示。 3 次实验结果中预测疗效的AUC 值分别为0.833 3、0.863 0、0.770 0。由表可知，融合化疗前和2 个疗程化疗后影像对新辅助化疗疗效进行预测的AUC 值要优于单独使用化疗前或2 个疗程化疗后的影像，绘制以上3 种方式进行新辅助化疗疗效预测的ROC 曲线进行比较，如图7 的所示。 图中的(a)、(b)、(c)分别表示3 次实验的ROC 曲线对比图，可见使用2 个疗程化疗后影像进行疗效预测的模型的ROC 曲线比起使用化疗前影像进行疗效预测的模型偏向左上方，说明其分类效果更好，而相较于单独使用化疗前或2 个疗程化疗后的影像，将化疗前后影像融合使用的模型的ROC 曲线更偏向左上方的位置，具有更好的分类性能，为了比较使用化疗前影像和融合使用化疗前后影像的AUC 值是否存在显著性差异，对两者的ROC 曲线进行Delong 测试，得到P值为0.018(<0.05)。

表3 基于化疗前影像融合2 个疗程化疗后影像的疗效预测Tab.3 Prediction of neoadjuvant chemotherapy efficacy based on the fusion of images before chemotherapy and images after 2 courses of chemotherapy

分析图7(d)可知，融合纵向时间影像对新辅助化疗疗效的预测效果优于使用化疗前影像，以1 例新辅助化疗疗效为有效的患者为例，其在2 个疗程新辅助化疗后，肿块明显缩小，使用化疗前影像预测出化疗疗效为有效的概率为0.826 1，而融合使用纵向时间影像预测出化疗疗效为有效的概率为0.998 9，故融合使用化疗前后影像可以提高对新辅助化疗疗效的预测性能。

图7 不同方式的新辅助化疗疗效预测的ROC 曲线及性能比较。 (a)第1 次实验；(b)第2 次实验；(c)第3 次实验；(d)新辅助化疗疗效为有效的患者使用不同方式进行预测的性能对比Fig.7 ROC curve and performance comparison of efficacy prediction of neoadjuvant chemotherapy with different methods.(a)First Experiment； (b)Second Experiment； (c)Third Experiment； (d) Comparison of the performance of patients using different methods to predict

2.4 基于不同全连接层的疗效预测性能对比

对比融合2 个VGG19 网络的模型进行消融实验前后的新辅助化疗疗效预测性能。 选取AUC 最高的实验的训练集测试集进行训练。 实验结果如表4 所示。 删除了部分全连接层后，融合2 个VGG19 的网络模型对新辅助化疗疗效预测的AUC为0.782 0，性能有所损失，但依旧能有效地预测新辅助化疗疗效，故使用VGG19 对影像特征提取并预测新辅助化疗疗效是有效的。

表4 不同实验的疗效预测性能对比Tab.4 Comparison of efficacy prediction performance of neoadjuvant chemotherapy in different experiments

2.5 基于不同神经网络的疗效预测性能对比

关于VGG19 与其他深度学习方法在新辅助化疗疗效预测的性能对比，同样选取AUC 最高的实验的训练集测试集进行训练。 将影像分别输入融合2个VGG19 的网络模型与融合2 个ResNet50 的网络模型，预测其新辅助化疗疗效。 实验结果如表5 所示，在本实验中，使用ResNet50 进行新辅助化疗疗效预测的AUC 为0.708 0，预测性能劣于使用VGG19，故VGG19 能够更有效地预测新辅助化疗的疗效。

表5 不同神经网络的疗效预测性能对比Tab.5 Comparison of different neural networks in predicting the efficacy of neoadjuvant chemotherapy

3 讨论

新辅助化疗已成为乳腺癌治疗的规范方案，预测患者能否从新辅助化疗中获益尤为重要[24]。 磁共振成像技术因其较高的分辨率以及多参数成像的优势，在新辅助化疗疗效评估中具有重要作用。研究表明，采用DCE-MRI 可以增强对患者病情的诊断能力[25]。 通过注入对比剂后的连续动态扫描，能够更清晰地勾勒出乳腺癌病变区域。 因此，研究通过DCE-MRI 对新辅助化疗疗效进行预测具有重要意义。

传统的使用影像进行新辅助化疗疗效预测是通过人工提取影像特征，再使用提取的特征进行预测。 如Wang 等[26]通过MRI 的纹理参数预测新辅助化疗的疗效，其预测新辅助化疗疗效的AUC 为0.769。 目前已有使用深度学习的方法联合影像对新辅助化疗疗效进行预测的研究[27]。 本实验对新辅助化疗疗效预测的最佳AUC 为0.863 0，呈现良好的表现。 结果表明，使用深度学习的方法自动提取影像特征进行新辅助化疗的疗效预测具有一定的价值。

本实验使用深度学习的方法对新辅助化疗疗效进行预测，考虑到2 个疗程化疗后的影像可能存在部分信息有益于预测新辅助化疗疗效，并且化疗前影像与2 个疗程化疗后影像之间存在互补信息，故分别使用化疗前影像、2 个疗程化疗后影像以及融合纵向时间的影像进行新辅助化疗疗效预测的研究。 研究结果表明，使用2 个疗程化疗后的影像进行新辅助化疗疗效预测的AUC 为0.808 0，优于使用化疗前影像，并且融合使用化疗前影像和2 个疗程化疗后影像进行新辅助化疗疗效预测的AUC为0.863 0，优于使用2 个疗程化疗后影像。 故尝试融合使用化疗前影像以及2 个疗程化疗后影像共同对新辅助化疗疗效进行预测具有研究意义。 2 个疗程化疗后的影像特征中可能存在对新辅助化疗疗效预测有价值的信息，并且可以使用化疗前影像特征和2 个疗程化疗后影像特征之间的互补信息，增强新辅助化疗疗效预测模型的泛化能力。 本研究仍存在一定的缺陷，首先是数据量偏少并且正负样本数量非常不均衡，通过数据增强对数据进行扩增存在一定的局限性，在未来的研究中可以扩充使用的数据量并均衡正负样本数量。 另外，对于深度学习模型的构建是基于VGG 网络，后续可以尝试使用其他网络模型或是结合使用不同的网络模型，并且将来可以尝试其他方式将化疗前影像和2 个疗程化疗后影像的影像特征进行融合的研究。

4 结论

本研究提出了基于深度学习模型融合纵向时间的DCE-MRI 影像特征对新辅助化疗疗效进行预测。 通过神经网络自动提取影像特征并对新辅助化疗疗效进行分类，分别用化疗前影像、2 个疗程化疗后影像以及化疗前影像和2 个疗程化疗后影像相融合的方式对乳腺癌新辅助化疗疗效进行预测，并计算相应的评价指标，研究结果表明，相较于使用化疗前影像，融合使用纵向时间的影像可以提高对新辅助化疗的预测性能，本研究可以对患者在进行了2 个疗程新辅助化疗后是否应继续进行化疗提供有价值的参考。 在后续的研究中，将会对纵向时间的影像融合方式作进一步研究，并尝试不同的方法融合纵向时间的影像，增加该技术的实用性。