基于改进的全卷积网络模型预测局部进展期直肠癌新辅助放化疗疗效

王 方，庞晓琳,2，范新娟,3

1中山大学胃肠病学研究所，广州 510655 中山大学附属第六医院 2放射肿瘤科 3病理科，广州 510655

结直肠癌是消化系统最常见的恶性肿瘤之一，其全球发病率、死亡率均居恶性肿瘤第3位[1]。由于病情隐匿，临床症状特异性差，且缺乏广泛使用的筛查手段，相当比例的患者确诊时处于局部进展期直肠癌(locally advanced rectal cancer，LARC)。最新美国国家综合癌症网络(National Comprehensive Cancer Network，NCCN)制定的直肠癌诊治指南[2]指出，LARC的推荐治疗策略是先进行新辅助放化疗(neoadjuvant chemoradiotherapy，nCRT)，之后视治疗效果行全直肠系膜切除术(total mesorectal excision，TME)或其他治疗。nCRT在缩小病灶、控制肿瘤局部进展、增加手术治疗率、改善临床预后方面均具有明显作用，LARC患者可从中获益[3]。nCRT疗效存在显著的个体差异，约15%～20%的LARC患者可达病理学完全缓解(pathological complete response，pCR)，其生存率和肿瘤控制率均较可观[4]，甚至后期无须行手术切除[5]；但部分患者的肿瘤控制率较差，此部分人群预后不容乐观。因此，建立nCRT疗效预测模型，对于预后不良高风险人群于TME前进行个体化干预，有助于解决LARC患者临床诊疗中的难题。

影像学可为疾病的辅助诊断和预后评估提供重要参考信息，其中MRI具有无辐射、对人体组织分辨率高等优势，已广泛应用于直肠癌的临床评估。目前，已有多个研究团队基于影像组学特征构建不同的预测模型，用于疾病的预后评估，辅助临床决策[6-9]，但既往针对LARC患者nCRT疗效的研究中，直接对MRI图像进行语义分割并构建nCRT治疗效果分类预测模型的报道较少。本研究借助改进的全卷积网络(fully convolutional networks，FCN)，对MRI图像中直肠范围内的肿瘤区域进行分割，旨在构建预测LARC患者经nCRT治疗后是否达pCR的模型。

1 资料与方法

1.1 研究对象与数据分组

本研究为回顾性分析。研究对象为2013年6月至2018年12月中山大学附属第六医院接受nCRT治疗的LARC患者。纳入标准：(1)组织病理证实为原发性直肠腺癌；(2)基线影像学证实临床分期为T3～T4或淋巴结转移阳性；(3)肿瘤与肛门边缘的距离<15 cm；(4)nCRT治疗后均接受TME；(5)nCRT后(TME前1周内)均行MRI检查，进行肿瘤再分期；(6)nCRT方案包括调强适形放射治疗(intensity modulated radiotherapy，IMRT)和同步化疗，前者对整个盆腔进行25次总剂量为45 Gy，对大体肿瘤进行5.4 Gy的加强剂量放疗，后者为口服或静脉注射5-氟尿嘧啶(5-fluorouracil，5-FU)。排除标准：(1)由于严重炎性积液、肠粘连或肠蠕动等导致MRI图像质量差者；(2)TME术后病理诊断缺失者。

为增加预测模型的科学性，按住院时间顺序将数据划分为Data A与Data B两个数据集。其中，Data A用于语义分割模型训练，Data B用于pCR预测模型的训练与测试。Data B按7∶3的比例随机分为训练集和验证集。

本研究已通过中山大学附属第六医院临床伦理审查委员会审批(审批号：2020ZSLYEC-010)，并豁免患者知情同意。

1.2 方法

1.2.1 pCR评定

依据NCCN直肠癌指南[2]，TME切除病理标本中无存活肿瘤细胞可判定为pCR；否则为非pCR。本研究pCR的评定由2名具有10年以上相关工作经验的病理科医生共同完成。

1.2.2 MRI图像采集

患者于nCRT治疗后均接受MRI检查(OPTIMA MR360，美国GE公司)，所有图像均按照指南[10]要求在1.5-Tesla MRI单元下扫描完成。扫描序列为T2加权像(T2 weighted image,T2WI)，扫描参数：回波时间=100 ms，重复时间=4000 ms，视野=100 mm，矩阵为512×512，像素间距为0.4～0.5 mm，层厚为5 mm。

1.2.3 数据预处理

为消除背景噪声、统一图像模式、提高图像质量，首先通过Python 3.8.13软件中的“Simple ITK”程序包对T2WI图像进行预处理[10-11]。具体策略：(1)双线性插值：对所有 MRI图像进行重新采样，规格为0.4 mm×0.4mm 像素间距；(2)尺寸统一：通过裁剪或填充，将图像大小统一为544×544像素；(3)偏差修正(bias correction)：调整图像强度，以消除不同病例之间的不均匀性；(4)强度直方图匹配。

1.2.4 感兴趣区勾画

通过ITK-Snap 3.4.0软件(http://itk-snap.org)完成感兴趣区勾画。(1)依据指南[12]，对T2WI序列图像进行标注。以直肠壁作为异常信号的参考，尽可能勾画其中的肿瘤区域，并尽量在直肠内进行勾画，避免肠腔内空气、肠腔壁外脂肪等因素的干扰。(2)直肠定位点：以肉眼可清晰辨识直肠为标准作为首张图像，以肠腔延至结肠并出现明显不规则时作为结束图像，在不考虑勾画形状和大小的情况下，粗略地以点的方式对每张MRI图像进行直肠位置标记。为提高图像分割的精准度，由2名经验丰富且对本研究内容不知情的放射科医生共同勾画直肠定位点和肿瘤区域。

1.3 语义分割模型训练

1.3.1 深度分割网络：改进的FCN

本研究图像分割以FCN为基本框架[13-16]。在训练FCN分割模型时，按7∶3的比例将Data A随机分为两部分，分别用于分割模型训练、最佳网络参数选择。FCN中仅包含一个卷积层，每个卷积操作(最后一个操作除外)后面均包含批归一化和线性归一化单元(rectified linear units,ReLU) 的激活函数。此外，单个输出点中可对原图中提取的信息进行卷积操作的输入区域称为感受野，其可根据网络架构进行计算。本研究以FCN为基础模型，通过语义分割技术将MRI 图像的每个像素进行类的分配。

直肠定位是本研究深度学习模型的重要步骤，在样本较小和计算能力不足等情况下可提高预测模型的准确度。由于直肠的解剖结构是柔软的中空腔，在连续的MRI图层中无法表现为均匀、固定的形状，若直肠有严重的形态变化或移位，深度分割网络可能将结肠、子宫、膀胱和前列腺等其他器官误识别为直肠，将对后续分析产生严重影响。为解决该问题，本研究设计了一个可基于更多信息进行指导分割的三通道FCN(图1)。由于直肠区域在相邻的 MRI 图像之间保持连续性，模型输入信息不仅包括当前图层MRI 图像，还包括有助于检测直肠轮廓的前一张图像信息。

图1 多通道FCN模型展示FCN：全卷积网络；ROI：感兴趣区

如果当前图像中的直肠壁清晰度欠佳，此时输入的其他图像可能会提供有用的信息，以辅助直肠定位。前一张图像、当前图像、直肠位置信息被组合成3个通道作为模型的输入通道，输入尺寸为244×244，通道数为3，输出通道为肿瘤分割区域，通道数为1。

除输入通道外，本研究在如下方面对FCN模型进行了调整：(1)在网络卷积过程中进行图像裁剪，以直肠定位点为图像的中心点，固定裁取244×244大小的图像。(2)通过将图像水平翻转、旋转90°、270°等操作扩展数据。(3)以带泄露修正线性单元(leaky rectified linear units，Leaky ReLU)代替ReLU作为激活函数，防止网络收敛下降梯度消失。

1.3.2 损失函数选取及相关定义

语义分割模型的损失函数为二元交叉熵Loss(Contrastive Loss)[17]。二元交叉熵Loss适用于多数仅进行二分类的语义分割场景，其定义见公式(1)：

(1)

其中，yc表示热独编码向量，取0或1；pc表示预测样本为c的概率。

本研究以图像分割的Dice值、灵敏度、特异度共同作为衡量目标分割区域准确度的指标。其中Dice值可评估模型与金标准对图像分割区域的重叠程度[18]，Dice取值范围为0～1，其中0表示“完全不重叠”，1表示“完全重叠”。其定义见公式(2)：

(2)

其中A∩B为集合A与B的交集，|·|表示集合中的元素个数。

Dice Loss由公式(3)定义：

Dice Loss=1-Dice

(3)

灵敏度和特异度可根据真阳性、假阳性、真阴性和假阴性进行计算，详见文献[19]。

1.3.3 参数设置

采用VGG16预训练模型的权重[20]。初始学习率α=2×10-4,β=(0.9,0.999)。最大训练Epoch设置为120，每 20个 Epoch 按30%的速率衰减。训练过程中，设置早期停止(early stopping)的方式防止模型过度拟合，若模型的性能在 30个Epoch上无提高，训练即会停止。该模型的配置参数为12G 内存的 Nvidia Titan X GPU。全程使用PyTorch 1.8.1[20]实现模型训练。

1.4 FCN特征提取

语义分割模型可通过卷积结构提取图像的深层特征，本研究使用基于预训练的卷积神经网络构建语义分割模型。当训练的卷积神经网络提取的深度特征越接近分类任务，语义分割模型的图像分割效果越好。基于训练完成的模型，提取Data B验证集数据中最终卷积层的特征进行pCR预测。

(5)“有效氯含量”可用来衡量含氯消毒剂的消毒能力,其定义是:每克含氯消毒剂的氧化能力相当于多少克Cl2的氧化能力。NaClO2的有效氯含量为____。(计算结果保留两位小数)

由于研究中以患者个体为分析单位，还需将单个患者的所有MRI图层信息进行数据整合和特征筛选。本研究将单个病例所有的信息进行数据统计，计算每个特征的均值。

1.5 数据降维

鉴于提取的数据量巨大，需进行数据降维后方可构建预测模型[21-22]。本研究采用最小绝对收缩和选择算子(least absolute shrinkage and selection operator,LASSO)回归法进行数据降维。LASSO回归可对提取的所有特征进行筛选[23]，并保留系数非0的特征进行降维。实际操作中，共进行1000次迭代。最佳λ位于10-5至105之间，由网格搜索法和5折交叉验证确定。

1.6 pCR状态预测

1.7 统计学处理

采用SPSS 23.0软件进行统计分析。符合正态分布的计量资料(年龄、影像特征)以均数±标准差表示；组间比较采用独立样本t检验。计算资料以频数(百分数)表示，组间比较采用卡方检验。采用受试者操作特征(receiver operating characteristic,ROC)曲线评估SVM分类器预测pCR的性能，结果以曲线下面积(area under the curve,AUC)表示，一般认为，AUC>0.6为模型的预测性能良好。以P<0.05为差异具有统计学意义。

2 结果

2.1 一般临床资料

共317例患者符合纳入标准，剔除MRI图像质量差或病理诊断缺失患者13例，最终纳入研究的LARC患者304例。其中2013年6月至2015年11月的103例为Data A，2015年12月至2018年12月的201例为Data B。Data B中，训练集140例、验证集61例。

nCRT治疗后，82例判定为pCR，222例为非pCR。304例患者的临床资料见表1。

表1 304例LARC患者临床资料比较

2.2 语义分割模型的性能评价

基于Data B数据集，对语义分割模型的性能进行评价，结果显示改进的FCN模型对图像分割的Dice值为0.79(95% CI:0.65～0.81)，灵敏度为80%(95% CI:77%～83%)，特异度为72%(95% CI:64%～85%)。语义分割模型对MRI图像的分割过程见图2。

图2 语义分割模型处理过程展示

2.3 特征提取

基于完成训练的语义分割模型，本研究共提取最终卷积层中512个影像特征用于pCR状态预测。该特征纳入LASSO回归，经网格搜索和5折交叉验证后，确定最佳 λ 为0.027。图3为 LASSO回归中不同λ下影像特征间的均方误差展示，图4为LASSO回归分析不同λ下的影像特征置信度。

图3 LASSO回归分析中不同λ下影像特征间的均方误差LASSO：最小绝对收缩和选择算子

经LASSO回归筛选，最终确定7个影像特征用于构建 SVM 分类器。

2.4 pCR预测

SVM分类器训练完成后，以Data B训练集数据为基础，采用5折交叉验证法获取最优参数，正则化因子C=1，核系数γ=0.125。使用最优参数的SVM 分类器在Data B训练集中预测pCR的AUC为0.65(95% CI:0.61～0.71)(图5)，在Data B验证集中的AUC为0.69(95% CI:0.59～0.74)(图6)。

图5 SVM分类器在Data B训练集中预测pCR的ROC曲线图SVM：支持向量机；ROC：受试者操作特征；AUC:曲线下面积；pCR：同表1

图6 SVM分类器在Data B验证集中预测pCR的ROC曲线图SVM、ROC、AUC：同图5；pCR：同表1

3 讨论

本研究首次提出了基于改进的FCN模型对MRI图像进行语义分割，进而提取有效的肿瘤特征构建预测LARC患者接受 nCRT治疗后 pCR 状态的模型。改进后的FCN模型极大避免了直肠定位错误，可以较小的样本量进行模型训练。结果显示该模型对图像分割的Dice值为0.79，满足后续分类特征提取的需求。在pCR分类过程中，共筛选了7个影响特征用于预测模型的构建，在Data B训练集和验证集中，该模型预测pCR的AUC分别为0.65、0.69，提示以效率最大化为目的，仅使用较少数据量和单一类型的数据，对nCRT治疗效果的预测即可达到一个稳定的结果，在实际临床应用中，可较好地辅助青年医师进行初步筛查。相较其他同类型的研究，该预测模型对数据的要求较低，未来与其他模型融合的可能性更大，具有较好的应用前景。

FCN模型的搭建是图像分割的里程碑事件，其可对图像进行像素级分类，解决语义级别图像分割的难题，有效提升图像分割的精度。既往研究中，FCN用于2D医学图像分割时，往往仅考虑单张图像的信息，对医学图像的连续性和人体结构的连贯性缺乏深入分析[26-27]。本研究基于临床实践经验，重点在输入通道上对传统FCN模型进行改进[28]。改进后的FCN模型可将当前图像的前后相邻图像以及直肠定位点作为连贯的信息纳入，更加符合临床实践操作，在图像分割的速度和效率上更具优势。此外，与既往单一图像分割或单一组学分析不同的是[6-9,26-27]，本研究将FCN模型与影像组学相结合，可减少流程复杂程度，显著提升效率。本研究结果显示，改进的FCN模型具有较好的图像分割灵敏度，但特异度稍低。进一步基于Data B两个数据集对以该模型图像分割结果为基础构建的预测模型的识别效果进行了验证，发现预测模型预测pCR的AUC分别为0.65、0.69，提示模型的性能良好，有望作为一项快速评估工具，辅助医务人员早期预测nCRT治疗效果，以制订临床决策，针对性干预。

本研究模型在多方面尚有改进之处：(1)数据类型和分析工具方面，可考虑纳入临床特征和实验室指标，如中性粒细胞计数、淋巴细胞计数、血小板计数、肿瘤标志物等，以构建多模态预测模型[29]；此外，可尝试采用朴素Bayes分类器、多元Logistic回归模型等SVM分类器之外的机器学习方法。(2)结果解释方面，可借助影像组学技术。大量研究表明，影像组学模型可提高肿瘤异质性的评估精度，并将影像学特征与生物学特征相关联，以指导临床治疗方案的制订和患者预后预测。当前已有多个研究团队借助MRI影像组学技术实现了对pCR状态进行预测，并取得了较可观的结果[30]。本研究未对提取的肿瘤特征进行定义和规范化，可解释性不如影像组学技术。但该预测模型对感兴趣勾画的要求低，在模型构建的流程上有较大提升，未来可借助影像组学技术进一步对模型进行改进。(3)在语义分割模型方面，FCN是最常用的图像分割模型之一，其结构简单、数据量小，经大数据量样本训练后可获得较高的性能。本研究虽然对FCN进行了改进，但样本量较少，且鉴于医学图像的复杂性，语义分割模型的精度仍有待提高。未来，除对参数进行改进外，可考虑选择更适合的分割模型进行图像分割，以进一步优化模型结构。

综上，本研究提出的改进的FCN模型，对MRI图像进行语义分割具有较高的准确度，基于该方法构建的预测模型实现对LARC患者接受 nCRT治疗后 pCR 状态预测具有可行性，结果稳定，可辅助临床医师为患者制订个体化诊疗方案。相较于既往研究通过“PyRadiomics”等成熟影像组学构建的模型[31]，该模型可极大地减少放射科医生手动勾画肿瘤特征的工作量，提高工作效率。

作者贡献：王方负责思路框架设计与实现，并撰写论文初稿；庞晓琳负责数据收集、整理及伦理申请；范新娟提供研究思路，负责论文修订。

利益冲突：所有作者均声明不存在利益冲突