基于深度学习的结肠癌病理图片分类研究*

广州医科大学公共卫生学院(511436) 钟碧霞 周冠群 许文琪 赵 倩

【提 要】 目的 本研究探讨基于深度学习算法的结肠癌病理组织切片的诊断模型，对癌旁正常和肿瘤组织以及不同分化程度的肿瘤组织进行自动分类。方法 经公共数据库TCGA收集117名结肠癌患者的全切片病理图，分割成不重叠的4440张子图片，按8∶1∶1的比例随机划分成训练集、验证集和测试集。基于Python语言的TensorFlow框架，采用Inception-v3模型和迁移学习算法构建模型。结果 对癌旁正常和肿瘤组织构建诊断模型，测试集的准确度为99.8%，灵敏度为99.7%，特异度为100%；对低分化和中分化肿瘤组织构建诊断模型，测试集的准确度为94.8%，灵敏度为94.4%，特异度为95.1%；对不同分化程度肿瘤组织构建三分类诊断模型，测试集中癌旁正常、中分化、低分化组织的准确度分别为100%、94.6%、95.2%。结论 利用Inception-v3模型和迁移学习算法对结肠癌病理组织切片构建诊断模型，具有较高准确度、查全率和查准率。

结直肠癌是严重危害人类健康的恶性肿瘤之一。据2018年全球癌症统计报告，2018年全球结直肠癌新发病人数约180万，占所有恶性肿瘤的10.2%；死亡人数约86.1万，占所有肿瘤死亡人数的9.2%；其发病率在所有癌症中排名第三位，死亡率为第二位[1]。2014年中国癌症的统计数据显示，结直肠癌新发病例约37万，死亡例数约18万，发病率在所有癌症中排名第三位，死亡率为第五位[2]。结直肠癌的高发病率和高死亡率严重威胁着人类健康及生命安全。

相关研究显示，结直肠癌患者若能早发现、早治疗，其5年生存率可高达90%；若未能进行早期诊断，一旦癌细胞扩散到结直肠外，患者的5年生存率将下降为14%[3]。因此，患者早期诊断的准确性就显得尤为重要。目前，活体组织病理检查是结直肠癌诊断的金标准[4]，由临床病理医生根据相关指导原则进行分类和分期。而人工阅片的准确性取决于临床医师的经验，且工作量大、耗时长。构建具有较高准确性的病理图片诊断模型，能辅助临床医生快速地诊断病理图片，提高工作效率。

本文采用深度学习中的Inception v3模型[5]和迁移学习算法[6]，对公共数据库TCGA中经HE染色的结肠癌病理图像构建诊断模型，对癌旁正常和肿瘤组织以及不同分化程度的肿瘤组织进行自动分类。

资料与方法

1.数据来源

本研究的数据来自于美国癌症基因组图谱信息中心(the cancer genome atlas，TCGA)[7]。该数据库提供了患者基本信息和病理扫描图片。病理标本经HE染色制片和显微镜拍照后上传平台，并按美国癌症联合委员会第六版或第七版分期手册[8-9]，对病理图片进行分级和分期。患者基本信息主要为性别、年龄、病理图片分化程度和分期。

本研究共收集了117名结肠癌患者的病理全切片扫描图和相关病理信息。所有患者的病理图片只含有一种分级或一种分期，不含有混合型。其中低分化患者21人，中分化患者96人。21名患者的病理图片包含癌旁正常组织(19个中分化，2个低分化)。对于癌旁正常组织的界定，分别由两位具有5年以上临床经验的病理医生划分肿瘤边界，确定癌旁正常组织的选取范围。若两名医生意见不一致，则由讨论后共同商定。

将117名患者的病理全切片图分割成不重叠的512×512大小的高分辨率子图片，共得到癌旁正常组织的图片729张、中分化肿瘤组织2393张、低分化肿瘤组织1318张，并根据病理结果来制作图片标签。如图1所示。从细胞形态学看，正常的结肠腺体排列整齐、大小均匀，癌变的腺体发生不同程度的畸变，排列紊乱，并且上皮细胞质消失。癌旁正常与肿瘤组织细胞形态学差异较大。

图1 经HE染色结肠癌病理组织切片

2.模型的介绍

(1)Inception-v3模型

2014年Christian Szegedy提出一种全新的深度学习框架GoogLeNet[10]，深度有22层，参数达到500万。GoogLeNet最大的特点是具有Inception 模块，通过对输入图像进行1×1、3×3 或 5×5 等不同的卷积运算与池化操作，获取更好的图像特征。Inception-v3模型是一种广泛使用的图片识别模型，在Inception-v1和Inception-v2的基础上发展起来[5]。主要由11个Inception模块组成，包括卷积层、平均池化层、最大池化层、连接层、丢包(dropout)层和全连接层。其中卷积层数约为100层，模型参数超过2500万。Inception-v3模型通过分解卷积层可增加网络的深度和非线性，降低参数数量，减轻过拟合问题。

(2)迁移学习

由于Inception-v3的模型参数数量较大，卷积层数较多，因而需要大规模的已标记样本进行模型训练，对于临床数据而言通常难以实现。常采用迁移学习的方法来解决这一问题。迁移学习是通过对大规模已标记的数据集进行网络训练，将得到的网络参数迁移到目标数据集上进行微调训练[6]，即对问题甲训练好的网络模型通过调整参数用于解决问题乙。通常选取ImageNet数据集的120余万张标注图片对1000多个目标进行网络训练[11]，作为预训练好的Inception模型。

本文采用Google提供的预训练Inception-v3网络模型，将底层的权重参数作为初始值来重新训练，将训练好瓶颈层迁移到本研究数据集上，替换最后一层全连接层。这样可避免计算机内存不足，获得更准确的权重参数，减少模型训练的时间，提高模型的收敛速度和精度。

(3)模型训练策略

采用Inception-v3迁移学习模型对结肠癌病理图像进行建模，首先按照随机化的原则对分割好的图片按8∶1∶1 的比例分为训练集、验证集和测试集。其中，训练集用于训练模型，寻找损失函数最小的模型参数；验证集用于确定模型超参数，选出最优模型；测试集用于对训练好的最优模型进行性能评估。按随机化的原则产生8∶1∶1数据集的步骤如下：随机产生[0，99]的服从均匀分布的整数，每一张图片对应一个随机数；随机数在[0，79]之间的图片归为训练集，[80，89]为验证集，[90，99]为测试集。癌旁正常组织、肿瘤组织、中分化肿瘤组织、低分化肿瘤组织分割好后的图片，分别按照上述随机化原则产生训练集、验证集和测试集。即：3711张肿瘤组织图片随机分成训练集2975张、验证集370张和测试集366张；2393张中分化图片随机分成训练集1928张、验证集242张和测试集223张；1318张低分化图片随机分成训练集1073张、验证集119张和测试集126张;729张癌旁正常图片随机分成训练集596张，验证集66张和测试集67张。如表1所示。

表1 模型1～3的训练集、验证集和测试集

选取随机梯度下降(stochastic gradient descent，SGD)作为优化器[12]，设置初始学习率为0.01，批尺寸(batch_size)为32，最大迭代次数为1000。基于Python的TensorFlow框架上完成模型构建，具体研究路线见图2。

图2 Inception-v3迁移学习模型路线图

(4)模型的评价标准

本文采用准确度(Acc)、灵敏度(Sen)、特异度(Spe)、阳性预测值(PPV)、阴性预测值(NPV)、Youden指数(YI)、F1-score、ROC曲线、PRC曲线(precision recall curve)进行模型的性能评价。在机器学习中，灵敏度也称为召回率(recall)，阳性预测值也称为精确率(precision)[13]，F1-score是precision和recall的调和均数[13]，PRC曲线描述precision随recall变化关系[14-15]。

结 果

1.结肠癌患者的基本信息

本研究共纳入117名结肠癌患者，男性59人，占50.4%。平均年龄为(69.3±12.7)岁，最小31岁，最大90岁。患者的肿瘤的分化、分期信息见表2。

表2 结肠癌患者的基本信息及肿瘤的分化、分期信息

2.Inception-v3迁移学习模型评价

模型1：癌旁正常和肿瘤组织的预测

对癌旁正常和肿瘤组织图像进行建模，验证集上的损失函数随着训练次数的增大而减少，最终收敛到0，见图3中模型1。

图3 三个模型在验证集上的损失函数随训练次数变化曲线

在测试集上，模型预测的准确度为99.8%，灵敏度为99.7%，特异度为100%，阳性预测值为100%，阴性预测值为98.5%，Youden指数为0.997，F1-score为99.9%，仅有1例肿瘤组织误判为正常，详见表3。图4(a)为对应ROC和PRC曲线，两条曲线下的面积均为1。图5(a)为被误判成癌旁正常的肿瘤组织图片。

表3 三个模型在测试集上的性能评价

图4 三个模型在测试集上的ROC和PRC曲线

图5 三个模型在测试集上分类错误的图片(a)和(b)为模型1测试集中的图片，(a)被误判为正常的肿瘤组织图片，(b)为癌旁正常组织的图片；(c)和(d)为模型2测试集中的图片，(c)为中分化肿瘤被误判成低分化，(d)为低分化肿瘤被误判中分化；(e)和(f)为模型3测试集中的图片，(e)为中分化肿瘤被误判成低分化，(d)为低分化肿瘤被误判成中分化。

模型2：低分化、中分化肿瘤组织的预测

对中分化和低分化的肿瘤组织图像进行建模，验证集上的损失函数随着训练次数的增大而减少，但波动较大、变异增大，见图3中模型2。

在测试集上，模型预测的准确度为94.8%，灵敏度为94.4%，特异度为95.1%，阳性预测值为91.5%，阴性预测值为96.8%，Youden 指数为0.895，F1-score为93.0%，详见表3。图4(b)为对应ROC和PRC曲线，AUC为0.99，PRC曲线下的面积(AUCPR)为0.98。图5(c)为中分化肿瘤被误判成低分化肿瘤，图5(d)为低分化肿瘤被误判成中分化肿瘤。

模型3：不同分化程度肿瘤组织的预测

对癌旁正常组织、中分化肿瘤组织和低分化肿瘤组织图像进行三分类建模，验证集上的损失函数随着训练次数的增大而减少，但波动较大、变异增大，与模型2的曲线较为接近，见图3中模型3。

在测试集上，整体准确度为95.7%(398/416)。癌旁正常组织的准确度为100%(67/67)，中分化肿瘤组织的准确度为94.6%(211/223)，低分化肿瘤组织的准确度为95.2%(120/126)。分别对癌旁正常组织、中分化肿瘤组织和低分化肿瘤组织的预测结果，转为二分类进行性能评价，见表3。图4(c)为对应ROC和PRC曲线。其中，癌旁正常组织模型对应的AUC=1，AUCPR=1；中分化组织模型对应的AUC=0.992，AUCPR=0.993；低分化组织模型对应的AUC=0.991，AUCPR=0.978。在ROC曲线几乎重合的情形下，中分化组织对应的PRC曲线略优于低分化组织对应的PRC曲线。图5(e)为中分化肿瘤被误判成低分化肿瘤，图5(f)为低分化肿瘤被误判成中分化肿瘤。

讨 论

结肠癌严重危害人类的健康，采用深度学习算法对HE染色的结肠病理图像进行辅助诊断具有重要的临床意义。本文使用Inception-v3迁移学习模型，对TCGA数据库中的癌旁正常组织和肿瘤组织，不同分化程度肿瘤组织的病理图像进行诊断分类，具有较高的准确度、灵敏度和特异度。在本研究的测试集中，三个模型的灵敏度、特异度和准确度均达到94%以上，具有较好的区分度。

传统的机器学习方法如支持向量机、随机森林、BP神经网络也可用于结直肠癌的病理分类[16-19]。针对癌旁正常组织和肿瘤组织病理图像的分类算法，其准确度为55.0%～100%[16-17]，针对结直肠癌不同分化程度的分类算法，其准确度为44.6%～95.5%[17-19]，准确度的变化范围较大。出现这种现象的主要原因是，这些传统方法的输入通常为一个或多个一维的变量或特征，对于二维或三维的图像数据，需要先提取图像特征。如通过共生矩阵获取图像纹理信息、通过图像的边缘特点获取其形态特征等。可见，如何选取有效的图像特征、有区分性的高质量特征以及选取多少数量的特征，是传统的机器学习方法能否具有较好的准确度的关键所在，存在一定主观性。

深度学习方法不需要提取图像的一维特征，而是直接把二维的图像以矩阵的方式放入模型进行训练，通过深度网络的训练和学习直接获取图像特征从而进行最优分类。深度学习方法让模型自动从原始图像中学习特征，避免了传统算法中人工设计、特征提取的复杂性和局限性。本研究所构建的三个Inception-v3迁移学习模型的准确度(99.8%，94.8%，95.7%)，也高于传统机器学习的平均水平。

2015年Kainz等人[20]采用深度卷积神经网络，对Warwick-QU 数据库中165幅已标记的结肠正常组织和肿瘤组织的病理图像进行分类，其准确性为95%。本研究在测试集上的准确性达到99.8%，比深度卷积神经网络提高了4.8%。Inception-v3迁移学习模型具有更高的准确性和模型精度。

另一方面，Inception-v3迁移学习模型也存在一些不足。从图5中的误判图片可看出，该模型对于形态特征非常相似的病理图片难以分辨。当不同分化程度的肿瘤细胞的轮廓较为相似时，该模型容易出现误判。此外，本课题组前期研究发现，该模型对不同T分期的病理图片的分类准确度较低。

因此，Inception-v3迁移学习模型分类效果的好坏，完全取决于不同分类间的病理图像差异或相似度的大小。如果差异大，如正常和肿瘤图片，则分类效果好、准确度高。反之如果差异小，如不同T分期图片，则准确率较低。这可能需要对卷积层或池化层进行重新设计，最大化放大不同类别之间的差异。这些问题仍需要进一步探讨和研究。

由于患者的相关临床信息较少，本文主要考虑单纯依靠病理图片信息，可提供多大的诊断效能[21]。下一步可考虑进行临床试验设计，收集患者的有效临床信息，进一步考虑基于病理图片和临床信息的混合模型[22]。还可在深度学习模型中自适应地提取图像特征[23-24]，再采用传统的支持向量机、随机森林构建新的混合模型。此外，深度学习计算量较大，对样本标记、样本量和硬件的要求较高。