基于深度学习的肺癌计算机辅助诊断

李斌，李科宇，汤渝玲，李慧

（1.南华大学附属长沙医院，湖南 长沙 410005；2.长沙市第一医院呼吸内科，湖南 长沙 410005）

目前，肺癌所致死亡占全世界癌症相关死亡原因的首位[1]。根 据2009 至2013 年SEER（surveillance, epidemiology and end results）数据库结果显示，肺癌患者的5年生存率仅为18%左右。早期可切除癌患者的5年生存率约为34%，而不可切除肺癌患者的5 年生存率＜10%。因此，肺癌的早期发现和诊断是提高治疗效果的重要环节。根据美国国立综合癌症网络（national comprehensive cancer network，NCCN）指南，对于疑似肿瘤，需通过纤维支气管镜和活检病理检查进行早期诊断。活检病理确诊是肺癌诊断的金标准，准确率达90%以上[2]。肺癌的主要组织学亚型为鳞癌、腺癌、小细胞癌和未分化癌。然而，目前庞大的癌症患者数量与有限的病理科医师并不匹配，难以满足巨大的临床需求。人工智能肺癌自动诊断系统或可有效解决这一问题。

近年来，人工智能技术在医学病理诊断领域蓬勃发展。2016年，通过使用特征提取和选择算法，深度学习卷积神经网络（convolutional neural networks，CNN）tensorflow算法成功检测到黑色素瘤病灶，准确率达92%[3]。乳腺癌四极阻抗测量（tetrapolar impedance measurement，TPIM）通过机器学习提取特征，有效诊断率为84%[4]。在细胞水平，人工智能技术对乳腺癌[5]的诊断率达95.34%。目前，人工智能在肺癌诊断中的应用主要集中在影像学图像[6-7]。放射组学是一个使用预定义的、工程算法或深度学习方法[4]自动量化放射表型特征的过程。通过工程CT 图像分析，放射组学特征可区分EGRF-和EGFR+肺癌，及EGFR+和KRAS+肺癌[6]。基于CT 图像的卷积神经网络（CNN）在肺癌[7]中的准确率达86.4%。然而，与影像学诊断相比，病理诊断更有优势，因为可对组织学亚型进行分类，并为临床治疗提供直接证据。在过去的几十年，研究者们已开发了多种自动或半自动定量模型来客观评价显微镜下的病理图像[3，8]。传统的研究步骤包括病理图像输入和数字化、疾病病灶分割、特征提取和模型构建。形状、边界、颜色变化和纹理描述是重要的病理特征[9-11]。近年来，深度学习（deep learning，DL）算法，尤其是CNN，已成功应用于数字病理图像分析[12-13]。与传统的机器学习算法相比，深度学习方法无需任何可能在不同病灶间变化的手工标注的特征。虽然许多CNN 都是为自然图像分析而设计的，但迁移学习的思想可帮助研究人员利用预先训练过的CNN 解决医学图像中的问题。本研究收集33 例肺癌患者的病理性全视野数字切片（whole slide images，WSIs），由经验丰富的病理学家（超过20年）在每张幻灯片上画出癌症区域。本研究旨在比较几种传统的基于CNN的算法，以辅助肺癌的诊断。

1 资料与方法

1.1 临床资料 选取2016 年1 月至2017 年11 月在长沙市第一医院肿瘤内科接受治疗的33例患者为研究对象。根据美国癌症联合委员会（AJCC）分期系统，患者首先诊断为肺癌/支气管癌（部位编码：C34.1-C34.9；组织学类型：腺癌、鳞状细胞癌和小细胞癌。纳入标准：①经手术切除或穿刺活检病理确诊患者；②术前无放疗；③年龄30～90 岁；④临床资料完整。排除标准：①合并其他恶性肿瘤；②转移性肺癌；③有免疫缺陷或器官移植史；④无法参与的患者。本研究经长沙市第一医院伦理委员会审核批准。所有患者均对本研究知情同意并签署知情同意书。收集患者的基本人口学和临床信息，如年龄、病理、分期、影像学记录、治疗史。

1.2 图像采集和预处理 组织切片（每例患者3片）用苏木精-伊红染色法染色后，分别用自动显微镜（Olympus VS120）在10、20、40倍下进行扫描。20倍数字病理图像上标注的肿瘤区域，见图1。20 倍图像的完整图像被裁剪成小块，大小为256×256，裁剪后的图像块，见图2。图像块颜色与正常组织差异较大[14]。由于癌变类型的不同，癌变区域的外观也不同。如图2A-B 为小细胞肺癌，图2C-D 为非小细胞肺癌组织。

图1 病理WSI 与癌症区域的标注（图像放大3 倍，以更好的可视化）Figure 1 Pathological WSI with annotations for cancer regions(the image is zoomed in 3×for better visualization)

图2 肿瘤图像块和正常图像块Figure 2 Examples of tumor patches and normal patches

1.3 使用GLCM 和SVM 进行预分析 灰度共生矩阵（graylevel co-occurrence matrix，GLCM）纹理分析在癌症病理学中被广泛应用。本研究首先选取30 张载玻片（10 张非癌性、10 张非小细胞肺癌、10 张小细胞肺癌）进行GLCM 分析。采用中位数和四分位数对肿瘤图像和正常组织图像进行归一化处理。将归一化后的图像分割成大小为7×7像素的小段。对每个图，利用小片段的参数均值、方差、同质性、对比度、相异度、熵、二阶矩和相关性提取纹理特征。本研究使用了自主研制的基于支持向量机（supporting vector machines，SVM）的算法鉴别肿瘤良恶性。

1.4 卷积 神经网络卷积神经网络（CNN）是一种专门用于图像分析的神经网络。该方法已成功用于[15-16]的图像分类。CNN 的典型结构包括卷积层、池化层和全连接层。引入了batch normalization[17]、dropout[18]、shortcut connections[19]等先进技术，提高了分类精度。

1.5 基于图像块的CNN分类 MXNet用于构造DL 框架。该框架的性能比Torch 和TensorFlow 等其他框架更快。前期研究测试了几种流行的基于图像块分类的CNN 架构：AlexNet[15]、VGG、ResNet 和SqueezeNet。所有的网络都是在目前最大的计算机视觉图像分类数据集ImageNet[20]上进行预处理。在微调实验中，本研究使用4个网络在ImageNet上预先训练的权值作为初始化。实验选择VGG-16 和ResNet-50作为VGG和ResNet体系结构的代表。Adam优化算法是随机最速下降法（stochastic gradient descent，SGD）的扩展，最近在计算机视觉的深度学习应用中被广泛采用。在这项工作中，本研究使用Adam来更新网络的权值。遵循迁移学习的思想，比较两种类型的训练方案：从零开始训练和对整个预训练网络进行微调。对于所有的方法，本研究固定学习率（learning rate）=0.000 01，权重衰减率（weighted decay rate）=0.000 1，一代训练（epoch）=10，批尺寸（batch size）=64。

1.6 实验设置 将数据随机分为26张幻灯片的训练集和7张幻灯片的测试集。每张幻灯片将256×256像素的图像块裁剪为196 像素，保证相邻图像块间有足够的重叠。最后，在训练集中有大约80 000个图像块，在测试集中有30 000个图像块。由于此时标注只被指定为癌症或不是癌症，本研究只处理二分类的问题。

2 结果

2.1 基于纹理分析和SVM 的样本分类 根据2 个层次的GLCM 分析和SVM，提取7×7 个单元格样本图像块的纹理特征。30个样本的第一层均值和方差的直方图（见图3A）。然后将第二层的均值和方差与第一层的比较（见图3B）。根据第1 层和第2 层的纹理特征，SVM 在3 组的总准确率为0.83。但是，3组的level-1-out总准确率为0.57，见表1。

图3 第1层和第2层分析的GCLM输出特征Figure 3 GCLM output features from the 1st and 2nd layer's analysis

表1 利用第一层和第二层GLCM提取特征的线性SVM的准确率Table 1 Accuracy of linear SVM with 1st and 2nd layer GLCM extracted features

2.2 基于图像块的分类 在图像块水平上进行受试者工作特征（receiver operating characteristic，ROC）分析，用于比较不同CNNs 的ROC 曲线下的面积（area under the ROC curve，AUC）。SqueezeNet、ResNet-50、Alexnet 和VGG-16 的结果，见图4～5，分别使用两种不同的学习策略：从零开始训练和对整个预训练网络进行微调。

2.3 基于幻灯片的癌症区域检测和与人类标注比较 结合之前所有基于图像块的分类结果，进行基于幻灯片的癌症区域检测。计算每个WSI的热图，见图6。

在标注的区域内，可看到大部分区域的癌症率均较高。也可在标注区看到一些假阴性区域（不那么红的区域，如绿色箭头指出的地方）。然而，当放大这些区域（见图6C 和E）时，可看到假阴性区域实际上是真阴性区域。DL 模型还可分出肿瘤区域和正常区域的边界，见图6D和F]。

图4 从零开始训练的ROC曲线Figure 4 ROC of training from scratch

图5 对整个预训练网络进行微调的ROC曲线Figure 5 ROC of fine tuning for whole networks

图6 肿瘤区域检测可视化Figure 6 Visualization of cancer region detection

3 讨论

本研究测试了几种深度学习模型用于肺癌的组织病理学诊断。可以看出，除ResNet-50外，从零开始训练AUC要高于对整个网络的微调。与其他计算机视觉任务的微调不同，本研究中模型似乎并没有从imageNet预先训练的模型中获益太多。这是因为本研究的域与imageNet 域有内在的区别，从imageNet学到的权值实际上对最终的模型贡献很小。AlexNet在这两种训练策略中都给出了最高的AUC。在肿瘤区域检测可视化结果中，基于深度学习的模型可正确地预测这些区域，病理学家的标注也可在尊重模型训练的基础上得到进一步的改进，但可能需引入另一个深度学习模型来减少假阳性。初步结果表明，深度学习法具有诊断肺癌的潜力，有望在未来辅助病理医生提高病理诊断的准确度，并减轻其负担。但是，其诊断准确率低于已报道的用于其他癌症诊断的深度学习系统，显示出人工智能在肺癌诊断[12]的挑战。这可能是由于不同载玻片之间的模式差异较大，导致训练数据和测试数据不一致。病理学家的不精确标注也降低了检测的准确性。在未来的工作中，一方面，本研究将收集更多的训练数据来覆盖数据分布的巨大变化，另一方面，本研究将探讨其他技术，如领域自适应（domain adaptation）[16]来解决分布的差异，提高诊断的准确性。还将创建细粒度图像注解（fine grained annotations）来区分不同类型的癌症。