基于多尺度迁移学习的肺结节良恶性分类

张修聪，刘 杰，张光磊

（1.北京交通大学计算机与信息技术学院，北京 100044；2.北京航空航天大学生物医学工程高精尖创新中心，北京 100191）

0 引言

肺癌是世界上发病率和死亡率上升最快的恶性肿瘤之一，对人类生命安全构成的威胁最大。在所有癌症类型中，肺癌的患病人数和死亡人数均高居首位。由于肺癌发病时间短、转移速度快，早期诊断十分困难，绝大多数肺癌患者到了晚期才能诊断出癌症，其五年生存率极低，仅有不到20%。当疾病逐渐恶化或无法进行手术治疗时，患者只能依靠放疗和化疗等医学手段维持生命，他们的平均存活时间不到一年。通过早期的诊断治疗，肺癌患者的5年生存率大大升高，能够达到70%以上。因此，针对肺癌的早期精准检测具有重要的临床意义和治疗价值。

肺结节（pulmonary nodule）分为良恶性两类，直径小于3 cm，常无明显症状。其中恶性结节占比20%左右。癌症的风险随结节大小呈指数增加。在计算机断层成像（computed tomogra⁃phy，CT）的扫描下可以检测肺部是否存在结节。通过CT 扫描检测能够及早诊断出部分早期肺癌，有效减少肺癌患者的死亡率约20%。

当今，如何实现早期肺癌的精准检测是个极具挑战性的医学难题。肺癌的临床检查方法主要有体格检查、影像检查、内镜检查、组织活检等。然而，作为临床上诊断肺结节良恶性的“金标准”，活体组织检查相对复杂和耗时，不能对肿瘤进行全面的整体分析。医生可以在机器辅助诊断模式的帮助下对肺结节的良恶性进行诊断，可以有效解决费时费力、诊断效率较低等问题，其大多传统的机器学习结节分类方法不能够实现端到端的方式进行工作，仍然需要手动提取特征。深度神经网络作为一种最近蓬勃发展的方法，在肺结节良恶性分类研究中具有很大的潜力，然而，所需高质量数据的短缺明显阻碍了其在医学图像识别当中的应用。而迁移学习由于所需数据规模较小，是解决这一问题极具前景的一种深度学习技术。迁移学习是一种机器学习方法，可以实现跨领域任务，可以用来解决领域差异大、模型效率低等问题。

因此，本研究围绕早期肺结节的精准检测方法展开，提出了一种基于多尺度迁移学习的肺结节良恶性分类的创新研究思路，旨在通过实现对肺结节良恶性的早期准确判断，为辅助医生进行早期肺癌的快速、准确的诊断提供新的更有力的临床筛查工具。本研究基于肺部图像数据库联盟和图像数据库资源计划（lung im⁃age database consortium and image database re⁃source initiative, LIDC-IDRI）开源数据库，通过对1010例病人的肺部CT影像数据进行分析，构建数据集并进行实验。

1 相关研究工作

近些年来，在对肺结节良恶性分类的研究中已有不少的研究成果，主要包括传统的机器学习方法、卷积神经网络、混合模型等。

传统机器学习方法的流程通常为：①图像采集；②区域分割；③特征提取；④建立预测模型。Mizuho 等分别采用了支持向量机和梯度树增强方法，并使用贝叶斯优化，在公开数据集上，训练出模型的曲线下方面积（area un⁃der curve，AUC）分别为0.850和0.896。Tu 等对私有数据集上的肺结节进行三维重建，手动提取了374个特征，采用放射学特征提取和机器学习分类相结合的方法，最终获得了79%的分类准确率（accuracy），同时AUC达到了0.80。

采用深度学习技术来实现卷积神经网络（convolutional neural network，CNN）模型的训练已经成为医学领域中的常见方法，可以无需凭借先验知识选取特征就能够实现端到端的检测。Shen 等对卷积神经网络采用了多尺度采样池化的设计，适应了肺结节大小变化较大的特点，更好的提取结节特征，最终在LIDC-IDRI 数据库上获得了86%的分类准确率。Zhu 等建立的肺部CT 图像智能诊断系统实现了肺结节检测和诊断两部分功能，他们分别设计了两个3D 双路径网络来进行肺结节的检测和分类，并且在分类时使用了梯度增强的方法，在LIDC-IDRI数据集上进行了验证，结果显示其性能超过了高水平的医生。

此外，机器学习与卷积神经网络的混合模型也被应用在肺结节的分类任务中。一些研究采用卷积神经网络进行特征提取和分析，机器学习方法作为分类预测器，也取得了不错的的分类效果。Hussein 等对结节进行三维重建，提取重建完整结节的水平面、冠状面和矢状面上的投影图，最终获得了82.4%的分类准确率。

2 数据集处理

本实验基于LIDC-IDRI 肺结节数据库，由肺部CT 影像和相应的诊断结果标注而成，包含了从肺癌检查中获得的1010例病人的肺部CT影像数据和诊断信息。图1 为CT 图像中肺结节的示意图。每个病例都有对应的XML 文件来记录结节位置等标注信息。每个结节的良恶性程度由四位经验丰富的医生标注的5分量表进行评估（从1到5，恶性可能性不断增加，其中3为不清楚或未知）。目前数据库总大小约124 GB，其中每张CT图像的大小均为512×512像素。

图1 CT图像中的肺结节

由于四位医生的标注是互相之间彼此独立的，也存在针对同一张CT 图像中的结节有不同评分的情况，因此我们将每个医生标注5级评分的中位数作为医生的综合意见提取出来，采用会诊投票策略来获得更加准确的数据标签。将中位数数值小于2.5 的标记为良性结节，数值大于3.5 的标记为恶性结节，介于2.5和3.5 之间的标记为未知。对于未知的结节，由于缺乏可信赖的标签，决定将其暂不纳入训练集或测试集当中。采用以上标准，共计获得良性结节369例、恶性结节358例，CT图像共计4161张。

3 方法

本文提出的基于多尺度迁移学习的肺结节良恶性分类模型，其流程主要包括：①围绕CT图像提取ROI 区域并生成多尺度图像输入。②使用预训练的ResNet-50卷积神经网络来提取特征。③构造基于迁移学习的肺结节良恶性分类模型。

3.1 多尺度图像输入

由于肺结节的良恶性和其在CT 影像中的直径、轮廓、纹理和密度等密切相关，因此选择一个固定合适的ROI 区域大小是比较重要的。如图2 所示为数据库中结节直径的像素分布表示，可以看出其主要分布在0～40之间，且不同结节之间差异较大。

图2 结节直径分布统计图

为了满足模型输入的要求，我们将得到的不同采样大小的图像进行差值放大，进而合成为一张RGB三通道图像作为网络模型的新输入。如图3所示，根据对LIDC-IDRI数据集中各个结节直径分布的统计，选择了三种不同的ROI 区域获取方式。分别在围绕结节的中心选取边长像素大小为32×32 像素，64×64 像素，96×96 像素的正方形区域。其中，当ROI 区域较小时，能够囊括大部分的结节，还能得到稳定的信噪比，保留结节的纹理、分叶等内部信息；当ROI 区域为中等大小时，大概能够囊括所有的结节，保留一定的边缘信息；当ROI 区域较大时，能够囊括所有包含有结节的外部区域，保留一定的周边环境以及与血管等的距离信息。

图3 ROI区域采样合成

提取ROI 区域之后，将不同像素的正方形图像通过三次插值的方法放大到适应源迁移网络输入的标准大小。最后，合成获得一张三通道RGB图像。

3.2 基于ResNet-50的特征提取

本研究所迁移的源网络为深度残差网络（deep residual network，ResNet），采用了短路连接网络结构，如图4所示。

图4 残差网络的基本构成［14］

图中展示了构成ResNet 网络的核心模块，weight layer 代表了网络中卷积层等特征提取层；Relu为网络采用的激活函数；和（）是输入该块的特征和经过两层运算后获得的特征。该块的设计核心在于右侧的短接结构，使得输入网络前的特征和运算后的特征（）同时保留。保证了在经过该网络块运算后，至少不会损失已有的特征提取结果，避免了退化问题。

3.3 基于迁移学习构造模型

本文采用迁移学习的方法，将在ImageNet上表现良好的深度网络模型迁移到我们的目标领域，用以解决肺结节领域数据不足的问题。如图5所示，在该模型的构造过程中，我们迁移了ResNet-50的网络结构及其参数，为了使之能够更加适应良恶性分类问题，我们对网络模型进行改进添加了三个全连接层，其中含有的神经元数量分别为1024、512和2，输出结果为良性或恶性。全连接层使用Relu 激活功能，为网络增加了非线性成分，从而使模型训练的结果更加稳定。

图5 迁移学习模型网络示意图

为了进一步避免过度拟合并增强模型的泛化能力，同时保持模型的学习能力，进一步将Dropout和正则化项策略引入到全连接层，对网络模型进行改进。Dropout是指在模型训练过程中依据特定的概率随机舍去特定层中的某些神经元，这相当于每次的迭代训练都是不同的神经网络。正则化是指将与参数大小有关的项目添加到损失函数中，这样可以使参数的值尽可能小，从而限制参数的值范围，并避免过拟合。本研究使用L正则化，将L范数添加到损失函数中。

4 实验设置

图像的输入采用多尺度采样的方法将围绕结节中心提取边长分别为32×32、64×64、96×96像素的ROI区域并插值到224×224像素大小，然后合成一张三通道RGB图像。在对图像的采样之前还需要对来自多个机构的数据进行统一的预处理，包括数据扩增、插值放大和直方图均衡化。对训练集中的所有CT 图像数据都执行旋转90°、旋转180°、左右镜像、上下镜像等操作，将有限的数量进行5倍的扩充，以此增强网络模型的鲁棒性。采用双三次插值的方法将图像放大到224×224像素大小，具有更好的放大效果。采用直方图均衡化的方式来对图像进行预处理，使得结节中的纹理、毛刺信息更加丰富。

为了客观评价模型的泛化能力，本实验划分训练集和测试集需要保证同一个病人的同一肺结节的不同CT 图像不能被同时分到训练集或测试集中。因此，在进行十折交叉验证时采用根据病人分组的方法，即将数据集中的病例按照编号随机分成十组，轮流将其中的一组作为测试集，剩下九组作为训练集，也仅对训练集进行了扩增。

在本研究中，编译神经网络时采用了交叉熵损失函数和Adam 优化器，该优化器使用时只需要关注调整其学习率即可。在实验过程中，本研究提出并使用了一种交替开放卷积网络层数并同时改变学习率大小的训练方法。全连接层中的Dropout 的概率一般设定为0.2 左右，采用L正则化策略，系数设置为0.001。

评价标准采用准确率（accuracy）和来对分类结果进行表示。其中准确率表示分类正确的样本数与总体样本数的比值，如表1所示，计算公式如下：

表1 结果评价指标

ROC 曲线是反应敏感度和特异度连续变化的综合指标，以敏感度为纵坐标，（1-特异度）为横坐标绘制成曲线，曲线下方面积的大小即为，越大则准确率越高。

5 实验结果

经过十折交叉验证，对在测试集上的分类准确率和取平均值，模型最终达到了90.26%的分类准确率和0.956 的。表2 展示了本研究和三个最新发表的基于LIDC-IDRI 数据库的基于深度学习进行肺结节断层层面上的良恶性分类算法模型的分类准确率、。

表2 与类似研究的效果对比

可以看出，本研究分类效果不论是在准确率还是在上相比于其它三个研究都具有一定的优越性。

本研究还对多尺度采样的有效性做了对比实验。试验的设置与结果如表3 所示。实验1 采用的多尺度采样合成RGB 图像输入，而实验2、3、4 中分别采用将特定大小的ROI 区域复制三份作为输入的方式，其它设置均与实验1相同。

表3 多尺度采样对照试验结果

结果表明，多尺度采样合成RGB 图像输入的方法准确率和明显优于其它三种输入方式。这说明多尺度采样的方法在迁移学习中是可以应用的并且有良好效果的。

6 结语

本文针对肺结节良恶性分类任务，提出了一种基于多尺度迁移学习的肺结节良恶性分类模型。基于LIDC-IDRI 公开数据库构建数据集，针对肺部CT 图像提取ROI 区域并生成多尺度图像作为输入，迁移了ResNet-50卷积神经网络结构及参数，并对全连接层进行设计，采用了交替开放式的迁移学习训练策略，有效提升模型的训练效果。结果表明，将多尺度迁移学习方法应用到肺结节良恶性分类任务上，分类效果得到明显提升。