基于迁移学习的宫颈细胞图像多分类识别

李申，康欢

（广东工业大学机电工程学院，广州510000）

0 引言

宫颈癌是全球女性健康的一大威胁，是女性最为常见的癌症类型之一。同时，如果能够早期及时发现并治疗，宫颈癌有着极高的治愈率[1-3]。因此，宫颈癌的早期筛查对于宫颈癌的防治有着重要意义。目前的筛查方式主要依靠病理医生人工判读，这种方法不仅工作量巨大，而且其结果容易受到病理医生技术水平和主观情绪的影响。因此，实现宫颈细胞图像的自动分类系统有着重要的现实意义。

传统的图像分类系统首先需要完成针对宫颈细胞图像的分割工作，然后从分割后的图像中提取图像特征，接着训练特征分类器。Juan Valentín等人[4]使用形态学特征和Haralick纹理特征的组合对宫颈细胞图像进行了分类，这些特征是从细胞核灰度共生矩阵中获得的，并通过PCA减少数据维数，并证明了其有效性。苏洁等人[5]提出了使用两级级联分类系统，根据每种细胞类型的特征提出了28个特征，包括20个形态特征和8个纹理特征。然后，使用两个分类器的两级级联集成系统将宫颈细胞分为正常和异常上皮细胞，进一步提高了分类的精度。鲁武警[6]提出了基于主动轮廓模型和梯度矢量流的细胞图像分割算法，并提取分割图像的形状特征和颜色特征，使用支持向量机作为分类器，达到了宫颈细胞识别的目的。这种宫颈细胞的分类方法需要研究人员手工完成对宫颈细胞图像特征提取算法的设计，这不仅要求研究人员具备一定的细胞病理学知识，而且其最终选取的图像特征也不一定具备代表性。

得益于深度学习算法的飞速发展，使用卷积神经网络进行医学图像分析也成为了一大研究热点。本文采用基于迁移学习的宫颈细胞图像的多分类识别，使用卷积神经网络完成宫颈细胞图像的特征提取工作和图像的分类工作，实现端到端的分类算法。这种方法无需手工设计局部特征算法，引入的卷积操作能够详细感知图形局部特征细节，通过神经网络中的反向传播不断更新网络层权重参数，能够实现更加准确的宫颈细胞图像识别。

1 本文方法

本文的目的是为了能够完成对宫颈细胞的高精度分类研究，设计一个以卷积神经网络为基础的宫颈细胞自动分类算法。卷积神经网络在各类目标检测、分割和分类任务上都有优异的表现。但是，由于训练样本数量的限制，大型的神经网络在训练过程中可能出现过拟合的问题，而大型的神经网络在分类的精度上又有明显的提升，所以卷积神经网络的训练过程中需要一个相当大的数据集，以确保学习到的模型具有高精度的同时具备较好的泛化能力。为了解决在数据量不足的条件下实现高精度的细胞分类，在本文中引入迁移学习[7-8]，使用经过预先训练的卷积神经网络完成宫颈细胞分类任务。迁移学习的目的是通过相近领域的信息学习提高在目标领域的学习能力。简单地说，迁移学习就是将解决A问题获得的知识用来解决B任务，以期望在B任务中有更好的学习表现。其中，A问题被称为源领域，B任务被称为目标任务。具体的迁移学习示意图如图1所示。

图1 迁移学习示意图

将卷积神经网络应用于图像领域时，图像的特征提取是通过卷积层实现的，不同深度的卷积层可以提取到不同的图像特征，而池化层的目的主要是为了减少网络参数数量，缩短训练时间，节约算力。最后的全连接层则是整合整个网络提取的特征，最后再通过分类器得到图像的分类结果。具体的，在图像分类领域，迁移学习就是通过在大型的图像数据集上进行深度卷积神经网络的预训练，此时获得的带有权重的卷积神经网络模型视为通用的底层特征提取器用于新的图像分类任务。这种通过在大型数据集预训练的方式可以充分发挥卷积神经网络的体系结构优势，得益于预训练的网络模型的参数信息以配置文件的方式储存，可以将训练好的权重参数直接对网络模型进行初始化，无需重新在海量数据集上重新进行训练，极大节约了网络的训练时间。同时，经过预训练的网络模型具备了提取通用底层特征的能力，可以提取目标领域的图像特征得到一个粗略的分类结果。另外，将在大型数据集上训练得到的权重参数对新的相同结构神经网络进行初始化，接着通过在目标领域的图像数据集上进行训练，可以实现针对目标数据集的网络权重参数的微调，进一步学习目标领域的图像特征，通过这种微调的方式也可以极大提升网络模型在目标领域的分类性能。

本文中的宫颈细胞图像分类受制于数据量较少，使用卷积神经网络进行分类时，很容易出现过拟合的情况，所以本文通过迁移学习的方式完成对宫颈细胞的分类。图2是本文的迁移学习网络训练过程，通过转移在ImageNet数据集上训练得到的权重到另一个卷积神经网络完成宫颈细胞的分类。

图2 迁移学习网络训练过程

2 常用的分类网络模型

2.1 VGG网络模型

VGG网络[9]增加了卷积神经网络模型的深度，证明了增加网络深度可以有效提高模型的性能。使用多个3×3的卷积核代替了原先较大尺寸的卷积核，其网络结构非常简洁，整个网络结构中卷积核尺寸都为3×3，最大池化尺寸都为2×2。这种卷积操作为后续神经网络结构的发展奠定了基础。

2.2 ResNet网络模型

ResNet[10]网络模型是在VGG-19的基础上改进而来，最早由微软研究院在2014年提出。VGG网络模型在加深网络层数时出现了模型退化现象，也就是当VGG网络结构层数大于19时，模型的精度出现大幅的下降。ResNet通过残差连接的方式，使得原始的输入信息能够直接传递到后面的网络结构中，这样保留了部分原始信息，得以在网络深度较大的模型中进行参数的学习，在一定程度上解决了因网络层数加深造成的梯度弥散问题，该模型是在ImageNet上提出的较深的卷积神经网络模型之一。

2.3 DenseNet网络模型

DenseNet[11]网络模型是一种采用密集连接方法的卷积神经网络，为了保证各个网络层之间的信息连接，将所有网络层直接相互连接。DenseNet模型为了充分利用浅层神经网络提取到的图像特征，将每一层的输入都加入了先前所有层的输出，并将其自身的特征图传递给后续所有的网络层。与ResNet网络模型不同，DenseNet模型没有采用求和的方式进行特征的组合，而是通过串联的方式组合不同网络层提取到的图像特征。这种密集连接的网络直观上可能会产生网络模型参数，实际上得益于不需要重新学习冗余的特征图，DenseNet模型的参数更少。

3 实验过程

3.1 数据集介绍

目前公开的宫颈细胞涂片数据集有SIPaKMeD数据集[12]和Herlev数据集。其中，SIPaKMeD数据集包含4031张细胞图像，由病理学医生根据细胞形态特征分为5类。Helev数据集共包含917张细胞图像，由病理学医生根据细胞形态特征分为7类。为了提高卷积神经网络的泛化能力，本文使用的数据集为上述两个数据集的集合，在病理学医生的指导下对上述两个数据集细胞图像进行了二次归类，新集合的宫颈细胞分布如表1所示。

表1 本文使用宫颈细胞图像分布

3.2 模型训练过程

本文在深度学习平台PyTorch中实现了3种神经网络模型结构：VGG-19、ResNet50和DenseNet121。这些网络模型都在包含1300万张自然图像的ImageNet数据集上进行了预训练。在本文的宫颈细胞分类任务中，将卷积神经网络模型的全连接层神经元个数修改为类别数，本文的类别数为5类，将最后的输出层个数大小从原来的1000修改为5。通过随机梯度下降（SGD）反向传播[13]对网络模型进行微调。训练集大小占70%，交叉验证集占20%，测试集占10%。在模型的训练过程中采用SGD优化算法进行梯度更新，批次大小设置为32，最大训练批次为30。损失函数定义为交叉熵损失函数。学习调整策略采用余弦退火学习率[14]，在训练初期学习率从一个较小的值增大到0.001，然后按照余弦曲线的规律逐渐递减。同时，由于不同的神经网络模型都是针对特定大小的输入图像，VGG19模型的输入图像大小为224×224，ResNet50模型的输入图像大小为224×224，DenseNet121模型的输入图像大小为512×512。在实验过程中，每个图像都被调整为对应的大小以使用不同神经网络模型的输入层。

3.3 算法优化

（1）数据增强。在卷积神经网络的训练过程中，数据集的大小对模型最终的精度以及泛化能力有着很大的影响。本文的所采用的宫颈细胞图像来自两个经专业病理医生标注的混合数据集，但数据集的大小依然不够理想。使用数据增强方式[15]对数据集进行扩充是一种提高模型精度和泛化能力的重要手段，避免了因数据集过小而产生的过拟合现象。本文的数据增强具体方式考虑到实际细胞图像采样过程中可能会出现的旋转、镜像以及明暗变化情况对数据集进行了扩充。如图3所示为以左上角原始细胞图像为例，进行旋转变换、亮度变换和镜像变换的效果图。

图3 数据增强细胞图像

（2）测试增强。测试增强[16]是将数据增强技术应用于测试数据集的一种方法。数据增强技术广泛应用于卷积神经网络的训练过程中，能够在一定程度上提高模型的精度，减少泛化误差。在使用网络模型进行预测时，同样可以使用数据增强技术，使得模型针对测试数据集每个图像的多个不同版本进行预测，对全部预测结果进行平均，以获得更好的预测性能。具体的，测试时增强包含3个步骤，①为测试集中的每个图像创建多个增强图像，通常包括平移、裁剪和图像翻转等，如图4所示。②为上述每个图像做出预测，预测过程中会产生不同的置信概率。③为预测图像分配平均置信概率最大的类别。

图4 测试增强方法示意图

（3）标签平滑。在神经网络的学习过程中，理论上损失函数的值越小越好，损失函数越小说明模型的输出与真实值的差距越小。但是，如果学习的样本中存在少量的错误标签，此时的错误的标签也会对网络模型产生影响，从而使得整个网络模型的精度下降。本文使用的宫颈细胞图片是在病理医生的指导下完成的分类，但是考虑到不同类别的宫颈细胞有时其图像特征差距并不大，分类的结果可能存在一定的误差。标签平滑[17]是神经网络学习过程中的一种正则化方法，可以防止“过分”相信预测标签，改善模型的泛化能力。具体的，在分类问题中，通过采用独热编码，目标类别为1，非目标类别为0。其标签向量yi的数学表达式如式（1）所示。

在神经网络模型的训练过程中，预测概率与标签真实值之间的差值不断减小，错误标签促使神经网络模型向错误的方向学习，使得模型的训练变得困难，泛化能力变差。

标签平滑使用新的标签向量的表达公式代替独热编码，数学表达式如式（2）所示：

式中N为分类的总类别数，α为标签平滑参数，通常取0.1。

此时的交叉熵损失函数为式(3)所示：

此时的损失函数分布相当于加入了噪声，避免了模型对于正确标签的“过分自信”，提高了网络模型的泛化能力。

4 实验结果分析

4.1 迁移学习结果

本文的宫颈细胞图像分类实验中，采用的预训练模型分别为VGG19、ResNet50、和DenseNet121。经过反向传播微调的神经网络模型的五分类混淆矩阵如图5所示。由图5可以看出各个网络模型对于表层、中层鳞状细胞的识别精度最高，结合细胞图像信息，这类细胞的细胞通常呈现规则圆形,细胞核较小且容易识别。其中，DenseNet121取得最高查准率0.921。具体的网络模型的评价精度指标汇总如表2所示。

图5 不同微调模型的分类结果混淆矩阵

表2 不同网络模型分类精度对比

4.2 算法优化结果

为了验证本文所使用的优化策略的有效性，在相同实验条件下，进行了宫颈细胞图像的分类实验，最终结果如表3所示。可以看出，采用数据增强、测试增强以及标签平滑后，宫颈细胞图像的分类精度有了很大的提升。最终的宫颈细胞图像分类精度达到查准率0.936，召回率0.931，F1-Score 0.933。

表3 优化前后模型精度对比

5 结语

本文通过卷积神经网络模型实现了针对宫颈细胞图像的自动分类识别，使用迁移学习初始化不同的分类网络模型，对比了不同模型在混合数据集的分类精度。同时，采用数据增强、测试增强和标签平滑的优化策略，进一步提升了宫颈细胞图像的分类精度，验证了优化策略的有效性。基于DenseNet121模型迁移学习的分类精度最高，查准率达到了0.936。可以在一定程度上帮助病理医生对宫颈癌筛查结果做出诊断，有益于宫颈癌疾病的防治。