基于迁移学习与标签平滑策略的宫颈细胞分类方法

刘 美，周 龙

（武汉轻工大学电气与电子工程学院，武汉 430023）

0 引言

宫颈癌是影响妇女健康的重大疾病，在中国，宫颈癌是导致女性死亡的第二大杀手，2020 年我国新发宫颈癌数量达到了11 万，占全球总量的18%［1］。然而，宫颈癌是一种早期可以发现的肿瘤，开展人群筛查是促进宫颈癌早诊早治的有效措施。宫颈癌筛查，包括妇科检查、宫颈癌初筛、阴道镜检查、病理组织学检查等流程，其中宫颈细胞学检查是早期发现宫颈癌最简单、有效、方便的方式，且其准确性较高，适用于宫颈癌的早期诊断、普查和预防［2］。宫颈细胞学诊断是基于细胞形态学对宫颈细胞进行分类和统计，是临床上对宫颈癌诊断的依据，医学界称之为巴氏涂片检查。

传统的巴氏涂片阅片方法是由病理医师人工阅片，这种方法不仅效率低下，而且受限于病理医生的主观性和专业性，时不时会发生误判和漏判。人工阅片的方法一方面需要消耗大量的人力物力，另一方面准确率得不到保证，这就导致了我国基层宫颈癌筛查工作进展缓慢，筛查质量不高，因此应用计算机辅助宫颈癌筛查是非常有必要的。

过去，计算机辅助系统中的宫颈细胞分类任务都是根据细胞核和细胞质的形态学特征来分类。而这些特征的选取是依靠人工来筛选的，不同的方法筛选的特征不同。Marinakis 等［3］使用了基于遗传算法的特征选择和最近邻分类来进行巴氏涂片诊断； Kumar 等［4］设计了一个基于生物学可解释特征的框架来分类癌症；William 等［5］设计了一个模糊C 均值算法的宫颈癌辅助诊断工具。然而，这些手工设计的特征都有一些缺点，因为它们或多或少会受到特征或分类器选择过程的影响。

人工智能（AI）技术正在改变当今的医疗实践现状。人工智能可以应用在各种各样的任务中，George 等［6］将深度学习用于乳腺癌诊断；Böhland 等［7］用机器学习对甲状腺癌进行自动分类； Song 等［8］对骨髓组织学的图像进行检测和分类，许多人工智能应用已经达到了专家级的诊断准确度。

卷积神经网络（CNN）已被证明对医学图像分析处理中人工智能的成功具有重要意义。在宫颈细胞分类领域，近年来基于深度学习和CNN 的研究取得了很大进展。研究人员发现，CNN 可以作为特征提取工具，自动提取深层特征，对宫颈细胞进行分类。Zhang 等［9］将深度学习应用在宫颈细胞图片分类中，使用CNN 模型自动提取宫颈细胞的深层特征，且无需事先分割；Plissiti 等［10］从细胞特征、图片特征、深层特征三个方面出发探讨了CNN 在辅助计算机检测方面的可行性，并且提出了全新的宫颈细胞数据库。在基础上，Shanthi 等［11］用卷积神经网络构建了预测模型，对宫颈癌进行不同等级的分类；Shi 等［12］用图神经网络对宫颈细胞进行分割和分类，深刻地探索了各类宫颈细胞图像之间的潜在关系，进一步提高了分类性能。虽然上述方法在一定程度上提升了准确率，但在宫颈癌诊断上，特异性和召回率还存在不足，用于医疗辅助诊断还需要进一步提高指标。

为了进一步提高宫颈细胞诊断的准确率和特异性，本文提出了基于迁移学习和标签平滑正则化损失函数的TLS-Net50 算法，在特征提取阶段使用预训练参数，使网络能更好地学习到细胞特征，同时改进了交叉熵损失函数，使模型具有更好的泛化性和鲁棒性。

1 基于迁移学习和标签平滑策略的算法分析

TLS-Net50 总体框架如图1 所示，首先对输入的宫颈细胞图像进行预处理。预处理包括对图像的裁剪缩放。之后输入到模型中进行特征提取，特征提取基于ResNet50 框架，其中卷积层的参数是通过迁移学习得到的，用卷积层提取图像的深层特征。全连接层的参数则由SIPaKMeD 数据集进行训练得到。在此基础之上将原来的交叉熵损失函数进行改变，在原来函数的基础上加上一点噪声，最后经过softmax 函数进行输出，得到模型的预测结果。

图1 TLS-Net50模型总体框架

1.1 迁移学习

迁移学习是指在其他大规模图像数据集上预训练的深度学习模型的微调。深度学习需要大量有标注的数据，然而现实条件下无法获得大量已标注的数据，因此考虑通过迁移学习的方法，将已有的知识迁移到目标领域中，解决仅有少量已标注样本的学习问题。ImageNet 是广泛应用于计算机视觉领域的大型数据库，其中包含了100 万幅图，共1000 个类别。因此，在ImageNet 数据库预训练过的ResNet50 模型具有提取宫颈细胞深度特征的能力，尤其是卷积层具有充分的学习图片边缘和轮廓特征的能力。

经过预处理后，我们用在ImageNet 数据库上预训练过的ResNet50 的前几个卷积层和池化层用作网络的初始参数，在此基础之上对全连接层进行随机权重初始化。利用Sipakmed 数据集对网络参数进行微调，就可以获得融合了迁移学习的ResNet50模型。迁移学习的过程如图2所示。

图2 迁移学习

1.2 标签平滑

标签平滑是一种防止模型过拟合的正则化手段，在训练深度学习网络模型时使用标签平滑的方法是很有效的［14］。标签平滑可以应用在很多任务中，例如图像分类、图片分割、机器翻译和语音识别，使用该方法可以提高深度学习模型的泛化性能和鲁棒性。

在分类问题中，常用one-hot（独热分布）对向量进行编码，编码的标签向量yi为：

其中正确的类概率是1，不正确的类概率是0。在训练时，模型最小化损失函数H(y,p)：

其中，pi由模型前一个全连接层输出的logits 向量z应用Softmax函数得到：

在正常的独热向量编码标签网络学习过程中，鼓励模型估计目标类别的概率接近1，非目标类接近0。但是，如果训练数据不足以覆盖所有情况，这不仅会导致网络的过拟合还会降低模型的泛化能力，导致模型在预测集上表现不好。在数据集较少的情况下，使用交叉熵损失函数作为目标函数不一定是最优的。

因此考虑通过标签平滑正则化（Label Smooth Regularization，LSR）来优化模型，LSR是通过在输出y添加噪声，实现对模型的预测概率的约束，降低模型过拟合程度的一种约束方法。运用了标签平滑正则化策略后，我们用更新的标签向量来替换独热编码的标签向量yhot：

其中K为多分类的类别总个数，ε一般是一个较小的超参数（一般取0.1），即：

带有标签平滑的交叉熵损失函数转化为下面的公式：

这样，标签平滑后的分布就相当于往真实分布中加入了噪声ε，避免模型对于正确标签过于“自信”，减少正确目标和错误目标的概率的差距，从而避免过拟合，提高模型的泛化能力。

标签平滑一般用在以下三个场景中：

（1）数据集比较大，且图片中包含噪音，加入标签平滑之后可以避免模型错误地学习到图片中的噪音。

（2）分类任务中不同种类图片具有很高的相似度，比如宫颈细胞图片分类中，有些图片又像空泡细胞又像化生细胞，利用此策略可以给两类都提供监督效果。

（3）在模型比较小时，为了避免模型被训练得太自信，这会导致过拟合，我们希望提高模型学习的难度，也会引入标签平滑。

本课题研究的情况符合标签平滑的使用场景，因此考虑引入标签平滑策略。

1.3 TLS-Net50总体框架

宫颈细胞识别模型框架主要利用迁移学习将ResNet50 经过预训练的参数迁移到卷积层、池化层，然后将原来1000 分类的softmax 函数改成所需要的目标分类函数（在此文中即五分类）。宫颈细胞识别模型的训练和测试流程如下：

（1）输入样本。从宫颈细胞数据库中每种细胞图片按9∶1 比例抽取训练集和验证集，将训练集样本作为模型训练输入。

（2）对输入图片进行预处理。为了保证所有图片输入大小相同并且去除图片中可能存在的噪音，对输入的图像统一进行缩放和裁剪操作。在训练阶段，将单个细胞图像裁剪为224像素×224 像素大小，并且进行归一化处理，使特征图像趋近于正态分布，加快模型的收敛和训练。

（3）构建TLS-Net50 宫颈细胞识别模型。基于ResNet50［13］模型，优化全连接层，将原来的分类器换成五分类输出的分类器，这样不仅可以减少模型学习和训练的参数，还可以提升模型的识别效率。

（4）微调卷积层的参数。用Resnet50 经过ImageNet 数据集预训练得到的参数通过迁移学习方式优化TLS-Net50 模型参数，主要是确定卷积层的权重、偏置等参数。

（5）训练模型。随机初始化模型参数，设定优化器的学习率和训练轮数，通过损失函数的反向传播，冻结卷积层的参数，训练全连接层的权重。

（6）加入标签平滑策略进行训练。通过对损失函数进行改正，使模型具有更好的泛化性，避免了模型的过拟合。

（7）模型测试。抽取训练集的图片，作为测试样本进行模型测试，以验证模型的精度。

ResNet50 预训练模型的权重参数数量为25.5 M，计算量为4.1 G，其中全连接层参数集中度较高，ResNet50 的预训练参数是为1000 分类而设计的，而本模型只针对五个不同的类。因此本文将原来的全连接层改成五分类的输出，这样虽然稍微增加了模型的计算量，但是减少了模型的参数，还提高了模型的效率和精度。改进后的模型参数（params）与原来的模型参数和计算量（FLOPS）对比结果如表1所示。

表1 模型参数和计算量对比

TLS-Net50 模型的各层参数大体上与ResNet50一致。表2给出了模型每层的名称，每层的输入和输出特征图大小，以及每层的层结构。可以看到本模型的一个标志性特点就是特征图的通道增加一倍时，特征图的宽高会缩小一倍，这是为了保证在堆叠网络的过程中，网络不会因为继续堆叠而产生退化。

表2 TLS-Net50模型各层设计

2 在宫颈细胞数据集上的实验与分析

2.1 数据集的获取

本实验所用的宫颈细胞数据集是来自希腊约阿尼纳大学在2018 年发表的公开数据集SIPaKMeD［10］，该数据集包含了五种宫颈细胞，共4049 张从966 个Pap 涂片的细胞簇图像中手工切分的孤立细胞图像，每类细胞的示例如图3 所示。

图3 SIPaKMeD中的五种宫颈细胞图像

可以看出五类宫颈细胞图像形态各异，且它们在成熟、衰老、癌变的过程中，其形态、大小都在发生着变化，因此可以根据每种细胞特异性的形态学特征进行辨别。

该数据集包含4049 张孤立细胞图像，其中有831 张浅中层细胞，787 张副基底层细胞，825 张空泡细胞，813 张角化不良细胞，793 张化生细胞。表3所示为五类细胞的训练集、验证集分布。

表3 SIPaKMeD宫颈细胞数据集

2.2 实验环境及评价指标

2.2.1 实验环境

本文所有实验结果均在同一实验环境下得出。实验环境如下：采用Intel（R）Core（TM）i5-6300HQ CPU @ 2.30GH 处理器，NVIDIA Ge-Force GTX 960M 显卡，windows10 操作系统，PyTorch=1.7.0+cu110 深度学习框架。编程语言为python3.6，相关程序依赖包有：numpy、skimage、matplotlib、tqdm 等，模型均训练30轮，采用Adam优化器，学习率为0.0001。

2.2.2 评价指标

以混淆矩阵为依据选取评价指标，混淆矩阵可以理解为下面一张表格，如表4所示，表中有四个基础指标，分别是TP、TN、FP、FN，这四个指标是评价模型的一级指标。

表4 混淆矩阵

在分类任务中一般用ACC（准确率）、Precison（查准率）、Recall（查全率）、Specificity（特异度）、F1（综合评价指标）来评价模型。查准率和查全率是一对矛盾的度量，一般来说，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。而F1 就是综合了查准率与查全率的加权调和平均值，F1 越高说明模型查准率查全率越好。计算公式如表5所示。

表5 评估指标标准公式

2.3 实验过程及分析

为了证明本文算法的有效性，本文基于ResNet50 模型在测试集上做了相关的消融实验，如表6 所示。下面的算法均以ResNet50 为基础，评价指标为上文所提到的五类指标，其中TL 代表迁移学习（Transfer Learning），LS 代表标签平滑（Label Smooth）。可以看到，N2 模型在N1 的基础上F1 值提升了4.6%左右；N3 相比N1，其准确率、查准率、查全率、特异度、综合评价指标均有大幅度提升，查准率提升了8%，查全率提升了8.7%，F1 提升了8.5%。NA 为本文的TLS-Net50 算法，对比N3 又提高了1.8%、0.4%、0.5%、0.2%和0.6%。

表6 消融实验结果

通过消融实验可以知道，融合迁移学习和标签平滑策略可以在单独使用的基础上进一步提升模型效果。因此可以看出，迁移学习和标签平滑策略是非常有用的。这也验证了本文算法在宫颈细胞识别领域的有效性。

为了进一步分析不同模型对每一类宫颈细胞的识别结果，图4 给出了N1、N2、N3、N4的混淆矩阵，混淆矩阵对角线代表着每类细胞被正确识别的数量。可以看到在四个模型中，副基底层细胞最好辨认，空泡细胞最难分类正确，且它和化生细胞有互被错分类的现象，化生细胞有一定的概率被错认为浅中层细胞，角化不良细胞有时候被认为是空泡细胞，浅中层细胞则有时被认为是角化不良细胞。

图4 N1、N2、N3、N4模型混淆矩阵

表7 是N4 模型在测试集上的表现，对于五类不同的细胞，TLS-Net50 平均准确率、查准率、查全率、特异度、综合评价指标分别达到了98.0%、95.2%、95.0%、98.8 和95.1%，副基底层细胞和浅中层细胞被完全分类正确，而空泡细胞和化生细胞的准确率稍低，说明这两类细胞具有较高的相似度，区分较为困难。

表7 测试集评估指标

为了进一步说明本文算法对宫颈细胞分类的有效性，本文与其他的深度学习经典算法进行了对比，其中实验参数均设置一样，实验结果如表8 所示。实验说明了TLS-Net50 算法的良好性能，也说明了TLS-Net50 在计算机辅助宫颈细胞检测中的有效性。

表8 与其他算法的性能对比

2.4 特征图可视化

为了更好地理解深度网络，可以将特征图进行可视化。卷积核在训练的过程中没有对图像的空间结构进行改变，因此直接将特征图像素的值映射到0～255的范围，就可以变成图像。

本文对TLS-Net50 模型的特征图进行可视化，结果如图5 所示。图5（a）是第一个卷积层的前12 张特征图，从图片可以看到，每个卷积核学习到的内容都不一样。从不同层可视化出来的特征图可以看出，模型前面几层网络可以提取到图片纹理、细节特征，模型后面的深层网络提取的是细胞的轮廓、形状等特征。一般来说，浅层网络因为卷积的程度不高，可以学习到更多的特征，也包含有图片的关键特征。例如第一组特征图的第6张特征图，提取出的是细胞核边缘。相对而言，层数越深，模型提取到的特征就越抽象。图像的分辨率也会随着卷积的操作而越变越小。

图5 TLS-Net50模型特征图可视化（续）

图5 TLS-Net50模型特征图可视化

这些经过训练的卷积核包括各种频率和方向的梯度以及不同的颜色斑点，这是宫颈细胞分类任务所必需的。除了卷积核之外，还提供了池化、激活函数的示例单元的特征图，可以观察到池化操作总结了先前的特征，并且特征变得越来越抽象。

由图片所示的各层显示结果可以知道，卷积神经网络能够有效地提取细胞的特征，说明本算法通过迁移学习和标签平滑正则化能够降低背景干扰、增强目标特征。

3 结语

针对计算机辅助诊断宫颈癌的需求，本文提出了一种基于卷积神经网络的宫颈细胞分类方法TLS-Net50。本文对ResNet50 模型进行参数优化和标签正则化，并通过实验验证，表明改进后的模型可以自动从图像中学习到细胞特征，这样就避免了常规方法中人工选取特征的不足。同时，TLS-Net50 模型相对于ResNet50平均准确率、查准率、查全率、特异性、F1 值依次提高了3.7%、8.4%、9.2%、2.3%和9.1%，可以满足计算机辅助诊断宫颈癌的需求。

此外，本文所用模型可以准确地识别宫颈细胞的类型，并且减少了模型的参数量，可以在计算性能一般的硬件上进行应用，有利于基层宫颈癌筛查工作的展开。