基于语义分割及主动轮廓的宫颈细胞实例分割方法

朱琳琳，杜 泓

(沈阳航空航天大学 自动化学院，沈阳 110136)

宫颈癌属于宫颈恶性肿瘤，在女性恶性肿瘤发病率中居第二位。宫颈细胞学筛查的普遍应用，可以使宫颈癌和癌前病变得以早期发现和治疗，使得宫颈癌的发病率和死亡率大幅度下降。人工阅片环节中医护人员需要在数以万计的细胞中找到各种异常细胞，这是一项高强度的工作。利用宫颈细胞分割技术对宫颈细胞图像进行辅助判断分析[1-2]，可以减少医护人员的工作量，使判断分析的效率和准确率显著提升。

由于细胞图像的复杂多样性，细胞分割成为医学图像的经典难题，国内外许多专家学者都进行了研究。用于细胞分割的经典分割方法有阈值分割[3]、边缘检测[4]、分水岭算法[5]及主动轮廓算法[6]等。目前，随着深度学习方法的广泛应用，也有越来越多的研究者采用这种方法进行细胞分割。基于深度学习的细胞分割方法一般采用卷积神经网络[7-8]和U-net神经网络[9]等，如李雪玉[10]提出了一种具有融合标记功能的卷积神经网络，实现了宫颈脱落细胞的深度分割。这种方法虽然解决了复杂背景下的图像分割问题，但受像素点分类机制的制约，很难准确分割重叠细胞。贝琛圆等[11]使用U-net网络模型对腺体细胞进行分割，与宫颈细胞相比腺体细胞有一个显著的特点，即重叠率十分低，几乎没有相互重叠的细胞，且腺体细胞图像背景不复杂，这使细胞精确分割难度大大降低。对于宫颈细胞图像分割问题，仅采用传统的分割方法，或仅采用深度学习的分割方法，都很难实现重叠细胞的实例分割。故本文在使用深度学习对宫颈细胞图像进行语义分割的基础上，采用主动轮廓算法[12]中的Snake模型解决了重叠宫颈细胞的实例分割问题。

本文为了解决重叠细胞的分割问题，采用改进U-net网络完成细胞图像的语义分割，搭建U-net网络训练，得到三分类语义分割结果。在此基础上提取游离细胞和细胞团块，依据细胞团块的细胞核、细胞形状等信息得到每个细胞的初始轮廓，将其输入到Snake模型进行演化，直至逼近细胞真实轮廓。

1 数据集处理

宫颈细胞学筛查方法是通过光学显微镜观察宫颈细胞涂片，对观察到的宫颈细胞图像形态结构进行分析，最后根据宫颈细胞学病理原理进行诊断。本文所研究的数据集为某肿瘤医院提供的宫颈细胞TCT图像数据集，共240张图像，每幅图像像素尺寸均为2048*1536，每张图像含有十几个到上百个细胞，如图1所示。

图1 宫颈细胞TCT图像

图像标注是选择图像中的对象并按照名称标记它们的过程。为了准确快速辨别细胞图像中细胞、细胞核等类别，在病理医生的指导下，本文使用Labelme软件对宫颈细胞数据集进行图像标注，标签分为3类，标注结果如图2所示，其中黑色为背景，灰色为细胞，灰色细胞中间的白色区域为细胞核。

图2 细胞标注图像

2 方法

本文提出的分割方法分为2个步骤，分别为基于U-net网络的图像语义分割和基于主动轮廓的实例分割。首先，使用改进U-net网络完成图像的语义分割，即把像素分为细胞核、细胞质和背景3类，为后续细胞的初始轮廓获取提供必要条件；接着，分离图像中游离细胞与细胞团块，在此基础上，为了准确分割细胞团块中的重叠细胞，通过分析细胞核和细胞质边界的关系，为每个细胞初始化一个轮廓，利用Snake模型演化轮廓曲线完成重叠细胞图像的实例分割。具体分割过程如图3所示，总体分割流程如图4所示。

图3 分割过程

图4 分割流程

2.1 基于改进U-net网络的语义分割

本文最终实现宫颈细胞的实例分割，而实例分割是在语义分割的基础上进行的，不但要进行像素级别的分类，还需在具体的类别基础上区分不同的实例。图像语义分割是指将图像每个像素都划分出对应的类别，实现像素级别的分类，本文采用改进的U-net网络对细胞图像进行语义分割。

自从2015年U-net网络发表于MICCAI上[9]，U-net网络及其扩展模型[11]广泛应用于医学图像分割，是比较早的语义分割算法。最初应用于细胞壁分割，之后在细胞分割等领域都有显著贡献。

U-net网络是一个由收缩路径(左侧)和扩张路径(右侧)构成的U型结构网络。收缩路径遵循卷积网络的典型结构，包括重复2个的卷积以及一个最大池化操作。其中每个卷积之后跟随一个Relu非线性变换，重复4次完成下采样过程。扩张路径则执行相反的操作，经反卷积与压缩路径特征图拼接进行传递。

在原始的U-net网络中，发现会存在特征图丢失的现象，而卷积层具有在噪声背景中提取图像感兴趣区域特征的作用。因此，适当增加卷积层可以获取更多的图像特征信息，使得语义分割结果更好。本文对U-net网络进行改进，将收缩路径和扩展路径加深一层。如图5所示，增加了Block1和Block11，左侧Block1至Block6为收缩路径，右侧Block7至Block11为扩展路径，使得整个网络经过5次下采样和5次上采样。经验证，改进后的U-net网络与原始网络相比，提高了宫颈细胞分割的准确度，使语义分割效果更佳。图3b为获得的图像语义分割结果。

图5 改进U-net网络结构图

2.2 基于Snake模型实例分割

本节在细胞语义分割结果的基础上，对细胞形状信息进行分析，对于游离细胞直接提取其轮廓，对于细胞团块，则需对其中每个细胞的轮廓进行提取。而主动轮廓方法使用曲线表示目标轮廓[6,13]，并可以有效结合图像先验知识[14-15]实现图像有效分割，非常适合进行单个细胞轮廓提取。本文使用由Kass提出的Snake主动轮廓模型进行细胞轮廓的实例分割。

具体分割过程由3个步骤组成,分别是细胞核的提取、细胞区域的分类、重叠细胞的轮廓提取。详细介绍如下：

(1)细胞核提取

上一节中，经过改进U-net网络获得细胞图像语义分割结果，如图3b所示。从结果图中提取细胞核即偏白色区域，对图3c的细胞核进行标号，计算连通分量，生成标记矩阵，该矩阵用不同的整数来标记细胞核图像中的细胞核。

(2)细胞区域分类

与细胞核相同，在语义分割的结果上提取细胞区域如图3d所示。假设每个细胞核对应一个细胞，通过判断各连通域中细胞核个数是否为1，将细胞区域分为2类，游离细胞区域和细胞团块区域。

对于游离细胞分割，本文提取游离细胞区域的边缘并对其进行可视化，如图3f所示。对于细胞团块中重叠细胞的分割，下一小节将进行说明。

(3)重叠细胞轮廓提取

Snake主动轮廓模型基本思想为以一条具有弹性的初始轮廓线为模板，通过模板自身的弹性形变，与图像感兴趣区域特征相匹配并调和，实现某种能量函数最小化，完成对图像的分割。

本文以细胞核质心为圆心，细胞核质心到团块边缘的相应距离d为半径，形成一个圆形初始轮廓，如图6b所示，距离d定义为

(1)

能量函数Esnake定义为[12]

(2)

其中

(3)

Eext(v(s))=-[∇Gσ(x,y)*H(x,y)]2

(4)

其中：v(s)为图6b中圆形初始轮廓线；s为曲线参数；α和β分别为描述轮廓的连续参数和平滑参数；Eint控制轮廓的连续性及平滑性；Gσ(x,y)为方差σ的二维高斯函数；∇为梯度算子；H(x,y)为宫颈细胞团块灰度图像。

通过对式(2)的迭代计算，使其达到最小，进行细胞轮廓的演化，图像的梯度越大能量函数越小，使其不断向局部梯度最大的区域移动，直至收敛到边缘。经过实验验证，本文迭代500次时分割结果达到最好。迭代过程如图6c所示，迭代最终结果如图6d所示。

图6 细胞团块分割过程

对细胞团块中每一个重叠细胞进行上述操作，提取出每一个细胞轮廓，整个细胞团块分割结果如图3i所示。

3 实验结果分析

实验采用的计算机硬件配置为Intel Core(TM)i7-8750H与NVDIA GeForce GTX 1060，使用软件Pycharm 2019.2 x64，以Pytorch为框架训练和测试U-net网络模型。

3.1 模型训练

在上述实验环境中，搭建U-net网络，对采集到的宫颈细胞样本进行训练和测试。宫颈细胞图像数据集共240张，其中训练集为标注图像与原图各200张，测试集为未经过处理图像原图40张。训练时，设置U-net网络的学习率为0.001，Batchsize为3，初始Epoch为200，Iteration为67，将原图与经过标注处理的图像一起送入网络进行训练。其中每10个Epoch保存一次网络模型，选择最佳结果的网络模型进行最终的40张图片测试，输出宫颈细胞语义分割结果，其中最佳网络模型Epoch为120。

3.2 质量评估

为评估最终宫颈细胞分割效果，从主观和客观2方面对实验结果进行评估。主观评估主要是从视觉上观察整体实验分割效果，客观评估是对实验分割结果与标注结果进行比较，从计算数据指标上评估分割效果，评估指标为准确性(Precision)、灵敏度(Recall)、相似度(Dice)和交并比(Intersection Over Union，IOU)，计算公式分别为

(5)

(6)

(7)

(8)

式中，B、R分别表示实验分割结果和人工标注结果；Precision为正确预测部分占预测部分的比例；Recall为正确预测部分占真实部分比例；Dice为医学图像分割的重要度量，表示真实部分与预测部分的重叠度；IOU为真实部分与预测部分的交并比，以上各评估指数，其值越接近1分割效果越好。

本文研究具有重叠细胞的宫颈细胞图像的细胞实例分割问题，因此进行分割指数评估时，需要对宫颈细胞图像中的每一个细胞进行评估。在医生指导下，对测试集细胞图像做单个细胞标注，图像的部分标注结果如图7所示。图7a为细胞原图，图7b～7f为部分游离细胞的标注结果，图7a中部分细胞团块标注结果如图7h～7l所示，该部分细胞团块原图如图7g所示。

图7 实例分割标注

3.3 结果分析

本文在U-net网络语义分割的基础上，提取游离细胞与细胞团块，并使用Snake模型演化初始轮廓对细胞团块图像进行分割，测试集宫颈细胞图像的分割结果如图8所示。

图8 宫颈细胞图像分割结果

3.3.1 语义分割结果分析

针对宫颈细胞语义分割的算法较多，如Otsu算法、CV模型算法等，本文使用Otsu算法[16]、CV模型算法[17]、原始U-net网络[9]以及改进的U-net网络分别做分割指数评估，对比结果如图9所示，测试集上实验数据如表1所示。

表1 语义分割比较结果表

可以看到，Otsu算法并不能完整地找到细胞区域，细胞和背景信息相差不多的区域尤为明显；CV模型算法相较于Otsu算法可以将大部分细胞区域找到，但准确率不高，存在噪声，边缘处分割也较为粗糙；原始U-net网络分割结果是前3种方法中准确率最高的，但可以看到部分细胞没有被找到，例如在图9e中，方框内的细胞有缺失，而本文算法可以找到大部分细胞，如图9f所示。本文算法相较于其他3种算法，可以得到干净完整的宫颈细胞区域，和原始U-net网络相比，在保证Precision持平的情况下，Recall、Dice及IOU都有显著提升。总体来看，本文算法的细胞语义分割准确率高，效果更好。

图9 4种细胞语义分割算法对比图

3.3.2 实例分割结果分析

对于实例分割部分，根据图7所示标注结果，针对图像中游离细胞、细胞团块中的重叠细胞分别进行分割指数评估(其中包括311个细胞实例)，结果如表2所示。从表中可以看出游离细胞的分割精度达到96.65%，受到分割精度及标注精度的影响，重叠细胞的分割精度略低于游离细胞，但是也达到了82.53%，细胞实例分割的整体精度接近90%。

表2 游离、团块细胞的实例分割指数评估表

从主观评估上，游离细胞可达到精准分割，重叠细胞也可找到其对应的边缘完成分割，其中细胞团块含有2个重叠细胞的区域分割结果,如图10所示；含有3个重叠细胞的区域分割结果，如图11所示；含有4个重叠细胞的区域分割结果，如图12所示。

图10 2个重叠细胞区域分割

图11 3个重叠细胞区域分割

图12 4个重叠细胞区域分割

从客观评估上，由表2数据可知，游离细胞算法分割准确率十分高，但存在细胞团块亮度不均匀情况，边缘模糊导致Snake模型曲线在演化的过程中有些许偏差，使得其分割准确率没有游离细胞高，但是从整体效果上看，本文算法实现了宫颈细胞图像的实例准确分割。

4 结论

本文研究在语义分割的基础上使用主动轮廓Snake模型完成了重叠宫颈细胞图像分割，首先利用Pytorch深度学习框架构建并训练U-net网络，得到具有细胞、细胞核及背景三分类的语义分割图像，再依据细胞核与细胞形状信息为每个细胞初始化轮廓，然后使用Snake模型对初始轮廓演化，使其逼近真实轮廓。实验结果表明，本文宫颈细胞图像语义分割的准确率为91%，实例分割的准确率90%，实现了精确的语义分割和准确的实例分割。但存在由于细胞内部亮度不均匀导致分割错误的情况，将在下一步研究中考虑如何提高语义分割结果的准确度，引入更多的先验知识以提高轮廓提取的准确性。