一种改进U型神经网络的医学细胞核图像分割方法

周 志，张孙杰，张晓玥

(上海理工大学 光电信息与计算机工程学院，上海200093)

1 引 言

癌症是一种死亡率很高的疾病，又称为恶性肿瘤，它是由于细胞发生异常造成细胞核遗传物质的改变而产生的，严重的威胁着人们的身体健康.在细胞的甄别过程中，细胞核成为某些病症分析的基础.在疾病的检查方法中，病理诊断是常用的方式，医学图像细胞核的分割对诊断病人的病情起到关键作用[1].比如在癌症的早期诊断中，医生往往通过活组织切片检查来进行癌症分级，这就要求专业医师要从大量的正常细胞中进行癌变细胞的确定.这可以说是相当困难的，对医学图像解读成为一种挑战性.医生的主观性判断和视觉疲劳等因素，加上不同医生的经验不尽相同，可能就会产生疾病的漏诊和误诊，延误了病人的最佳治疗时机，加大了医疗成本.同时，在细胞核分割时，通常会碰到细胞粘连或重叠的现象，使得细胞核分割过程产生影响，影响了分割的准确性.因此有必要利用计算机辅助诊断的方式来为医生带来精确的分析结果[2].

随着计算机算力的不断增强，计算机医学图像处理技术日趋成熟.细胞核图像的分割技术是医学图像分析和处理的基础.国内外很多研究学者们已经在细胞核分割领域做出了一系列成果，探索出了一些常用的分割方法，比如有：基于阈值法[3]，区域生长法[4]，基于边缘法[5]，形态学处理[6]，分水岭法[7]等等，这些方法在复杂的医学领域表现得比较一般.阈值方法在遇到细胞核的边界和背景较难区分时难以分割，它忽略了像素的空间位置关系，对噪声相当的敏感.基于边缘检测的分割方法可以很快的判别出细胞核的边缘，但是当面对外界的因素比如光照和背景干扰时，分割的效果就比较差，鲁棒性也低.基于区域生长法要先选定种子点，而且很难做出规范的区域统一标准，过程很复杂且耗时耗力.分水岭算法对于分割方面应用的很广泛，它可以实现对边界不清楚的图像得到完整封闭的边缘线，但是它会造成图像过分割的缺点.Jung等[8]开发了基于H-极小变换的标记控制分水岭算法，用于组织切片上的细胞核聚类分割；Loukas等[9]运用主成分分析方法来学习颜色的空间域变换并通过阈值化之后的图像进行分割；Markov等[10]采用了基于马尔可夫先验期望最大化算法，提出了一种用于医学图像分割的框架；Zhou等[11]人使用模糊C均值聚类进行细胞核的分割.

近年来，伴随着深度神经网络的快速发展，深度学习方法的兴起为细胞和细胞核的分割任务带来了新的可能，尤其在细胞核的分割任务上表现较为优异.神经网络可以使得分割自动化的进行，自适应的学习权重，有效提取输入图像的深度特征，有着很强的分辨力，大大提高了细胞核分割的效率和准确度.卷积神经网络(Convolutional Neural Network，CNN)在视觉图像领域涉猎较多，如医学图像处理，细粒度分类等.Lecun等[12]人第一次应用CNN在图像分类领域，使其能更好的对图像进行分类识别，引起了研究者们对CNN的重点关注.与传统的分割方法比较而言，深度学习方法拥有强大的特征表示和学习能力，在医学图像分割领域应用广泛，如Deeplabv3，FCN，Segnet，U-Net等网络比传统方法在分割性能上提高了很多，它能够实现端到端，像素到像素的学习.Xing等[13]人通过CNN网络模型获取图像分割后的结果概率图，接着借助稀疏形状模型和局部形变模型实现对病理细胞核的分割；Long等[14]人提出全卷积神经网络(Fully Convolutional Network，FCN)，用1×1的卷积取代了全连接，输入可以是任意大小的图像，成为语义分割的基础；Chen等[15]人提出空洞卷积，利用添加空洞来获取更大的感受野，使得经过卷积后的特征图具有大范围的信息，但并不增加计算量，在实时分割中广泛应用；Ronneberger等[16]人在2015年提出了经典的U-Net网络，特别适用于医学图像分割领域，它采用编码解码器结构，通过跳过连接巧妙的结合了高层和低层的信息，解码层的深层抽象信息更好的利用编码层传输的浅层信息，使得图像的分割效果比较好.

尽管上述提到的图像分割算法在医学细胞核分割领域中已经取得了一些较好的效果，但是经过实践证明，对于微小型细胞核以及细胞核与背景对比度低的图像的分割效果不太理想，难以提取出更加抽象的图像特征，从而导致最终分割结果不够精准.本文提出一种改进的U-Net网络模型，在原始的U-Net网络基础上加入深度特征融合结构，用来学习深层和浅层的信息；接着，又创新性地设计一种层次交融模块(Hierarchical Blending Module，HBM)来学习不同层次的特征的重要程度，将学到的不同的权重加载到不同的特征层得到条件特征图(Conditional Characteristic Diagram， CCD)，使得分割的结果更加的精确；同时，在嵌套的卷积块之间加入注意门机制(Attention Gate Mechanism，AGM)使模型更加注重对细胞核的学习，增大有效特征的权重比例；最后采用改进的融合损失函数以缓解类不平衡性的问题.经测试，本文提出的方法能够更好的分割细胞核.

2 本文方法

2.1 网络模型

本文所采用的基础网络模型为U-Net网络，它最初应用最多的领域是医学图像的语义分割.该模型是由编-解码器结构组成，有两条对称的路径，编码器用于对输入图像进行下采样操作，由Conv层和Pooling层构成，扩张路径用于上采样，通过对图像的反卷积操作来恢复图像的分辨率，以实现端到端的分割的目的.此外，该网络还存在着编-解码部分的跳跃连接，它成功的把来自于编码器的浅层特征和解码器的深层特征相结合，这种方式有利于对特征的提取，达到像素级别的分割效果.

2.2 深度特征聚合结构

尽管传统的U-Net网络在图像分割上已经取得了比较好的效果，但在复杂的实际医学细胞核分割任务中仍受成像的影响.不同的细胞核图像清晰度不一致有的比较模糊，还有对比度低，细胞核大小、空间分布没有规律性，细胞粘连、堆叠等，都使得医学细胞核分割具有很大的挑战性.如果仅仅采用常规的U-Net网络则不能获得较理想的分割结果，学习能力受到限制.因为浅层特征里涵盖了更多的空间位置信息，这些丰富的浅层特征是不可以忽略的，它们对分割结果影响很大，学习这些浅层特征将会大大的有利于精准的定位和分割[17].

本文首先提出的深度特征融合结构，每经过一次下采样操作都可以相应地进行一次上采样得到该层输出的一个分割图，对应一次相应的loss值，因此可以分别进行4次不同的下采样以得到4种不同的分割结果图，这种深度特征聚合结构可以巧妙的将网络浅层的边缘纹理等底级信息和深层的高级语义信息共同学习.

图1 多层次深度特征聚合结构Fig.1 Multi level depth feature aggregation structure

图1中展示了4种不同的深度特征融合结构，不同的融合方式可以得到4种不同的分割结果.这种结构仍然保留U-Net的编码和解码部分，并使用若干个卷积块搭建起上采样和下采样之间的信息交流，重置的连接两个子网络的跳跃连接目的在于减少两者之间存在的语义鸿沟，而且还运用了高级监督.这种改进过的跳跃路径相比U-Net直接相连而言，经历了密集卷积块，这种嵌套的卷积结构使得下采样的语义信息和上采样的语义信息含义更加靠近，当这种语义信息相似时，使用的算法优化器将会很便捷的解决这个优化问题.

从形式上看，把该结构的跳跃路径表述如下：设xi,j是上图标志Xi,j的输出，其中i是编码器下采样层的下标，j是顺着跳跃路径密集的卷积层的下标.j=0时的节点只接收来自上一编码层的一个输入，当j大于0时的节点接受了j+1个输入，其中j个输入是这一层前面所有的节点的输出，另外一个输入来源于下一个层级中的节点经过上采样后的输出.计算方式可以表示为：

(1)

式中，φ(.)代表一个卷积运算，后面还跟着一个激活函数ReLU，U(.)代表上采样层，[ ]代表连接层，用来特征融合.

2.3 改进的分割总体网络模型

针对原始U-Net网络在医学细胞核图像分割中存在的问题.为了适应不同大小、形状、粘连程度的细胞核，本文提出一种改进的U-Net(HBM-AG-UNet)网络结构.它在上述深度特征聚合结构的基础上又创新性地设计了层次交融模块(HBM)，由于下采样次数的不同而使得各个层次输出的图像对最终的分割结果的重要程度是不一样的，因此HBM的作用等同于一种自适应学习模块，它用来学习到四次不同的下采样特征的权重，将学到的不同的权重加载到不同的特征层得到条件特征图(CCD)，再进行融合得到最终的分割效果使其更为精确.

该网络模型结合了深度特征聚合和HBM模块的优点，具有严格监督的编码器解码器结构和集成的注意门跳过连接，在嵌合的卷积块之间加入了一种AG注意力机制，使得有效的特征的提取与任务的需要紧紧联系起来.在基础的U型神经网络跳跃路径上嵌入了密集的卷积块，这种设计可以促进编码和解码过程中深、浅层信息的交流，从而改善了梯度流.AG注意力可以通过跳跃连接有效的提高细胞核特征信息的传播效率，在每一层接受到细胞核的边缘信息时，相应的解码器部分以自底而上的方式恢复原特征[18].添加了注意力机制后的特征图栈计算公式如下：

(2)

图2是本文方法的整体分割结构.正是有了其中嵌入式的跳过连接的结构，改进的算法在多个语义层次上生成完整的解析特征映射.整个网络结构中嵌套的卷积层使用了k个卷积核，核的大小为3×3，其中k为32×2i.由于高级监督有两种工作模式，一是指确定模式，把各个特征层分割的输出求平均作为最终的结果，另一种是快速模式，只挑选一个分支作为最后的分割图，该分支的选择决定模型的不同复杂度.这两种方式都不能很好的优化分割效果，因此改进的HBM用来对各个分割分支进行自适应的学习，可以学习到不同层次特征的重要性，提高分割的精度.

图2 HBM-AG-UNet算法整体结构Fig.2 Overall structure of HBM-AG-UNet algorithm

在图3中，设计的HBM模块首先对4个不同层次所得到的输出图像作全局平均池化(Global average pooling)操作，取代全连接层实现降维，为了避免网络过拟合现象的产生，对网络结构进行正则化处理，赋予了每个通道实际的类别意义，聚合了该层输入特征的全局信息，用一个实数值表示每个通道的特征图，然后将具有全局信息的向量经过第1个1×1的卷积层，通过ReLU激活，再通过第2个1×1的卷积层经过Sigmoid函数激活，最后可以得到一个量化的数值来代表各层次重要程度的信息，公式表述如下：

Q=δ(w1σ(w2X))

(3)

图3 层次交融模块Fig.3 Hierarchical blending module

其中w1，w2是两个自适应学习权重参数，X为输入的特征映射，σ是ReLU激活函数，δ是Sigmoid激活函数，Q是表示各层次重要性的数值.

在得到不同的Q值之后，对输出的多层次特征图进行重新分配权重，即用输出的特征映射乘以得到的对应权值，再相加，得到最后的分割图CCD，即：

(4)

式中，i表示下采样的层数，Q表示输出特征图的权重，S表示输出的特征图.

2.4 自注意力机制模块

自注意力机制是注意力机制的改进，它可以起到增大感受野的作用，同时丰富上下文信息，在计算机视觉任务中应用广泛.为了关注细胞核相关的特征，本文在网络中添加了集成注意力门(Attention Gate，AG)模块，它很容易的通过跳跃连接集成到嵌套的卷积块之间，抑制网络模型与任务无关的信息，加强对细胞核微小特征的关注程度，增大有效特征的占比，从而实现对细胞核更精准的分割.注意力机制模块结构如图4所示.

图4 注意力门控模块结构图Fig.4 Structure diagram of attention gating module

AG模块的输入有两个:一个是路径中的上采样函数，它作为一种门控信号，在抑制任务中无关区域的同时，提高了与分割任务相关的目标区域的学习能力，另一个是网络结构中编码器的特征图.该注意力模块通过跳跃连接提高语义信息生成的效率，用Sigmoid激活函数来训练参数的收敛性，得到注意力系数β，再让编码器特征图和注意力系数相乘得到输出图.其中Gs为图2结构中编码部分的特征图，Gy是经过了自注意力机制处理过的特征图，Gx为一个门控信号，包含了上下文信息，来自于编码部分的上采样函数，β是学习到的注意力系数，把注意力集中在与细胞核分割感兴趣的对象上去，抑制和任务无关的特征响应，β的计算公式是：

β=σ2(μ(GS,Gx;δ))

(5)

式中，σ2为Sigmoid激活函数，μ是加性注意力算法(含CS，Cx，φ等1×1×1卷积操作和相应的偏置项bg，bφ)，它的计算公式是：

(6)

对两个不同的输入沿着通道方向进行1×1×1的卷积和批标准化操作，然后进行相加用ReLU函数进行非线性激活，因为编码的上采样函数GS涵盖了更为丰富的特征信息，加性注意力算法使得Gx充分学习它和GS的差距，从而把注意力放到关心的区域，抑制非关注区域信息的激活，有效提高了模型的分割性能.最后通过将编码器输入特征图Gx和注意力系数β相乘得到输出Gy.公式如下：

Gy=β⊗Gx

(7)

2.5 损失函数的改进

细胞核的分割任务从单个像素的角度看，是一个二分类问题，核以外的部分都是背景.因此二元交叉熵(Binary Cross Entropy，BCE)通常被用来作为损失函数，公式如下：

(8)

但是在细胞核的分割中，背景比核要大的多，这就会导致像素类别的不平衡问题，网络会更多的学习背景的特征，影响对细胞核的特征学习，而这时单纯的使用交叉熵损失函数效果并不是很好.Dice相似系数损失函数如下：

(9)

Dice损失函数可以较好的处理类不平衡的问题，其中的ε是一个平滑算子，防止损失函数的分母为0.

本文结合两者的特点提出一种改进的联合损失函数，即:

L=0.5BCE+LDice

(10)

改进的损失函数使得训练过程更加高效稳定，且缓解了类不平衡性的问题.

3 实验结果及分析

3.1 实验环境介绍

本文实验是基于深度学习框架Pytorch实现的，使用的编译器为Pycharm，CPU为Inter Core i7-6700HQ，GPU配置为双卡8GB显存的NVIDIA GeForce GTX 1080Ti，CUDA采用9.0版本，操作系统是Linux，编程语言是Anconda3的python3.6.

3.2 实验数据集

本文所使用的实验数据集来源于Kaggle平台的Data Science Bowl-2018公共医学细胞核数据集，其中涵盖了670张的原始图片，图像的分辨率为96×96，大约有29000左右细胞核，并按照8∶2的比例划分训练集和测试集.对于每张细胞核的原始图像，都有由经验丰富的医生分割好的标签图，医学上称之为金标准.

3.3 数据预处理和相关设置

由于深度学习对参数的训练要求有大量的数据集，考虑到本实验数据集的数量较少，模型容易发生过拟合，因此需要对数据进行扩充，提高模型的泛化能力，本文对训练集样本及对应的标签图进行了随机旋转、水平翻转、垂直翻转、平移缩放和随机裁剪等数据增强[19].对于原始图片较小的问题，为节约训练资源，我们使用双线性插值把图片统一扩大到256×256的分辨率大小，同时对于训练集中出现的灰度图片，将其归一化成三通道的图片以便于被预测.

在训练时，我们把预处理好的图片和真实标签送入到网络中进行训练，在模型的训练过程中利用随机梯度下降(SGD)优化算法对网络进行迭代求解，初始学习率(learning rate)被设置为0.001，权重衰减(Weight decay)为0.0001，训练轮次数(epoch)设置为100，每一批次输入的样本数(batch size)为8，动量参数momentum为0.9.当越来越接近损失函数的全局最小值时，相应的学习率也应该变小来接近最小点，本文采用了余弦退火(CosineAnnealing)学习率变化的策略，学习率变化迭代周期为4，最小学习率设置为0.00001.当网络的损失函数不再降低或趋于稳定时停止训练网络，记录最佳模型的权重参数和结果.

3.4 评价指标

为了评估本算法对细胞核的分割效果，同时方便与其他算法进行比较，本实验采用了Dice系数(Dice Similarity Coefficient，DSC)、交并比(Intersection over Union，IoU)、精确率(Precision)、敏感度(Sensitivity)和哈斯多夫距离(Hausdorff Distance，HD)5个性能指标进行评价.

1)Dice系数[20]是医学图像分割领域应用较广泛的评估指标，计算方式为：

(11)

其中M为本文网络模型预测出的结果，N为真实的专家标注的标签图，Dice的值在[0，1]之间，其值越大，表示分割的效果越好.

2)交并比又称雅卡尔指数(Jaccard index)[21]，用来衡量两个样本的相似性，它的计算公式如下：

(12)

其中M为本文方法分割出的结果，N为细胞核的专家标注的标准，交并比的值越大，图像分割的效果更好.

3)精确率[22]代表正确分割的细胞核部分占算法预测结果为细胞核的部分的比例，精确率越高，分割效果越好，TP即真阳性，代表实际为细胞核，预测出的也是细胞核部分；FP即假阳性，代表预测为细胞核，实际则是背景部分.

(13)

4)敏感度代表正确分割的细胞核部分占图像中真实的细胞核的部分的比例，FN表示被错误的分割为背景像素的数量，即假阴性.

(14)

5)哈斯多夫距离[23]表示了网络模型的预测结果和ground truth之间的最大不匹配度，评估了两个不同样本之间的对称距离，其值越小代表了分割结果和金标准更相近，效果越好.

(15)

式中a，b分别是集合A，B上的像素点，d为a，b之间的单向Hausdorff距离.

3.5 实验结果及分析

为了验证本文提出的方法在细胞核分割上的性能，将其与其他几种图像分割算法在Data Science Bowl数据集上进行了对比试验.表1列举了不同的模型在细胞核上的实验结果.

表1 分割性能对比Table 1 Comparison of segmentation performance

本文除了对比U-Net外，还对比了FCN，Deeplabv3及其他3种U-Net网络的变体.从表1中可以发现，本文提出的细胞核分割算法在5项评估指标中均优于其他方法，取得了最优的结果，在测试集上的平均Dice达到87.19%，平均IoU达到88.53%，平均精确率达到91.35%，平均敏感度达到90.13%，平均哈斯多夫距离达到了2.182.

从表中可以看出，FCN的分割结果比其他模型都要低，而U-Net和Dense-UNet网络含有跳跃连接，融合了高低层的语义信息，提取的特征较多，相比之下分割结果优于FCN.Dense-UNet和Deeplabv3在细胞核上的分割效果相差不大.由于浅层的信息中又带有大量的冗余信息，所以U-Net在面对细胞核边缘轮廓、核与背景对比度低的问题时分割的并不好.对比U-Net，本文方法在平均DICE和IoU上分别提升了5.49%和5.72%，平均精确率和灵敏度分别提高了5.51%和4.82%，这证明了所提方法可以更好的对细胞核和背景像素进行分类，提高了分割精度.在进行对比的同时也进行了消融实验，当在U-Net中只加入改进的层次交融模块(HBM)时，实验结果得到了一些提升，Dice分割结果为0.8361，相比U-Net提高了1.91%，IoU结果为0.8485，比U-Net提高了2.04%，HD距离减少了0.425，但是效果仍然不太明显.单独的引入自注意力机制的AG-UNet在灵敏度和精确度上和Deeplabv3相差不大，而比U-Net在灵敏度上提升了2.44%，精确度上提升了1.19%.本文算法在改进的HBM-UNet的基础上又引进了AG注意力机制，使得模型更关注细胞核的细微边缘信息，加强明显的特征部分，大大降低了把背景像素误分割为细胞核像素的数量，Dice系数比HBM-UNet提高了3.58%，精确度和灵敏度又分别得到了3.04%，1.99%的提升.由以上结果可知本文方法有着更强的优越性和竞争力.

此外，本文还将改进前的U型神经网络和改进后的新网络模型在模型大小(参数量)和学习效率(计算量)方面进行了比较.前者参数量用Params/M来表示，后者计算量用浮点运算数FLOPs表示，它是用来衡量算法复杂度的.通过调用pytorch-OpCounter工具包来计算出本文相关模型的参数量和计算量.表2为原始U-Net和几种改进型U-Net的模型大小和计算量的实验结果对比.

表2 不同模型的参数量和计算量大小Table 2 Amount of parameters and calculation of different models

其中原始的U-Net模型最小，计算量也较低，因此在其基础上进行改进的算法在两项指标上均有提高.本文模型的参数量为9.15M，计算量为123.28G，相比原始模型在参数量仅增加17.7%的条件下精确率提高了5.51个百分点，平均Dice系数提高了5.49个百分点，以很小的计算代价换来了较大的性能提高.虽然本文模型的计算量比原始模型有点提升，但是它在训练和测试的流程中可以自适应的选择下采样次数使网络更灵活，且参数的利用率较好，鲁棒性更强.分割结果表明，与其他同类的U-Net模型相比，本文算法综合性能最好.

为了更直观的表现本文提出的方法在细胞核分割上的优越性，给出了不同方法在测试集上的分割效果图.图5(a)、(b)分别是细胞核的原图和对应标签图，图5(c)-(g)分别为FCN、U-Net、Deeplabv3[24]、Dense-UNet和本文算法得到的细胞核分割效果图.从图5(c)中可以看到，FCN对于细胞核的中心位置定位的不错，但是由于上采样阶段只用了一个反卷积操作，之后没有跟上卷积结构，使得分割结果很差，出现漏检和过检的现象.U-Net、Dense-UNet分割的细胞核边缘轮廓信息比FCN较为清晰，效果有了一些改善，但是仍然存在细胞粘连的部分，分割不是很精确.Deeplabv3分割效果优于U-Net，和Dense-UNet分割效果相似.相比其他方法，本文方法能够更好的分割细小、边缘轮廓模糊的核，大大降低了过分割和欠分割[25]，得到了与标签最近甚至超过标签的效果，具有很好的分割性能.

图5 分割结果对比图Fig.5 Comparison of segmentation results

图6 各种算法在数据集上训练的损失曲线Fig.6 Loss curves of various algorithms trained on datasets

由于网络模型收敛得越快，则它学到的参数与细胞核精准分割的关联度越高.图6记录了不同方法在训练过程中损失函数的变化，发现本文算法比其他几种算法先趋于收敛，起始loss值最低，收敛后精度都优于其他几种方法.

4 结 论

细胞核的精确分割是医学图像病理分析的基础，也是计算机对肿瘤诊断精准分析的前提.本文针对U-Net无法有效的利用各层特征而造成过分割和欠分割的问题，提出了一种改进的HBM-AG-UNet模型.在经典U-Net的基础上加入了深度特征聚合结构，用来同时学习浅层的边缘纹理信息和深层的高级语义信息；创新性的设计了层次交融模块，来学习不同层次的特征的重要程度，以得到精确的分割图；为了使模型更关注对细胞核特征的学习，在嵌套的卷积块之间采用了门注意力机制；最后采用了Dice损失和交叉熵混合的损失函数，解决像素点之间类别不平衡的问题.实验证明，本文提出的算法优于U-Net和Deeplabv3等常用分割模型，显著优于FCN 模型，能更精确的实现细胞核的分割任务，比其他方法更具有优势.

本文方法虽然取得了不错的效果，但也存在不足之处，例如医学图像的数据集很少，而深度学习算法训练又依赖于大量的数据集，尽管使用了数据增强，但是得到的训练数据量依然很少，因此利用生成对抗网络模型生成高质量的标注数据训练网络，以增加训练数据量，提高模型的泛化能力，是未来可以深入研究的一个方向.另外，在未来的研究中将验证本模型是否适用于其他的分割任务如肝肿瘤、肺结节、视网膜病变等.在后续工作中，考虑如何进一步优化网络模型、调节参数，提高分割的准确度，这也是以后工作的重点.