基于U-net网络的细胞核检测方法

秦晨阳，应 捷，杨海马

（上海理工大学 光电信息与计算机工程学院，上海 200093）

引 言

细胞或细胞核的检测是计算机辅助医疗的一项基本内容，可对细胞形态等各种定量分析提供支持。细胞的观察过程一般是由专家取样，再经过染色处理，最后在显微镜下查看载有细胞样本的玻片。这个过程往往需要专业人士观察大量的细胞样本，因此这个方法及其耗费时间。随着显微数字成像技术的高度发展，越来越多的专家只需浏览计算机屏幕上的虚拟影像，而不需在显微镜下检查玻璃幻灯片。所以现代的图像处理方法和机器学习等技术为专家进行细胞方面的研究提供了更好的方法。

目前，对细胞或细胞核的检测方法主要有：距离变换、形态学操作、H-最大/最小值变换、拉普拉斯高斯（LoG）滤波、最大稳定极值区域（MSER）检测、Hough变换、监督学习等方法。

随着深度学习模型和神经网络算法的不断发展和优化，深度学习在医学图像的分割和识别上显示出了巨大的优势。卷积神经网络（convolutional neural network，CNN）[1-2]是一种有监督学习的深度学习模型，通过结合局部感受野、权值共享等实现对输入数据的位移变化、尺度变化、形变变化的不变性。CNN是一种高效的识别方法，采用CNN可避免图像的复杂前期预处理，可以直接输入原始图像。

Xing等[3]使用了三种不同的CNN模型，分别对脑肿瘤、胰腺神经内分泌肿瘤和乳腺癌病理图像进行了自动细胞核检测。Dong等[4]采用了9层的CNN结合非最大值抑制方法对斑马鱼图像中的细胞进行检测。Song等[5]提出了一种基于多尺度CNN框架的H&E染色宫颈图像细胞核检测方法，其中使用了三种规模的CNN提取特征，并将其应用于两层神经网络的像素粗分割。Xie等[6]将一种快速扫描策略引入到深层卷积神经网络中，对胰腺细胞核进行检测。Chen等[7]提出了一种基于深度学习和图像处理的方法，通过分割边界和检测细胞核的几何中心进行细胞核的分离和检测。Kowal等[8]提出了一种结合卷积神经网络和分水岭算法的方法，对乳腺癌细胞进行分割，得到的结果表明，卷积神经网络在大多数情况下优于Otsu阈值法和自适应阈值法，尤其是在核重叠的情况下。

CNN的基本结构包括两层：其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

U-net网络[9]在2015年提出的，尤其在医学图像方面，由于医学图像大多灰度差异较小，边缘部分特征容易丢失，而U-net的网络结构对于这些问题的解决有着很大的优势。

本文将使用卷积神经网络的一种衍生网络即U-net网络进行细胞核的检测。U-net网络由编码和解码两部分组成。U-net 在处理医学图像方面具有优势，它在每个阶段通过编码和解码跳跃连接，将各阶段编码与解码生成的相同大小的特征图在对应位置叠加，并进行卷积操作以有效融合图像的浅层与深层特征。这个操作对于图像的细节和边缘部分的分割有着很好的效果。

1 基于 U-net网络的细胞核检测方法

本文所用的U-net网络和图像处理方法如图1所示。

图 1 总体处理流程图Fig. 1 Overall processing flow chart

首先，对原图像进行数据预处理，其中包括随机剪裁、边缘检测等操作，并将原图像分割为128×128大小的图像。其次，构建U-net网络模型，根据输入图像的大小，调整模型的结构，得到细胞核分割的mask图像。最后，对mask图像标记几何中心，将细胞核在原图像中的边缘和几何中心标记出来，得到最终的处理结果。

本实验使用的数据集来自于网上公开的细胞核数据集，训练集包含760张图像，测试集包含120张图像。本实验对细胞核进行的操作是识别和分割，操作系统为Windows 10，CPU型号为 Intel（R）Core（TM）i7-9750H，CPU频率为2.59 GHz，系统内存为 16 GB，GPU型号为NVIDIA GeForce GTX 1 660 Ti，安装的深度学习框架为tensorflow+keras。

2 数据预处理

对原图像进行随机裁剪等操作进行数据集的扩充，在训练集上对原图像上标记出的细胞核进行一定的处理，并对原图像中的细胞核进行分割。使用多种边缘检测算子对标签图像进行边缘检测，以得到更加清晰平滑且利于区分界限的mask图像。不同边缘检测算子的检测结果如图2所示。

由图2可得，使用Canny算子和Roberts算子得到的图像边缘更加抖动，没有Sobel算子和Log算子得到的图像边缘平滑，Log算子比Sobel算子得到的边缘更加清晰和平滑，并且细胞核边缘分离更加清晰，细胞核之间的分割效果更好。因此，最终使用Log算子对标签图像进行边缘检测，并作为制作U-net网络使用的mask。

3 网络模型的构建

本文构建了基本的U-net网络，输入图像的大小为 128×128×3，每两个 3×3 的卷积层后会跟一个用于下采样步长为2的2×2最大池化操作，且均使用修正线性单元（rectified linear unit,RELU）作为激活函数。在每一个下采样过程中，特征通道数量加倍。解码部分则利用 2×2的卷积核对特征图谱进行上采样，特征通道数量减半，并连接来自相应位置的解码的特征图谱，再通过两次3×3 的卷积进行卷积运算，且均使用 RELU 作为激活函数。在最后一层中，利用1×1 的卷积核将每一个 64 维的特征向量映射到网络的输出层，最后输出的图像大小为128×128×1。

模型使用的是一般用于二分类的交叉熵损失函数。交叉熵损失函数是针对概率之间的损失函数，其表达式为

式中：yi为第i个输出值；为第i个输出值的残差；n为输出的数量。对式（1）进行偏微分，可得

深度学习模型配置和参数如表1所示。

4 网络模型检测指标

网络模型检测指标分别为精确度、召回率、F指标。我们定义：Tp表示网络模型成功检测出细胞核区域，Fp表示模型检测的细胞核区域实际上为背景区域，FN表示模型没有检测为细胞核区域但实际上为细胞核区域。由此，精确度、召回率和F指标可分别表示如下：

经本实验数据集的测试，所建立的U-net网络模型对细胞核的检测结果是：精确度为0.82，召回率为0.83，F指标为0.83。

5 细胞核检测结果

对于输入图像进行细胞核检测并返回mask图像和细胞核标注图像，在返回图像中对于检测得到的细胞核进行几何中心的标定，得到的结果如图3所示。

图 2 边缘检测对比图Fig. 2 Comparison of edge detection

表 1 深度学习模型配置和参数Tab. 1 Configuration and parameters of deep learning model

图 3 检测结果Fig. 3 Test results

从图像的输出结果可知，大多数的细胞核都能被很好地识别和标注出来。

6 结 论

本文建立了U-net网络模型，利用该模型对细胞核进行了检测，得到了较好的检测结果。然而当图像中的细胞核形状不规则时，细胞核在原图像中的标注与细胞核边界不能完全符合，有些细胞核的标注形状、大小会与细胞核不匹配，这些还需要通过进一步的研究来改善。