基于高倍率细胞内镜系统的细胞核分割

张 伟，余 浩，袁 波，王立强，2*，杨 青，2

（1. 浙江大学光电科学与工程学院，浙江杭州310027；2. 之江实验室 超级感知研究中心，浙江 杭州 311100）

1 引 言

近些年来，消化道疾病成为了常见病。现代人由于快节奏的生活和巨大的生活压力，消化道常常处于亚健康状态，久而久之消化道就会发生病变，且为恶性疾病的几率较高。常见的消化道肿瘤有食管癌、胃癌、结直肠癌等。据中国国家癌症中心统计，2015 年新发食管癌、胃癌、结直肠癌分别为 47.8 万例、67.9 万例、37.6 万例，死亡病例共达 106 万例［1］。

对于消化道癌症来说，早期筛查是癌症治愈的先决条件，如果能够及早发现、及时治疗，可以有效减少恶性病变的发生率，降低死亡率。目前，临床上筛查诊断消化道癌症的一个重要途径就是电子内镜活检术，在电子内镜的引导下对病灶取活检再由病理科诊断。这种诊断方式不仅诊断周期长，而且由于取样不准容易漏诊，同时会对病灶造成一定程度的损伤。细胞内镜［2］是一种具有超高放大倍率的高端电子内窥镜，配合术中染色可以直接在体内观察到细胞级的组织，是消化道癌早期筛查诊疗的重要途径和研究方向，在一定程度上可以取代组织学活检［3-4］。与激光共聚焦显微内窥镜［5］不同，细胞内镜仅包含一个光学镜头，医生操作更为方便。自2003 年奥林巴斯发布第一代细胞内镜系统［6］以来，伴随着科学技术的进步，细胞内镜系统得到了飞速的发展。目前，最先进的第四代细胞内镜可以实现520 倍的连续光学变焦放大，显微观察的视场范围可以达到 570 μm×500 μm，在体内可以实时地观察到独立的细胞核［7］。然而，内窥镜医生通常不具备病理诊断经验，难以把握细胞内镜高倍率图像中的组织病理特征。因此，为了辅助内窥镜医生更准确地分析细胞内镜高倍率图像中的细胞核形态特征，本文基于已研制的高倍率细胞内镜系统开展了细胞核分割技术的研究。

2 细胞内镜系统

细胞内镜技术一直以来都被日本的奥林巴斯公司垄断。为了突破技术封锁，本课题组设计搭建了一套大视场高倍率细胞内镜系统，如图1所示。该系统主要包括探头部、插入管、控制手柄、主机以及显示器等。探头部包含一个大视场高倍率变焦内窥物镜，外径尺寸为9.8 mm，与临床常规胃镜相同，变焦旋钮在控制手柄上，可以实现1~500 倍连续变焦放大功能。在实际使用过程中，将细胞内镜探头逐步靠近组织表面并调节变焦旋钮，可实现对组织的连续放大观察，直至探头贴住组织表面时，系统的放大倍率达到最大，能够观察到染色的细胞核，且此时显微观察的视场范围可以达到1 mm 以上，具有视场大、分辨率高等优点。

图1 高倍率细胞内镜系统Fig. 1 Endocytoscopy system with high magnification

为了使不同组织之间以及细胞核与细胞质之间的差异更加明显，在使用细胞内镜检查前需要对组织进行染色［4］。目前，细胞内镜常用的染色剂有甲苯胺蓝、亚甲蓝和结晶紫等溶液。对食管黏膜的染色大多选择甲苯胺蓝或亚甲蓝，而结晶紫能够对细胞质进行有效染色［3，7］。本文基于搭建的高倍率细胞内镜系统，在猪食管黏膜组织上开展了甲苯胺蓝染色细胞核的实验。从离体的猪食管组织上剥离一小块食管内壁黏膜，冲洗干净后再用1%浓度的甲苯胺蓝水溶液进行染色。这种染色剂着色很快，适用于内镜下快速染色。染色大约一分钟之后用清水冲洗掉多余的染色剂，便完成了对猪食管黏膜组织细胞核的染色。将染色好的食管黏膜置于背光光源上，利用细胞内镜系统进行观察，图2 展示了不同放大倍率下的成像结果，其中图 2（a）~2（c）的成像物距由远及近，最后紧贴黏膜表面，在最高放大倍率下能够清晰地观察到均匀分布的细胞核，如图2（c）所示。

图2 高倍率细胞内镜系统观察猪食管黏膜的染色细胞核Fig.2 Observation on stained nuclei of esophageal mucosa tissue of pig by endocytoscopy system with high magnification

3 细胞核分割方法

根 据 Kumagai 等［8］和 Ono 等［9］的 研 究 ，使 用细胞内镜诊断食管病变和宫颈病变的良恶性主要依赖于细胞核的特征，但内窥镜医生通常不具备细胞核病理诊断的经验，而且缺乏统一标准，主观估计误差较大。Kumagai 等在2019 年采用深度学习方法对细胞内镜在食管拍摄到的图像进行识别分类以辅助内窥镜医生诊断，其中类别包括良性病变和恶性病变两类，最终模型诊断的总体准确性为90.9%［10］。然而，这种辅助诊断的方法并未充分利用细胞核的特征，为了进一步准确分析细胞核的形态结构，需要将细胞内镜图像中的细胞核准确地分割和提取出来。

深度学习在医学图像分割领域的应用日趋成熟，与传统的分割算法相比，深度学习方法的分割精度有了较大的提升［11-12］。Shelhamer 等［13］提出的全卷积神经网络（Fully Convolutional Net⁃work，FCN）模型将网络后端的全连接层替换成卷积层，再使用上采样技术将低分辨率的深层特征图映射到输入图像的尺寸上，成功地完成了像素级的语义分割任务。该网络结构简单，容易训练，目前已广泛地应用于图像分割任务中。本文采用FCN 网络作为细胞核分割模型的基本框架，其中FCN 的主体结构采用了常用的VGG16［14］模型。

在细胞内镜所拍摄的猪食管黏膜细胞核图像中，单个细胞核所占比例较小，直接将原始图像用于训练难以取得好的分割效果，所以本文先对原始图像的右侧和底部按照边界对称性进行填充，扩展成512×512 像素，进而再切分成16 个128×128 像素的图像块，然后将图像块放大至512×512 像素再输入FCN 模型进行训练，避免细胞核在不断卷积池化的过程中丢失语义特征。最后，对每个图像块分割的结果对照位置进行拼接并裁剪掉填充区域，通过后处理去除面积小于10 像素和大于200 像素的伪细胞核，输出最终的细胞核分割结果。细胞核分割的整体框架如图3所示。

图3 基于FCN 的细胞核分割模型框架Fig.3 Structure of nuclear segmentation model based on FCN

4 实验与结果分析

4.1 数据集及评价指标

本文基于已研制的高倍率细胞内镜系统对猪食管黏膜组织的细胞核进行染色观察并采集图像数据，从8 次染色实验中共采集了40 张具有代表性的细胞核图像，并手动对这些图像进行标注，制作出细胞核分割数据集，如图4 所示，其中10 张图像作为评估分割算法的测试集。另一方面，本文对用于训练的30 对图像和标签进行切割分块，共得到1 080 对图像块，用于训练细胞核分割模型。

图4 细胞核标注Fig.4 Nuclear label

为了定量评估比较算法模型分割细胞核的准确性，本文采用像素准确性（Pixel Accuracy，PA）（Ap），特异性（Sp），敏感性（Se）和 Dice 系数（D）4 个指标［15-16］，计算公式如下：

其中：TP表示分割正确的细胞核像素个数，TN表示分割正确的背景像素个数，FP表示误分割成细胞核的像素个数，FN表示遗漏分割的细胞核像素个数。Dice 系数是医学图像分割领域衡量真值和预测值之间的重要度量，其值越大表示两者的相似度越高［16］。

4.2 分割结果及讨论

本文实验均是在Ubuntu 19.04 系统上进行，CPU 型 号 为 i9-9900K，GPU 型 号 为 RTX 2080Ti，利 用 开 源 库 PyTorch 1.6.0 和 OpenCV 3.4.2 进行模型的训练测试以及图像处理等。由于待分割的目标只有细胞核，所以像素只有细胞核像素和背景像素两类。因此，本文在训练细胞核分割模型时采用二进制交叉熵损失函数，并采用 Adam 算法［17］进行优化，经过 300 次的迭代训练之后得到细胞核分割模型。

为了验证图像切割分块训练的有效性，本文对未切分图像也进行了同样的训练，并将切分图像训练的模型记为FCN-crop，未切分图像训练的模型记为FCN。除此之外，本文还实现了传统的OTSU 分割方法，用来和深度学习方法对比。3 种分割方法在测试集上的分割结果如图5 所示。在4 项指标中，OTSU 的表现都是最差的，而FCN-crop 的表现是最好的，其像素准确性达到了99.23%，特异性达到了99.54%，敏感性达到了84.37%，Dice 系数也达到了0.813 8。由于图像中大部分像素都属于背景像素，因此3 种方法的像素准确性和特异性都在90%以上。在敏感性和 Dice 系数上，OTSU 和 FCN 都很低，说明这两种方法存在较多的细胞核遗漏分割的情况，且细胞核边缘分割不够准确。FCN-crop 模型在敏感性和Dice 系数上都在0.8 以上，充分说明它可以准确地分割出细胞核，在测试集图像上的分割结果如图6 所示（彩图见期刊电子版）。其中，绿色和黑色代表正确分割的真阳性像素和真阴性像素，蓝色和红色代表错误分割的假阳性和假阴性像素。

图5 三种方法分割结果的对比Fig.5 Comparison of segmentation results of three methods

图6 FCN-crop 模型的分割结果。（a）~（c）是原始图像，（e）~（g）是分割结果Fig.6 Segmentation results of FCN-crop model.（a）-（c）are original images，and（e）-（f）are segmentation results

在细胞内镜显微成像模式下，FCN-crop 模型准确分割出的细胞核可用于定量分析细胞核的大小、形态分布等特征，这些特征与食管黏膜组织的病变紧密相关［8，18］。通过联合临床医学研究团队，这些定量化的特征在食管组织病理诊断分析中能够降低医生之间的个体差异和主观估计所引入的误差，对细胞内镜病理诊断标准制定以及辅助医生诊断具有重要意义。

5 结 论

本文基于已研制的高倍率细胞内镜系统，在猪食管黏膜组织上使用甲苯胺蓝溶液对细胞核进行染色并成功观察到了染色的细胞核。在采集细胞核图像并手动标注制作细胞核分割数据集之后，以深度学习分割算法FCN 为基本框架实现了对图像中染色细胞核的有效分割，分割准确性和特异性都在99% 以上，且敏感性和Dice 系数都在0.8 以上，从而为细胞内镜AI 辅助诊断研究提供了细胞核分析的准确依据。