改进3DU-NET在CT影像分割中的应用研究

李林静 侯军浩 吴建峰 杨小军

摘  要：对3D U-NET网络结构进行改进，提出一种CT影像中结节的自动分割方法。该项目在3D U-Net的基础上对其进行改进，改进的内容是卷积块操作采用3×3×3，Stride=1，padding=same的卷積，每个卷积后面相继增加Batch Normalization、Relu 和Dropout操作，池化被卷积操作代替，同时加入long skip connection长链接，实现浅层、低水平、粗粒度特征传递下去而不消失，提升网络对形状在10 mm以下但亮度高结节的轮廓表示能力，同时扩大了感受野、加速了网络的收敛。实现对CT影像的自动、准确描述。

关键词：3D U-NET;CT影像;长链接;感受野;浅层;低水平;粗粒度特征

中图分类号：TP391.4        文献标识码：A文章编号：2096-4706（2021）21-0105-04

Abstract： The structure of 3D U-NET network is improved， and an automatic segmentation method of nodules in CT images is proposed. The project improves it on the basis of 3D U-NET. The improved content is that the convolution block operation adopts the convolution of 3×3×3， stripe=1 and padding=same. After each convolution， Batch Normalization， Relu and Dropout operations are added successively. Pooling is replaced by convolution operations. At the same time， long skip connection long links are added to realize the transmission of shallow layer， low level and coarse grained characteristics without disappearing， so as to improve the ability of the network to express the contour of nodules of shape less than 10 mm with high brightness， at the same time， it expands the receptive field and accelerates the convergence of the network. And then realize the automatic and accurate description of CT images.

Keywords： 3D U-NET; CT image; long link; receptive field; shallow layer; low level; coarse grained characteristic

0  引  言

随着CT在肺癌早期筛查应用的普及，筛查数量倍增。通常情况下，一名患者的CT影像在80幅～250幅之间，影像科医生在医用竖屏显示器上调阅影像图片，逐幅观察。对于肺结节，它的直径约3 mm到30 mm的球状阴影，有实性结节、肺内混合磨玻璃密度结节和肺内纯磨玻璃密度结节，实性结节肺内亮度较高，容易观察，肺磨玻璃结节表现为密度轻微增加，呈云雾状，小于3 cm的局限性病变，其结节的密度不足以遮挡支气管及血管的结构，形状多变，容易和周围的血管、气管组织混淆，医生识别难度加大，加上长时间高强度的阅片，医生难免会产生视觉疲劳，不可避免地导致小结节的漏诊和误诊。如何在大量图像资料中准确检测出结节并早期定性，已成为临床迫切需求。

1  项目介绍

随着医疗大数据库的建立及计算机硬件水平的发展，深度学习算法在医疗诊断领域优势明显，为实现医学影像的自动智能诊断提供了新的契机。自Ronneberger等人于2015年提出U-Net网络以来，U-Net就成为医学图像分割中最著名的框架，随着U-Net的成功，在U-Net结构上有很多类似的变体，均致力于进一步提高分割性能。然而，由于U-Net网络的输入是二维，而医学图像往往是三维图像，因此利用U-Net网络进行训练会丢失原始数据在空间上的信息，使得图像分割精度始终达不到较高水准。由Ahmed Abdulkadir等人于2017年提出的3D U-Net，因其优异的性能被广泛应用于医学图像分割，而3D U-Net网络由于模型参数数量庞大，难以训练且容易出现过拟合，因此发展受到限制。在肺结节诊断方面已有的深度学习算法凭借其准确的训练模型，不仅能在短时间内检出结节，而且能够对结节良恶性进行预判，但对小于10 mm的实心结节筛检及预判结果目前尚无明确定论。因此，小于10 mm的实心结节的分割是医学图像处理中一项具有挑战性的任务。本文在3D U-Net的基础上，对网络结构进行改进，提出一种实现对CT影像肺实质中结节的自动分割方法。包括以下步骤：

步骤1：去除CT影像中的噪声，将图像归一化为（0，1）;

步骤2：肺结节Mask图像生成;

步骤3：构造Patch区域（96，96，16）肺实质CT图像和Mask图像3D训练集;

步骤4：建立改进3D U-Net网络模型，用3D训练样本训练该网络;然后用训练的模型对测试3D样本进行预测，从而对目标病灶区域实现自动分割，其流程如图1所示。

2  网络架构设计

在医学图像分割领域，为了扩大receptive field，减少训练参数和计算时间，让网络参数量减少使其计算量与U-Net网络相当，同时保持三维图像的空间语义信息使其性能又可以媲美3D U-Net网络，该项目在3D U-Net的基础上对其进行改进，改进的网络结构示意图如图2所示。在图2中，网络的总深度为5，其U型结构由压缩路径和扩展路径组成。在压缩路径上，左边由L1、L2、L3、L4层卷积模块和4个下采样操作组成;在扩展路径上有同等数量上采样操作和R1、R2、R3、R4层卷积块组成。在压缩路径上，每层有4个卷积块操作，卷积块操作包括采用3×3×3卷积核，Stride=1，padding=same卷积操作，每个卷积操作后面相继增加Batch Normalization、Relu 和Dropout操作。本文改进的卷积块如图3所示。每层池化操作使用3×3×3卷积核，Stride=2，padding=same卷积操作替换，在每个下采样操作中，通道数增加一倍，特征图大小减半。在扩展路径上，每层有1个上采样upsampling和3个卷积块操作组成，upsampling采样采用3×3×3卷积核，Stride=2，padding=same卷积操作替换，在每个上采样操作中，通道数降低一半，特征图大小放大1倍，卷积块操作包括采用3×3×3卷积核，Stride=1，adding=same卷积操作，每个卷积操作后面相继增加Batch Normalization、Relu 和Dropout操作。

同时加入来自压缩路径中相等分辨率层的长连接long skip connection为扩展路径提供了必要的高分辨率特征，实现shallow，low-level，coarse-grained特征（浅层、低水平、粗粒度）传递下去而不消失，提升网络对形状在3 cm以下但亮度高结节的轮廓表示能力，同时加速网络的收敛。U型结构的对等层次模块如图4所示。在最后一层，使用1×1×1卷积将输出通道的数量减少到1，作为0-1分类。总的来说，网络有39个卷积操作，4个downsampling下采样，4个upsampling，L1卷积层的通道个数都为32，L2卷积层的通道个数都为64，L3卷积层的通道个数都为128，L4卷积层的通道个数都为256，bottom层的通道个数是512。

3  损失函数及评价指标

3.1  损失函数

在本文的中，所使用的损失函数如公式（1）

在式（1）中pi是3D Crop的预测值，gi是3D Crop的ground truth。为了避免CT图像中没有肺结节的情况，在损失函数中加入平滑系数smooth=1e-5，这样可以防止除数为0的情况。本文我们需要判断预测区域是否出现肺结节，可以看作一个二分类问题，对于二分类问题，ground truth分割图只有0，1两个值，因此在预测3D Crop和ground truth之间做点乘可以有效地将在预测分割图中未在ground truth分割图中激活的所有像素清零。对于激活的像素，主要是惩罚低置信度的预测，较高值会得到更好的Dice系数。

3.2  灵敏度sensitivity

本文从肺结节检出灵敏度（sensitivity），平均分割精度和分割标准差来评价肺结节分割勾画的精准性能。假设正样本为肺结节，负样本为正常肺内组织。通常用1来表示正样本，0来表示负样本。对于是否分割出结节的模型，可以用混淆矩陣来表示预测值和真实值之间的关系，如下表1所示。从混淆矩阵中，通常衍生出灵敏度或查全率评价的指标。

灵敏度定义为：Sensitivity=TP/TP+FN    （2）

式（2）是预测肺结节真阳性个数除以真实肺结节的个数，实现对肺结节检出率。

4  项目实施内容

该项目使用Luna2016数据集在配备有NVIDIA GTX 1080Ti GPU工作站上实现了所提出的方法，实施的具体内容步骤包括：

步骤1：首先去除CT影像中的如骨头的亮点，CT床的金属线等噪声，将图像归一化为（0，1）;

步骤2：接下来根据医生提供的结节标注信息，在图像中找到相应的肺结节位置，将医生标注的世界坐标转换化图像坐标，坐标转化后，对CT三维图像按z轴方向进行展开，找到沿z轴方向上所有含结节区域二维切片，即我们训练时的标签Mask;为了丰富样本，接着将厚度为2.5，1.5，1.25，2等大于1 mm情况的CT切片插值采样后层厚变为为1mm，在这里将CT图像采用线性插值法，Mask图像采用最近邻插值法;

步骤3：通过对层厚为1 mm的CT切片进行阈值化、聚类、腐蚀和和膨胀实现肺部ROI的提取。原CT影像是三维图像，每个患者包含一系列胸腔的多个轴向切片，为了充分使用切片间的空间信息，将含有结节肺实质CT图像和Mask图像取（96，96，16）大小Patch区域，实现3D数据集的构建;

步骤4：最后建立基于改进3D U-Net网络模型，使用3D数据集中的训练样本训练该网络模型，然后用训练的模型对测试3D样本进行预测，从而对目标病灶区域实现自动分割。

5  实验效果

在Ubuntu16系统下，使用TensorFlow调用GPU加速进行卷积神经网络训练。Adam Optimizer用于优化整个网络权重，学习率固定为1e-3，batch_size=6，训练图像和mask的大小为（96，96，16）。项目根据Luna2016数据集通过滑动步骤和结节筛选进行标记，生成带16 996个3D crop肺结节信息，整个数据集以8：2的比例随机分成训练集和测试集，我们以13 595个肺结节作为训练集，3 401个肺结节作为测试集。采用Mean Dice、STD 、Sensitivity来评价，其结果如表2所示。在表2中我们看到，改进后的3D U-Net在Mean Dice=87.93%，标准差为9.52%，

Sensitivity=96.23%，与原模型相比，分割效果均有提升。

以5.63 mm实心高亮结节预测结果为例，如图5所示，我们可以看到3D U-Net的预测结果=0.79改进的3D U-Net的预测结果=0.91，改进后模型在高亮小结节轮廓的表示能力优于3D U-Net模型。

6  结  论

该项目通过对3D U-Net网络的改进和融入long  skip  connection实现3D U-Net对小于10 mm结节的分割，不仅解决了梯度消失和梯度爆炸的问题，还提升了网络对形状直径在10 mm以下但亮度高结节的轮廓表示能力。实现对CT影像肺部区域结节的自动、准确的描述。

参考文献：

[1] LIVNE M，RIEGER J，AYDIN O U，et al. A U-Net Deep Learning Framework for High Performance Vessel Segmentation in Patients With Cerebrovascular Disease [J]. Frontiers in Neuroscience，2019，13：97.DOI：10.3389/fnins.2019.00097.eCollection 2019.

[2] ?I?EK ?，ABDULKADIR A，LIENKAMP S.S ， et al. 3D U-Net：Learning Dense Volumetric Segmentation from Sparse Annotation. In：Ourselin S.，Joskowicz L.，Sabuncu M.，Unal G.，Wells W.（eds）Medical Image Computing and Computer-Assisted Intervention – MICCAI 2016. MICCAI 2016. Lecture Notes in Computer Science，vol 9901. Springer，Cham. https：//doi.org/10.1007/978-3-319-46723-8_49.

[3] 金征宇.人工智能醫学影像应用：现实与挑战 [J].放射学实践，2018，33（10）：989-991.

[4] Roy A G ，Siddiqui S ，Plsterl S ，et al.‘Squeeze & Excite Guided Few-Shot Segmentation of Volumetric Images [J]. Medical Image Analysis，2020，59（1）：234-238.

[5] 邹应诚.基于卷积神经网络的颅内动脉瘤检测方法研究 [D].武汉：华中科技大学，2019.

作者简介：李林静（1976.03—），女，汉族，四川遂宁人，副教授，硕士，研究方向：图像理解。