基于改进U-net网络的2.5D肺实质分割
2020-08-17王楠王森妹蔡静
王楠 王森妹 蔡静
摘 要:针对胸腔CT影像信息复杂度高、肺器官体积大造成的3D肺实质结构无法快速准确分割的问题,提出了一种基于改进U-net网络的2.5D肺实质分割方法。将3个轴向(冠状面、矢状面、横截面)的胸腔CT影像分别输入改进U-net网络模型进行特征学习,而后对3个轴向的学习结果进行融合,实现3D肺实质分割。使用该方法在中南民族大学认知科学实验室中完成了一系列肺实质分割实验,实验结果表明该方法可以有效地完成3D肺实质分割。
关键词:肺实质分割;改进U-net网络;2.5D
中图分类号:TP391.41;R734.2 文献标识码:A 文章编号:2096-4706(2020)09-0085-04
A 2.5D Lung Segmentation for CT Images Based on Improved U-net
WANG Nan,WANG Senmei,CAI Jing
(South-central University for Nationalities,Wuhan 430074,China)
Abstract:In order to solve the problem that 3D lung parenchyma structure cannot be quickly and accurately segmented due to the high complexity of chest CT image information and large lung organ volume,a 2.5D lung-segmentation method based on improved U-net is proposed. Thoracic CT images in three axial directions (coronal,sagittal,transversal) were input into the improved U-net network model for feature learning,and then the three axial learning results were fused to achieve 3D lung-segmentation. A series of lung parenchyma segmentation experiments have been completed in the Cognitive Science Laboratory of South-central University for Nationalities. The experimental results show that this method can effectively complete 3D lung lung-segmentation.
Keywords:lung-segmentation;improved U-net;2.5D
0 引 言
肺是位于人体胸腔重要的呼吸系统器官,其主要功能是气体交换,即氧与二氧化碳的交换、呼吸调节等功能,肺在人类的生命周期中扮演着极其重要的角色。基于肺的解剖结构和大量临床数据显示,肺很容易受内外因素的损害,是人体最容易失守的一道防线。为实现基于医学影像的肺部疾病自动检测与筛查,需要从影像中提取肺的实质结構,因此自动精确地分割出完整的肺实质结构成为一项重要的研究课题。
针对肺实质的分割问题,目前已有大量的对应方法被提出。Hu[1]等人提出,成为阈值分割法的研究基础,但是处理CT影像这种灰度值接近的分割任务时结果却不尽人意。Jonathan Long[2]等提出的全卷积神经网络(Fully Convolutional Networks,FCN)放弃了卷积神经网络中参数量庞大的全连接层,将其替换为卷积层,对图像进行像素级别的分类,是基于卷积神经网络的图像分割领域一项里程碑式的研究成果。Ronneberger[3]等提出的U-net网络,包含相同数量的上采样层和下采样层,在少量数据集的情况下可以得到精确度较高的分割结果。He[4]等提出的残差网络(Residual Network,ResNet),允许原始输入信息直接传递到后面的层中,为神经网络在图像分割中的应用提供了新的思路。Ahmed Soliman[5]等人提出一种3D的CNN结构用于肺实质的分割,证明了3D CNN结构用于医学图像分割的可行性,同时也暴露了3D肺实质分割计算量大、耗时久的缺陷。
1 改进U-net网络结构
本文采用的卷积神经网络结构(如图1所示),是在经典U-net网络结构的下采样与上采样之间加入空洞卷积和并行池化两个模块。
1.1 空洞卷积模块
本文设计的空洞卷积模块(如图2所示),包括原特征图共有5条不同的分支,共包含不同卷积率的空洞卷积操作7次[6]。随着空洞卷积率的增加,特征提取的感受野逐渐增大,添加了图像的全局信息,弥补了之前深层卷积导致的语义信息丢失。在每1个分支卷积操作后添加1×1的卷积操作,在不损失特征分辨率的情况下增加了非线性因素,使网络可以表达更复杂的特征。
1.2 并行池化模块
本文设计的池化模块(如图3所示)是一个类似于空间金字塔池化[7](SPP)的结构,通过4个不同大小的池化核对输入的特征图像进行信息整合,不同的池化核提取不同有效视野的信息,在减少参数的同时大概率地保留空洞卷积模块提取的不同视野特征。
2 基于改进U-net网络的2.5D肺实质分割
参考文献:
[1] HU S,HOFFMAN EA,REINHARDT JM. Automatic lung segmentation for accurate quantitation of volumetric X-ray CT images [J]. IEEE transactions on medical imaging,2001,20(6):490-498.
[2] EVAN S,JONATHAN L,TREVOR D. Fully Convolutional Networks for Semantic Segmentation [J]. IEEE transactions on pattern analysis and machine intelligence,2017,39(4):640-651.
[3] RONNEBERGER O,FISCHER P,BROX T. U-Net:Convolutional Networks for Biomedical Image Segmentation [C]//18th International Conference,October 5-9,2015,Proceedings,Part III. Munich,Germany:Medical Image Computing and Computer-Assisted Intervention-MICCAI,2015:234-241.
[4] HE K M,ZHANG X Y,REN S Q,et al.Identity Mappings in Deep Residual Networks [C]//14th European Conference,October 11-14,2016,Proceedings,Part IV.Netherlands:ECCV 2016:Computer Vision-ECCV,2016:630-645.
[5] SOLIMAN A,SHAFFIE A,GHAZAL M,et al. A Novel CNN Segmentation Framework Based on Using New Shape and Appearance Features [C]//IEEE:2018 25th IEEE International Conference on Image Processing (ICIP),2018:3488-3492.
[6] GU Z W,CHENG J,FU H Z,et al. CE-Net:Context Encoder Network for 2D Medical Image Segmentation [J]. IEEE Transactions on Medical Imaging,2019:1.
[7] HE K M,ZHANG X Y,REN S Q,et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [J]. IEEE transactions on pattern analysis and machine intelligence,2015,37(9):1904-1916.
[8] 顧一凡.基于分组膨胀卷积和级联网络的语义分割算法研究 [D].哈尔滨:哈尔滨工业大学,2018.
[9] 曹玉磊.DICOM标准研究与图像处理工具的实现 [D].西安:西安电子科技大学,2007.
[10] 赵向明.基于深度学习的医学图像分割算法研究 [D].武汉:华中科技大学,2019.
作者简介:王楠(1994—),女,蒙古族,河南南阳人,硕士研究生,研究方向:医学图像处理。