APP下载

基于全局局部Unet11的肾脏超声图像分割方法

2022-03-25张宁赵希梅郑曙光李富豪

关键词:肾脏深度学习

张宁 赵希梅 郑曙光 李富豪

文章编号: 10069798(2022)01000110; DOI: 10.13306/j.10069798.2022.01.001

摘要:  针对超声图像中肾脏、肾实质和肾窦自动分割存在的内部和边缘分割不准确问题,提出了一种用于肾脏超声图像分割的深度学习方法(GLUnet11)。通过加深Unet网络,使网络具有更强的表达能力,并提出一个新的通道注意力网络——全局局部网络(GLNet),该网络综合考虑了全局通道和局部通道对预测每个通道重要性的影响,使网络更好地关注重要信息。同时,将提出的全局局部网络加入到加深的Unet下采样部分的卷积块中,有效地增强了重要通道的特征。通过创建3个数据集,分别进行肾脏、肾实质和肾窦分割实验。实验结果表明,本方法在分割肾脏任务中,Dice系数达到9625%,交并比(intersection over union,IOU)达到9278%;在分割肾实质任务中,Dice系数达到9290%,IOU达到8675%;在分割肾窦任务中,Dice系数达到9018%,IOU达到8212%,分割结果均优于其它几种深度学习方法。该研究具有一定的创新性及医学应用价值。

关键词:  全局局部网络; 肾脏; 肾实质; 肾窦; 语义分割; 深度学习

中图分类号: TP391.413文献标识码: A

肾脏是人体重要的器官,可以保证人体内环境的稳定,使新陈代谢能够正常进行。肾脏疾病是影响整个人体系统最常见的疾病[1]。近年来,超声检测已广泛应用于急慢性肾脏疾病的诊断中[23],传统的人工图像识别方法,存在诊断时间长和识别错误等问题,容易错过最佳治疗时间。肾脏、肾实质和肾窦的面积都可能与肾脏急慢性疾病有着密切的联系,肾实质和肾脏的厚度可以作为慢性肾功能衰竭的标志[4]。因此,肾脏、肾实质和肾窦的计算机自动分割具有重要意义[56]。目前,超聲图像中肾脏、肾实质和肾窦的分割难点主要是分割的数据集短缺,无法找到足够多的训练样本满足深度学习的需要[79]。另外,肾脏超声图像中有大量的伪影和噪声[1011],很多超声图像中待分割的部位与背景区域没有明显的分割界线。从现有的分割结果可知,这3部分分割结果的内部和边缘都不够准确。肾窦部分由于特征不够明显,所占整个肾脏超声图像的比例较小,因此分割结果更不理想。目前,医学图像的分割方法主要有传统的图像分割方法和基于深度学习的语义分割方法。传统的图像分割方法有的基于形态学,有的基于建立模型算法,其缺点是分割精度不高,且需要人工选择特征。D.T.LIN等人[12]使用脊柱定位肾脏,并使用自适应区域生长算法在二维CT图像中分割肾脏组织;M. FREIMEN等人[13]将肾脏分割定义为马尔科夫随动场中最大后验概率估计的最小切割求解问题,通过求解模型,得到未知模型变量和分割结果;D.TURCO等人[14]使用一种全自动分割技术,根据常染色体显性多囊肾病患者的非差异造影(computer tomography,CT)信息,计算其总分割体积。随着卷积神经网络(convolutional neural networks,CNN)在医学图像分析领域的发展和应用,基于深度学习的方法已成为医学图像分割的一种可行方法[1516],且分割性能远远超越了传统学习方法,但目前利用一个模型分割出整个肾脏、肾实质和肾窦的实验方法非常少,将肾脏超声图像的这3部分分割出来,在很大程度便于进一步测量这3部分的面积,肾脏和肾实质的厚度,肾脏的长短轴和肾脏各部分回声值等,分割数据还可以存入人工智能(artificial intelligence,AI)诊断系统。基于此,本研究提出一种基于全局局部网络Unet11(globallocal unet11,GLUnet11)的肾脏超声图像分割方法。将Unet模型加深,增加了1个最大池化层,2个双卷积层和1个转置卷积层。并提出一个新的通道注意力网络——全局局部网络(globallocal network,GLNet),该网络可以更加准确地预测每个通道的重要性。同时,将提出的全局局部网络加入到加深的Unet下采样部分的卷积块中,提高了网络的学习表达能力,增强了通道的特征,较大程度上提升了网络对肾脏、肾实质和肾窦的分割能力。另外,制作3个数据集,分别进行肾脏、肾实质和肾窦的分割实验,并与Unet[17]、Segnet[18]、SEUnet、ECAUnet和GLUnet方法进行对比。实验结果表明,本研究提出的GLUnet11方法,在Dice系数、IOU、特异性和敏感性4个指标上都优于其它方法,证明本研究所提出的方法,可以有效地分割肾脏超声图像中的肾脏、肾实质和肾窦3部分,具有潜在的医学应用价值。该研究对肾脏、肾实质和肾窦的计算机自动分割具有重要意义。

1相关理论

1.1Unet网络

本研究主要基于Unet网络[17]架构,它是一个端到端的全卷积神经网络,由1个编码器和1个解码器的对称结构组成。另外通过跳跃连接结构,将编码和解码部分对应位置的特征图拼接,起到信息互补的作用。

Unet网络的提出是为了分割医学图像,医学图像语义较为简单,结构较为固定,待分割的区域一般在图像中比较固定的位置,低分辨率的信息可以为物体的整体分割提供有效信息。另外,医学超声图像常存在边界模糊、梯度复杂的问题,这就需要高分辨率的信息来进行精准分割。Unet网络的结构特点可以很好地将低分辨率信息和高分辨率信息相结合,适用于医学图像分割。

1.2通道注意力网络

通道注意力的基本思想是让神经网络能够学会判断每个通道的重要程度,然后给每个通道分配一个重要性权值,从而使神经网络可以关注重要信息而忽略次要信息。

1)压缩和激励网络。压缩和激励网络(squeezeandexcitation networks,SENet)[19]主要由压缩和激励两部分组成。压缩是将原始特征映射的维度H×W×C压缩为1×1×C,被压缩成的一维参数获得了之前H×W维数的视野,可以感知的区域变宽;激励是在上一步得到的1×1×C后,添加一个全连接层,然后预测每个通道的重要性,再将得到每个通道的权重乘以通道加权之前的特征上,得到在通道维度上重新标定的新的特征图。

传入一个特征图X0,W、H、C分别为其宽度、高度和通道尺寸。通过全局池化,将每个二维特征变成一个实数,之后通过全连接层,再通过Sigmoid函数,得到每个通道的权值。SENet的基本流程图如图1所示。图1中,σ即Sigmoid函数,通过乘法将各通道得到的权值通过乘法运算加权到之前的特征上,得到具有新权值的特征图XSE。

2)有效通道注意力网络。有效通道注意力网络[20](efficient channel attention for deep convolutional neural networks,ECANet)是对SENet的改进,是一种不降维的局部跨通道交互方法,预测一个通道的重要性时,只考虑当前通道和其k个邻域通道的信息交流,此方法通过快速一维卷积来实现。

传入一个特征图X0,通过全局平均池化,再通过大小为k的快速一维卷积,预测每个通道的权值,并通过乘法将各通道得到的权值通过乘法运算加权到之前的特征上,得到具有新权值的特征图XECA。该模块仅涉及k个参数(k≤9),k通过函数自适应取得最优值。ECANet的基本流程图如图2所示。

2本文算法

2.1全局局部网络

将SENet和ECANet分别加入Unet网络下采样部分的卷积块中进行实验,实验结果表明,与不加入注意力网络的Unet相比,分别加入SENet和ECANet,分割结果有不同程度的提升,说明分别加入这两种注意力机制,都能起到让网络关注重要信息的作用,可以更好地分割超声图像中的肾脏、肾实质和肾窦。

本研究将两种通道注意力网络相结合,提出了GLNet网络,GLNet网络基本流程图如图3所示。传入特征图X0,并行通过SENet和ECANet两种通道注意力网络,分别得到特征图XSE和XECA,最后通过加法将2个重标定的特征图进行逐像素等权重相加,得到一个新的特征图XGL,即XGL=XSE+XECA,得到的新特征图充分考虑了全局通道和局部通道对预测每个通道信息的影响。

2.2全局局部Unet11

近年来,将注意力机制引入卷积块的研究层出不穷,此方法带来的性能提升引起了越来越多研究人员的广泛关注[2122]。为了提高Unet网络分割肾脏、肾实质和肾窦的能力,本研究提出了全局局部Unet11方法,由于本方法使用的训练样本尺寸大于一般图像,为768×1 024,图像多伪影和噪声,加大了网络学习的难度,因此加深Unet网络层数,加入卷积层引入更多的非线性,从而增强卷积神经网络的表达能力。Unet11模型基本结构如图4所示,图4中,增加了1个2×2最大池化,4个3×3卷积和1个上采样层(转置卷积)。加深后的Unet网络由11个双卷积结构构成,命名为Unet11,以区分加深之前的Unet[17],Unet可根据具体实验调节网络深度。

为了让网络学会关注重要信息,忽略次要信息,更好地学习分割部位的特征,将全局局部网络加入到Unet网络下采樣部分的每个3×3卷积后面,GLNet加入Unet11网络下采样部分卷积块,部分卷积块位置如图5所示。加入全局局部网络后,对传入的特征图通过全局和局部两方面对每个通道的重要性进行预测,更好地保留重要信息,忽略次要信息,更加准确地对肾脏、肾实质和肾窦部位进行分割。

2.3损失函数

在训练时,原始的Unet模型采用Softmax的输出结果计算交叉熵,并将其作为网络整体优化函数。在本文的分割实验中,只有待分割部分和背景区域,其中0表示背景区域,1表示待分割区域。肾脏各部分语义分割,本质上是一个像素级别的二分类任务,一般使用二值交叉熵损失(BCELoss)函数,它是交叉熵损失函数的一种特殊情况,仅用于二分类问题。损失函数为

式中,N表示像素点总个数;yi表示真实值;pi表示预测值,参数log(pi)是概率值为pi时的信息熵。当前景像素远远小于背景像素的数量时,即yi=0的数量远大于yi=1的数量时,优化过程中yi=0的部分会占据主导地位,使网络偏向于学习背景区域。在肾脏、肾实质和肾窦分割的这3个实验中,待分割部位均占整张图像的小块区域,特别是肾窦部分更小,这时使用BCEloss,会使模型预测面积有更大的无意义区域。

本文选用dice损失函数作为BCEloss的补充,以减轻样本不均衡对肾脏部位提取的影响,其中Diceloss为

式中,g为真值掩膜二值图;q为预测掩膜二值图;gi为真值掩膜二值图上第i个像素实际属于的类别;qi为预测掩膜二值图上第i个像素实际属于的类别;N为像素点总个数。相似性系数越接近于1,表明分割结果越好;反之,相似性系数越接近于0,表明分割结果越差。

本文采用Diceloss和BCEloss的组合损失函数Dice_BCEloss,以强化小目标和样本不均衡场景下的分割精度,Dice_BCEloss为

使用Dice系数、IOU、特异性(specificity,Spe)和敏感性(sensitivity,Sen)4个指标评估本模型。Dice系数是一种集合相似度度量指标,通常用于计算两个样本的相似度;IOU即模型所预测的目标区域与所标注的真实区域的交并比;特异性是指测量被正确识别为阴性的比例;敏感性是指测量被正确识别为阳性的比例。4个评价指标分别为

其中,TP是被预测为阳性样本和实际上是阳性样本的特征的数量;FP是被预测为阳性样本但实际上为阴性样本的特征的数量;TN是预测为阴性样本实际上是阴性样本的特征的数量;FN是预测为阴性样本但实际上为阳性样本的特征的数量;A为标签真实值;B为预测分割结果。以上4个指标取值都在[0,1]区间内,取值越高,代表分割的结果越好。

3实验结果及分析

3.1实验环境与参数设置

本实验开发环境为Windows 10(64位)操作系统,内存3200 GB,显卡为NVIDIA GeForce GTX 1080Ti。实验在Anaconda3中的Spyder36平台下用深度学习框架pytorch120gpu版本进行。设置各网络模型采用的实验参数:epoch的训练轮数为100轮,每次迭代输入样本的batchsize为1,使用Adam作为优化器,初始学习率为001,使用BCELoss作为损失函数,采用本文创建的数据集进行分割实验。

3.2数据集及其预处理

1)数据集来源及制作。本实验所用的数据集来源于青岛大学附属医院影像科,实验抽取750张肾脏超声图像,制作3个分别用于肾脏、肾实质和肾窦的分割数据集,每个数据集包括700张训练样本和50张测试样本。数据集的制作工具为用python语言编写的Labelme图像标注软件,每个标签的制作均在专业医生指导下进行,数据集原图及各分割部分标签图如图6所示。图6a为肾脏超声图片,图6b为医生采用专用工具标注肾脏、肾实质和肾窦轮廓图,图6c~图6e分别为自制的用于计算机自动分割的标签,原图像与标签大小均为768×1 024。

图6数据集原图及各分割部分標签2)数据预处理。医学图像与正常图像主要有两个区别:一是大多数医学图像非常相似,都是使用相同的标准化设备拍摄,角度和像素范围都是固定的;二是正负样本间存在较大的不平衡。结合医学影像的特点,对原始数据集进行预处理。首先对图像数据进行归一化处理,调用transforms.ToTensor()函数,将图像像素的范围从[0,255]转换为[0,1],目的是消除奇异样本数据造成的不利影响;其次是通过通道对数据进行标准化处理,调用transforms.Normalize()函数,图像像素范围从[0,1]转换为[-1,1],目的是加快模型的收敛速度。对于训练集张数少的问题,采取对数据集进行水平翻转、增加对比度和改变亮度等数据增强方法,分割结果未得到提升;对于数据集图片中的伪影和噪声,采取增加对比度和增加亮度等方法,分割结果也未得到提升。后面将继续尝试其它实验方法对数据集进行预处理。

3.3对比模型设计

本文采用Unet、Segnet、SEUnet、ECAUnet、GLUnet和GLUnet11几种基准模型进行实验对比,这些模型均为编码器解码器结构。其中,Unet和Segnet模型是图像分割方法中的经典方法;SEUnet和ECAUnet模型是将已提出的通道注意力机制SENet和ECANet加入到Unet模型下采样部分的卷积块中;GLUnet方法是将本研究提出的GLNet加入到未加深网络深度的Unet模型下采样部分的卷积块中。网络模型结构对比如表1所示。

3.4实验结果

1)不同损失函数下的肾脏分割结果。为验证本文所提出的组合损失函数优于单独使用任意一种损失函数,采用以下3组实验对比分析实验效果,不同损失函数的肾脏超声图像分割结果如表2所示。由表2可以看出,两种损失函数组在一起的效果要好于单独使用其中一种的分割效果,说明采用Diceloss和BCEloss的组合损失函数Dice_BCEloss,可以强化小目标和样本不均衡场景下的分割精度,适合超声图像肾脏分割实验。

2)不同方法的肾脏分割结果。为了更好地评价本研究所提出的GLUnet11方法分割肾脏、肾实质和肾窦的性能,将Unet、Segnet、SEUnet、ECAUnet和GLUnet方法进行对比,不同方法的肾脏超声图像分割结果如表3所示。由表3可以看出,在各方法的分割结果中,肾脏的分割结果最好,肾实质的分割结果占中间,肾窦的分割结果最差。该结果与3部分的特点息息相关,通过人眼观察肾脏超声图像,可以看出肾脏最好识别,所占肾脏超声图像的比例较大,肾实质也比较好分辨,而肾窦部分人眼不好识别,边界模糊,所占肾脏超声图像的面积也很小,难以分割。

由肾脏分割结果可知,本文方法在Dice系数、IOU、特异性和敏感性上都优于其他方法。与GLUnet方法相比,分别提高了098%,181%,693%和504%。与Unet方法相比,分别提高了450%,803%,931%和567%;由肾实质分割结果可知,本文提出的方法在各个指标上最优,与GLUnet方法相比,分别提高了150%,258%,240%和348%,与Unet方法相比分别提高了286%,487%,539%和450%;由肾窦分割结果可知,本文提出的方法同样优于其它几种方法,与GLUnet方法相比,分别提高了226%,368%,254%和179%,与Unet方法相比分别提高了603%,949%,542%和1021%。

将本文方法与GLUnet进行比较可知,扩展Unet的深度非常有效,通过与Unet进行比较可知,将本文提出的通道注意力GLNet加入Unet下采样部分的卷积块中,可以提高网络学习能力,使网络关注重要特征,忽略次要特征,从而更好地进行分割。

本文提出的模型,在各部分分割指标中优于Segnet模型、SEUnet模型和ECAUnet模型,再一次证明本文提出的全局局部Unet11模型具有分割肾脏超声图像的潜力。不同方法的分割结果图如图7所示。由图7可以看出,最初用Unet方法进行分割时,肾脏内部和边缘均分割不准确,被分割部位的内部会有一些小黑点,没有被正确分割出来,另外被分割部位的边缘比较粗糙,不光滑,这些问题在其它几种分割方法中也可看到,但在本文提出的GLUnet11中具有明显改善,在GLUnet11方法中,分割部分的内部已经没有小黑点,分割边缘较为光滑。另外,通过对比标签也可看出,分割准确性有了较大提升。根据定量和定性分析,证明本文提出的方法可以更加准确地分割超声图像中的肾脏、肾实质和肾窦。

图7不同方法的分割结果图3)对全局局部Unet11方法的多角度分析。为测试训练样本数量对肾脏、肾实质和肾窦分割的准确性,分别采用300,500和700张训练样本数量进行实验,不同训练样本张数下的分割结果如表4所示。由表4可以看出,随着样本数量的增加,需要分割部位的各评价指标都有升高的趋势。由于训练样本数量的限制,没有对更大样本量进行实验,后续将继续增大训练样本数量来比较实验结果。另外,在相同样本张数下,其余分割模型的分割效果,皆不如本研究提出的GLUnet11模型。

为测试训练轮数对肾脏、肾实质和肾窦的准确性,分别进行60,80,100和120轮训练,不同训练轮数下的分割结果如表5所示。由表5可以看出,随着训练轮次的增加,3个部位的分割评价指标出现先变好再变差的现象。当训练轮次为100时,肾脏、肾实质和肾窦部位的分割准确率最高,由于训练样本较少,当从100轮增加到120时,会出现过拟合现象,准确率降低。

为衡量本文提出方法的计算复杂度,对不同方法的每轮训练时间进行记录,不同方法训练1轮时间比较如表6所示。由表6可以看出,本文方法加深了Unet网络的深度,并且加入了注意力网络,因此模型复杂度提升,计算复杂度加大。由表6还可以看出,本文方法与Unet方法相比,每轮时间分别增加了1′9″,1′16″和1′22″,与GLUnet方法相比,每轮时间分别增加了40,55和56 s,与分割性能上的提升相比,增加的训练时间可以接受。

4结束语

通过对肾脏、肾实质、肾窦分割的三组实验结果进行分析,可以看出本研究提出的GLUnet11网络在與之前提出的Unet、Segnet方法和本文提出的SEUnet、ECAUnet以及GLUnet方法相比,在定量和定性两部分皆取得了很大的提升。实验结果表明,本研究提出的方法具有肾脏超声图像分割的潜力和一定的医学应用价值。但GLUnet11方法与其他实验方法相比,训练速度增加,在接下来的实验中,将在提升训练速度方面做进一步发研究。此外,还可以获得其他部位的临床超声图像,以证明该方法的广泛适用性。

参考文献:

[1]BELLOMO G. The relationship between uric acid, allopurinol, cardiovascular events, and kidney disease progression: a step forward[J]. American Journal of Kidney Diseases the Official Journal of the National Kidney Foundation, 2015, 65(4): 525527.

[2]PULIDO J E, FURTH S L, ZDERIC S A, et al. Renal parenchymal area and risk of ESRD in boys with posterior urethral valves[J]. Clinical Journal of the American Society of Nephrology Cjasn, 2014, 9(3): 499505.

[3]王胜男, 常明, 赵华. 慢性肾脏病与血压变异[J]. 中国中西医结合肾病杂志, 2016, 17(1): 8689.

[4]SHARMA K, RUPPRECHT C, CAROLI A, et al. Automatic segmentation of kidneys using deep learning for total kidney volume quantification in autosomal dominant polycystic kidney disease[J]. Scientific Reports, 2017, 7(1): 20492058.

[5]ZHANG P, LIANG Y M, CHANG S J, et al. Kidney segmentation in computed tomography sequences based on energy minimization [J]. Acta Physica Sinica, 2013, 62(20): 208701.

[6]SHI Y, TAN J, LIU Z. Renal cortex segmentation using graph cuts and level sets[J]. Computer Science, 2016, 43(7): 290293, 318.

[7]GAO J, PERLMAN A, KALACHE S, et al. Multiparametric quantitative ultrasound imaging in assessment of chronic kidney disease[J]. Journal of Ultrasound in Medicine Official Journal of the American Institute of Ultrasound in Medicine, 2017, 36(11): 22452256.

[8]COST G A, MERGUERIAN P A, CHEERASARN S P, et al. Sonographic renal parenchymal and pelvicaliceal areas[J]. The Journal of Urology, 1996, 156(2): 725729.

[9]MARCELO M, KATSOUFIS C P, MONA J, et al. Prenatal renal parenchymal area as a predictor of early endstage renal disease in children with vesicoamniotic shunting for lower urinary tract obstruction[J]. Journal of Pediatric Urology, 2018, 14(4): 320.e1 320.e6.

[10]FU X, LIU T, XIONG Z, et al. Segmentation of histological images and fibrosis identification with a convolutional neural network[J]. Computers in Biology and Medicine, 2018, 98(1): 147158.

[11]ZHENG Q, LI H, FAN B, et al. Integrating support vector machine and graph cuts for medical image segmentation[J]. Journal of Visual Communication and Image Representation, 2018, 55(8): 157165.

[12]LIN D T, LEI C C, HUNG S W. Computeraided kindney segmentation on abdominal CT images[J]. Information Technology in Biomedicine, 2006, 10(1): 5965.

[13]FREIMAN M, KRONMAN A, ESSES S J, et al. Nonparametric iterative model constraint graph mincut for automatic kidney segmentation[J]. International Conference on Medical Image Computing and ComputerAssisted Intervention, 2010, 13(3): 7380.

[14]TURCO D, VALINOTI M, MARTIN E M, et al. Fully automated segmentation of polycystic kidneys from noncontrast computed tomography a feasibility study and preliminary results[J]. Academic Radiology, 2018, 25(7): 850855.

[15]HAVAEI M, DAVY A, WARDEFARLEY D, et al. Brain tumor segmentation with deep neural networks[J]. Medical Image Analysis, 2017, 35: 1831.

[16]QI D, YU L Q, HAO C, et al. 3D deeply supervised network for automated segmentation of volumetric medical images[J]. Medical Image Analysis, 2017, 41: 4054.

[17]RONNEBERGER O, FISCHER P, BROX T. UNet: Convolutional networks for biomedical image segmentation[C]∥International Conference on Medical Image Computing and ComputerAssisted Intervention. Springer Internationsl Publishing. 2015: 234241.

[18]BADRINARAYANAN V, KENDALL A, CIPOLLA R. A deep convolutional encoderdecoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 1.

[19]JIE H, LI S, AIBANIE S, et al. Squeezeandexcitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 42(8): 20112023.

[20]WANG Q L, WU B G, ZHU P F, et al. ECANet: Efficient channel attention for deep convolutional neural networks[C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA: IEEE, 2020: 1153111539.

[21]WOO S Y, PARK J C, LEE J Y, et al. CBAM: Convolutional block attention module[J]. Computer Science, 2018, 11211(10): 319.

[22]ZHOU T X, RUAN S, GUO Y, et al. A multimodality fusion network based on attention mechanism for brain tumor segmentation[C]∥2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI). Iowa City, IA, USA: IEEE, 2020: 377380.

Renal Ultrasound Image Segmentation Method Based

on GlobalLocal Unet11

ZHANG Ning ZHAO Ximei ZHENG Shuguang LI Fuhao

Abstract: Aiming at the inaccuracy of internal and marginal segmentation of kidney, renal parenchyma and renal sinus in ultrasound images, a deep learning method(GLUnet11) for kidney segmentation in ultrasound images is proposed. Firstly, the Unet network is deepened. The increase of the depth of the network makes the network have stronger expression ability. Secondly, a new channel attention network, GlobalLocal Network (GLNet), is proposed, which considers the influence of global channel and local channel on predicting the importance of each channel, so that the network can pay more attention to important information. Finally, the proposed GlobalLocal network is added to the convolution block of the deepened subsampling part of Unet, which effectively enhances the features of the important channels. At the same time, three data sets were created for renal, renal parenchyma and renal sinus segmentation experiments. Experimental results show that by using this methed in the kidney segmentation task, Dice coefficient reached 9625%, and IOU(intersection over union) coefficient reached 92.78%. In the renal parenchyma segmentation task, Dice coefficient reached 92.90% and IOU coefficient reached 86.75%. In the renal sinus segmentation task, the Dice coefficient and IOU coefficient reached 90.18% and 82.12%, respectively, and the segmentation results were significantly better than other deep learning methods. This study has certain innovation and medical application value.

Key words: GlobalLocal Net; kidney; renal parenchyma; renal sinuses; semantic segmentation; deep learning

收稿日期: 20210915; 修回日期: 20211122

基金項目:  国家自然科学基金资助项目(62006134)

作者简介:  张宁(1998),女,硕士研究生,主要研究方向为计算机视觉和医学图像处理。

通信作者:  赵希梅(1973),博士,副教授,主要研究方向为计算机软件及应用、消化系统疾病和自动化技术。 Email: xmzhao_qdu@163.com

猜你喜欢

肾脏深度学习
如何保护我们的肾脏
保护肾脏其实很简单
有体验的学习才是有意义的学习
电子商务中基于深度学习的虚假交易识别研究
MOOC与翻转课堂融合的深度学习场域建构
大数据技术在反恐怖主义中的应用展望
深度学习算法应用于岩石图像处理的可行性研究
基于深度卷积网络的人脸年龄分析算法与实现
这部位越热肾脏越好
樱桃可强化肾脏排毒吗?