APP下载

循环分层解耦卷积和最大滤波的三维脑肿瘤图像分割

2024-01-20李瑞璇刘恒忻MohammedJajereAdamu

关键词:尺度注意力像素

李 锵,李瑞璇,刘恒忻,关 欣,Mohammed Jajere Adamu

(天津大学微电子学院,天津 300072)

脑肿瘤是人类大脑胶质细胞病变而引发的疾病之一,大脑生长的异常细胞严重影响人体健康,而且脑肿瘤病发率很高,每年的发病率约为每10 万人中3~8 例[1].脑部的核磁共振成像(magnetic resonance imaging,MRI)通过无创技术得到高质量的颅骨伪影图像,在脑肿瘤诊断中起重要作用[2].医生可以通过多模态的脑肿瘤图像确定肿瘤的大小和形状,但是从MRI 图像中提取关键信息极为困难.与二维图像相比,由于三维图像拥有额外的维数,其数据量更大,图像分析难度更大.此外,胶质瘤普遍呈触角结构生长,不均匀且没有规律,分割时很容易出现边界模糊的现象.而在医学领域对目标分割精确度要求很高,通常情况下脑肿瘤图像需要经验丰富的专家花费大量时间进行标注,这些因素使得三维脑肿瘤图像自动分割成为研究的热点.

近年来U-Net 架构[3]因为高效性和通用性在医学图像处理任务中得到广泛应用,成为脑肿瘤图像分割的主流框架,其利用上、下采样编码捕获图像高级语义信息,通过模块的跳跃连接获得目标位置信息.随着研究的进一步开展,许多U-Net 变体逐渐出现在医学图像领域,有效解决了2D 到3D 图像扩展出现的各种问题.一些研究设计小的3×3 卷积核实现更多的非线性计算来解决过拟合问题[4],级联策略解决类不平衡问题,密集块、跳跃连接也被应用在网络中来降低参数提高效率[5-10].

虽然U-Net 及其变体在分割方法上取得了令人印象深刻的结果,但是医学图像的计算量往往较大,卷积核大小的局限使得U-Net 难以对图像进行全局处理,无法通过扩大感受野来捕获长距离的空间相关性信息.目前基于Transformer 的方法被越来越多地用在三维医学图像处理中,在全局上、下文交互建模得到较好效果[11],TransBTS[12]将变换器与3D-UNet结合捕获了长距离空间相关信息,但网络的计算复杂性非常大且训练成本很高,难以投入实际应用.研究者将目标转向轻量级网络来降低计算复杂度,Chen等[13]开发的DMF-Net 通过使用扩张卷积和多光纤单元减轻了计算复杂度高的问题.Luo 等[14]使用分层解耦卷积(hierachical-decoupled convolution,HDC)来代替三维卷积,通过用高效地表达多视图的空间环境来进一步降低计算成本.轻量级网络在参数降低的同时出现分割精度局限性,不能完全获得三维卷积的效果,而且仍然存在长距离上、下文关联不足的问题.Zhao 等[15]在DMF-Net 基础上尝试将循环卷积单元连接到三维多纤单元,通过循环卷积层的特征积累来增强模型的上、下文信息整合能力,在轻量条件下进行了全局信息关联,获得了不错的分割效果,然而这些工作忽略了对细节域信息的处理.

多尺度方法被认为能有效改善网络分割性能,提取全局关联信息和局部细节,同时融合所提取的包含位置信息和语义信息的多尺度图像特征.Google-Net[16]通过引入不同大小的卷积核,拓宽了网络的多尺度表示;Zhang 等[17]尝试了特征提取后在连接处进行多尺度融合.此外,脑肿瘤分割任务也常应用多尺度特征抽取器Inception 模块[18-20],Ibtehaz 等[21]通过使用跳跃连接,巧妙地将平行连接的起始点修改为连续连接,并获得了不同的尺度特征.随后研究者能通过轻量级的方式降低了3D Inception 的计算复杂度,如深度可分离卷积代替标准卷积,3D ESP-Net[22]将ESP-Net[23]扩展到3D 脑肿瘤分割任务.Wang 等[24]提出DFP-Net,将扩张卷积和特征金字塔联系到一起,使用具有不同扩张率和多个接收场的过滤器及池化操作来检测输入特征,在轻量化和精度上均有更好的效果.虽然多尺度方法同时提取全局和局部特征,包含了细节域信息,但脑肿瘤图像往往存在大量细节区域信息,尤其是边缘区域不规则的特点显著,因此局部域的特征增强对分割准确性也至关重要.

研究者对于脑肿瘤图像的局部细节特征增强问题进一步展开研究.Cui 等[25]利用单独的分支处理该层级边缘信息再级联到整体网络,但并联的方式会增加额外的参数.注意力模块被应用于特征增强和融合,如Hu 等[26]提出的通道注意力机制(squeeze and excitation,SE)模块可以自适应地重新校准特征,使网络能够通过学习自动获取每个通道的权重,Zhang等[27]在级联处加入注意力模块,将语义更强的深度特征送到SE 中,从而获得精确的高级别细节信息,张为等[28]提出多尺度空间注意力来关注图像关键部位信息.卷积注意力模块(convolutional block attention module,CBAM)将空间注意力和通道注意力结合,加强目标特征并做多维度融合,能够有效地提高重要信息的表达同时抑制背景信息,TADPN[29]提出空间和通道注意力来增强特征提取能力.此外,更多的研究者通过后处理的方式来细化分割,定位局部域目标像素.DFP-Net 利用3D 条件随机场CRF 对分割结果进行后处理,解决了下采样时因图像尺寸缩小引起的局部细节被忽略的问题,但是这种方式在训练低分辨率图像时会丢失一些特征信息.Liu 等[30]将注意力机制添加到特征提取后的精细分割模块中,提高网络模型的聚焦能力,并进一步提高小目标区域的分割精度.

现有脑肿瘤分割网络存在的问题可以总结为:①三维图像分割受限于参数量和卷积核的尺寸,难以建立全局上下文信息关联,并且网络难以训练;②大部分方法没有重视目标细节域的处理,边界处分割准确性不足.针对这些问题,本文提出一种兼顾全局和局部的轻量级脑肿瘤分割网络,以少量的参数完成较高的分割精度.该分割网络以3D U-Net 为基础框架,特征提取阶段以循环分层解耦卷积单元为基本模块,将循环卷积连接到分层解耦中,多视图解耦降低了计算复杂度,同时利用多时域在不同位置得到的反馈信息建立上下文信息联系,解决全局样本中不同切片间和不同局部域各自独立问题.在上采样和下采样连接处加入改进的包含扩张金字塔和注意力机制的多尺度特征处理模块,结合多维度扩张卷积来提取全局低级位置信息和细节域高级语义信息,通过注意力机制来增强所提取的目标信息进行多尺度融合,利用像素定位针对细节域局部信息做分割的细化处理,将上述过程获得的包含了大量复杂信息的特征图通过非线性最大滤波模块进行像素激活,聚合多维度特征并突出局部区域中激活值较大的预测像素点,增强目标像素与其他像素的区别,解决边界像素模糊问题.

综上所述,本文提出了一种包括特征提取和像素级定位的完整轻量网络,主要由循环分层解耦模块组成,将循环卷积连接到卷积层,分层解耦降低计算开销,循环卷积进行特征积累解决全局长距离上、下文信息关联不足问题.其次,提出了包含扩张金字塔和注意力机制的多尺度特征模块,提取融合全局和局部特征,增强目标区域特征表达.最后,针对脑肿瘤图像细节信息较多的特点,设计了最大滤波的像素定位模块,对所提取的特征图进一步做像素点激活,解决由于忽略局部域细节造成的边界模糊问题.

1 研究方法

如图1 所示,本文提出的RHMF-Net 是一个基于轻量网络的先提取后定位、模拟全局和局部多尺度特征的轻量脑肿瘤分割网络.首先特征提取阶段循环分层解耦(recurrent hierarchical-decoupled convolution,RHDC)模块为基本编解码模块,以多尺度特征处理模块(multiscale feature processing module,MFPM)连接编解码.在像素定位阶段利用最大滤波(maximum filtering,MAXF)模块做后处理细化粗分割,最后利用Softmax 整合生成与输入图像大小相同的图像,获得图像的最终分割结果.

图1 算法整体框架Fig.1 Overall algorithm framework

1.1 特征提取基本模块

1.1.1 循环卷积单元

特征提取基本模块为轻量分层解耦结构,其多视角融合思想很大程度上解决了参数冗杂的问题.然而三维图像切片间和远距离不同局部域间的依赖关系也至关重要,分层解耦结构将图片直接分层忽略切片间的联系,而且卷积核大小的局限忽略了不同局部域间信息的关联.为了获得有关联的上、下文信息,本文利用循环卷积神经网络(recurrent convolutional neural networks,RCNN)通过多时域的反馈信息积累将上、下文序列进行紧密关联,避免了不同局部域彼此独立.

RCNN 可以联系之前一段时间内获得的信息对当前输入做下一步预测,提高语义的丰富性使得预测更加准确,在三维图像处理任务中能更好地处理局部区域内的信息关联.RCNN 接收一个新的输入,整合当前输入和之前时间内的信息生成一个整合之前一段时间的总体输出.具体来说,T 时间某位置根据之前网络各个位置的整体反馈进行预测,通过联系全局来对局部域类别区分.作为RCNN 基本单位,循环卷积单元本质在于T 个时间步的权重共享,因此每一步的输出不仅依赖于当前时间步 Tn,并且依赖于之前的时间步 T0~ Tn−1,图2 为 T0~ T3循环卷积过程.

图2 循环卷积单元结构Fig.2 Structure of the recurrent convolutional unit

循环卷积主要表现为离散时间的特征积累,在T = 0卷积层仅与当前输入有关,中间累积隐藏层,最后在 Tu时刻输出,这里包含了一个前馈层和u 个递归子层.表示第l 层的输出,时间T 处网络的输出可以表示为

式中:r1为前馈卷积层的输入;r2为第l 层输入;fl为卷积运算;和分别为 r1和 r2的权重;bi为偏置,经过σ激活函数激活.

设 xl表示第l 层输入( m, n )位置上第i 个特征,最终输出表示为

1.1.2 循环分层解耦卷积模块

将循环卷积单元连接到分层解耦卷积模块,RHDC 模块整体结构如图3 所示.整个过程基于多视角形式维系了低参数量的上、下文信息整合能力,以极少的计算代价获得全局关联信息,且与二维方法相比,三维空间背景感知力得以提高.主干网络采用4 个循环分层解耦卷积模块的下采样编码器和4 个对应解码器组成.其中分层解耦卷积模块以跨空间域和通道域的分层解耦卷积为单位,主要是主卷积在聚焦视图上分层提取多尺度特征并通过互补的视角来提取三维空间上下文特征,在减少参数数量级的同时更好地融合三维空间信息.将输入特征图通过1×1×1 三维卷积后,在空间上将3×3×3 的三维卷积核分解,得到3×3×1 和1×3×3 两种互补的三维卷积,也就是三维图像的两个不同角度二维视图.将通道分为4 组,第1 组使用1×1×1 卷积核提取图像特征,其余使用3×3×1 卷积核提取脑肿瘤相关特征,然后将4 组特征图进行连接来整合通道间的信息,最后使用1×3×3 卷积核从多个角度提取空间特征信息,避免了计算整个三维卷积计算的开销,并可以有针对地获得目标信息,输出可表示为

图3 RHDC模块整体结构Fig.3 Overall structure of the RHDC module

式中:x 为模块输入;x1~x4为按照通道划分的4 组特征图;h1~h4表示不同分支处理结果;RConv 为3×3×1 循环卷积;C 为连接;Conv_1 为1×1×1 卷积;W 为1×3×3 卷积.

1.2 多尺度特征处理模块

在循环卷积建立全距离上、下文联系后,编码器的上、下采样连接处加入了MFPM 模块,主要是从局部和全局角度进一步捕捉多尺度图像特征并进行融合处理,获得目标区域信息同时抑制背景信息在网络中的流动.首先使用由多个并行扩张卷积层组成的扩张特征金字塔(dilated feature pyramid,DFP)获得多尺度特征,然后将所得的特征图通过CBAM 注意力机制[31],在通道维度增强多尺度目标语义关键信息,在空间维度得到目标位置信息并有效融合.多尺度特征处理模块的结构如图4 所示,其由DFP 和CBAM 两个模块组成,有效地增强了网络的多尺度特征提取融合能力.

图4 MFPM模块结构Fig.4 Structure of the MFPM module

扩张金字塔中扩张卷积层可以扩展卷积的感受野,卷积层能提取更加丰富的特征,模块由叠加了多个扩张率不同、步长为1 的3×3×3 卷积层组成,为了获得大小不变的输出,进行与扩张率相等大小的填充(padding),最后求和来融合多个结果.DConv 为扩张卷积,将各级结果相加得到最终输出为

CBAM 将通道和空间上的作用模块分解,分别在通道和空间维度对特征图进行处理,增强输入关键信息的同时抑制背景信息,由于CBAM 模块没有直接计算3D 图像,生成的特征图参数量很小.模块首先在通道维度压缩图像,对金字塔的多尺度目标信息进一步做增强处理,其主要基于通道关系进行通道特征的校准进而增强特征表达,可以结合深层和浅层特征,增强分辨率较高但语义较弱特征.通道注意力将每个通道都设为一个特征检测目标,增强输入图像关键点,并通过压缩通道输入图的空间维度来聚合空间信息.Ic( x )表示通道注意力的输出,其公式为

式中:AvgPool 为平均池化加强整体重要信息;MaxPool 为最大池化去除低能量信息,抑制非重要信息的流动;MLP 表示多层感知器和隐藏层组成的权值共享网络得到的一维注意力图信息聚合,在元素求和后经过σ激活函数得到输出.

空间注意力模块更加注重目标信息,将特征图沿通道池化,得到二维特征,利用特征空间的内部依赖关系生成空间注意力图.空间注意力模块是通道注意力模块的互补操作,首先沿通道轴分别进行AvgPool、MaxPool 两次池化,ψ表示聚合操作,这样可以有效地突出目标区域,最后建立连接生成特征图Is( x) 为

1.3 最大滤波像素定位模块

脑肿瘤占图像整体部分很小,没有具体形状而且边缘突触较多,这些无规则的细小边缘呈复杂状态分布,难以被准确捕捉并正确分类,且编码解码网络处理后的特征图包含大量上、下文关联信息以及多尺度信息,如果直接对特征图进行分割,很难完成目标像素精准分类,尤其是边缘部分的判断困难,极易出现边界模糊现象.针对这个问题,本文设计了像素定位模块来连接上、下采样和分割模块,对所提取的特征图进一步建模来精确捕捉目标区域进行边缘细化,实现更精确的分割.新模块利用3D 最大滤波作为新的后处理步骤来进行定位以细化粗分割,整体结构如图5 所示.

图5 MAXF模块结构Fig.5 Structure of the MAXF module

卷积是一种平移等方差的线性运算,因此在这种相似的模式下即使是处于不同位置的像素所产生的输出也极为相似,这对像素-标签形式的语义分割工作有极大障碍,由特征提取后的卷积谱图仍存在模糊的分割点.最大滤波器补偿局部区域内卷积对于细节点的判别,多用于关键点的探测,利用最大池化来选择局部区域中激活值最高的预测点,细化粗密集的预测.

最大滤波在许多任务中展现了一定的特征强化作用,但是最大滤波只考虑单尺度特征,并不适用于三维谱图的分割,因此将最大滤波器扩展成为3D 最大滤波器,利用3D 最大滤波来选择最终分割的像素信息,它可以变换三维特征图中每个尺度的特征,在特征图的每个通道上分别采用3D 最大滤波.M 为最大滤波处理,在给定的位置i,对于空间位置s 的尺度τ和φ×φ空间距离获得局部区域 Is三维邻域的最大值,这个操作由3D 最大滤波实现,具体表示为

为将3D 最大滤波嵌入到特征提取的分割结构,本文提出了MAXF 模块.MAXF 可以来选择局部区域的高预测值像素,增强与其他像素区别,而且整个结构是由简单的可微算子构造,计算开销很小,模块输出y,则有

除3D 最大滤波之外,MAXF 主要包含Conv_3 三维卷积、归一化处理Norm 以及激活函数Relu.

2 实验与分析

2.1 实验数据及评价标准

实验在MICCAI 脑肿瘤分割比赛的BraTS2020数据集[32-33]进行算法的性能评估.数据集包含训练集和验证集,其中训练集有369 个病例,验证集有125 个病例,图像大小为240×240×155.训练集包含专家对每幅图像手动进行标注的真实结果(ground truth,GT),验证集未公开GT,需要将结果上传至官网进行验证.每个受试者都有4 张MRI 图像,分别为T1 加权(T1)、T1 加权对比度增强(T1ce)、T2 加权(T2)和液体衰减反转恢复(Flair).多模态3D 核磁共振成像来自于19 个医学机构,用到不同的协议、磁场强度以及MTI 扫描仪.GT 的注释包括4 种肿瘤区,分别是正常组织(标签0)、坏死部分和非增强肿瘤区(标签1)、肿瘤周处水肿(标签2)和活动性增强肿瘤(标签4).注释合并为3 种嵌套的子区域:整体肿瘤区(whole tumor,WT)包含标签1、2、4;核心肿瘤区(tumor core,TC)包含标签1、4;增强肿瘤区(enhancing tumor,ET)包含标签1.

实验分别计算了整体肿瘤、核心肿瘤和增强肿瘤的Dice 相似系数及Hausdorff 距离.其中,Dice 相似系数是分割任务最常用的评估方式,主要表述模型得到的输出结果与真实值的符合程度.Dice 计算结果是真实阳性与所有结果中包括假阳性和假阴性的比例,Dice 值越高表示模型的分割性能越好,具体表示为

式中:TP 表示真阳性;FP 为模型预测的假阳性;FN为模型预测的假阴性.

Hausdorff 距离评估真实分割结果边界到预测得到的边界之间的距离,计算预测区域与真实值之间的距离,并测量肿瘤边界分割的质量,可表示为

式中a 和b 分别是集合A 和B 的欧几里得距离.

2.2 实验设置

本文实验基于python 3.8、pytorch 1.9.0 环境,服务器运行环境为Ubuntu 16.04,CPU 为Intel Core i99900X(3.5 GHz),显卡为11 GB 的Nvidia GTX 2080Ti.图6 为算法整体流程,主要包含4 个步骤:预处理、网络训练、保存模型以及验证集分割.首先将4 种模态的脑肿瘤训练集图像做预处理,因为医学图像数据集很少,为了增加训练数据的样本量、增强算法的鲁棒性和泛化能力,进行数据集扩充,对图像做随机旋转和随机强度偏移的数据增强并进行裁剪.剪后的128×128×128 大小的图像输入到RHMFNet,批处理量为8,批量归一化采用同步批归一化(synchronized match norm),激活函数使用ReLu 函数,初始学习率为1×10-3,Adam 优化器进行网络自动优化,训练轮数900,每批训练计算损失函数并更新参数.网络的平均训练时间为12.5 h,而同等硬件设备条件下的3D-UNet 平均训练时间为85 h.本文应用广义Dice 损失(generalized Dice loss,GDL)为损失函数,定义为

图6 算法流程Fig.6 Flow chart of the proposed algorithm

式中:rlm和 plm分别为类别l 下第m 个位置处的真实值和预测概率;ωl为每个类别的权重,定义为

保证分母值不为零,令ε=1×10-5.最后得到训练结果在验证集上做分割结果验证.

表1 展示了RHMF-Net 的网络架构具体细节及参数.特征提取步骤包含编码层、解码层以及连接层,编码层、解码层均由RHDC 及3×3×3 卷积或3×3×3 反卷积为基础模块上、下采样,解码层包含了对应的残差连接.连接层由多尺度模块连接编解码层,特征图的大小并未改变.特征提取后的特征图尺寸还原到输入的原图像尺寸,经过像素定位的后处理,主要为3×3×3 卷积和最大池化.

表1 RHMF-Net架构细节Tab.1 Structural details of RHMF-Net

2.3 结果分析

本节主要对网络性能进行详细的分析,对不同模块进行有效性验证和消融实验,分析各个模块的性能,并将RHMF-Net 与现有的脑肿瘤分割网络进行对比,验证本文网络的有效性.

2.3.1 消融实验

为了验证方法的有效性,进行了两个阶段的消融实验,分析其在ET、WT 和TC 3 个区域的Dice 值和Hausdorff 距离上的效果.第1 阶段在基础网络上评估每个模块的有效性,第2 阶段对网络整体进行了单个模块的消融实验,进一步对各模块分析.以HDCNet 为基础网络,RHMF-Net 主要包括特征提取阶段的 RCNN、MFPM,以及像素定位阶段提出的MAXF,实验结果如表2 所示.

表2 不同网络结构下的Dice系数和Hausdorff距离Tab.2 Dice coefficient and Hausdorff distance under different network structures

1) 评估循环卷积模块的影响

RHDC 将RCNN 连接到分层解耦模块中,与HDC 相比,RCNN 在3 个区域的精度均有明显提升,相比于HDC 分别增加了0.67%、1.07%和0.21%,Hausdorff 距离也有改善.消融去实验结果如表2 中第5 行所示,相比于RHMF,去除RCNN 后的网络各项指标明显下降.实验结果表明,RCNN 对网络的各项指标都有提升,对于整体肿瘤判别效果提升最为明显,说明RCNN 的时域关联性提升了网络整体预测能力.

2) 评估多尺度处理模块的影响

多尺度模块包含扩张金字塔和CBAM 注意力机制,模块作用网络对于整体肿瘤和核心肿瘤的判别效果有所提升,分别为0.36%和1.05%.消融实验结果如表2 中第6 行所示,相比于RHMF,去除MFPM后网络的各项指标明显下降.实验结果表明,多尺度模块聚焦于不同尺度特征,能有效地提取融合全局和细节信息.

3) 评估最大滤波模块的影响

像素定位阶段的最大滤波模块作为后处理步骤连接编码层和分割层.表 2 中第 4 行是嵌入了MAXF 的HDC 的实验结果,相比于HDC 分割效果有明显提升,在消融实验(第7 行)中,核心肿瘤精度下降最多.实验结果表明:MAXF 专注于细节域信息捕捉,在细节信息较多的肿瘤分割任务中,能有效地解决边缘模糊问题.

2.3.2 与先进网络对比情况

为了进一步验证网络的有效性,在BraTS2020验证集上将RHMF-Net 与经典网络以及先进网络比较.表3 列出了经典脑肿瘤分割网络和最新的先进网络,以及目前效果最好的轻量网络的分割结果.由表3 可以看出,大部分方法较经典网络有更好的分割能力,此外,轻量网络很大程度上降低了参数量,与传统3D 方法相比减少了计算开销.

表3 不同脑肿瘤分割网络在BraTS2020验证集上的性能比较Tab.3 Performance comparison of different brain-tumor segmentation networks on the BraTS2020 validation dataset

与其他方法相比,RHMF-Net 在参数和精度上均有一定竞争力,在增强肿瘤、全肿瘤和核心肿瘤3 个区域上分割结果分别为77.23%、90.01%和83.10%,参数量为0.42×106,远低于其他先进网络,但同时与其分割精度相当.在轻量网络中,RHMF-Net 也有较好的表现.其中HDC-Net 为参数量最低的轻量网络,RHMF-Net 在3 个区域的Dice 值上分别高于HDC-Net 0.47%、1.23%和2.72%,且仅增加很少参数.VT-UNet 是先进方法Transformer 的轻量化变体,有良好的分割性能,RHMF-Net 虽然在增强肿瘤与整体肿瘤区域上的精度略低于VT-UNet,但是在核心肿瘤和Hausdorff 距离上都有更好的表现,且参数量为VT-UNet 的1/28.

2.3.3 单维度注意力模块有效性验证

经典的SE 是单维度通道注意力模块,关注特征信息在通道间的关系,校准动态通道特征;而对于分辨率较高但语义较弱的特征,CBAM 还结合了空间注意力,从空间块中获得高级的类别信息,有助于重构原始图像分辨率.本节实验对比了CBAM 与SE模块的分割性能,二者均为轻量化模块,并不影响网络的参数量,最终比较结果如表4 所示.

表4 不同注意力模块的分割结果对比Tab.4 Comparison of segmentation results under different attention modules

相比于单维度的通道注意力模块SE,CBAM 在BraTS2020 数据集的分割结果更好,能更好地提取图像的整体特征,可以结合图像深层和浅层多类别特征信息,增强目标信息同时获得位置信息,更灵活高效地处理多尺度关系,显著提升分割效果.

2.3.4 不同损失函数对比实验

考虑到网络性能,本文比较了不同损失函数对网络的影响,如表5 所示.在本文网络Softmax Dice Loss(SDL)、Focal Loss(FL)和GDL 均表现出良好的分割能力,说明本文所提网络有一定的稳定性.SDL和FL 分别在整体肿瘤和增强肿瘤上出现最高值,但是其他区域的分割效果并不突出,而GDL 的分割结果的整体上都接近于最高值,并在核心肿瘤、Hausdorff 距离有最好的表现,能更好地指导手术,因此本文最终采用GDL 作为损失函数.

表5 不同损失函数的分割结果对比Tab.5 Comparison of segmentation results under different loss functions

2.3.5 分割结果可视化

为了直观展示本文网络分割效果,对RHMF-Net和其他网络的分割结果进行可视化对比.由于MICCAI 官方竞赛网站未公开验证集的真实分割结果,本文展示了在BraTS2020 训练集上的分割结果图像.图7 为水平面、矢状面和冠状面的脑肿瘤图像,红、黄、绿3 种颜色代表不同的肿瘤类别,从左到右分别为(a)未分割原图、(b)经典网络U-Net 分割结果图像、(c)先进网络TransBTS 分割结果图像、(d)轻量网络 HDC-Net 分割结果图像、(e)本文网络RHMF-Net 分割结果图像和(f)专家手动标注结果(GT).可以看出与其他网络结果相比,本文网络和先进网络与专家标注结果更为接近.

图7 MRI分割结果图像Fig.7 MRI images of segmentation results

3 结 语

本文针对脑肿瘤图像特征提出了一种结合全局依赖关系和局部细节信息处理的轻量网络,用于多模态三维脑肿瘤图像的精细分割,缓解人工处理代价过大和普通机器处理训练较难的问题.在本文网络中,采用结合了轻量卷积块的循环卷积单元来替代经典3D 卷积,添加多尺度处理模块,更好地捕捉全局和细节信息,提出最大滤波模块用于特征提取后的细节域像素定位处理,以增强网络的分割效果.在BraTS2020 数据集上的分割结果分别为77.23%、90.01%和83.10%,参数量为0.42×106,与其他网络相比,在具有较少数据量的同时达到较高的分割精度.改进后的网络能够处理全局性关系和细节分割,明显改善了三维图像计算开销巨大和轻量网络分割精度不足的问题.

猜你喜欢

尺度注意力像素
赵运哲作品
像素前线之“幻影”2000
让注意力“飞”回来
财产的五大尺度和五重应对
“像素”仙人掌
“扬眼”APP:让注意力“变现”
A Beautiful Way Of Looking At Things
宇宙的尺度
高像素不是全部
9