融合多模态多尺度磁共振成像的脑胶质瘤分割∗

裴玉瑶 王常青 吴 茜

（1.安徽医科大学生物医学工程学院 合肥 230032）（2.安徽医科大学人文医学学院 合肥 230032）

1 引言

脑胶质瘤是成人中常见的颅内原发性肿瘤之一，具有高患病率和死亡率，表现为不均匀的坏死肿块，周围有不规则的强化及血管源性水肿［1］。世界卫生组织根据其生长特性和浸润程度分为两类：高级别胶质瘤（high grade gliomas，HGG）和低级别胶质瘤（low grade gliomas，LGG）［2～3］。MRI（magnetic resonance imaging，MRI）是目前最流行的无创、无辐射成像技术，提供颅内多方位软组织的成像信息［4］。常见的MRI 四种模态有：T1 图像、T1 增强图像（T1ce）、T2 图像以及液体衰减反转恢复序列（Flair）。四种不同模态显示不同的肿瘤生物学特征，多种模态结合为精准分割脑胶质瘤提供不同的解剖和功能信息［5］。精准分割脑胶质瘤帮助医生确定肿瘤部位，避免术中健康组织的损伤，并对术后放射治疗起重要作用［6］。然而人工手动分割过程繁琐，且易受专业知识和自身主观因素影响［7］。相比之下，自动分割不仅节省了时间和成本，而且提高了定量分析的客观性［8］。由于脑胶质瘤结构具有多变性、边界模糊与周围组织差异小，使得医生难以确定其边界及小目标病变区域，从而影响手术质量和预后效果［9］。因此，需要设计一种精准分割脑胶质瘤小目标区域的自动分割模型，为临床医生对脑胶质瘤早期诊断和治疗提供定量帮助。

早期基于卷积神经网络的模型是利用小尺度图像块分类进行脑肿瘤分割，但占用内存较大且难以保持特征图的空间连续性，导致分割准确率不高［10］。在FCN［11］基础上，Ronneberger 等［12］提出具有对称编解码结构的U-Net网络，解决了医学图像分割领域因数据量少而影响分割准确率的问题，迅速成为主流框架。目前，脑肿瘤分割的网络结构大致分为两类：编解码结构和网络级联结构。大部分研究者基于端到端的编解码结构进行脑肿瘤分割，如Yang 等［13］在卷积层中加入1×1 卷积整合图像特征，实现跨通道信息整合，从而提升脑肿瘤的分割效率。通过简单的线性跳跃连接不能充分获取图像的语义和空间信息，因此AboElenein 等［14］将Inception 块和Residual 块集成并密集嵌套到U-Net跳跃路径中，从而获取更多脑肿瘤特征信息。Liu等［15］利用卷积空间和特征交互图来获取高维及区别性特征，从而提升模型聚合上下文特征的能力。Zhou 等［16］采用多任务学习轻量级深度模型，实现胶质瘤亚区的精细化分割。单一的编解码结构存在特征映射分辨率逐层下降的问题，因此网络级联结构被应用于脑肿瘤分割的研究。如Ji 等［17］用全局标签和涂鸦标签分别训练网络，将两个网络级联用于脑肿瘤分割。Li等［18］通过2D 网络对感兴趣区域（ROI）定位，之后使用3D网络结合ROI进行分割脑肿瘤，从而提高了分割效率。余等［19］采用与Jiang 等［20］相似的级联架构，并在解码器上添加了SE（squeeze-and-excitation）-残差模块，使用变分自编码器将提取潜在信息特征用于总体生命周期的预测。由于训练多个网络会带来一定的计算负担，因此本文选择基于编解码结构来实现快速精准分割脑胶质瘤。

目前许多网络在脑胶质瘤小目标区域及边界的分割精度并不理想。针对这一问题，本文提出了一种融合多模态多尺度磁共振成像脑胶质瘤精准分割模型。首先，该模型使用多模态特征提取模块对多模态脑胶质瘤图像进行特征提取，提升特征利用率的同时缓解了梯度消失问题。其次，加入多尺度特征融合模块来获取多尺度的全局上下文信息，缓解在特征提取过程中重复卷积和池化带来的特征映射分辨率损失问题。最后，将binary cross entropy（BCE）loss 和dice loss 两个损失函数加权混合，解决分割任务中的类不平衡问题，同时提升网络模型的分割效果。

2 本文方法

2.1 模型分割过程

本文模型的分割整体过程如图1，主要包括以下四个部分：1）数据预处理：将数据进行剪裁、归一化处理、切片等操作；2）搭建网络：基于多模态特征提取、多尺度特征融合模块搭建分割网络；3）网络训练：选择合适的超参数来训练网络；4）预测结果：使用测试数据集来预测分割结果。

图1 分割模型的流程图

2.2 模型结构

由于脑胶质瘤不同亚区形态结构复杂，网络对小尺度脑胶质瘤区域的特征识别能力差，从而影响小目标胶质瘤的分割精度。为此，本文将多模态特征提取模块和多尺度特征融合模块同时嵌入到U-Net 网络，提出了一种多模态特征提取、多尺度特征融合机制脑肿瘤自动分割模型，如图2 所示。该模型由编码路径、解码路径和跳跃连接组成，输入大小为160×160×4。其编码路径包括多模态特征提取模块和多尺度融合模块，多模态特征提取模块主要通过残差模块来提升网络对多模态图像的特征提取能力。残差模块结构如图3所示，每个残差块包含两个3×3 卷积，用于提取多模态脑胶质瘤MRI 图像特征信息。为加速模型收敛和缓解梯度消失，每个卷积单元后都结合了归一化（BN）和激活函数（Relu）操作。使用1×1 卷积来完成图像通道数的转换，实现使用逐像素相加进行特征融合。为提升网络对不同大小的脑肿瘤区域的特征识别能力，添加多尺度特征融合模块，有针对性地学习不同尺度的子区域特征，以捕获多尺度上下文语义信息特征。而其解码路径使用四个多模态特征提取模块和上采样来还原图像的位置和空间等细节信息，通过上采样操作使得特征图的通道数量减半，特征图像翻倍。最后使用1×1 卷积保持输出通道数量与脑胶质瘤亚区类别数量一致性，输出大小为160×160×3。

图2 模型框架图

图3 残差模块

2.3 多尺度特征融合模块

为缓解连续卷积和池化造成的边缘细节损失问题，在编码路径中融合了多尺度特征融合（multi-scale feature fusion，MFF）模块，结构如图4所示。多尺度特征融合模块将特征图分成四个不同尺度的金字塔层，有助于网络学习多模态不同尺度的特征，提升网络对小目标脑肿瘤区域的特征识别能力。该模型将子区的池化大小分别设置为1×1、2×2、4×4 和8×8，以适应脑肿瘤图像的复杂特征分布，保留不同比例尺度的空间和语义信息。为进一步细化脑胶质瘤亚区的边界，使用双线性插值法将不同尺度的特征图上采样，并与原始图像串联融合。最后，经过卷积操作和Relu 激活函数，与原始图像逐像素相乘完成特征信息聚合，改善肿瘤亚区的过分割和欠分割问题。

图4 多尺度特征融合模块

2.4 加权混合损失函数

BraTS 数据中98.46%为大脑的健康组织，而水肿、增强肿瘤及坏死和非增强肿瘤分别为1.02%、0.29%、0.23%。其中脑肿瘤只占整体区域的1.44%，远小于健康脑组织区域，而且脑胶质瘤的各亚区所占比例也存在很大差异。因此，本实验采用binary cross entropy（BCE）loss和dice loss加权混合损失函数，以减轻类不平衡给网络性能带来的不良影响，具体计算公式如式（1）～式（3）。

其中，N为像素个数，Pi为真实值，Gi为预测值。

3 实验

3.1 实验数据

本实验采用MICCAI脑肿瘤分割挑战赛的数据集［21～22］，大小为155×240×240。每个数据包含T1、T2、T1ce、Flair 和标签图像，其中标签分为四类，即健康组织（标签0）、坏死和非增强肿瘤（标签1）、水肿（标签2）和增强肿瘤（标签4）。该实验的训练集为BraTS 2018，其中包含210 个HGG 患者和75 个LGG 患者，按照4∶1 分成训练集和验证集。将BraTS 2019 数据集中不同于训练集和验证集的50个数据作为测试集。分割任务是精准分割脑胶质瘤三个亚区即整个肿瘤（whole tumor，WT）、肿瘤核（tumor core，TC）和 增 强 肿 瘤（enhancing tumor，ET）。其中，WT 是指所有肿瘤（标签1、2 和4），TC是指所有坏疽（标签1、4），ET 是指增强肿瘤（标签4）。

3.2 数据预处理

由于MRI 各模态序列的强度不均匀性可能造成分割精度下降，因此去除每个MRI 图像序列1%的最低和最高强度值，采用z-score 方式对各个模态归一化处理，即使用每个图像序列减去平均值后除以其标准差，公式如式（4）。之后对脑肿瘤MRI数据进行裁剪，去除一些无关的背景区域，裁剪为160×160。最后对图像数据进行切片处理，去除无病灶区域，并将不同模态MRI 图像进行融合。

其中，X为原始图像，μ表示图像的平均值，σ为图像的标准差，X'为归一化的图像。

3.3 评价指标

本实验采用不同评价指标对分割结果进行多维评估，分别为Dice 系数（Dice similarity coefficient）、灵敏度（Sensitivity）、Hausdorff距离（Hausdorffdistance）。其中Dice 系数是计算预测值和真实值的相似度，公式如式（5），灵敏度是计算所有阳性样例中预测为真阳性的比例，公式如式（6），Hausdorff距离是衡量两个点之间的距离，公式如式（7）。Dice系数与灵敏度越高，表示模型性能越好，而预测值和真实值之间Hausdorff距离越小越好。

其中，TP（true positive）为真阳性，即正确预测为脑肿瘤。FP（false positive）为假阳性，即错误预测为脑肿瘤。FN（false negative）为假阴性，即错误预测为健康组织。x 和y 分别为真实的肿瘤区域X 和预测的肿瘤区域Y 上的点，d( )x,y是计算x 和y 两点的距离。

4 结果与分析

4.1 消融实验

为了验证模型各模块的有效性，本实验在BraTS 2019 数据集上进行测试，平均指标结果如表1 所示。相比于U-Net，添加多模态特征提取模块的MFE-U-Net在整个肿瘤区域的Dice 系数、Sensitivity分别提升了1.3%、0.8%，Hausdorff距离也降到2.555，说明该模块能够增强网络对特征信息的复用性，提升整个肿瘤区域的分割效果。本文提出的模型在不同脑肿瘤亚区的分割精度都有所提升，与U-Net 相比，Dice 系数分别增加了1.7%、2.4%和0.9%，Hausdorff 距离也分别降到2.543、1.583 和1.526；与MFE-U-Net 相比，在整个肿瘤、核心肿瘤和增强肿瘤的Dice 系数仍有0.4%、1.6%和0.9%的提升，从而证明多尺度特征融合模块可以学习不同尺度的语义信息特征，提升网络对小目标脑肿瘤区域的特征提取能力。

表1 BraTS 2019数据集消融实验

为了从更直观的角度对提出的模型进行评估，随机选取一些切片，将不同模型的分割结果及其可视化效果进行了主观比较，如图5所示。从图中可以直观地看出，U-Net 模型在脑胶质瘤各亚区都存在欠分割和过分割的现象，导致其边界分割不准确，MFE-U-Net 模型在水肿区域也存在过分割现象，如图5 方框区域所示。相比之下，本文提出的模型在增强肿瘤和核心肿瘤区域的分割结果明显优于U-Net 与MFE-U-Net 模型，且在边界细节上实现了较为精准的分割效果，与真实结果更加接近。

图5 不同模型的可视化结果

4.2 与其他先进模型的比较

为了进一步验证模型的有效性，将该模型与其他先进的模型进行比较，如表2所示。文献［23］采用多路径输入，在整个肿瘤、核心肿瘤、增强肿瘤的Dice分别为79.1%、81.6%和79.3%。文献［24］提出一种损失函数，改善小型肿瘤模糊边界的分割结果，在增强肿瘤Dice 达到了80.5%，仅次于本文提出的模型。文献［25］将残差模块和注意力门结合，在整个肿瘤的Dice 为87%。文献［26］使用交叉残差特征模块来学习两分支互补特征，在整个肿瘤区域的Dice 达到87.6%。文献［27］提出一种高精度轻量级脑肿瘤分割模型，在整个肿瘤区域的Dice取得最优为87.9%，在核心肿瘤和增强肿瘤的Dice 分别为84.6%、80.0%。与其他模型相比，本文提出的模型在核心肿瘤和增强肿瘤小目标区域取得最优的Dice系数分别为86.9%、87.8%，从而证明本文提出的模型可以显著提升脑胶质瘤小目标区域分割的性能。

表2 与其他先进模型的比较

5 结语

针对医学上脑胶质瘤小目标区域分割精度低的问题，本文提出了一种融合多模态多尺度的脑胶质瘤自动分割模型。该模型有效利用多模态、多尺度脑胶质瘤的互补特征信息，以保留更多的边界细节信息，从而提升网络对不均匀大小的脑胶质瘤的特征识别能力，实现小目标区域及其边界的精准分割。为了证明该模型的有效性，在BraTS 2019数据集上进行定量化评估，实验结果表明，该模型在核心肿瘤和增强肿瘤小目标病变区域的分割精度有显著提升，有利于临床上对小目标脑胶质瘤的识别和治疗。