基于显著度增强的MRI影像脑肿瘤全自动分割

2020-10-15马泽源

计算机应用与软件 2020年10期

马泽源王瑜

(北京工商大学计算机与信息工程学院北京 100048)

0 引言

近年来脑部疾病，尤其是脑肿瘤的发病率迅速攀升，死亡率又居高不下，给居民健康带来了很大的威胁[1]。为了能尽早对脑肿瘤进行诊断与治疗，医务人员提出了各种新型医学成像技术，以便辅助诊断，将脑肿瘤病变部位与正常脑组织分割开来，从而根据病情准确地为患者制订治疗方案，例如X射线、计算机断层扫描(Computed Tomography,CT)以及MRI等。在这些成像技术中，MRI技术以无伤害性、软组织对比度强等优势成为临床治疗上的首选。脑肿瘤中最常见的种类是神经胶质瘤，占脑肿瘤病例中的30%，其中80%的恶性肿瘤为神经胶质瘤[2]。神经胶质瘤具有很强的侵染性，通常与病变部位附近的正常脑组织互相渗透，再加上脑瘤经常伴生着脑水肿以及脑部坏死，导致诊断困难，且MRI影像存在特征少，对比度不明显，纹理变化小等特性，更加增加了诊断的难度，时常会有误诊或漏诊，对患者的健康产生了很大的威胁。

从20世纪60年代开始，随着医学应用以及科学发展的需要，针对脑肿瘤图像分割的新理论、新算法相继被提出来，并取得了越来越好的效果。深度学习方法优势明显、效果显著，其中卷积神经网络(Convolutional Neural Networks,CNN)经常被使用。Wang等[3]提出一种基于全卷积神经网络(Fully Convolutional Networks,FCN)的方法，使用3组FCN，根据脑肿瘤等级分步对脑肿瘤进行分割。Sajjad等[4]提出一种CNN，首先分割出脑肿瘤的大致轮廓，再进行数据扩大，然后使用FCN提取出边缘，将两者进行融合，最后使用全卷积层将肿瘤按照等级分类，实现脑肿瘤的分割。Chen等[5]将四种模态的脑肿瘤MRI图像分为两部分，分别输入两个结构相同的分割网络，一个负责分割出脑肿瘤的边缘，另一个负责分割出脑肿瘤的整体，将两个网络的结果融合起来，从而实现分割。CNN对于脑肿瘤MRI影像这种纹理信息少的医学图像，常常无法准确区分脑肿瘤与正常组织的交界边缘。为了解决以上问题，有的学者提出分割前增加各种预处理方法，如各向异性扩散(Anisotropic Diffusion)滤波算法、降噪算法和显著度增强算法等，为后续分割任务提供高质量数据源。

显著度增强是一种根据人眼机理而提出的辅助图像处理方法，可以分成三类。第一类是基于全局特征的算法，王刚等[6]提出先对图像进行非局部均值(Non Local Means, NLM)滤波，再计算每个像素点与全局像素点平均值之间的欧氏距离，将显著度区域区分出来。第二类是基于局部特征的算法，Jiang等[7]通过比较某像素点与其邻近的像素点，再将其结果用马尔科夫链进行计算，检测显著度区域。第三类是局部与整体特征结合的方法，侯庆岑等[8]提出利用图论的方法,将图像划分为若干区域，再根据各区域像素平均值的大小检测显著度区域。

本文在上述预处理方法的启发下，将自然图像处理中应用很广泛的显著度增强技术与深度学习结合，提出一种结合频率调谐全局显著度增强与深度学习的MRI脑肿瘤影像全自动分割方法。主要思想包括：使用高斯滤波对图像进行降噪，根据像素点像素值与全局像素平均值的差值对图像进行分段式增强，然后用预处理后的MRI训练深度学习架构，如宽残差金字塔池化网络(WRN-PPNet)[9]和UNet[10]，对脑肿瘤进行分割，在Brats2015数据库的实验中显示，该方法在MRI影像上获得了很好的分割准确度和敏感度。

1 研究方法

1.1 显著度增强

本文提出的显著度增强方法，基于频率调谐进行处理，根据像素点在图像全局中的显著程度，对像素点进行不同程度的增强，从而检测出显著度增强。其具体步骤如下：

(1)输入图像，对其进行高斯滤波，消除图像中的噪音。

(2)计算各像素点的全局显著度，并根据全局显著度进行显著度增强，全局显著度的计算公式如下：

(1)

式中：O为全局显著度;I为全图像素点平均值;T为某一点像素值。由于MRI影像中有很多的黑色背景，像素值为0，因此在计算全图像素点平均值时不考虑这些点，以提高增强效果。然后根据各像素点的全局显著度对像素点进行分段式增强：

(2)

式中：T′表示增强后的像素值。

1.2 深度学习网络架构

本文使用WRN-PPNet和UNet深度学习网络框架分割增强后的脑瘤图像。UNet是FCN的改进网络，很好地克服了FCN需要大量训练数据、不擅长分割医疗图像以及无法保留空间位置信息等缺点，其结构如图1所示。整个网络包含4次上采样，4次下采样，卷积核大小为3×3，卷积时对边缘进行填充处理。上采样由两个卷积层与一个最大池化层组成，下采样由两个卷积层与一个反卷积层组成，每次反卷积后都将特征图与对应上采样所得的特征图的核心叠加起来。分类层由两个3×3卷积层与一个1×1卷积层组成，最后由Sigmoid分类器进行分割。UNet通过跳层连接保留了更多的底层信息，适合于分割特征稀少，边缘不清晰的医疗图像。

图1 UNet结构图

WRN-PPNet由宽残差模块、金字塔池化模块，以及尺寸恢复模块组成，其结构如图2所示。宽残差模块由3层组成，每一层由4块宽残差块组成，加宽系数为3，每一层都由2层批标准化层与2层3×3卷积层交叉而成，批标准化有利于加快训练速度，并遏制梯度爆炸。金字塔池化网络模块由三条通路组成，池化核半径分别为4×4、2×2和1×1，三条池化路径皆为平均池化，第一条池化通路在池化过后，将缩小到原尺寸四分之一的特征图输入到连续两个双3×3卷积-上采样的尺寸恢复结构，双卷积是为了对特征图进行优化，上采样的结构会将特征图的尺寸恢复到输入特征图的大小，最后将三通路的结果与输入特征图融合到一起。尺寸恢复模块的结构中含有两个双3×3卷积-上采样尺寸恢复结构，将神经网络处理过后的特征图恢复到原始数据的大小，以方便医务人员的诊断。

图2 WRN-PPNet网络结构图

1.3 评价指标

本文采用的定量评价指标包括Dice系数、灵敏度(Sensitivity)系数、PPV，其中：Dice系数表示全自动分割得到的结果与医务人员分割的正确结果之间的重合程度；灵敏度表示得到正确分割的肿瘤区域占真实肿瘤区域的比例；PPV表示正确分割的脑肿瘤区域占模型分割出的脑肿瘤区域的比例。

Dice系数公式为：

(3)

Sensitivity系数公式为：

(4)

PPV系数公式为：

(5)

式中：P为网络分割出的脑肿瘤区域；T为真实脑肿瘤区域；∩表示交集；∪表示并集。

2 模型训练

2.1 实验环境

为了验证提出算法的有效性，本文设计了一系列实验，实验所用的操作系统为Ubuntu 16.04 LTS，使用的语言为Python 3，UNet和WRN-PPNet 网络模型由深度学习框架Tensorlayer搭建，模型在一块显存为12 GB的GPU(NVIDIA Titan X(Pascal))上训练。

2.2 实验参数

在本文中，UNet的节点数随着层数从64上升至128乃至1 024，然后再降低到64，激活函数为线性整流函数。在 WRN-PPNet模型中，WRN 模块中残差块的大小为3×3，特征图逐次缩小二分之一，在PPNet模块中，所有层的节点数均为128，在尺度恢复模块中，除最后一层外，所有层的节点数均为64，最后一层节点数为1，除最后一个卷积层外，所有卷积层的卷积核均为3×3，最后一个卷积层的卷积核大小为1×1，模型中所有的激活函数均为线性整流函数，最后一层的激活函数为Sigmoid。

2.3 训练方法

为了使神经网络加快收敛，减少训练时间，本文采用了批标准化方法(Batch Normalization,BN)，可以克服神经网络层数加深导致难以训练的难题。在神经网络中，每一层的输入在经过层内操作之后，必然会导致与原来对应的输入信号分布不同，并且前层神经网络的增加会被后面的神经网络不断地累积放大。解决这一问题的思路就是根据训练样本与目标样本的比例，对训练样本进行矫正，通过一定的规范化手段，把每层神经网络任意神经元的输入值分布强行拉回到均值为0、方差为1的高斯分布。这样使得激活输入值落在非线性函数对输入比较敏感的区域，导致输入的较小变化会引起损失函数较大的变化，让梯度变大，避免产生梯度消失问题，而且梯度变大意味着学习收敛速度快，能大大加快训练速度。

3 实验结果及分析

本文使用2015年四种模态(Flair、T1、T1c和T2)脑肿瘤分割挑战赛的数据进行实验验证，数据来源于Virtual Skeleton 数据库(Virtual Skeleton Dataset,VSD)[11]，具体任务是分割出MRI图像中脑肿瘤区域，并得到脑瘤区域、脑瘤核心区域、脑瘤增强区域的分割准确率。抽取186名患者四种模态MRI影像作为实验数据，其中选取136名患者的影像作为训练样本，50名患者的影像作为测试样本，每名患者的MRI影像的大小为240×240×155 dpi，格式为.nii，对其进行切片后可以得到21 080×4片训练切片与7 750×4片测试切片，其中“4”代表四种模态，各模态切片如图3所示。UNet的学习率为万分之一，WRN-PPNet的学习率为千分之一，最大训练次数为100轮，并采用EarlyStoping监督神经网络进行训练，当验证集的分割准确度不再提升时便停止训练，这种方法可以有效地节约训练时间。

图3 四种模态的MRI影像

显著度增强前后的对比如图4所示，其中第一行为原图，第二行为显著度增强后的结果。经过显著度增强的脑肿瘤MRI影像对比度得到提高，从而为后续深度学习网络分割脑肿瘤任务提供高质量数据源，有利于特征提取，提高了分割准确度。

图4 显著度增强效果对比图

为了验证本文提出的显著性增强方法对脑肿瘤分割具有明显的提升作用，本文在UNet与WRN-PPNet两种神经网络结构上测试分割结果，两种网络对脑肿瘤分割得到的结果如图5所示，其中MRI为脑肿瘤图像，GT为专家手动标识结果，Predict为全自动分割结果。具体实验结果如表1所示，其中whole表示脑肿瘤区域，core表示脑肿瘤核心区域即非增强及增强肿瘤区域，enhance表示增强肿瘤区域。

图5 网络分割结果

表1 分割结果 %

从图5可以看出，本文所使用的算法实现了端对端的全自动分割，并且无须技术人员的干预，分割脑肿瘤图像准确，边缘清晰，能较好地解决脑肿瘤、水肿和正常脑组织边际不清的问题，为辅助医务人员进行诊断提供客观参考。

从表1的实验结果可知，本文提出的显著度增强方法在脑肿瘤分割任务中起到很明显的辅助作用。在三种指标的定量分析中，分割准确率都有较明显的提高，如WRN-PPNet网络的分割结果：Dice指标提高了4%，灵敏度提高了3%，PPV提高了4%；UNet网络的分割结果：Dice指标提高了4%，灵敏度提高了4%，PPV提高了3%。总体来说，显著度增强在WRN-PPNet与UNet上都得到了很好的结果，验证了其有效性。