脑肿瘤MR 图像分割方法现状及挑战

席欢欢，贺 松，黄 旭，张 硕，张 慧

（1.贵州大学大数据与信息工程学院；2.贵州大学医学院，贵州贵阳 550025）

0 引言

国家卫生健康委员会发布的《2019 中国卫生健康统计年鉴》数据显示，2018 年中国各类卫生医疗机构诊疗人次数为83.08 亿人次，相比2009 年的54.88 亿人次年均涨幅达4.72%（见图1）。与此同时，作为疾病诊断及治疗的重要技术手段，医学影像数据总量增长迅猛，应用范围越来越广，从诊前逐渐应用到诊中、诊后、康复、照护各个流程，其数据年增长量高达40%，单个大型医疗机构的年影像数据存储量已经超过1PB。

中国医师协会第十三次放射医师年会发布数据，截至2016 年，全国放射科从业人数达到15.8 万人，但其中放射科医师只有约8 万人，真正具有副主任医师以上职称的只有2 万人。利用计算机技术相关算法（如深度学习）设计的人工智能辅助筛查设备或平台可有效减少或改善医师因疲劳造成的误查和漏查，弥补各地影像医师的不足。

中共十九大报告明确提出要“加快建设制造强国，加快发展先进制造业，推动互联网、大数据、人工智能和实体经济深度融合”。由此可见，人工智能已成为国家重要战略。因此，推动和鼓励我国人工智能在医疗、健康领域的应用，创新诊疗模式和手段，建立快速精准的智能医疗体系刻不容缓。人工智能在医疗行业多个环节如影像医学识别、生物技术、辅助诊断、药物研发、营养学等领域有重要应用，其中应用最为广泛的是医学影像识别。计算机软、硬件和图像处理等技术的飞速发展为医学影像识别奠定了坚实的基础。

Fig.1 Treatment number of medical and health institutions of 2009-2018图1 2009-2018 年医疗卫生机构诊疗人次数

1 脑肿瘤影像

目前的医学影像技术有CT、B 超、X 光片、核磁共振成像（MRI）、多普勒彩超等，为医生进行临床诊断和治疗提供重要支撑，在患者诊疗过程中有着举足轻重的作用，是医生判断病变位置和是否治愈的重要依据。

目前已有一些智能阅片算法或机器，但大多数准确率难以满足需求，存在各种各样的问题。因此，用于精准定位以及分割肿瘤区域的算法是目前研究热点。

Fig.2 Four models of brain tumor MRI images and expert’s segmentation result图2 脑肿瘤患者MRI 的4 种模态及专家分割结果

脑肿瘤又称颅内肿瘤，是中枢神经系统最常见的恶性肿瘤，世界上每10 万人中就有7～10 人发病，而且脑肿瘤有着高致死率、难治愈等特点，一直以来都是临床医生的治疗难点。因此，精准呈现脑肿瘤的病变位置以及更清晰的组织结构信息，可为疾病的诊疗提供更多支持。不同的成像技术相对于不同的病变位置及组织结构有着不同的优势。核磁共振成像（MRI）是一种非浸入式成像方法，能够呈现脑肿瘤无损伤、无颅骨伪影的高质量影像，且MRI 成像有着非常好的软组织分辨力；同时，通过调整磁场的相关参数可以得到不同方向的颅内影像。图2（彩图扫OSID码可见，下同）是同一患者脑部4 种MRI 模态以及最终的专家分割结果［1］，4 种模态分别是T1、T2、T1C 和FLAIR。在脑肿瘤影像数据集中一般有5 类标签，分别是正常组织（标签1）、坏死（标签2）、水肿（标签3）、非增强（标签4）和增强肿瘤（标签5），其中的绿色、黄色、红色区域分别表示全肿瘤（标签1、2、3、4 组成）、肿瘤核心（标签1、3、4 组成）、增强肿瘤（标签4 组成）区域［2］。因此，选择多模态MR 图像，是脑肿瘤诊断、治疗和手术引导的重要辅助手段。

常见的脑肿瘤MR 图像分割方法主要分为两大类：①传统分割方法，常见的主要有阈值法、区域法和模型法3种；②利用深度学习相关算法，如卷积神经网络（CNN）等。

医学图像计算和计算机辅助干预国际会议（MICCAI）从2012 年起组织相关的多模态肿瘤分割竞赛，极大推动了肿瘤分割算法的发展。

2 传统分割方法

2.1 基于阈值的分割

基于阈值的脑肿瘤MR 图像分割算法，主要根据MR 图像的灰度值与像素等描述特征，利用多次实验所得阈值来分割脑组织以及其他肿瘤病变组织。如果利用单个阈值就可以将肿瘤组织与其他脑组织分离，称为全局阈值；如果目标区域超过两种以上的不同区域，就需要多个阈值逐步分离，称之为局部阈值。因此，找到最优的阈值是该类分割算法的难点。Kaur 等［3］提出一种混合多级阈值算法，将直觉模糊集和tsallis 熵相结合，用于从模糊边界和对比度差的MR 图像中自动描述肿瘤组织区域；Sandhya 等［4］提出在MR 图像的多级分割中使用HSO（Harmony Search Optimization）概念，该算法使用Otsu 和Kapur 提出的目标函数指导候选解，从图像直方图内部适当的搜索空间中得到候选解，HSO 算子不断演化候选解直到找到最佳阈值；Tarkhaneh 等［5］提出一种DE（Differential Evolution）解决方案，通过新的自适应方法和突变策略实现病变组织区域与其他组织的良好平衡，新的突变方法利用Mantegna Levy 和Cauchy 分布以及Cotes 螺旋来改进全局搜索，该算法能以合理的计算代价获取阈值，最终实现脑肿瘤MR 图像分割；Chandra 等［6］利用各向同性和各向异性滤波器的阈值并结合分水岭算法进行肿瘤分割；Dawngliana 等［7］将混合多级阈值与水平集分割结合。

不管是全局阈值还是局部阈值，由于脑肿瘤MR 图像的复杂性，都不能利用脑肿瘤MR 图像的全部信息获得理想的分割效果，鲁棒性较差。因此，阈值分割常常作为其他分割的第一步或一部分。

2.2 基于区域的分割

基于区域的脑肿瘤MR 图像分割算法，主要是通过预先定义的相似性准则，在相交区域合并邻域像素或体素，将相应MR 图像的脑组织图像分割为不同的目标区域［8］。常见的灰度相似性检测有：

Kolmogorov-Smimov 检测：

Smoothed-Difference 检测：

式中：l（z）表示两个相邻区域累计灰度直方图，若两个相邻区域累计灰度直方图的绝对值小于预设值，则将这两个相邻区域合并；反之，则分离。

最经典的基于区域的分割方法要数区域生长和分水岭算法。区域生长是利用预先设定的种子点，将周边区域与种子点具有相似属性的像素强度、灰度级、纹理颜色等相邻像素合并到此区域，种子点的选取以及生长准则对分割结果十分重要。Tsai 等［9］提出一种由自适应直方图分析、形态运算和基于知识的规则序列组成的自动分割算法，可准确分割脑物质和脑脊液等不同区域，并检测是否有异常区域；Vishnuvarthanan 等［10］提出一种可以有效检测存在于不同区域MR 图像中的肿瘤组织，该算法在使用粒子群优化（MPSO）算法和模糊C 均值（FCM）算法进行初步分割后，使用区域生长算法完成最终肿瘤区域与其他脑组织区域的分割。相对于传统的基于MPSO 和FCM 的区域生长算法，该算法有利于对比度增强的图像分割；Deng 等［11］提出一种基于边界平均梯度的倒数和类内平均方差的自适应区域增长分割算法，在MR 图像的预处理阶段，通过各向异性滤波算法对图像进行滤波，达到去除噪声，避免边界模糊的目的；Zabir 等［12］将传统区域增长方法得到的分割区域作为迭代距离正则化水平集演化方法的初始轮廓，消除了感兴趣区域选择步骤。

基于区域生长的脑肿瘤分割算法，不但考虑了图像相邻像素的相似性，还考虑了空间上的连接性，可有效克服阈值分割空间的不连续性，具有较强的鲁棒性；但是该类算法对区域的边缘定位准确性有很高要求，易受噪声干扰，产生过分割、区域碎片或分割的结果边缘不光滑等问题。

基于分水岭的分割方法是一种基于拓扑理论的数学形态学分割算法，适用于梯度图像。鲁向等［13］在获得目标物体的初始边界后，根据分割结果与目标物体轮廓重合时图像能量最小值理论来修改边界；Li 等［14］为了分割具有精确对象边界且没有虚假边界的图像，利用置信度嵌入方法检测到的边缘信息，根据直方图统计定义每个像素的阈值，获得良好的标记图像，并改进Meyer 方法来标记像素；Khan 等［15］提出一种基于标记的分水岭分割和特征选择的自动分割方法，步骤为肿瘤对比、肿瘤提取、多模型特征提取、特征选择和分类，采用伽马对比拉伸方法增强肿瘤的对比度，然后利用基于标记的分水岭算法进一步提取形状、纹理和点特征，通过卡方最大条件优先特征法选择排名前70%的特征，最后在使用支持向量机进行分类之前使用基于序列的拼接方法对选择的特征进行融合，实验证明该方法在多个数据集上有更高的精度和准确性。

基于分水岭的分割算法对图像的微弱边缘具有良好响应，能够保证得到封闭连续边缘，这为分析图像的区域特征提供了可能；但该类算法会因为图像噪声、细微的灰度变化等导致过分割或分割不充分的情况出现。

2.3 基于模型的分割

基于模型的分割方法分为基于活动轮廓模型（Active Contour Model，ACM）和基于主动轮廓模型方法。基于主动轮廓模型的分割方法由Snake 模型［16］和水平集（Level set）算法［17］组成；2001 年，Chan 等［18］基于简化的Mumford-Shah 模型，应用水平集思想，通过能量函数的最小化来演化曲线，提出Chan-Vese 模型，这是最经典的基于区域的活动轮廓模型。

基于活动轮廓模型的图像分割算法基本思想是使初始曲线在一系列外部约束力和图像内能量的相互作用下进行演化，直至满足一定的收敛条件停止在图像边缘，实现图像分割［19］。最初的基于模型的分割方法由于各种原因有着一定的局限性，而现有的基于模型的分割方法大都在此基础上进行优化和改进，并结合其他算法以达到更优的分割效果。

许存禄等［20］提出一种基于Chan-Vese 模型的脑肿瘤图像分割与三维重构方法，该方法首先通过对脑肿瘤MR图像进行形态学迭代腐蚀操作来提取MR 图像肿瘤组织轮廓，步骤如下：

（1）迭代腐蚀：

然后利用Chan-Vese 模型对病变组织进行分割，接下来通过迭代膨胀进行恢复操作。

（2）迭代膨胀：

上式中：i是迭代次数，K 是基本结构元素。

通过上面的步骤得到更好的分割效果，最后利用VTK对分割得到的区域进行三维重构与定位。

Ma 等［21］提出一种结合随机森林和活动轮廓模型的分割方法，可从多模态MR 图像中分割出神经胶质瘤。该方法采用特征表示学习策略，将不同级别的组织结构信息级联链接到随机森林中，最后利用稀疏表示技术使用优化的多尺度剖面驱动轮廓模型来完善分割，其在计算效率方面效果很好。

蒋秋霖等［22］提出改进Chan-Vese 模型的水平集分割方法，该方法在保留Chan-Vese 模型处理模糊边缘图像优点的基础上加入了图像梯度惩罚项：

式中：C()p为演化曲线函数；∇u0为待处理图像的灰度梯度；N为演化曲线的单位法向量。

该式的梯度下降流为：

因此，改进的Chan-Vese 模型的水平集演化方程式为：

完成上述步骤即能准确分割灰度不均匀的脑肿瘤多模态MR 图像。

为克服医学图像灰度不均现象，根据其具有的局部灰度聚类特点，Li 等［23］引入偏移因子b 提出局部灰度聚类能量，定义能量泛函如下：

式中，z1,z2为均值，φ为水平集函数，K(·)为核函数。该模型在进行图像分割的同时实现偏移场校正。

与此同时，陈红等［24］为克服医学图像灰度不均现象，在能量泛函中引入灰度不均匀因子（LIC 模型），提出一种基于多个描述子局部熵、均值和局部熵的活动轮廓模型，该算法在较强噪声下可获得较高的分割精度。

基于模型的分割方法虽然一定程度上实现了半自动化分割并且取得了一定效果，但在某些特别的脑肿瘤MR图像上分割效果仍不如人意，如CV 模型在分割光照、纹理以及灰度不均匀的MR 图像时，得到的结果比想象要差，还有可能将正常区域划分为病变组织区域。

3 基于深度学习的脑肿瘤分割方法

自2006 年深度学习概念首次被提出以来，深度学习算法成为众多学科研究热点，尤其是在交叉学科领域更是重中之重。1998 年，LeCun 等［25］提出LeNet 是真正的卷积神经网络，也是卷积神经网络的现代雏形，在目标检测与识别、图像分割、语音识别等领域受到广泛关注。一些学者和研究机构将深度学习算法应用于医学影像的识别与分割，实现对人体组织器官、病变区域的分割。

根据采用的基础网络架构不同，常见的基于深度学习脑肿瘤分割方法主要分为基于卷积神经网络、基于全卷积神经网络和基于生成对抗网络3 种分割方法［26］。

3.1 深度学习在脑肿瘤分割中的应用

在基于深度学习的脑肿瘤分割方法中，最常见的要数基于卷积神经网络的脑肿瘤分割。理论上，卷积神经网络是一种特殊的多层感知器或前馈神经网络，一个标准的卷积神经网络主要由输入层、卷积层、池化层、全连接层和输出层构成。2012 年，Krizhevsky 等［27］采用修正线性单元作为激活函数提出了著名的AlexNet，在当年的ILSVRC 图像分类和物体识别算法竞赛中获得冠军。如图3 所示，AlexNet 主要包含输入层、5 个卷积层、3 个池化层、2 个全连接层和输出层，表1 为AlexNet 网络参数。

卷积神经网络通常是在卷积层之后接上若干个全连接层，将卷积层产生的特征图映射成一个固定的特征向量，其中以AlexNet 最为经典。Zhang 等［28］在获取3D 卷积特征的同时，结合MR 图像的邻域灰度信息、邻域内均值、Haar 小波低频系数等特征构造算法分割的原始特征，并采用主成分分析方法对构造的特征集进行筛选，以达到降维和剔除冗余信息的目的。

Fig.3 Network structure of AlexNet图3 AlexNet 网络结构

Table 1 Structure parameters of AlexNet network表1 AlexNet 网络结构参数

文献［29］根据成像方式不同建立相应的CNN 模型来预测肿瘤概率，然后根据预测错误样本点建立非线性映射，将这两类图像像素点的映射结果作为模糊推理系统输入，从而预测该像素点是否属于肿瘤区域，该算法流程分为训练阶段和预测阶段。该算法在分割一整幅图像时用时较短，在Sensitivity 指标上提高了12%，DSC 也提高了4%，分割效果有了显著提升，如图4 所示。

Fig.4 Algorithm flow图4 算法流程

Sérgio 等［30］使用强归一化作图像预处理，搭建3×3 小卷积核的卷积神经网络结构，以此降低过拟合现象影响，减少网络权值数量；Ding 等［31］构建了一种将深度残差网络与膨胀卷积相结合的中期监督深度残差膨胀网络（RDMNet），在不降低分辨率的情况下解决了梯度消失问题，增加了接受域。

全卷积神经网络（FCN）实现对图像像素级分类，从而解决语义级别的图像分割问题。与卷积神经网络不同的是，FCN 可以接受任意尺寸的输入图像，将CNN 的全连接层替换为卷积层从而达到像素处理级别。2017 年起逐渐有研究机构将FCN 网络应用于脑肿瘤MR 图像分割，Shen等［32］提出一种对称驱动的全卷积神经网络，将原始图像和对应的对称映射连接起来作为网络输入，进一步提高了网络的分割性能，特别是对于完整的肿瘤区域。为了提高分割精度，Wang 等［33］将包含肿瘤组织信息的感兴趣区域用光谱聚类方法进行分割，而不考虑整个图像，并且使用图像块的集中趋势值（CTV）生成超像素，将这些超像素点作为节点进行聚类来识别ROI（感兴趣区域）。通过对超像素的分割得到脑肿瘤超像素，实现对图像进行预分割，提取感兴趣区域，缩小分割范围；最后，选择训练好的VGGNet16 转化为适合分割问题模型，最终实现分割。

在基于FCN 的脑肿瘤分割中常见的还有U-Net 网络。U-Net 是由Ronneberger 等［34］提出的，主要用于生物医疗细胞分割领域，其整体流程是一个编码（收缩路径）和解码（扩张路径）过程，具有支持少量数据训练模型、对每个像素点进行分类、获得更高的准确率、分割速度快等优点；Ahmed 等［35］将经过预处理的脑肿瘤MR 图像进行语义分割，使不同区域得以分割并标注不同的颜色，在此基础上提出一种基于3D 卷积块的U-Net 网络架构。在神经网络中，激活函数对深度神经网络的稳定性、学习率和精度有很大影响，尤其是在处理梯度消失问题时。为了进一步提高深度网络的分割精度和准确率，Salih 等［36］在U-Net 网络架构基础上对比了ELiSH、Swish、HardELiSH 等几种激活函数，分割效果相对于ReLU 有了明显改变。表2 为基于深度学习的脑肿瘤MR 图像分割方法评估结果。

Table 2 Evaluation results of MR brain tumor segmention methods based on deep learning表2 基于深度学习的脑肿瘤MR 图像分割方法评估结果

3.2 深度学习优化策略

基于深度学习的脑肿瘤MR 图像分割方法取得了很好的成绩，基于深度学习的分割方法以经过大量数据训练的模型为基础，具有很好的鲁棒性和适应能力，但其仍存在一些问题：①随着网络结构的加深，梯度消失、过拟合等现象层出不穷；②深度网络对输入图像的特征表达能力会制约最终的分割效果，因此寻找更优的特征表达方法也很重要；③现有的深度网络非常依赖影像专家标注的数据进行训练，导致前期耗费大量的人力和时间，因此寻找较少训练样本或半监督网络很有必要。

针对上述问题许多学者进行了相关研究，Salih 等［36］使用不同的激活函数降低梯度消失影像现象；Hu 等［37］提出多级上采样网络（MU-Net）可将编码器获得的低阶特征图与解码器获得的高阶特征图结合，以此学习横向、矢状面和冠状面的图像特征，从而提高分割精度。因此，在基于深度学习的脑肿瘤MR 图像分割领域，对原本方法进行有效改进或优化是研究热点。

4 结语

基于阈值、区域、模型的传统图像分割方法在处理自然图像上可以达到令人满意的效果，但脑肿瘤MR 图像不同于自然图像，大多数脑肿瘤MR 图像都具有分辨率低、噪声点多、对比度低、边界模糊以及灰度、光照、纹理不均匀等特点。因此，基于阈值、区域、模型的传统分割方法在处理普通脑肿瘤MR 图像时效果不错，但对于某些复杂的图像算法可能出现过分割问题。在医疗数据增长迅速情况下，普通分割算法效果、速度很难达到医疗工作者需求。基于深度学习的脑肿瘤MR 图像分割方法出现后，传统的分割算法常常作为该方法的一部分，尤其是在数据预处理等方面，以此提高分割精度。

基于深度学习算法的脑肿瘤MR 图像分割方法相对传统分割方法而言有着一些无法替代的优点，该方法主要是对大量数据集训练提取特征，因为有丰富的数据集并考虑了不同MR 图像之间的差别，因而可以达到更高的分割精度，并对多种不同脑肿瘤MR 图像都能达到不错的分割效果。

不论传统的分割算法还是目前最热门的基于深度学习的分割算法，或多或少都存在一些缺陷，相比而言，基于深度学习的分割方法效果更优于传统方法。基于深度学习的脑肿瘤MR 图像分割方法因其在自动分割、效率、精度等方面都有着比传统方法更好的表现，因此更具发展潜力，但相关研究要解决以下几个问题：①大多数算法功能比较单一，只能应用于单种图像或数据集，在其他方面难有出色效果；②现有的分割算法大都处于实验阶段，临床应用较少；③大部分算法只注重分割效果，在处理速度上很难让人满意，并且对硬件条件要求很高。