一种在MR图像中进行脑胶质瘤检测和病灶分割的方法

陈 皓 李 广 刘 洋 强永乾

①(西安邮电大学计算机学院 西安 710121)

②(陕西省网络数据分析与智能处理重点实验室 西安 710121)

③(西安交通大学第一附属医院 西安 710061)

1 引言

脑胶质瘤是一种常见的，致死率较高的脑部肿瘤[1]，呈弥漫、浸润性生长，肿瘤边界不清晰。此外，脑胶质瘤生长速度快，初发时没有明显的临床症状，但是病情进展较快，大约只有5%的脑胶质瘤患者具有5年以上的生存期[2]，这使得对脑胶质瘤的早期检测及病灶形态识别在临床诊断和治疗方案的选择中具有价值。磁共振成像(Magnetic Resonance Imaging, MRI)是目前主要的脑胶质瘤诊断工具。MRI能够无创地对脑组织进行成像，为临床提供病灶的定位和定性信息。目前主要依靠医师肉眼对MR图像中的肿瘤组织进行识别，需时长效率低，且目前国内各大医院影像诊断经验丰富的医师相对比较缺乏。因此，利用机器学习技术来帮助医师降低工作强度，同时提高医学影像中肿瘤的识别效率和病灶分割准确率就具有了较高的临床应用价值。

传统的脑胶质瘤检测方法大都采用一种基于特征进行分类的思想。如Sachdeva等人[3]在每个图像的感兴趣区域中选择纹理、强度和局部二值模式特征，采用PCA进行降维并使用人工神经网络进行脑胶质瘤检测。Soltaninejad等人[4]将预处理后的图像划分成尺寸和强度值大致类似的不规则补丁，对每个补丁计算特征，并采用极端随机树对肿瘤图像和非肿瘤图像进行分类。Song等人[5]从图像中提取灰度共生矩阵、定向梯度直方图、局部二值模式和强度等混合特征，并通过核支持向量机进行脑胶质瘤检测。上述方法中往往引入了滤波器或者使用了单一的特征集合，滤波器可能导致分类器分类性能不佳[5]，同时单一特征集合无法提供足够的信息，导致训练模型存在欠拟合的风险。随着深度学习技术的发展，基于CNN的方法在肿瘤检测中也得到了广泛的应用。Cao等人[6]采用深度学习方法在超声图像中进行乳腺肿瘤的检测。Shkolyar等人[7]提出了CystoNet用于膀胱肿瘤检测。Özyurt等人[8]基于具有超分辨率的模糊C均值和极限学习机提出了一种卷积神经网络模型用于脑肿瘤检测。基于CNN的肿瘤检测方法步骤简洁，省去了手动提取特征的步骤，结合CNN自身的优势，相比传统检测方法提高了肿瘤检测的效率。

与此同时，基于CNN的医学图像分割方法也取得了显著成果。Kumar等人[9]通过全卷积网络进行脑胶质瘤的分割和分类。Zhao等人[10]将全卷积网络和条件随机场整合到一个框架中用于脑胶质瘤分割。Yang等人[11]提出了一种基于U-Net的自动化脑胶质瘤分割方法。CNN的优势在于它可以自然地从MR图像中进行特征提取，并将这些特征组合后用于脑胶质瘤分割。虽然基于深度学习的分割方法非常有效，但是这类方法包含大量超参数和显著的内存与计算需求。更重要的是CNN类方法对图像中一定范围内的纹理特征更为敏感，对纹理较模糊的组织边界区域则不易实现多种组织的分类。此外，基于集成学习(Ensemble Learning, EL)的方法也有了进一步的发展。Amiri等人[12]提出了一种基于树的集成分类器用于自动化的脑胶质瘤分割。Mudgal等人[13]基于XGBoost模型开发了一个自动化脑胶质瘤分割系统。随机森林比其它常见的机器学习方法具有更高的预测精度[14]，Rajagopal等人[15]使用优化的蚁群特征训练了一个权重随机森林分类器用于脑胶质瘤的检测和分割。随机森林等集成学习方法在处理具有高维特征的多分类问题时具有天然的优势。但这类方法的结果与特征提取的数量和质量密切相关。而且上述方法所使用的特征集结构和提取方法依然单一。

显然，特征集的质量对组织分类和边界分割的结果有直接影响。在处理与医学图像相关的问题时，现有的方法大都使用影像组学特征。如Cho等人[16]基于直方图、形状和灰度共生矩阵提取影像组学特征进行脑胶质瘤的良恶性分类。Chaddad等人[17]提出了一组新颖的影像组学特征，通过联合强度矩阵将标准灰度共生矩阵推广到多序列图像中进行脑胶质瘤患者的生存期预测。影像组学特征能够表达图像中的隐藏信息并进行量化，但是影像组学特征对图像全局信息表达能力不足，同时过滤噪声能力较弱，如在计算影像组学特征时对包含伪影、空腔和骨头等结构的信息需要进行特殊处理。CNN本身就是一个性能优良的特征提取器，并能够获得全局性的高阶特征，如罗会兰等人[18]利用带扩张卷积的深度残差网络进行特征提取。Kido等人[19]通过局部区域的CNN特征进行肺部异常检测。CNN可以通过多层非线性机制自动地获得高阶抽象特征，这类特征对物体的位置和大小等不敏感。但是通过卷积得到的特征图分辨率较低，且丢失了原图中很多底层的细节信息。综上可见，任何一类特征提取方式都有其优势和局限性。

以CNN为基础的方法能够直接从图像中获得信息用于决策，在处理医学图像时，这种端到端的处理模式具有相对较高的计算效率，但是这类方法在前向传播时通常需要相对较大的存储和计算资源；EL类方法的可解释性相对较强且基于像素分类的分割过程具有更好的图像细节识别能力，但对特征提取的质量和数量依赖度高。显然，在单一的计算模式下很难同时突出处理的效率和准确率。为了更有效地平衡二者间的关系，本文提出了一种两阶段计算方法，首先采用CNN模型从海量的图像中快速筛查出包含病灶的图像，再通过像素级的集成分类过程对病灶区域进行精细化分割。本文的主要贡献包括：

(1) 设计了一个轻量级的卷积神经网络(LocNet)在大量MR图像中实现包含脑胶质瘤图像的快速筛检和大致定位。LocNet提高了整体计算速度，轻量化的网络设计降低了对计算资源的要求，为实际应用提供了条件。此外，肿瘤的大致定位也有助于缩小肿瘤组织边界分割的计算范围。

(2) 尝试从影像组学和CNN两个角度分别提取特征，再通过特征融合来构造表达更为丰富的特征向量集合。

(3) 针对肿瘤和正常组织相互浸润的边界区域，在提取此区域中像素点的特征时，提取以目标像素点为中心的一个较小邻域内的信息来构成此像素点的特征向量。通过考量像素点及其邻域的相互关联性，实现了对边界较为模糊区域的病灶分类及边界分割。

本文的主要内容组织如下：第2节详细介绍本文提出的两阶段脑胶质瘤检测和分割方法；第3节进行实验并对实验结果进行分析；第4节是对本文工作的总结。

2 本文方法

本研究认为有效解决在MR图像中检测脑胶质瘤并进行病灶组织分割的关键在于平衡整体计算效率和分割准确率间的关系。前述相关研究显示，基于CNN的相关方法具有更高的计算效率，而基于集成学习的相关方法则具有更佳的模糊分类性能。针对这一规律，本文提出了一种两阶段计算方法，其主要流程如图1所示。在第1阶段中，首先对输入的MR图像进行网格化处理，并利用一个轻量级的网络(LocNet)快速检测每个网格中是否存在肿瘤组织。这一过程也同时实现了肿瘤的大体定位；在第2阶段中，首先融合影像组学特征和CNN提取的高阶抽象特征构造表达更有效的特征集，再基于该特征集通过集成学习方法来实现不同病灶组织边界的分 割。

2.1 基于LocNet的肿瘤检测和大体定位

为了提高肿瘤检测及定位速度，本文先将MR图像进行网格化处理，再依次将网格输入LocNet进行识别计算及分类标记。其流程如图1中蓝色虚线框所示。该方法共有3个步骤，具体步骤为：

步骤1 MR图像包含Flair, T1, T1增强(T1+c)和T2 4个图像序列。首先对MR图像进行网格化处理，将Flair, T1, T1+c和T2划分成大小为gl×gl的网格。

步骤2 采用 gl/2为步长在网格图像中进行遍历，将每次的遍历结果输入LocNet，则输入LocNet的子图集合可表示为

其中每个子图的大小均为 gl×gl，n为输入LocNet的子图集合数量。

步骤3 将 Pi输入LocNet计算并输出其所属类别 cl。 cl为1表示存在肿瘤组织，否则为0。在检测过程中采用与MR图像网格化结构相同的矩阵Mask 记录每个Pi的标记信息其中， loc(Pi) 表示LocNet对Pi进行分类的结果。MaskPi的标记结果将在边界分割中使用。

图1 两阶段计算方法

为对网格化的MR图像进行处理，LocNet采用了一种双通道结构，如图2所示，具体信息如下：

(1) LocNet结构。两个通道的输入均为4×gl×gl。通道A由13×13的卷积核和丢弃率为0.5的Dropout层组成，使用大的卷积核保证模型具有大的感受野，获得丰富的图像信息。通道B由典型的网络结构组成，通道B使用了多个小的卷积核，以保证模型能够获得图像的细节信息。在融合通道中，首先将通道A和通道B得到的特征图进行合并，然后通过卷积层和全连接层进行特征图融合，最终得到分类结果。

(2) 训练细节。训练LocNet时，根据训练数据集中的Ground-Truth将MR图像划分为肿瘤区域和非肿瘤区域。随机地从肿瘤区域和非肿瘤区域中采样4×gl×gl的矩形块作为训练样本，并给训练样本加上相应的标签。训练时取批训练样本数为16，训练轮次为20，使用Adam优化器，其学习率为0.005，衰减系数为0.1，动量为0.9。在训练集中随机采样1500张大小为 4 ×gl×gl的正样本和负样本，在上述 参数下的训练准确率为0.988。

2.2 多类别病灶组织分割

在 M ask 记录的基础上，对标记为1的网格区域进行合并，并在该区域内进行病灶组织分类及边界分 割。

2.2.1 多维特征提取

为了提高特征集的有效性，本文采用了一种多层次特征提取方法。该方法主要有4个步骤，具体内容如下：

步骤 1 在Flair, T1, T1+c和T2中分别进行影像组学特征提取，所提取的影像组学特征包括1阶统计特征(如均值、标准差、峰度和偏度等15维特征)和2阶纹理特征(如灰度共生矩阵、局部二值模式和方向梯度直方图等89维特征)共104维，记为fFla, fT1, fT1c和fT2。

步骤 2 将Flair, T1, T1+c和T2组合成4通道图像，通过CNN特征提取器完成MR图像的高阶特征提取。如图3所示，本文所采用的特征提取器使用了文献[20]中的CNN结构，该特征提取器专为小的局部图像区域的特征提取所设计。此步骤共提取了128维CNN特征。

步骤 3 将4个图像序列上提取的影像组学特征进行合并，如式(3)所示

合并影像组学特征和CNN特征形成一个544维的特征集F，可表示为

步骤 4 特征选择。采用L1正则化Lasso对 F进行 特征处理，产生了一个298维的特征集F′，见图4。

2.2.2 病灶组织分类和边界分割

在集成学习方法中，病灶组织分割问题被转化为像素的特征分类问题。针对不同组织相互浸润的边界区域，确定像素点的归属是一个模糊分类问题。本文提出的方法是考虑目标像素点与其邻域之间的关联性来产生特征向量，这种方式可产生信息更为丰富的特征向量，相比于单独的像素点特征或针对整张图像产生的特征信息，更有利于对边界较为模糊的组织间进行分类和边界分割。

图2 LocNet模型结构

图3 CNN特征提取

图4 特征的多层次融合约简

这一过程的具体流程如图5所示。首先，合并2.1节中M ask上标记为1的连通区域，记录每个合并区域的边界坐标(肿瘤区域粗定位结果)。若M ask记录中存在k个合并区域，则第i个区域的边界坐标集合可表示为

此过程中的集成分类器采用了XGBoost。其训练过程为：针对肿瘤周围水肿区域、肿瘤非增强区域、肿瘤增强区域和正常组织4种类别各提取了1000例数据，每例数据包含298维特征向量和1维类别标签。训练后得到的模型中包含了125棵基础树模型，每棵树的最大深度为6，叶节点允许的最小样本数为10，训练准确率为0.928。

算法1 病灶组织分类和边界分割

输入：{Li}

输出：Seg

1. 初始化已遍历坐标点集合Ω =∅；

2. for待计算区域的像素点下标j :=1,2,···,m do

3. 根据下标 j 从Li中获取第j 个坐标点(xi,j,yi,j)；

4. for 搜索方向的下标t :=1,2,···,8 do

5. 根据t 从 D中 获取遍历方向θt;

6. while 搜索的像素点在脑区内 do

14. 结束本次while循环，从下一个方向继续搜索；

15. end if

16. end if

17. end while

18. end for 19. end for

3 实验

图5 病灶组织分类与边界分割

使用Brain Tumor Segmentation Challenge 2017(BraTS2017)数据集[21]对所提出的两阶段计算方法进行验证。BraTS2017数据集包含了285例经过手术证实的脑胶质瘤患者，每例患者包含T1, T2,Flair和T1增强(T1+c)4组序列的图像，每组序列的图像包含155张大小为 2 40×240的断层图像。同时针对每例患者还提供了医师的手工标注(Ground-Truth)，每个肿瘤被标注为肿瘤周围水肿区域(标签2)、肿瘤非增强区域(标签1)和肿瘤增强区域(标签4)3个类别。在实验验证时，用3种标签的组合结果进行评估，分别为整体肿瘤区(Whole Tumor,WT)(包含了标签1、标签2和标签4)、肿瘤核(Tumor Core, TC)(包含了标签1和标签4)和肿瘤增强区(Enhancing Tumor, ET)(包含了标签4)。

本文所采用的实验环境为Inter® Core(i5)2.3 GHz CPU, 8 GB RAM和英伟达DGX-1(包含了8块Tesla V100 GPU)(128 GB RAM)，搭建LocNet模型时使用的框架为Keras2.2.4，实验所有的代码使用Python3.6实现。此外，实验中肿瘤检测阶段的网格大小为gl=26，精细化分割阶段的采样邻域大小gs=10。

从原始数据集中生成10000组MR图像，每组MR图像包含Flair, T1, T1+c, T2和Ground-Truth等5个部分。采用5折交叉验证对模型效果进行评估。为了对分割结果进行量化评价，本文使用Dice系数、灵敏度和特异性(Specificity)来衡量分割结果 的优劣性。

3.1 实验统计结果

表1为实验获得的Dice系数、灵敏度和特异性等指标的统计结果。由表1可以看出，针对WT,TC和ET区域，Dice系数、灵敏度和特异性3个指标的平均值均在0.8以上，其中，特异性的结果最好，平均值均接近1并且其标准差都小于0.01，表明分割结果的误检率低。同时，结合均值和标准差可以发现本文方法的分割结果较为稳定，8个评价指标的离散程低于0.1，表明本文提出的方法能够完成精细化的肿瘤分割任务。

图6是采用本文所提出的方法进行肿瘤精细化分割的部分结果，图6(a)-图6(d)为4个典型病例，分别代表了不同大小、形状和位置的肿瘤。图中的第1列和第2列是原始的Flair和T1+c图像，第3列为Ground-Truth，第4列为本文方法的分割结果。将本文方法的分割结果和Ground-Truth进行比较，在图6(a)-图6(d)中可以发现本文方法已能较准确地分割出3类肿瘤组织和彼此的边界，清晰地刻画出肿瘤轮廓和位置。此外，如图6(b)所示，本文方法可将肿瘤内部组织的坏死区域(肿瘤中的孔洞部分)很好地分割出来。可视化结果表明，针对不同形态的病例，本文提出的分割方法都具有较好的效果。

3.2 实验结果对比

将本文的方法与近些年提出的一些典型方法进行对比，如表2所示。其中，Chen等人[22]构建了一种基于图像块的13层卷积神经网络用于脑胶质瘤分割。Wang等人[23]提出了一个级联的全卷积网络，将多分类问题分解为3个二分类网络。Islam等人[24]将Flair, T1和T1+c输入到VGG-16中提取像素的描述符并送入多层感知机进行非线性优化。Zhou等人[25]提出了一种基于补丁的卷积神经网络对脑区的所有像素进行分类，并通过条件随机场优化分割结果。

从表2中可看出本方法对ET的分割结果均优于其它方法，说明本文提出的方法可以有效识别肿瘤增强区。本方法在WT和TC上的平均Dice系数分别为0.882和0.846，优于文献[22]和文献[25]，表明本文的方法可以较为准确地分割出肿瘤轮廓。本方法在WT和TC上的平均灵敏度系数分别为0.922和0.904，优于文献[22]、文献[23]和文献[24]，说明本文提出的方法具有较低的漏检率。文献[24]中采用了一种像素级的分类方法对图像中的4种肿瘤组织进行分类，这种方法有助于提高整体识别精度，但

是对每个像素进行特征提取时需要较大的计算开销。本文的方法在LocNet产生的可疑区域中进行像素分类，这种方法在TC和ET上取得了较好的效果。尤其当需要处理的图像较多时，在保证一定准确率的同时可以显著提高整体效率。但代价是LocNet在仅含极少量瘤周水肿组织的边界区域存在一定的识别误差，导致疑似区域未覆盖少量肿瘤组织的边界区域，一定程度上影响了WT的评分结果。

表1 实验统计结果

图6 典型病例分割结果

表2 实验结果对比

同时，本文采用雷达图将本文方法和文献[22-25]中的方法进行整体比较。如图7所示，从图中可以看出，本文提出的方法虽然在个别指标上并没有达到最佳，比如在Dice-WT和Dice-TC上略低于文献[24]，但是综合9个指标的评价结果来看，本文提出的方法在图7中所占的面积最大，说明本文提出方法的整体效果优于上述方法。

另外，为了验证本方法对计算效率和准确率的平衡效果，采用随机森林(RF)、XGBoost和U-Net进行了对比实验，并将上述方法的计算效率和准确率与本文方法进行了比较。从表3中可以看出，基于U-Net对图像进行整体分割所需的计算时间最短，但是分割精度相较其它方法整体较低。相反，由于RF和XGBoost采用和本文方法相同的特征向量，其分割准确率只略低于本文的方法，但其整体需时明显更长。显然，本文的方法在分割效率和分割精度之间达到了更佳的平衡。

3.3 讨论

3.3.1 特征结构效果分析

为了衡量影像组学特征与CNN特征的融合效果，本文分别对416维影像组学特征(Radiomics)、128维CNN特征(CNN)和298维融合特征(CNN +Radiomics)进行聚类，并采用调整互信息(Adjusted-Mutual-Information, AMI)、均一性(Homogeneity)和V-Measure系数评价聚类结果，其中，3种评价系数都采用真实标签进行计算，评价系数的数值越大表明聚类效果越好。如图8所示表示3组特征集的聚类结果，其中0, 1, 2和4分别表示正常组织、水肿、非增强和增强区域。表4表示对3组聚类效果的评价结果。结合图8和表4的结果可以发现，融合后的特征集合聚类效果更加明显，不同类簇之间的边界清晰并且同一类簇内聚性高，同时从聚类评价指标中也可以看出融合特征集合的AMI、均一性和V-Measure分别为0.4796, 0.4798和0.4816，均高于其它两个单一特征集合的聚类结果。实验表明融合后的特征集合能够提高不同病灶组织的区分性。

3.3.2 特征规模效果分析

为了观察特征集约简效果对分类准确率的影响，本文设置了不同阈值来产生不同结构的特征集。实验结果如图9所示。从图9中可以看出，在整个阈值跨度内，特征维度越高，模型分类准确率整体相对越高。但当阈值在0～0.3范围内时，特征维度的增加会使分类准确率略有下降。虽然，特征维度越高，特征集合包含的有效特征越多，越有利于分类器做决策。但是，部分特征的干扰也会导致模型准确率的降低。可见，特征选择对保证模型准确率具有很大的积极作用。

3.3.3 网格大小与运算效率和准确率的关系

图7 分割结果对比图

表3 实验效率对比

图8 3组特征集合聚类结果

表4 3组特征聚类结果的评价结果

在肿瘤检查阶段，网格的大小 gl是一个影响检测速度和定位精度的关键参数。如果 gl选取过小，则整个网格中包含的有效信息太少，对周围信息的感知不够，无法准确地区分肿瘤和非肿瘤区域。相反， gl选取越大则网格内包含的信息越多，混入噪声的概率也就越大，这并不利于准确识别肿瘤。同时，网格的大小对检测速度也有一定的影响， gl越小，整张图像所划分成的网格数量越大，计算次数也就越多，反之亦然。图10表示网格大小对定位速度和准确率的影响，其中定位准确率采用定位框和实际肿瘤区域的Dice系数衡量。从中可以发现，网格越大，需时越少，但检查精度越低，反之亦然。通过对网格的大小进行搜索，当网格大小gl=26时模 型的定位速度和准确率相对较优。

3.3.4 采样邻域大小与运算效率和准确率的关系

采样邻域的大小 gs直接影响特征提取的结果，而特征决定了最终的分割结果。如果gs过大，则邻域中包含过多其它组织，导致特征提取结果不准确，增加分类误差。如果 gs过小，邻域中提取的特征信息量不足，不具有普遍的统计意义。同时gs的大小也会对计算量产生影响。 gs越大邻域中包含的像素点也就越多，提取特征时计算量也就越大，反之亦然。如图11所示为 gs对分割结果和计算量的影响，其中分割结果为WT, TC和EC三者的平均Dice系数，计算量采用针对邻域进行特征提取、特征组合、特征选择和分类所用的时间进行衡量。从图11可以发现，随着邻域的增大，特征提取和融合所需要的时间逐步增大，分割结果的Dice系数先增大再逐渐降低，当采样邻域大小在10左右时分割效果最好，既保证了邻域中提取特征的有效性，又保证了特征提取、融合和筛选所用时间相对较优。

图9 不同特征数量对分类准确率的影响

图10 网格大小对定位结果的影响

图11 邻域大小对精细化分割的影响

4 结束语

为了平衡脑胶质瘤识别和病灶分割中的效率与准确率，本文提出了一种两阶段计算方法。首先，对多序列MR图像进行网格化处理，再利用LocNet进行识别运算。相比于传统方法，本文提出的方法可以显著提高肿瘤识别效率，在处理大规模MR图像时具有一定实用性。在组织分割阶段，LocNet实现了肿瘤的大致定位，有效压缩了分割计算的范围。同时将影像组学特征和CNN特征进行融合，生成了更为精简有效的特征集。基于该特征集的集成学习过程提高了整体的病灶组织分类和边界分割准确率。为验证此方法，在BraTS2017数据集上进行测试，同时与近年相关文献中的算法进行了对比。结果显示，本文所提出的方法具有较高的整体准确率。最后，讨论了本文所采用的特征融合和选择方法以及两个重要参数的选取与计算效率和准确率间的关系。