基于优选集成ConvNet的脑癌图像分割方法

韩 兵，王 鹏，周 毅

(首都医科大学附属北京世纪坛医院 信息中心，北京 100038)

脑瘤是世界范围内最为致命的癌症之一，根据其来源，可分为原发性肿瘤和继发性肿瘤[1].原发性肿瘤最常见的组织学形式是胶质瘤，它起源于脑胶质细胞[2]并与绝大多数的恶性脑肿瘤有关[3].胶质瘤(glioma)可分为分化良好的低级别胶质瘤(low grade glioma, 简称LGG)与低分化的高级别胶质瘤(high grade glioma, 简称HGG)甚至胶质母细胞瘤，通常前者的预后较好而后者的预后较差[4].这些肿瘤的发病率通常较高，其中胶质母细胞瘤患者的中位生存期仅为15个月，7年后的生存率甚至接近零[5].因此，对病人进行及时诊断从而进行有效治疗是十分必要的.医学上，通常根据患者的病史、临床表现与头颅的影像进行检查.就后者而言，磁共振成像(magnetic resonance imaging, 简称MRI)通常是一种首选方案，它被放射学专业医师广泛应用于评估脑肿瘤[1].基于激发(excitation)与重复(repetition)时间的程度，通常分为4个3维 MRI模态：T1加权像、增强扫描T1加权像、T2加权像和磁共振成像液体衰减反转恢复序列(fluid attenuated inversion recovery, 简称FLAIR).在增强扫描T1加权像与FLAIR模态中，包括浸润性水肿在内的整肿瘤(whole tumor)的分区较为突出[6].而在T1加权像和增强扫描T1加权像上，不包括瘤周水肿的肿瘤核心(tumor core)分区较为明显[7].这样看来，可以结合使用这些扫描与其提供的补充信息，以检测不同的肿瘤分区.

从MRI的扫描结果中手动描述脑肿瘤分区是一项极其主观的任务，其耗时较长并且容易产生变数[8].这样看来，从多模态MRI图像中自动分割胶质瘤可以帮助医生加快诊断甚至促进手术计划的制定，并为进一步的肿瘤分析和监测提供准确的解决方案[9-10].传统的脑肿瘤自动分割方法依赖于特征工程，即通常从输入图像中提取手工制作的特征，然后对分类器进行训练[11-12].用于这些方法的数据必须阐明胶质瘤的可变特征，从肿瘤浸润生长模式到它们的异质性[13]，以便在分割过程中获得相当大的准确性.文献[14]最初提出了一种方法，通过使用患者的双模态MRI数据即T2加权像和FLAIR生成的超像素来对脑肿瘤的等级进行分类.利用超像素的平均强度获得感兴趣区域，从中提取一阶和二阶表征并输入支持向量机(support vector machine，简称SVM)分类器上以区分肿瘤等级.此后，利用患者的单模态MRI数据进行研究[15]：首先从FLAIR进行分割，从这些体素类标签中提取统计和纹理特征，然后将其输入极限随机树(extremely randomised tree, 简称ERT)和SVM分类器中，从而确定体素代表的是健康的还是肿瘤的脑区.该方法在多模态脑肿瘤分割2012 挑战赛(multimodal brain tumour segmentation challenge, 简称MBTSC[16])上表现良好，分类结果比较表明，ERT在肿瘤分级的检测和分割方面略优于SVM.文献[17]使用多序列MRI图像以及扩散张量成像(diffusion tensor imaging, 简称DTI)数据，获得跨模态清晰的肿瘤边界.他们将提取的文本和基于强度的统计特征输入RF分类器对体素进行分类.将DTI的分量即各向同性(p)和各向异性(q)与传统的MRI数据结合在一起，显著提高分类结果.在MBTSC 2013数据集上进行测试时，该方法表现良好，并提供了对肿瘤的专业分割.文献[18]提出用扩散分割(diffusion segmentation, 简称D-SEG)的方法，从已测定体积的MRI数据中利用扩散特性对半自动分割病变进行分析，在通过k均值聚类将(p，q)空间中的体素划分为簇后，健康脑组织和肿瘤区域的边界在由此产生的组织分割中变得明显和清晰.作为对比，深度学习模型无须设计和选择特征，而是自动学习具有层次结构的表征[19].其中卷积神经网络(convolutional neural network, 简称ConvNet)广泛应用于医学图像的分割，同时也被认为是脑瘤图像分割最先进的方法.文献[20]设计了一种将标准变分水平集与完全卷积网络相结合的体系结构.文献[21]引入了自动对焦层，增强了网络的多尺度处理，并通过注意力机制学习在医学图像对象识别的最优尺度，此外，加入的空洞卷积提高了网络的可解释性和表示能力，从而改善了肿瘤的分割.文献[22]引入了一种3维深度级联注意力网络.与其他级联模型相比，它通过独立的分支和它们之间的共享特征提取器来处理多类分割任务，随后通过级联注意方法提取各分区之间的关联信息.文献[23]提出一种使用多分辨率输入的2维和3维模型来分割脑肿瘤图像，然后集成它们的结果来获得更加鲁棒的分割图.此操作减少了过拟合，并产生了一个更一般化的模型.文献[24]利用生成对抗网络(generative adversarial network, 简称GAN)以扩展到合成的高对比度图像.将这些合成图像与真实脑组织MR扫描图像进行比较，结果表明，图像分割得到了显著改善，并减少了用于分割的真实通道数量.文献[25]利用经过自动编码器正则化的3维ConvNet进行脑肿瘤图像分割.文献[26]提出一种卷积U型ConvNet，从而使得每个模态都有独立的编码器，然后在最终的特征融合块中校准每个解码器块的特征，最后模型给出最终的预测.文献[27]中利用传统的编码器-解码器架构，并结合最新的损失函数，进一步提高分割的精度.

然而，由于胶质瘤的形状、大小和外观的差异，以及恶性肿瘤和脑组织之间存在的模糊边界，准确分割肿瘤仍极具挑战[28].因此，需要进一步探索更好的分割技术和更优的准确性的分析方法.笔者利用多个3维ConvNet模型从多模态MRI扫描中进行脑肿瘤分割，并将它们的概率图进行一种“优选集成”，以获得更稳定的预测.使用的子网络分别在MBTSC-2019使用的数据集上进行训练，且每个模型都有对应的tips更改与超参数优化.在验证集的评估结果表明，笔者的方法在增强肿瘤(enhancing tumor)、整肿瘤(whole tumor)和肿瘤核心(tumor core)上皆取得了极具竞争力的结果.

1 方 法

使用单个的神经网络进行图像分割的效果通常精度较低达不到预期，因此笔者对深度神经网络进行优选集成以适应脑肿瘤分割的任务.具体来说，提出了由2个网络组成的轻量级集成方法，每个网络都有选择地在训练集上进行训练.这些网络的输出是在分割肿瘤子区域方面有所不同的分割图，最后将分割图组合起来得到最终的预测.这2个网络的训练细节如下.

1.1 子网络1：3维-ConvNet

集成中使用的第1个子模型是3维-ConvNet.它使用具有加权空洞卷积的多纤维单元进行多尺度表征以用于3维体积分割，如图1所示.另外，对该网络进行微调，以改善分割效果.

图1 3维-ConvNet的框架

在将数据输入网络进行训练之前，使用多种数据扩充技术如裁剪、旋转、镜像等对数据进行增强.使用块大小为128×128，并结合了dice损失和focal损失函数在150个epochs上训练模型.微调的超参数如表1所示.

表1 3维-ConvNet超参数

对MRI数据应用零填充，使得原始240×240×155大小的体素被转换为240×240×160，即正好可以被网络整除的深度.一旦准备好数据进行验证，就通过训练好的网络来生成概率图.随后使用这些概率图进行集成以预测最终的结果.

1.2 子网络2：3维-U型ConvNet

集成的第2个子模型是与经典U型-ConvNet体系结构不同的3维U-Net变体，与之不同的是其中的ReLU激活函数被Leaky-ReLU所取代，并使用实例归一化(instance normalization, 简称IN)以代替批量归一化(batch normalization, 简称BN).使用其在MBTSC-2019数据集上从零开始训练，如图2所示，其中紫框表示3维卷积单元，红线表示最大池化操作，蓝线表示3线性上采样(trilinear upsampling)操作且橘线表示合并操作.同样对该网络进行微调以改善分割效果.

图2 3维-U型ConvNet的框架

通过裁剪数据来减少MRI大小.然后通过其他异构数据的中值体素空间重新采样，随后进行z-score归一化.为了训练网络，使用输入块大小为128×128×128的体素且批量大小为2.在学习时对数据应用不同的图像增强技术如旋转、镜像反转和伽马校正以避免过拟合，从而提高模型的分割精度.使用的损失函数结合了交叉熵损失函数与dice损失函数.表2详细说明了训练过程中的超参数.

表2 3维-U型ConvNet超参数

基于图像块进行验证，其中所有的图像块重叠一半的大小，并且中心附近的体素有一个更高的权重被分配于它们.在测试期间，沿着图像轴进行镜像反转获得了额外的增强数据.3维-U型ConvNet的输出也是用于集成的概率图.

1.3 集成方法的细节

笔者提出的集成方法不是通过2个模型生成的预测(即概率图)的简单平均来构建的，而是在进行严格的测试之后提出了一种“优选集成”的策略，此后合并了2个模型的输出，如图3所示.

图3 优选集成框架

分别在验证集上测试已经经过训练的网络，从而获得相对应的图像分割结果.其中单个模型的预测是在线上的MBTSC服务器上独立评估，以确定它们分割肿瘤区域的效果.然后，比较这2个模型的dice分数，以确定对于特定的肿瘤区域来说，哪个子网络更加准确，优于另一个子网络.

经过实验发现，3维-ConvNet在分割增强肿瘤方面表现得更好.同时，3维-U型ConvNet能够更准确地分割肿瘤核心.最后，在整肿瘤的情况下，结合来自2个网络的预测优于独立的分割结果.因此，可以得到3个区域的最终集成方案：(1)对于肿瘤核心，只使用3维-U型ConvNet的输出结果；(2)对于增强肿瘤，只使用3维-ConvNet的输出结果；(3)对于整肿瘤，对2个子网络的输出赋予同样的权重.注意到预测阶段是在线上服务器上进行评估，最终得到笔者集成方法的dice分数.后面将更详细地讨论这些结果.

1.4 一些技巧的介绍

现对一般的深度网络中不常使用但在笔者方法中应用时效果显著的一些技巧进行介绍：

(1)z-score归一化

z-score归一化，也叫标准分数归一化，它的形式是一个数与平均数的差再除以标准差的过程，如式(1)所示

(1)

其中：μ为均值而δ为方差.通过它能够将不同量纲的数据转化为统一量纲的z-score再进行比较，从而提高了数据的可比性而最大程度削弱了数据的可解释性，此外它还可以防止协方差矩阵病态，相当于将协方差矩阵转化为了相关系数矩阵，更加不容易受到扰动.

(2)伽马校正

伽马校正就是对图像的伽马曲线进行校准(计算机成像领域惯以屏幕输出电压与对应亮度的转换关系曲线称为伽马曲线)以对图像进行非线性色调编辑的方法.它可以检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果，如式(2)所示，括号里面便为伽马校正的核心.

Iout=(Iin1/gamma)gamma，

(2)

其中：Iout为输出像素值，Iin为输入像素值，gamma为校正因子.

(3)dice分数与dice损失函数

dice分数是一种用于度量集合相似度的函数，通常用于计算2个样本的相似度，取值范围在[0,1]，如式(3)所示

(3)

对于文中的图像分割任务而言，X表示具有真值标签的分割图像而Y表示预测输出的分割图像，分母表示X与Y中像素个数总和，分子表示X与Y的交集的2倍(乘以2以消除分子中重复计算X与Y交集像素的影响).

而dice损失表示为

(4)

(4)交叉熵损失与focal损失函数

交叉熵损失函数的形式如式(5)所示

(5)

其中：d为由布尔型标签向量，y为浮点型激活函数的输出向量.可见普通的交叉熵对于正样本而言，输出概率越大损失越小.对于负样本而言，输出概率越小则损失越小.此时的损失函数在大量简单样本的迭代过程中收敛比较缓慢且可能无法优化至最优.

focal损失函数改进1

(6)

首先在原有交叉熵损失函数的基础上加了一个权重因子，使得更关注于难以区分的样本，其中γ通常取2.

focal损失函数改进2

(7)

focal损失函数还引入了平衡因子α，用来平衡正负样本之间的比例不均匀.α的取值范围为0～1，当其为0.5时，可以相对增加d=1所占的比例，以此保证正负样本的平衡.

2 实验结果与分析

2.1 数据集

多模态脑肿瘤分割挑战[16](multimodal brain tumour segmentation challenge, 简称MBTSC)是一个用于评估基于机器学习的肿瘤分割方法发展的平台，其中的基准数据集包括为参与者提供的胶质瘤3D MRI图像(LGG和HGG皆有之)和专业医生注释的真值标签，其中所提供的多模态扫描图像可用于针对特定分割任务[6,11]神经网络的训练和验证.

使用MBTSC-2019数据集[16]进行实验.MBTSC-2019数据集是从19个不同的组织与机构获得的综合数据集，包含每个患者的多模态MRI扫描，即T1加权像，增强扫描T1加权像，T2加权像和FLAIR，它们的肿瘤亚区已被分割.这些数据经过预处理进行归一化：它们的颅骨剥离并对齐以匹配解剖学模板，并以1 mm3的分辨率进行重新采样.每个序列的维度为240×240×155.训练集的示例图像及其相应的真值标签如图4所示，其中对于肿瘤区域的不同模态进行颜色上的区分：增强肿瘤以红色表示，整肿瘤以绿色表示而肿瘤核心以蓝色和红色表示.由图4可以看出，手动的标签值突出了3个肿瘤区域：瘤周水肿、增强肿瘤、坏死和非增强核心.

图4 MBTSC-2019中的示例图像

MBTSC-2019中的训练集被用以训练模型，其中的验证集被用以评估所提出的集成方法.训练集由259名HGG患者和76名LGG患者组成，皆含有经过专业注释的真值标签.验证集包括125个未知患病等级的例子，且真实标签并未面向公众开放.

值得一提的是，笔者提出的方法可以有效提高准确率，但并不像其他一些方法那样，在训练阶段的实验中，笔者没有使用任何外部数据集进行预训练.此外，由于对MBTSC-2019测试集的访问仅限于参与比赛的人员，因此，基于MBTSC-2019的验证集来报告测试结果.首先在验证集上报告所提出集成方法的分割结果，然后将其与现有最先进的方法进行比较.

2.2 实验结果与分析

2个子网络有选择地在MBTSC-2019训练集(n=335)上进行训练，并在提供的MBTSC-2019验证集(n=125)上进行测试，然后通过提出的“优选集成”方法智能地结合这些模型的分割图，并最终给出肿瘤组织类型的最终预测.最终的结果显示笔者的方法用于增强肿瘤分割得到的dice分数为0.749，用于整肿瘤分割得到的dice分数为0.905，用于肿瘤核心分割得到的dice分数为0.847.在图5～7中显示了一个对于MRI FLAIR的分割结果例子，依次为横切面、冠状切面与矢状切面.对于此例，首先分别从2个子模型中生成分割图，然后显示最终合并的输出结果.对于患者的增强肿瘤、整肿瘤和肿瘤核心的dice分数分别为0.927，0.947，0.924.

图5 FLAIR的原始横切面与其结果 图6 FLAIR的原始冠状切面与其结果 图7 FLAIR的原始横切面与其结果

进一步分析不同的集成技术，以确定这些方法之间是否有差异及确定结果最准确的方法，分析结果列于表3.

表3 不同分割图集成方案的dice分数

由表3可知，它再一次证实了1.3节的结论，即3维-ConvNet在分割增强肿瘤方面表现得更好；3维-U型ConvNet能够更准确地分割肿瘤核心；在整肿瘤的情况下，2个子网络的效果较为接近，且合并结果后有些许的提升.与简单平均相比，所提出的“优选集成”方案具有更好的精度.

2.3 与MBTSC-2019比赛最终排名前3名方法的比较

在MBTSC-2019验证集上评估了笔者提出的优选集成CovnNet方法，然后将其与MBTSC-2019比赛前3名方法的dice分数进行比较，结果列于表4.

表4 不同方法的dice分数

由表4可以看到，级联U型-CovnNet[29]在挑战中取得了最好的成绩，笔者的方法所得结果在增强肿瘤方面与其出现了显著的差距，而对于整肿瘤和肿瘤核心的结果差不了太多；比手袋CovnNet[30]有更好的肿瘤核心结果，并且在增强肿瘤和肿瘤核心方面只有很小的差距.同样，与三平面级联CovnNet[31]方法相比，笔者的方法能够更准确地分割肿瘤核心.

2.4 与其他方法的结果对比

表5显示了与文献[23-27]中方法的比较(按照原文设置在MBTSC-2019数据集上进行验证).作为对比，对其在训练期间皆没有使用其他外部数据，其中最好的方法表现以下划线表示.

表5 笔者方法与其他文献中的方法的dice分数

由表5可以看出，除了增强肿瘤，对比其他在整肿瘤和肿瘤核心的网络，所提出的优选集成ConvNet可以获得更好的分割结果.不选用表现更好的主干网络作为子网络的原因:首先，从临床医学的观点来看，肿瘤核心与整肿瘤的使用频率和在诊断方面的重要性都大于增强肿瘤的；其次从 MBTSC的规则来看，得分点的重要性，肿瘤核心>整肿瘤>增强肿瘤；最后，笔者方法的重点在于验证优先集成的方法，因此在这里“奥卡姆剃刀” 也是完全适用的而不必更换为其他更为先进的网络.

由此看来，通过对3维-ConvNet和3维-U型ConvNet的优选集成，在脑肿瘤图像分割方面呈现了其高效率，最终达到比同期优秀方法更好的分割精度.

3 讨 论

笔者提出了一个3维-ConvNet和3维-U型ConvNet的集成方法，用于多模态MRI数据上的脑肿瘤分割，通过优选集成将2个子网络的输出结合起来，以在MBTSC-2019验证集上获得有竞争力的分类精度.该方法在增强肿瘤、整肿瘤和肿瘤核心方面分别达到0.750，0.906，0.846的平均dice分数，优于目前的许多方法.

虽然该方法在整个肿瘤和肿瘤核心类别上表现良好，但增强肿瘤的分割精度仍需改进.文献[29]中实施了一种有趣的阈值方案，其中如果增强肿瘤小于设定的阈值，该区域将被坏疽组织取代，此操作显著提高了增强肿瘤类别判定的准确性.目前笔者的工作仍然需要完善：首先，所提出的分割集成目前只在MBTSC-2019的官方验证集上进行评估，后续可以进一步通过测试单独的临床MRI数据验证.其次，笔者没有对数据集进行大量的预处理且对结果进行后处理.作为比较，许多文献提出模型通过强度归一化[32]和偏差校正[33]等方案以最小化它们数据的变数.同样的后处理方法，如使用条件随机场[34]，也被证明了可以提高分割精度.尽管仍有上述需要补足与改善的方面，笔者所提出的优选集成方法仍在多模态区域中表现出高效和鲁棒的肿瘤分割精度.在未来的工作中，除了上述提到的方面，笔者计划在集成中添加一些临床数据以及进一步调整超参数来提高模型的效果.

4 结束语

从多模态的磁共振图像中自动而准确地分割脑肿瘤对于相关脑癌的诊断与治疗相当重要.笔者提出了一种优选集成ConvNet方法而将在MBTSC-2018上表现良好的3维 ConvNet与同样在医学分割上表现出色的3维-U型ConvNet网络的分割图进行集成.具体来说，就是对2种模型分别在MBTSC-2019所用的多模态数据集上进行训练，通过分析它们的差异化表现而进行不同的分割路径.最后在验证集上对优选集成方法进行验证，结果表明笔者所提的方法在多模态的肿瘤图像上取得了比同期其他方法更优的精度.