一种基于结构感知的肝血管分割模型

贾熹滨, 孙馨蕊, 杨正汉, 杨大为, 王 珞, HONG Min

(1.北京工业大学信息学部, 北京 100124; 2.首都医科大学附属北京友谊医院放射科, 北京 100050;3.顺天乡大学, 水原 336-745, 韩国)

准确识别肝血管对于肝脏局灶性病变的定位、制定肝脏切除手术方案、评估肝脏实质病理及影像改变等均有重要价值。过去对肝脏大血管的分割主要依据医生的手工标注,但该方法存在费时、低效、医生间不一致等局限性。因此,实现全自动、高精度、高效及一致性的肝血管图像分割具有重要的临床应用价值。

传统肝血管分割方法主要有基于阈值的分割方法[1-3]、基于区域生长的分割方法[4-6]、基于活动轮廓模型的分割方法[7-8]等。但由于肝脏图像灰度信息常常较为复杂,个体差异性较强,以上手动设计特征提取模块的方法能够提取的特征较少,所提出的模型通常泛化性较差,且具有较大的局限性。

目前基于深度学习的肝血管分割方法主要基于两大类,2D的分割模型和3D的分割模型。很多现有的肝血管分割方法基于2D分割模型实现。Kitrungrotsakul等[9-10]利用3个特征提取网络,分别从肝脏计算机断层扫描(computed tomography,CT)图像的冠状面、矢状面、横截面3个方向进行分割,再将所得结果融合获得最终的分割结果。Ibragimov等[11]提出的模型具有和U-Net[12]相似的结构,并通过马尔可夫随机场(Markov random fields, MRFs)对肝门静脉中心线进行增强,以去除错误分割的部分。Feng等[13]提出边缘竞争血管分割网络用于病理肝脏血管的分割,结合边缘感知自我监督机制,以有限标记信息进行血管分割。同时,以对抗的方式优化前背景分割信息。Li等[14]提出了一种分阶段的深度网络,利用注意力机制加强这些区域低对比度毛细血管的空间激活。可以看出,该方法以提升血管分割的结构性为主要目标,提出了不同的解决方案。但对于2D的分割模型而言,由于没有利用切片间的连续信息,分割精度和分割结果的连续性有所限制。

为更好获取上下文信息,研究者将3D卷积神经网络用于肝血管分割任务中。Huang等[15]为了处理肝血管和肝背景类别之间的高度不平衡,提出了一种基于骰子系数变量的损失函数,用于增加对误分类像素的惩罚。孙锦峰等[16]提出一个二阶段的三维卷积神经网络用于分割肝静脉和肝门静脉,在网络的第1阶段分割全部肝血管,第2阶段分割肝门静脉,通过2个阶段的结果分离出肝静脉。Yan等[17]利用注意力机制和多尺度融合的方法对肝脏CT图像的全血管进行分割,以提升不同尺度的肝血管的分割效果。Yang等[18]在V-Net的基础上引入扩张卷积,使网络在不使用下采样的情况下仍能扩大感受野。同时,在网络的解码器中设计了尺度间的密集连接,以防止解码过程中高层语义信息的丢失,并有效地整合多尺度特征信息。Su等[19]将密集块结构引入V-Net中,并提出了双分支密集连接下采样策略,用于更好地捕捉肝脏血管特征。3D分割模型虽然能够利用图像中相邻切片的连续信息,但是由于血管细小且分布在整个肝区域内,标注一例质量较好的血管标注信息通常需要花费大量的时间,因此获得大量的、标注质量好的血管标注数据较为困难。这为分割精度的提升带来了很大的局限性。其次,肝血管数据集的层间距通常在1.5～7.5 mm,由于层间距的问题,相邻2个切片上可能存在信息突变的现象。图1为同一病例的2张相邻切片,由红框部分可以看出一些细小的肝血管在相邻切片上已无法观察到。因此,在引入上下文信息的同时也为模型带来更多的冗余信息。

图1 相邻层切片数据

一方面,2D网络缺少上下文信息;另一方面,由于缺乏大量标注数据用于训练,3D网络的模型训练效果常不理想。为解决上述问题,本文提出局部-长距离-相邻信息融合模块,并基于该模块改进并优化了U-Net网络结构,本文将编码阶段的每一个卷积层优化为本文的局部-长距离-相邻信息融合模块,同时提取特征图局部信息、长距离相关信息和相邻切片融合信息,并对不同分支的信息进行特征融合。此种融合模式在提升网络特征提取能力的同时,有效地减少在下采样过程中信息损失的问题,提升分割的效果。

1 基于结构感知的肝血管分割网络

本文提出一种基于结构感知的肝血管分割网络(local-global-adjacent information fusion U-Net,LGA U-Net), 网络结构如图2所示。该网络是基于U-Net改进的端到端2D肝血管分割网络。其输入为分割切片及其相邻2张切片,输出为肝血管分割结果。网络的解码阶段仍采用U-Net的解码器,而将U-Net编码器中的编码层操作改进为本文提出的局部-长距离-相邻信息融合模块(local-global-adjacent information fusion module, LGA),LGA模块可以同时获取局部、长距离和相邻切片上下文信息并进行融合,为解码阶段提供充足的语义信息。

图2 网络结构

1.1 LGA模块

LGA模块的结构如图3所示,该模块由残差卷积模块、长距离信息获取模块和相邻信息提取模块组成。给定特征图通道数C、高H和宽W。其中,残差卷积模块用于获取特征图相邻像素之间的局部信息,长距离信息模块用于获得特征图像素间的长距离依赖关系,相邻信息提取模块用于提取相邻切片信息作为分割的补充信息。3个模块的输出特征图FL、FG和FA相互补充,有效提升网络特征提取的能力。

图3 LGA模块结构

1.1.1 残差卷积模块

本文的残差卷积模块如图4所示。受到ResNet[20]中残差网络的启发,该模块包含2个卷积层。每个卷积层包含一个3×3的卷积核,一个批标准化(batch normalization, BN)操作和一个带泄露的修正线性单元(leaky ReLU, LReLU)操作。输入的特征图在经过2个上述的卷积层后,将输出结果与输入特征图相加,得到该模块的输出FL。

图4 本文使用的残差卷积模块

1.1.2 长距离信息提取模块

获取图像的长距离依赖对于图像分割任务而言是十分有利的,它相对于局部感受野而言能够获得图像整体的信息,而在卷积神经网络中,远距离的像素依赖需要卷积层逐层递推向前迭代获得。在卷积叠加的过程中,由于感受野的限制,长距离的信息往往在信息传递过程中逐渐丢失,尤其是对于血管这种管状且细小的目标而言则更为不利。

考虑到自注意力机制能够有效地提取长距离像素间的关系,在卷积层操作之间轻量地捕获输入特征图所有像素间的依赖关系,本文参考了GC Block[21],具体结构如图5所示。长距离信息提取模块首先通过卷积wk∈RC×1对特征图Fi进行线性特征转换,经过维度转换后通过Softmax归一化函数计算特征图的全局注意力图,将特征图与全局注意力图相乘,以聚合全局上下文特征。为了减小优化难度,长距离信息提取模块仅使用卷积wv∈R1×1对输出的全局上下文特征进行一次线性变换,并使用Sigmoid函数将不同通道的权重归一化至[0,1],最后采用求和操作将全局的上下文特征聚合到每个位置的特征中。

图5 长距离信息提取模块

(1)

zi=xi+Sigmoid(z′i)

(2)

式中:xi∈RC×1×1为特征图上某位置的输入;zi为其对应位置的输出;i为该位置的索引;j和m为特征图中所有位置的枚举;N为特征图中位置索引的个数(N=H×W);wk和wv为线性变换矩阵,wv最终输出特征图FG。长距离信息提取模块通过计算全局注意力图获取长距离依赖。将全局注意力图作用于特征图,可综合考虑特征图各个位置的特征信息,以此增强特征图的长距离依赖。

1.1.3 相邻信息提取模块

考虑到三维医学影像中的相邻切片可以为网络提供更多的血管立体走向信息,提出了相邻信息提取模块,并将其添加至特征提取的过程中。相邻信息的提取包括顶层图像融合和相邻信息提取模块2个步骤。

1)顶层图像融合

由于切片之间具有不连续性,相邻切片间相对位置较远的像素间相关性通常不高。因此,采用顶层图像融合策略, 在模型输入时将同一病例相邻切片灰度信息投影到目标切片的同一平面,进行图像层面上的特征融合,得到相邻-目标融合特征图像。给定一个待分割图像It∈RC×H×W,其相邻2层切片分别定义为It-1和It+1(见图2),其融合图像为

Ifuse=It+λ1It-1+λ2It+1

(3)

式中:λ1、λ2为可学习的参数值;Ifuse为网络最浅层相邻信息提取模块的输入,即相邻-目标融合图像。

2)相邻信息提取

对于相邻信息的提取模块而言,其目的是将相邻-目标融合图像中血管连续性信息有效进行提取。顶层图像融合后,目标特征图血管的相关特征主要存在于相邻的像素之间。距离较远的像素其相关性通常较小,且已通过长距离提取模块获取切片内部的长距离相关性信息。同时,通过多个相邻信息提取模块的卷积传递,相邻切片中其他位置的像素也可以间接对目标像素特征做贡献。因此,相邻信息提取模块采用2个标准卷积层作为特征提取模块,便可有效地完成相邻信息的提取。相邻信息提取模块的每个卷积层包含一个3×3的卷积核,一个BN层和一个LReLU。相邻信息提取模块可以表示为

FA=g{W1,W2}(F′A)=σ(W2σ(W1F′A))

(4)

式中:W1和W2分别为标准卷积层的3×3卷积核;σ为LReLU,输入为上一层LGA模块输出的相邻-目标融合特征图F′A,输出为相邻-目标融合特征图FA。

1.1.4 局部-长距离-相邻信息融合

在分别计算了图3所示的局部特征FL、长距离特征FG和相邻特征FA后,此步骤将其进行特征融合得到输出特征图FLGA,即

(5)

式中:λ1、λ2、λ3为可学习的参数值;σ代表LReLU。

利用可学习的参数作为权值对3个模块的输出进行加权求和可以使权值在训练中不断被优化,使网络能够自适应地获得良好的融合效果。

1.2 损失函数

本文使用了交叉熵(cross entropy, CE)和骰子(dice-coefficient, Dice)损失函数[22]加权求和作为损失函数,从而有效改善肝血管图像前景像素与背景像素的不平衡性,同时加快训练的收敛速度。

交叉熵是分割模型常用的损失函数,能够度量模型输出的像素类别预测值和真实标签的差异性,用于判断分割结果是否准确。

(6)

式中:LCE为CE损失函数;N为像素点个数;yi为图像中像素i的标签值;pi为网络预测出该像素为前景的概率值。

Dice损失函数目前被广泛应用于医学影像分割任务中。其作为一种集合相似度度量函数,主要度量前景标注值和预测值之间的相似性。因此能够在一定程度上缓解类别不均衡带来的无法收敛到全局最优解的问题。

(7)

式中A和B分别为标签和预测值的集合。

为了确保训练过程稳定性的同时保持模型的有效性,本文采用CE与Dice损失函数的加权和作为本文的损失函数。交叉熵和Dice的融合公式为

Lseg=αLCE+(1-α)LDice

(8)

式中:LDice为Dice损失函数;α为超参数。为了使网络在更稳定地收敛的同时缓解类别不平衡的问题,本文将α设置为0.5。

2 实验与结果分析

2.1 数据集

本文使用了MICCAI 2018十项全能数据集(medical segmentation decathlon,MSD)[23]中的肝血管与肿瘤数据集(以下简称MICCAI肝血管数据集)和三甲医院收集标注的自采肝血管数据集来验证模型的有效性。

2.1.1 MICCAI肝血管数据集

MICCAI肝血管数据集,包含了303例带有标注的肝脏门静脉期的CT图像。该数据集标定了肝血管和肝肿瘤的分割掩膜。根据任务需求,本文只保留了肝血管的标签,并将这303例标注数据按照 7∶1∶2的比例划分为训练集、验证集和测试集,即训练集213例,验证集30例,测试集60例。

2.1.2 自采肝血管数据集

自采肝血管数据集的收集和标定主要由三甲医院的专业影像科医生完成,该数据集的标定包括肝背景(正常肝背景、脂肪肝、肝铁过载、肝纤维化)和肝血管,其收集和标定的主要目的是为了进行肝脏的定量研究。该数据集共有58例门静脉期MRI图像。按照6∶2∶2的比例随机将数据集划分为训练集、验证集和测试集,其中训练集38例,验证集10例,测试集10例。

2.1.3 数据预处理

由于2个数据集中不同病例间存在着体素间距差异较大的问题,因此需要对数据集进行体素间距归一化操作。具体方法是采用数据集所有数据的体素间距中位数作为归一化后的体素间距,并利用重采样的方法对整个数据集进行重采样。对于MICCAI肝血管数据集,利用先验知识,将图像HU值的强度截断到[-100,250]以去除冗余信息,再对其进行Z分数标准化(zero-mean normalization, Z-score)操作。对于自采肝血管数据集,由于不同病例的灰度差异较大,因此直接对每例数据进行标准化。

在训练时,使用翻转、高斯噪声、高斯模糊、伽马(gamma)变换等操作对训练集进行随机增强,以增强训练样本的多样性。

2.2 实验参数设置

实验中网络的具体参数为:输入图像大小为256×256,批大小为32,初始学习率设置为0.000 1,使用自适应矩估计(adaptive moment estimation, Adam)的模型优化算法,最大迭代次数为200次,若验证集损失在30轮训练内未下降,则学习率衰减为原来的0.1。

2.3 评价指标

为了对分割结果进行量化评价,本文分别使用骰子相似系数(dice similarity coefficient,DSC)[22]、F1值(F1 score)和中心线相似系数(centerline Dice,clDice)[24]来衡量分割结果。这些指标在模型分割质量方面进行了综合评价。下面给出这些指标的具体定义。

1) 骰子相似系数:用于度量分割结果与专家标注的相似性。该指标越高表明分割结果与标注一致性越高。

(9)

2) F1值:为了能够平衡不同算法的优劣,用来对精确率和召回率进行整体的评价。F1值认为模型的精确率和召回率同等重要,因此该项指标越高,则表明模型的综合效果越好。

(10)

(11)

(12)

式中:TP、TN、FP、TN分别代表像素分类结果中的真正例、真负例、假正例和假负例个数。

3) 中心线相似系数:利用迭代的最大值-最小值池化来提取专家标注和分割结果的血管中心线,并通过

(13)

(14)

分别计算拓扑精确率和拓扑召回率。

(15)

用于整体衡量拓扑精确率和拓扑召回率。该项指标越高表明模型分割结果与标注的拓扑一致性越高。式中:VL为专家标注的二元掩膜集合;VP为网络预测的分割掩膜集合;SL为专家标注掩膜的血管中心线集合;SP为网络预测出的分割掩膜的血管中心线集合。

2.4 肝血管分割对比实验

为了验证本文所提出模型的有效性,在实验数据集上测试的具体对比方法有:U-Net[12]、Res U-Net[25]、Attention U-Net[26]、U-Net++[27]、CE-Net[28]、添加中心线骰子损失(clDice loss)的U-Net[24]、3D U-Net[29]和LVSNet[17]。本文分别按照其模型的标准配置在MICCAI肝血管数据集和自采肝血管数据集上进行实验。

表1为在MICCAI肝血管数据集上不同模型的量化分割结果。可以看出,本文方法相较于其他算法而言在各项指标上均有提升。从DSC上看,相较于U-Net提升了约4.1%,相较于Res U-Net提升了约3%,相较于3D U-Net提升了约3.3%,相较于LVSNet提升了3.2%。相较于其他方法也均有不同程度的提升。从clDice上来看,本文方法分割结果相较于添加中心线损失的U-Net提升了约1.8%,相对于其他方法提升了约12%。

表1 MICCAI肝血管数据集不同模型的量化分割结果

表2为在自采数据集上不同模型的量化分割结果。本文方法的clDice相较于其他方法而言提升了6.1%～20.0%。

表2 自采数据集不同模型的量化分割结果

本文算法取得良好效果的原因在于本文提出的LGA模块能够在不添加额外的损失约束条件下有效地为网络特征提取部分补充长距离信息和相邻信息,由此获得了更强的血管结构认识能力,从而有效提升了血管分割的连续性和准确性。

2.5 肝血管分割结果主观分析实验

为进一步验证本文模型性能,本文对分割可视化结果进行直观的对比分析,在MICCAI肝血管测试集上随机选择2个病例给出不同模型的分割可视化结果样例,如图6所示。图6(a)～(i)依次为U-Net、Res U-Net、CE-Net等对比方法和本文方法的分割结果。图6(j)为专家标注信息,图中红框为模型将非血管像素误判为血管像素的区域。根据红框可以看出,对比方法存在不同程度的过分割现象。

图6 可视化结果

以病例二为例,3D U-Net将肿瘤错误判定为肝血管,其他方法也都不同程度地将图像中肿瘤的边缘部位判断为肝血管。而本文的方法对于该区域给出了良好的分割结果。

2.6 消融实验

本文以MICCAI肝血管数据集为例进行了消融实验,用来验证本文提出的LGA模块的各子模块的有效性。本文使用DSC和F1对模型进行性能评估,实验结果如表3所示。

表3 消融实验

其中,基线模型(Baseline)的结果为仅采用LGA模块中残差卷积模块的实验结果。由实验结果可以看出使用基线模型分割肝血管的Dice和F1值分别为57.57%和58.81%。此后,分别在基线模型上添加长距离提取模块(Baseline+Global)和相邻信息提取(Baseline+Adjacent)模块,在基线模型上添加长距离提取模块后,DSC和F1值分别提升了4.54%和6.65%。在基线模型添加相邻信息提取模块后,DSC和F1值分别提升了5.96%和8.14%。当使用完整的LGA模块时,DSC和F1值相对于基线模型提升了6.46%和9.12%。实验结果表明,LGA模块的各子模块均有助于网络分割效果的提升。

2.7 模型参数对比

本文对比了不同方法的参数量(parameter,Param),模型所需的计算力(floating point operations,FLOPs)和对每张切片分割所需时间。本文方法的Param为1.38×107个,FLOPs为1.701×1010次,推断时间为0.132 s。本文方法在Param和FLOPs均远小于CE-Net、3D U-Net以及LVSNet。但相对于U-Net、Res U-Net等对比方法,虽然加入相邻信息提取模块,FLOPs并未大幅增加。表4中的结果表明,本文方法在不需大量参数的情况下获得最优的分割结果。

表4 不同方法参数对比

3 结论

1) 提出了一种基于结构感知的肝血管分割算法框架。有效缓解了2D网络无法表征血管立体走向与3D网络训练数据不足的问题,提升了肝血管的分割效果,同时提升了肝血管分割的连续性。

2) 提出了局部-长距离-相邻信息融合模块。该模块由残差卷积模块、长距离信息提取模块和相邻信息提取模块3个部分组成。残差卷积模块起到提取特征图中局部特征的作用,长距离信息提取模块能够提取特征图长距离的相关性,有效地减少下采样过程中长距离信息损失。相邻信息提取模块为网络补充了相邻切片血管的信息,起到提升肝血管结构性和连续性的作用。

3) 本文在MICCAI肝血管数据集和自采肝血管数据集上进行的实验验证了本文所提出算法的有效性。实验结果表明,本文所提出的算法实现切片间空间上下文信息的建模,有效提升了肝血管的分割准确率。在可视化实验中,相对于现有方法,本文方法的血管分割的准确性更好,结构连续性也有大幅提升。