基于三维卷积神经网络的颈部TOF MRA图像的血管自动分割

邱伟 陈硕 魏寒宇 李睿

0 引言

脑血管病是危害人类健康的最主要的疾病之一，也给我国的经济和社会发展带来了沉重的负担[1]。其中，缺血性脑卒中是发病率最高的脑血管病类型，约占80%。颈动脉病变(如动脉粥样硬化)和椎动脉变异(如椎动脉优势)是缺血性脑卒中的主要致病原因[2-5]。临床常用的影像学血管评估方法多为血管造影法，如磁共振血管造影(magnetic resonance angiography,MRA)、CT血管造影(CT angiography,CTA)、数字减影造影(digital subtraction angiography,DSA)等。尽管CTA和DSA等方法被广泛应用于急诊诊断、手术规划、介入引导等医疗场景，并且近年来关于颅颈动脉CTA或DSA的人工智能分割、诊断等研究成果日益增多，但因辐射性、有创性、需外源造影剂等弊端，这些方法仍具有应用的局限性。时间飞跃法磁共振血管成像(time of flight MRA,TOF MRA)应用流入增强效应而无需外源性造影剂注射即可对多血管床进行成像，以其无辐射、无创等优势成为应用广泛的血管造影技术之一[6-7]，并且多项研究证明TOF MRA在颈部动脉、颅内动脉等部位成像效果与CTA、DSA基本一致[8-11]。

基于TOF MRA对血管形态进行准确快速的评估，有助于疾病鉴别诊断、发病规律的探究、治疗方案的规划、治疗的影像学随访等等，具有重要意义[12-14]。对于颈动脉管腔的准确分割是获取管腔形态结构信息，从而对血管狭窄程度进行评估的重要步骤。但传统的管腔分割多采用手动勾画方法，耗时、低效、依赖图像处理人员的经验，并不适用于大规模临床或科学研究。近年来逐渐成熟的深度学习人工智能技术使得快速准确分割TOF MRA图像的血管管腔成为可能。

目前基于深度学习人工智能等图像后处理方法已被应用于CTA影像分割的研究和临床应用中。但相较于成像质量更稳定的CTA，TOF MRA因其成像原理更易受血液流速、磁场不均匀、人体生理运动以及具体磁共振成像参数的影响，存在着图像对比度不一致和质量不够稳定的问题，因此对TOF MRA图像进行后处理分析挑战更大。Wilson等[15]搭建高斯-均匀混合分布模型，应用最大期望化算法对模型参数进行估计，在TOF图像中对血管进行了良好的分割，这是经典的基于阈值的自动分割方法。Xiao等[16]利用检测到的种子点进行区域生长，在多特征融合增强图像上分割脑血管，但这种半自动的算法也不适于大规模处理。近年来，深度学习技术，尤其是基于U-Net[17]或者3D U-Net[18]神经网络分割方法，已被广泛用于血管的自动分割[19]，其分割效果优于传统方法[20-21]。Phellan等[22]使用基础的深度卷积神经网络(CNN)，Livne等[23]使用半 U-Net网络，Sanches等[24]使用3D U-Net网络，Zhu等[25]以3D Res U-Net 作为基础网络都比较成功地对TOF MRA图像进行了血管分割，在各自的数据集上分别取得了0.78、0.89、0.7和0.85的Dice值结果。尽管上述深度学习后处理方法表现已优于传统方法，但其未充分利用TOF MRA图像本身具有的稀疏性和高对比度等特征，且在网络结构方面存在着通道数和卷积层数不匹配，图像细节提取层次不够等不足之处，难以对TOF MRA图像进行更高精度的特征提取。

为此本研究拟提出一种适用于TOF MRA图像的三维卷积神经网络结构，并采用在原始的高分辨率图像中裁取三维切块的方式来对神经网络进行训练和优化，实现对3D颈部TOF MRA图像的血管精确分割。

1 材料与方法

1.1 研究对象与数据

1.1.1 数据的获取

颈部3D TOF MRA图像源于老年人心脑血管病发病风险研究(Cardiovascular Risk of Old Population，CROP)项目[26]中166名受试者，纳入标准为年龄不低于60岁，6个月内无心血管系统症状以及冠心病或中风病史，所纳入数据的图像质量均衡。

所有受试者均在3.0T MR成像仪(Philips Achieva TX,Best,荷兰)上完成双侧颈动脉TOF MRA成像检查，接收线圈采用自主研究设计的36通道神经血管线圈。该项目研究方案已通过清华大学医学伦理审查会审核批准，所有受试者参与项目前均签署书面知情同意书，伦理批准文号是20110022。

颈动脉TOF MRA的成像主要参数为：快速回波场序列(fast field echo,FFE)，重复时间(time of repetition,TR)为 25 ms，回波时间(time of echo,TE)为3.453 ms，翻转角为20°，成像视野为130(AP)×168(RL)×140(FH)mm3，空间分辨率为0.7 mm×0.9 mm×1.8 mm，重建后的图像矩阵大小为528×528×156。

1.1.2 图像标注及数据集准备

数据由2名具有3年以上磁共振血管影像评估经验的图像判读人员运用Mimics软件(Materialise Mimics Medical 17.0)对图像数据集进行像素级的三维手动勾画标注，标注的血管包括双侧椎动脉、颈总动脉、颈内动脉和颈外动脉。图像标注人员采用观点一致性原则进行图像标注，当判读者间存在争议时，由第3名高年资医生(10年以上脑血管影像诊断经验)进行仲裁。标注完成后将166例图像数据按照8∶1∶1的比例随机分为训练集(n=132)、验证集(n=17)和测试集(n=17)。

1.2 研究方法

1.2.1 新分割模型搭建

本研究所提出的多层级输入的3D CNN神经网络模型如图1所示。该模型包括4层降采样和4层上采样，分别构成编码路径和解码路径，实现了从三维MRA图像到三维血管掩膜图像的端到端网络结构。这比基础的3D U-Net增加了卷积层数，有利于对高分辨图像进行更深层次的特征提取。网络中的每一层均是一个残差网络模块，由两个卷积核(kernel)为3×3×3、步长(stride)为2的卷积层(convolution)、一个步长(pooling size)为2的最大池化层(maxpooling)或反卷积层(deconvolution)和残差连接结构[27]组成，增加的残差结构可以在网络加深的时候避免出现梯度消失的问题。这些卷积操作中均使用Relu函数作为激活函数。将输入的TOF MRA图像分别进行2倍、4倍和8倍下采样缩小后，与每层编码器输出的特征图进行拼接结合(concatenate operation)，随后通过每一层的跳过连接将等比例缩小的TOF MRA图和编码器提取的特征图一起输送给相应层级的解码器，再进行进一步的训练学习。通过在跳跃连接时添加不同尺度的原始图像特征，充分利用了不同维度下的浅层特征，再结合残差结构下的深层特征，此改进使该网络能够全面考虑到MRA图像不同层的特征映射，避免引入更复杂的卷积和池化等操作。输出层使用1×1×1的卷积进行通道信息整合，最后使用Sigmoid激活函数进行结果输出。

图1 新三维卷积神经网络结构Figure 1 The new 3D CNN structure

1.2.2 实验实施细节

实验在Ubuntu 18.04系统下进行，深度学习网络框架为TensorFlow(v1.14.0)，Python版本为3.7，模型训练及预测使用GeForce RTX 2080Ti，显存为11 GB，CUDA版本为10.0，cuDNN版本为7.4。

模型训练采用迭代学习参数平稳的Adam优化器，初始学习率设置为10-5，训练的迭代次数设置为100，批量大小为1。采用“1-Dice”损失函数作为模型的损失函数[27]，用以反映血管分割的准确度。

本研究将数据同样应用于Wilson等[15]提出的传统方法、3D U-Net[18]、3D Res U-Net[25](在3D U-Net的每个编码层中加入残差结构)和3D SE U-Net[28]方法(在3D U-Net的每个编码层中加入SE结构)，而且这些深度学习模型均采用上述的训练参数。上述基于深度学习的参考方法均是根据原文的描述用TensorFlow框架复现的。

1.2.3 三维切块大小的比较

由于本研究所使用的显卡内存大小为11 GB，故无法对全尺寸的图像进行学习和测试。将原始大尺寸图像裁剪成三维切块是解决计算资源限制从而提高效率的常用技巧。为了研究三维切块尺寸大小对网络性能的影响，本研究从TOF MRA图像中分别裁剪出3种不同的尺寸大小来进行对比实验，3种切块的尺寸从大到小分别为256×256×64(大)、192×192×64(中)和192×192×32(小)。每一种尺寸的三维切块都是从原始数据中切取出来，并进行Z-score标准化来改善图像对比度不一致的问题。同时为了避免模型在训练过程中出现过拟合的问题，本研究在原始图像的3个方向上随机进行不同步长的平移来进行数据增强，从而提高模型的稳定性。

1.2.4 结果评估

本研究中的实验均采用了十折交叉验证，以人工标注的结果作为参考标准，模型性能的评估基于以下量化指标：平均Dice系数、Dice系数标准差(十折)、灵敏度和特异度。针对每一种切块尺寸的对比实验，分别得到对于不同预测拼接方式的十折Dice系数，采用十折Dice系数的平均值和标准差对模型的分割性能进行评价，并对3种切块尺寸对比实验结果进行单因素方差分析(One-way ANOVA)。

2 结果

2.1 模型分割

表1显示了采用不同方法在TOF MRA图像上获得的血管分割统计结果。由表1可见，本研究提出的新3D CNN模型在数据集上获得了最高的Dice系数平均值0.932 0，最高的灵敏度0.918 6和特异度0.999 6，同时有着最低的Dice系数标准差(standard deviation，STD)为0.005 1。

表1 不同方法的颈部血管分割结果比较Table 1 Algorithms comparisons on neck vessel segmentation

随机挑选4个测试结果用最大密度投影方式进行可视化处理，如图2所示。并与Wilson等提出的传统方法、3D Res U-Net深度学习方法进行直观对比。本研究结果显示，所提出的3D CNN分割方法与手动分割方法具有良好的一致性，并且相比其他方法有着噪点数显著减少，与手动结果更为接近的效果。

图2 不同方法下的分割结果Figure 2 Segmentation results under different methods

2.2 不同切块尺寸下的网络性能

十折交叉验证下对3种尺寸切块的测试结果见表2。对于大、中和小3种尺寸的三维切块，分别训练出模型并在测试集上得出十折的平均Dice系数分别为0.932 0、0.917 5和0.899 3，十折Dice系数的标准差分别为0.005 1、0.011 5和0.021 0。单因素方差分析结果如图3所示，3组数据满足方差齐性，3组间差异具有统计学意义(P<0.01)。

表2 不同切块尺寸模型测试Dice系数统计结果Table 2 Dice results of three models with different patch size

图3 不同切块尺寸模型的单因素方差分析Figure 3 One-way ANOVA of three models with different patch size

3 讨论

3.1 新分割模型的有效性

本研究使用新提出的多层级输入的3D CNN模型对三维高分辨率颈部TOF MRA图像中的血管管腔进行了像素级分割，获得了高达0.932 0的Dice平均值，同时十折交叉实验下的标准差很小。从所运用的评价指标来看，所提出的新网络相比已有的经典模型，在TOF MRA数据上具有更好的可行性和效果。

本研究的3D CNN模型是在3D U-Net的基础上进行改进的。首先课题组在原U-Net结构上增加了一个编码层和解码层来应对大尺寸的输入图像，每一层中的残差结构能有效解决网络退化问题，有利于网络训练的深入。由于TOF MRA图像本身自带矩阵稀疏性，同时血管区域的高亮特性能起到独立于背景的作用。因此，本研究在网络每个跳跃连接层上添加了TOF MRA的多种分辨率数据，每层加入的数据能够起到区域响应增强的门控效果，抑制了无关区域的信息，更加突显目标区域。该改进能够增加网络对TOF MRA图像的特征学习能力，并提高网络对TOF MRA图像分割的稳定性，有助于本模型在分割算法中获得最佳分割性能。

3.2 对三维切块尺寸的分析

由于血管的完整和连续性，需要充分利用图像的全局特征来获得更好的分割结果。输入切块的尺寸范围越大，其包含的血管信息就越多，因此保持了更好的全局性。对研究结果进行总结分析可知，当三维切块的尺寸较大时，更大的输入拥有更大范围的上下文信息，使得网络能学习到更多的特征，并有益于网络参数的训练，从而使得网络的分割准确度更高，分割的稳定性也更好。因此，在显卡内存足够大的情况下，应选取尺寸尽量大的三维切块作为神经网络的输入来提升模型的性能。

3.3 本研究的局限性

深度学习网络模型的性能与数据集关系密切，然而此研究使用的数据集来自于无症状老年人群，缺少动脉显著狭窄或闭塞等的患者数据。此外，在对数据集进行人工手动标注时也会存在一定的个体差异，这些问题均可能对研究结果造成一定的影响。在今后的研究中可以通过扩大样本数量、丰富数据集种类、增加网络参数的讨论范围和采用多种图像预处理方式来进一步提升研究效果。

总体而言，本研究针对3D TOF MRA图像的血管分割，提出了一个新的多层级输入的三维卷积神经网络，实验结果表明该模型能够从3D TOF MRA图像中自动分割出颈部动脉血管，且分割性能优于现有方法。此外，实验表明增加三维切块的尺寸可以提升模型分割性能，这为模型参数选择提供了有力参考。