一种融合二维和三维卷积网络的两阶段冠状动脉分割方法

曾雨鸿 宋佳宁 刘 嘉*

1(中国科学院深圳先进技术研究院 深圳 518055)

2(中国科学院大学 北京 100039)

1 引 言

2018 年，心血管疾病占我国城乡居民总死亡原因的首位，属于危害公众健康的重大疾病。据推算，心血管疾病现有患者人数 3.30 亿，其中，冠心病患者有 1 139 万[1]。动脉粥样硬化引起的冠状动脉狭窄是冠心病发作的重要因素[2]，大部分斑块评估和狭窄的检测依赖于自动或半自动化的冠状动脉分割[3]。精确的冠状动脉分割对冠心病的治疗有重要意义，其中，冠状动脉血管断层扫描(Computed Tomoraphic Angiography，CTA)能无创伤地获得高分辨率的完整冠状动脉树[4]，因此，CTA 在冠心病检测中起至关重要的作用[5]。

血管的增强和分割任务长期存在于医学图像分析中，各种各样的传统方法被用于分割血管[6]。传统分割血管的方法包括：区域增长[2]、活动轮廓模型[7]、统计形状模型[8]、粒子滤波[9]、路径追踪[10]等需要提供种子点的交互式方法；此外，还有水平集[11]、图割[12]等无须交互的方法；以及对血管结构的无监督增强方法，如 Frangi 滤波[13]，这是一种对血管结构增强的滤波器。但分割被认为是一个基于体素的分类问题，所以这些方法可能会产生大量的假阳性或假阴性。自 2016年以来，深度学习在医学图像中的应用得到了长足发展[14]，多种基于深度学习的冠状动脉分割方法被提出。Tetteh 等[15]提出用 DeepVesselNet 网络进行血管分割、中心线预测和分叉检测。Shen等[16]用 3D FCN 和水平集相结合的方法分割主动脉和冠状动脉。Fu 等[17]使用 Mask R-CNN 分割主动脉和冠状动脉。Huang 等[18]利用 3D U-Net在有血管中心线的 CTA 上进行冠状动脉分割，这验证了中心线提取训练有助于血管分割。但是，血管中心线是一个强相关的辅助标签，较难获得，本文将研究一个全自动的冠状动脉分割方法，实现冠状动脉的自动分割。

本研究在 3D U-Net[19]的基础上结合二维卷积网络，利用骨架为桥梁对冠状动脉进行分割。

2 材料和方法

2.1 数据

本文使用数据为浙江大学附属第二医院收集的 60 例患有心绞痛或心梗的病人的计算机断层扫描血管造影图像。图像均由专家进行标注，标注的过程概括为：(1)选用最优的序列，一般选择厚度 0.75、相位 B26f 的 CTA 影像；(2)使用商用医学影像分割软件 MIMICS 的自动标注功能来获取初步标注；(3)根据分割出来的血管情况，选择性地采用拼接或追加的方式修补血管；(4)去除血管中的斑块；(5)使用 Geomagic 软件去除血管杂质粘连；(6)结合细化、偏移、去除钉状物、减少噪声、去除特征和快速光顺等操作快速光滑血管。实验数据的尺寸为 512×512×275个像素点，扫描间隔为(0.326～0.196)mm×(0.326～0.496)mm×0.5 mm。其中，训练数据集为 45 组，验证数据集为 5 组，测试数据集为 10组。本实验采用数据增强的方式，包括任意镜像翻转、90°旋转。

2.2 方法概叙

本文使用二维和三维卷积网络相结合的方法分割冠状动脉，结构图如图 1 所示。在训练阶段，首先使用改进后的 DeepLabv3+[20]网络初步分割冠状动脉；然后对冠状动脉分割结果重建，随后利用骨架细化算法提取冠状动脉重建结果的骨架，并以骨架点为中心提取感兴趣区域；最后对感兴趣区域用 3D U-Net 模型进行训练。在测试阶段，首先用与训练阶段相同的方式得到 3D U-Net 模型的冠状动脉分割结果，并对冠状动脉分割结果重建；然后对冠状动脉重建结果的骨架去除小连通区域，去除的标准为在骨架提取区域以 26 连通为连通方式，连通的骨架像素点小于280 个骨架对象；最后以去除小连通区域的骨架点作为种子点，对三维卷积网络的冠状动脉分割结果进行多种子点增长，得到最终的分割结果。

图1 两阶段冠状动脉分割方法结构图Fig. 1 The structure diagram of two-stage coronary artery segmentation method

2.3 二维卷积模块

本文将 CTA 影像的原始截断面作为二维卷积网络的输入，输入的数据大小为[512,512]。为了尽可能多地利用二维平面信息，本研究使用以 ResNet[21]为骨干的 DeepLabv3+ 作为基础网络，其网络层数较深、感受野较大，能得到充足的特征。此外，DeepLabv3+ 还包含针对多尺度信息优化的运算模块空洞空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)[20]，改进后的 ASPP 模块分为：3×3 的空洞卷积，空洞率分别为 12、24、38；1×1 的二维卷积；全局平均池化。之后将 5 个输出进行拼接，并用一个 1×1的卷积减少通道数。二维卷积网络的目的是在保证准确率的前提下，尽可能多地识别出冠状动脉，所以本文使用加权交叉熵损失作为二维卷积网络的损失函数。为了弥补二维卷积网络在三维空间的信息缺失，以预测的原始横截面为中心，取 3 张相连的原始横截面作为二维卷积网络的通道进行补充输入，由中心横截面的标签作为网络输出的标签进行训练。若补充信息过多，就会添加过多无效信息，与预测区域差距过大，从而妨碍分割。本文试验过将 5 张相连的原始横截面作为二维卷积网络的通道进行补充输入，实验结果反而较差。

2.4 三维卷积网络

本文使用 3D U-Net[19]作为三维分割的基础网络，由于计算力的限制和前后背景的均衡化，将 CTA 影像裁剪为[64,64,32]的区域，在每个裁剪块中，血管所在最大立方体平均占整个剪裁区域的 38.3%，最大占据比例为 87.98%，最小为0%。这样，剪裁块既包括一定的背景信息，有助于识别，又不会出现部分血管没有进行分割的现象。

在训练阶段，使用 Lee 等[22]的骨架细化方法提取标签数据的骨架，在骨架点集中，以 1 为间距提取骨架点，并以骨架点为裁剪中心，裁剪大小为[64,64,32]的区域。将裁剪区域纳入分割区域进行分割，本文使用 Dice 损失函数作为三维卷积网络的损失函数。

在测试阶段，为了增大远离剪裁中心的特征点的有效感受野，裁剪的区域大小扩大为[128,128,64]。由表 1 可知，当剪裁区域为[64,64,32]时，裁剪大小会对预测效果产生影响。

2.5 损失函数

二分类交叉熵损失是分割模型中常用的损失函数，通常用来衡量两个概率分布之间的距离，具体如公式(1)所示：

在二分类交叉熵损失中，前景和背景在公式中起同等作用。与误分割相比，在二维卷积网络中需要尽可能多地识别出冠状动脉。所以本文使用带权值的交叉熵损失函数，使其更倾向于分割前景。加权交叉熵损失函数如公式(2)～(3)所示：

其中， 为加权交叉熵损失函数；N为像素点个数；w为图像前后背景的比例；yi为某像素值的真实类别； 为某像素值的预测概率。

Dice 损失函数可直接优化模型目标，使预测和真实分割之间的 Dice 系数最大化。具体如公式(4)所示：

其中， 为 Dice 损失函数；X为模型预测的概率张量；Y为真实的标签张量； 为X和Y逐像素点相乘的和； 为预测概率的模； 为真实分割概率的模；smooth 为防止分母为 0 预设的量，一般设为 1。

2.6 模型评估

本实验采用常用的模型评价指标：Dice 相似系数(Dice Similarity Coefficient，DSC)、敏感性(Sensitivity)、ROC 曲线下方的面积(Area under the Curve of ROC，AUC)、豪斯多夫距离(Hausdorff Distance，HD)评估本文研究方法的表现，具体的计算如公式(5)～(9)所示：

3 实验与结果

3.1 实施细节

本文 DeepLabv3+ 利用 Tensorflow 实现。硬件配置为 GeForceGTX 1080 Ti。训练时，batch size 为 2，使用 Adam 优化器，学习率为 10-5，训练迭代次数约为 3.7×105，训练时间为 20 h。3D U-Net 利用 PyTorch 实现，硬件配置为 Tesla V100。训练时，batch size 为 50，使用 Adam 优化器，初始学习率 2×10-4，每迭代 8×103次学习率下降 0.2 倍，下降两次，总迭代次数约为 2×104，训练时间为 25 h。训练时裁剪尺寸为[64,64,32]，预测时裁剪尺寸为[128,128,64]。

3.2 结果

3D U-Net 在训练集和测试集上 Loss 和 DSC随训练轮次的变化曲线如图 2 所示。由图可知，随模型的训练过程，训练集的 Loss 不断下降，DSC 不断上升。验证集上没有出现过拟合现象，说明模型的训练过程有效。该模型在训练集和验证集上的 DSC 最高 可达 0.89 和 0.90。

图2 3D U-Net 在训练集和测试集上 Loss 和 DSC 随训练轮次的变化曲线Fig.2 The variation curves of Loss and DSC of 3D U-Net on training and test sets with epochs

在二维卷积网络模型中，本实验使用敏感性和 DSC 作为评价指标。为了尽可能多地识别出冠状动脉，使用本文提出的改进后的 DeepLabv3+作为二维卷积网络模型。由表 1 可知，该二维卷积网络的敏感性为 0.937，比其他二维卷积网络的敏感性高出 0.2 左右，比三维卷积网络的敏感性也高 0.015 左右。

在三维卷积网络模型中，本实验使用敏感性、DSC、AUC 和 HD95 作为评价指标。由表 1可知，当测试集的剪裁尺寸为[128,128,64]时，与其他方法相比，本文方法取得了较好的分割效果：在敏感性方面，本文方法较 3D U-Net 提高了 0.035，较 Res-UNet 提高了 0.085；在 DSC 方面，本文方法较 3D U-Net 提高了 0.082，较 Res-UNet 提高了 0.141；在 AUC 方面，本文方法较 3D U-Net 提高了 0.024，较 Res-UNet 提高了0.025；在 HD95 方面，本文方法较 3D U-Net 降低了 40.809，较 Res-UNet 降低了 57.284。当测试集的剪裁尺寸为[64,64,32]时，本文学习模型的敏感性、DSC 和 AUC 评价指标均出现大幅度的下降，但 3D U-Net 深度学习模型的敏感性、DSC和 AUC 等评价指标均未出现大幅度的下降。

表1 不同深度学习模型在测试集上的指标对比Table 1 The comparison of indicators of different deep learning models on the test set

图 3 为不同网络结构的分割结果的三维重建。每一行为一组数据的分割结果。第一列为标签的三维重建，第二列为 3D U-Net 后处理去掉杂质后的分割结果的三维重建，第三列为 Res-UNet 后处理去掉杂质后的分割结果的三维重建，第四列为本文方法的分割结果的三维重建。杂质的标准为与骨架没有连接的区域，红色箭头指示的是本文方法相对于前两种多识别出来的冠状动脉。

图 4 为不同网络结构的分割结果在 CT 横断面上的分割效果。每一行为 CT 横断面。第一列为标签的分割效果，第二列为 3D U-Net 去掉杂质后的分割效果，第三列为 Res-UNet 去掉杂质后的分割效果，第四列为本文方法的分割结果。

4 讨 论

由表 1 可知，除本文方法外，改进后的DeepLabv3+ 是敏感性最高的分割网络，敏感性可达 0.937，即其可以识别出最多的冠状动脉区域。本文提出的二阶段分割方法中，第一阶段的目的是得到一个粗分割结果，并用该结果提取合理的骨架，而改进后的 DeepLabv3+ 的 DSC 虽然有所下降，但是其识别出的冠状动脉区域是最多的，所以选择改进后的 DeepLabv3+ 作为第一阶段的网络。

测试阶段使用的剪裁尺寸为[128,128,64]，由表 1 可知，若使用和训练阶段一样的剪裁尺寸[64,64,32]，以二阶段分割方案进行测试，其敏感度、DSC、AUC 均会出现明显下降，特别是敏感度下降了一半，说明有很多冠脉没有被识别出，AUC 也下降了 0.260，说明预测结果很不稳定。这可能是因为未处于骨架中心的区域没有足够的有效感受野来预测所导致的。当把截取尺寸扩大一倍后，分割效果有了明显的提高，各种指标都达到了最优水平，特别是敏感性达到了0.956，这表明本文方法对冠状动脉的识别能力得到了提升。由图 3、图 4 可知，与 3D U-Net、Res-UNet 相比，本文框架识别出许多这两个网络没有识别出的冠状动脉，一定程度上解决了血管断连和血管缺失的问题。但是，本文方法同时误识别出了不是标签需要的血管结构，假阳性升高。这极大地影响了DSC 指标的提升。

图3 标签、3D U-Net、Res-UNet 和本文方法的分割结果的 3D 重建Fig. 3 The 3D reconstructions of labels, 3D U-Net, Res-UNet, and this method

图4 在断层图像上标签、3D U-Net、Res-UNet 和本文方法的分割效果Fig. 4 The segmentation effects of labels, 3D U-Net, Res-UNet and the method in this paper on the tomographic image

由图 3 可知，本文提出的方法能够重建冠状动脉的大致结构，不会出现 3D U-Net 和 Res-UNet 整段没有被识别的情况，这说明本文方法对血管的结构学习更优。但是，本文方法在血管末端会出现多识别或少识别的情况，这是由于对血管的终止边界训练不够，没有得到一致性的边界条件导致的。此外，本文方法还识别出了未包含在目标区域的血管，3D U-Net 和 Res-UNet 也出现了这种情况，这是本文方法的缺点。在经过多种子点增长得到的分割结果中，误分割冠状动脉的结果主要有两类，一类为大量误识别的血管集合，另一类为与冠状动脉有连接的血管。后续应该对冠状的整体结构和冠状末端的终止条件进行优化。若使用标签数据提取骨架，使用标签数据的骨架进行测试，则识别出的非冠状动脉的血管会有一定减少，DSC 可达 0.822。所以，还可通过提高第一阶段识别骨架的准确度进行优化。

5 结 论

本文提出一种两阶段的冠状动脉分割方法，先使用改进后的 DeepLabv3+ 做粗分割，用粗分割结果重建并提取骨架，然后以骨架点为中心截取 CTA 图像，使用 3D U-Net 做最终分割。通过相关测试表明，本文方法对冠状动脉分割具有良好的效果，可以检测出其他方法无法识别的冠状动脉，一定程度上解决了血管断连和血管缺失的问题。