基于Swin-Unet的主动脉再缩窄预测研究

甘孟坤，曾 安，张小波

（1.广东工业大学 计算机学院, 广东 广州 510006；2.广东工业大学 自动化学院, 广东 广州 510006）

主动脉缩窄(Coarctation of Aorta，CoA)是一种胸降主动脉的局限性狭窄，通常位于左锁骨下动脉远端，邻近动脉导管连接部位[1-2]，是婴幼儿较为常见的先天性心脏病，占所有婴幼儿先天性心脏病的4%～8%[3]。不同国家的婴幼儿发病率不尽相同，西方国家的主动脉缩窄发病率约占5%，东方国家较低，约占1.1% ～ 3.4%[4]。患有严重 CoA 的患者可能会被转诊至手术以纠正缩窄并恢复正常血流[5]，因此对主动脉弓处的病变发现、早期诊断、风险评估和治疗计划至关重要。随着手术技术、体外循环、手术期监护水平的提高，CoA的手术死亡率已经大大降低[6]。但在接受手术干预的患者中，1.2%～24%的患者可能发生再缩窄，再缩窄是CoA患者随访期间最常见的干预指征[7-8]，发生再缩窄可能导致再次手术，术后主动脉再缩窄仍然是目前亟待解决的问题。

1 相关研究

临床上，目前对主动脉术后是否会发生再缩窄的确切病因尚不完全清楚，目前的预测研究工作主要集中于主动脉再缩窄的风险因素的判定。主动脉再缩窄的风险因素判定主要基于两大类：(1) 基于病人手术后的临床和干预特征研究，文献[9-11]评估了术前前列腺素输注是否是再缩窄的风险因素还未形成一致结论，仅文献[9]确定其与主动脉再缩窄呈显著正相关；文献[10-12]确定手术所使用的缝合线的类型与再缩窄有正相关关系；文献[9, 12-20]中评估了主动脉缩窄手术修复策略类型与再缩窄的风险因素，文献[15, 17]认为补片主动脉成形手术与再缩窄正相关，文献[14]确定直接端对端吻合和斜吻合都是再缩窄的风险因素，文献[12]发现延长的端到端修复吻合术也是风险因素；文献[13, 16, 18]进一步发现通过球囊血管成形术进行的修复是再缩窄的高风险因素；文献[12, 15, 18, 20]指出术后峰值多普勒速度、介入治疗后收缩压梯度和出院前超声心动图上的残余缩窄均是与再缩窄显著相关的风险因素。(2) 基于形态测量特征研究，文献[11, 15, 20]评估了主动脉管径和再缩窄的风险，其中文献[15, 20]表明较小的主动脉管径与主动脉再狭窄的发生呈正相关，文献[11]还进一步证实主动脉横向管径每增加1 mm，再缩窄的风险就会降低。上述方法虽然对主动脉再缩窄预测提供了一定的辅助作用，但仍存在以下不足：(1) 上述研究分别从不同角度找出主动脉再缩窄的风险因素，无法从整体上进行综合考虑；(2) 特征选择范围窄，未充分考虑特征间的相关性；(3) 图像特征(例如主动脉管径等)的获得需要由经验丰富的医生基于CT图像后处理技术来展开手工测量，耗时且难以重复；(4) 为获取这些风险因素所造成的影响，需要较长时间的随访记录。

近年来，随着深度学习与机器学习的发展，深度学习与机器学习方法被广泛应用于医学影像的分析[21]，以辅助医生临床诊断。何书坤等[22]使用多模态影像用于对二叶式主动脉瓣疾病(Bicuspid Aortic Valve, BAV)进行评价，发现使用多模态融合方法能够准确评估BAV形态及功能，从而能对其进行及时有效干预；陈思楷[23]应用超声和CT两种不同模态的医学图像建立3D打印心脏模型，从而提高了心血管疾病干预和临床治疗的效果。受此启发，为了在不依赖于医生先验知识前提下综合考虑主动脉再缩窄的各风险因素，本文从纯数据驱动方式出发，提出一种基于Swin-Unet网络与机器学习模型的新框架。新框架首先基于心脏CT图像数据自动分割出整个心脏部位，再将心脏中的主动脉提取后使用图分析的方法自动提取主动脉的图像特征数据，最后基于病人的多模态数据(临床特征数据与图像特征数据)对病人的主动脉再缩窄情况进行预测，以提高主动脉再缩窄预测的效果同时找出与再缩窄有关的风险因素。

2 基于Swin-Unet网络和机器学习模型框架

Swin-Unet网络是一种用于医学影像分割的深度学习模型，结合了Unet网络和深度可分卷积神经网络(Swin)的优点。它采用轻量级的卷积操作，可以在较少的计算量下达到较高的分割精度。此外，它还采用了分支结构，可以更好地捕捉不同尺度的特征，从而提高分割的准确性。因此，Swin-Unet网络在医学影像分割领域具有很高的效率和准确性。

本文提出的预测框架结构见图1。整个流程包括3个模块：(1) 分割模块：将3D CT图像插值至低分辨率空间并进行归一化，使用Swin-Unet模型进行分割，并将分割结果通过插值重新放大至原空间。(2)图像特征提取模块：从分割结果中提取出主动脉，对主动脉进行骨架化的形态学操作，同时提取主动脉的轮廓，将骨架化后的图像上的骨架点转换为图结构数据，根据提取的图结构数据来分析并找到主动脉中升主动脉、近端主动脉、远端主动脉、峡部、缩窄和降主动脉部位，再在这些位置的轮廓上，使用最小二乘法拟合后得到主动脉的图像特征数据。(3) 预测模块：将图像特征数据与临床特征数据结合得到多模态数据，利用多模态数据对主动脉再缩窄进行预测得到最终的预测结果。

图1 框架的总体流程Fig.1 The overall flowchart of the proposed framework

2.1 分割模块

本文使用的Swin-Unet具体结构如图2所示。由于3D CT图像很大，包含大量的像素，若直接对原图进行分割，则会产生大量的计算量，容易造成计算机性能瓶颈。所以为了减少计算量同时提高分割的效率，首先将输入图像进行缩放处理，将3D CT图像从高分辨率空间512×512×Z(129～357) 缩放到低分辨率空间256×256×256后再进行归一化，将归一化后的图像输入至Swin-Unet进行分割。最后，再将分割后的图像放大至原图像的大小，得到最终的分割结果。

图2 Swin-Unet模型结构Fig.2 The structure of the Swin-Unet model

最邻近插值法只考虑周围最近的像素，并将它们的平均值赋给新的像素，相比其他插值方法如双线性插值等，该插值方式简单且计算速度较快。由于模型在分割时需要大量的计算，为提高模型的分割效率，因此选用最邻近插值法。输入为低分辨率的3D CT图像，输出为同等尺寸的概率图。

低分辨率空间下的分割结果通过最邻近插值法被放缩至原空间得到分割结果。在分割中，使用dice相似性系数作为损失函数，具体如式(1) 所示。

2.2 图像特征提取模块

由于分割结果的输出是整个心脏，因此在测量主动脉的图像数据之前，需要从心脏中提取主动脉部位。将心脏中的左心室(Left Ventricle，LV)、右心室(Right Ventricle，RV)、左心房(Left Atrium，LA)、右心房(Right Atrium，RA)、心肌(Myocardium，Myo)和肺动脉(Pulmonary Artery，PA)部位去除，仅保留主动脉(Aorta，AO)，如图3所示。

图3 图像特征提取模块结构Fig.3 The structure of image feature extraction module

将主动脉进行骨架化，进一步地，通过骨架图像提取主动脉在升主动脉部位(P1)、近端主动脉部位(P2)、远端主动脉部位(P3)、峡部部位(P4)、缩窄部位(P5)和降主动脉部位(P6)的长径、短径、管径、周长和横截面积等图像特征。具体操作为：首先将骨架化的图像提取图结构，将图中度为1且Z轴最小的2个点作为起点(P1)和终点(P6)，将P1与P6作为升主动脉部位与降主动脉部位的图像特征提取点。

之后，再利用Dijkstra算法找到P1与P62点之间的最短路径，此路径即为主动脉骨架化图像的主干路径，主干路径在三维主动脉图像中由多个体素点构成。找到主干路径上度为3的3个体素点(P2、P3、P4)，作为近端主动脉部位、远端主动脉部位、峡部部位的图像特征提取点。

利用Sobel算法提取主动脉的轮廓。在主干路径的每个体素点处，沿着血管走向作垂直于血管的切面，切面与主动脉轮廓相交的点即为当前位置的血管轮廓切片，再将血管轮廓切片利用最小二乘法拟合为椭圆，得到椭圆的长轴、短轴、周长、面积即为主动脉弓在该位置的图像特征(管径取长轴与短轴的平均值)。比较主干路径上P4～P6处的所有体素点的横截面积大小，横截面积最小的点(P5)即为缩窄部位的图像特征提取点。

2.3 预测

得到主动脉上P1～P6处的图像特征数据之后，将这些数据与医学临床特征数据如血氧饱和度、心率、收缩压、舒张压等结合得到多模态数据。由于多模态数据中各特征具有不同的量纲，取值范围差异较大，因此为了消除指标之间的量纲影响，需要对数据进行归一化，再将其输入至机器学习模型(如分类模型)中展开预测。

3 实验设计与分析

3.1 数据集

本文数据来自于某三甲医院的157名患者，年龄在 1 个月到28岁之间(大部分在1个月到2岁之间)，所有图像均为使用Siemens biograph 64机器采集的3D CT图像。每张CT图像大小为512×512×Z(206～275) ，平面分辨率为0.29～0.43 mm2，图像间距为0.25～0.45 mm。每张图像对应患者的医学临床数据均由医院提供，包括68个临床特征如血氧饱和度、心率、收缩压、舒张压等。所有图像均由经验丰富的放射科医生在升主动脉、近端主动脉、远端主动脉、峡部、缩窄和降主动脉部位沿血管的运行方向手工测量主动脉的长径、短径、管径、周长和横截面积。每张图像都由医生标记是否存在主动脉再缩窄的情况。

3.2 参数设置

所有实验都在具有 24 GB 内存的Nvidia GeForce RTX 3090 GPU 上运行。将原始图像大小调整为 256×256×256，Swin-Unet模型在PyTorch框架中运行，训练过程的迭代次数为400，学习率为0.000 1，batch size为2。预测模型使用Gradient Boosting Classifier (GBC)和Random Forest Classifier (RFC) 模型，特征选择方法为Wrapper。

数据集中，医学临床数据简记为fi, c，放射科医生手工提取的图像特征数据简记为fi,doctor，本文方法自动提取的图像特征数据简记为fi,AI。本文实验方案将采用10次五折交叉验证，分别基于fi, c与fi,doctor和fi, c与fi,AI数据开展多模态分析，以提升对主动脉弓再缩窄的预测效果。

3.3 对比实验

3.3.1图像数据特征预测性能

在实验中，本文对比了fi,doctor与fi,AI之间的差别，将fi,doctor与fi,AI求出二者对应特征数据之差，再求出二者差值的均值，计算方式如式(2)所示。

表1 fi, doctor 和 fi, AI 提取的图像特征之间的差异Table 1 Difference between the features extracted by fi, doctor and fi, AI

本文方法预测模块中使用2种机器学习模型作为对比，分别为GBC和RFC模型，对fi,doctor和fi,AI提取的图像特征数据进行预测。在实验中，先对fi,doctor和fi,AI的图像特征数据进行min-max归一化处理，然后再使用Wrapper方法对fi,doctor和fi,AI进行特征选择，最后将选择后的特征输入到GBC和RFC模型中进行预测，结果如表2所示。

表2 图像特征的预测性能Table 2 Prediction performance of image features

同时本文也比较了对fi,doctor和fi,AI选择不同特征数量之间的预测结果(见表2)。从表2可以看出，2个模型对fi,doctor和fi,AI数据的预测结果都非常接近，这表明本方法自动提取的主动脉图像特征数据的预测效果与放射科医生手工提取的图像特征数据的预测效果较为接近，同时可以发现二者均在选择9个特征数目时预测效果最好。

3.3.2多模态数据特征融合预测性能

在图像特征提取对比实验中，表明放射科医生手工提取的主动脉图像特征fi,doctor与本文方法提出的自动提取主动脉图像特征fi,AI之间误差在可接受的范围内，但尚未将图像特征数据与临床特征数据结合来验证预测效果。

将患者的临床特征数据fi,c分别与医生手工提取的主动脉图像特征fi,doctor和本文方法提出的自动提取主动脉图像特征fi,AI结合，构成多模态数据fi, c+fi,doctor和fi, c+fi,AI。选择GBC和RFC 2种模型的预测结果作为对比，同时使用Wrapper特征选择方法来对比不同选择特征数目情况下，fi, c+fi,doctor和fi, c+fi,AI的预测效果。结果如表3所示。

表3 多模态特征融合的预测性能Table 3 Prediction performance of multimodal feature fusion

使用受试者工作特征曲线(Receiver Operating Characteristic Curve，ROC)下的面积值大小(Area Under Curve，AUC)，在表3中可以看到，若仅使用医学临床特征预测的AUC指标最高为0.75，当采用医学临床特征与医生手工提取的图像特征的多模态数据时预测的AUC指标最高为0.81，临床特征与本方法自动提取的图像特征的多模态数据预测的AUC指标最高为0.80。由此可见，图像特征数据与临床数据结合能够更好地为主动脉的再缩窄预测提供有效的指导，同时本文提出的自动提取主动脉图像特征方法能够达到放射科医生手工提取图像特征的效果。

3.3.3特征发现讨论

表4展现的是3个对比实验所选择的前12个重要的特征，加粗部分为图像特征，其余为临床特征。

表4 临床特征与图像特征Table 4 Clinical features and image features

从表4中可以发现，不论是在临床数据还是多模态数据中，心率与二尖瓣舒张早期速度排名均靠前，这表明对于主动脉再缩窄二者都是很重要的风险因素，与文献[24-26]中的发现相符。在多模态数据fi, c+fi,doctor和fi, c+fi,AI中，主动脉缩窄部短径、面积和周长是较为重要的特征，这与文献[10]中的发现相符合，同时本文还发现峡部面积与远端主动脉周长也是影响主动脉再缩窄较为重要的特征，这有待于后续的进一步验证。

4 结束语

本文针对当前主动脉再缩窄的预测问题，提出了一种用于预测主动脉弓再缩窄的新方法。相较于仅使用临床数据预测的传统方法，本文首先使用深度学习网络来分割出整个心脏部位，提取出心脏中的主动脉部位后，对主动脉进行骨架化等形态学操作并使用图分析的方法来得到主动脉图像特征数据，将其与临床数据相结合构成的多模态数据对主动脉再缩窄进行预测。本文的方法减轻了医生的负担，对主动脉的再缩窄预测能够提供有效的指导。

本文的方法仍有一些不足和改进的空间。由于目前数据样本较少，更多的临床数据能够进一步增强模型的预测效果，而本方法依赖于模型的分割效果，复杂的CT影像质量容易导致分割不准确，因此扩大临床数据规模，在复杂CT影像下进行精确的全心分割，不断提升模型的预测效果，是未来研究的方向。