基于人工智能的多模态影像辅助海马体自动勾画研究

张瑞萍，刘应龙，张文静，戴卓捷，陈昌舜，李东博，付春鹏，杨睿，张军君，章卫，贾乐成

1.清华大学第一附属医院放疗科，北京 100016；2.深圳市联影高端医疗装备创新研究院，广东深圳 518045；3.清华大学第一附属医院医务处，北京 100016；4.北京联影智能影像技术研究院，北京 100094；5.上海联影医疗科技股份有限公司，上海 201807

前言

海马位于颞叶内侧，是学习和记忆形成的关键结构。主要负责参与形成新的记忆、相互独立地储存记忆、从部分线索中提取记忆以及将存储的记忆灵活地应用到新的情景中［1-2］。维护海马区的正常功能是保护患者认知功能及生活质量的重要措施。放疗是肿瘤治疗的重要手段之一，对于脑转移癌和其他颅内肿瘤需要放疗以及小细胞肺癌脑预防照射，海马区作为危及器官需要加以保护。现代放疗技术是基于影像的靶区勾画来完成的，由于海马区体积小、定位CT 难以辨认，目前推荐在核磁影像上手动勾画海马轮廓，这个过程耗时长且非常依赖医生经验，易受人为主观因素影响［3］。因此，为了提高工作效率，保持靶区质量的均质性，临床上需要利用人工智能辅助技术，结合多模态影像开发海马体自动勾画技术。

深度学习是目前一种被广泛应用于医疗影像分析的人工智能（Artificial intelligence,AI）方法，尤其对于放疗领域中危及器官及肿瘤靶区的自动勾画起到了越来越重要的作用。近年来深度学习算法在医疗图像分割中取得了显著的成就，特别是基于深度卷积神经网络（Convolutional Neural Network, CNN）的U-Net 分割框架［4］，并且在此基础框架上已经衍生出很多用于不同危及器官和肿瘤靶区的自动分割方法［5-7］。由于海马体体积小，在CT 上难以识别，且海马齿状回影像数据层数多，导致其自动分割准确度及效率低下，针对这些问题，本文以U-Net 为基础框架，构建级联框架（CNN Cascade）以提高小目标的分割效果［8］，同时采用Bottle layer模块压缩模型［9-12］，提高模型的分割速度；并且引入MRI 图像，利用多模态图像信息来提高CT上海马体的自动勾画准确性。

1 材料与方法

1.1 数据的采集与标注

选取2020年1月～12月于清华大学第一附属医院放疗科就诊的脑转移癌患者40例（每个病例包含1例CT 平扫和1 例对应的MRI T1W 序列），排除肿瘤位于海马区周围1 cm 内的病例以免影响海马结构。其中平扫CT 的分辨率是66×512×512～255×512×512，立体像素间距是1.25～2.5 mm、0.54～0.98 mm、0.54～0.98 mm。T1W的分辨率是327×640×640～364×640×640，立体像素间距是0.50～0.55 mm、0.36 mm、0.36 mm。

所有的海马体标注通过将MRI 与对应的CT 刚性配准后，由两位经验丰富的医生根据RTOG0933标准［2］参考MRI 图像在CT 上手动勾画完成（图1），然后两位医生交叉修改对方手动勾画的标注（Label），最后由主任医师完成手动标注的评估。

图1 左右海马体的手动标注Figure 1 Contours of left and right hippocampus labeled by experts

1.2 数据的预处理与增强

为了减小模型输入数据的尺寸，进而减少模型的计算负载，我们对原始图像的背景进行裁剪；为了使分割网络能够更好地学习空间语义信息，我们分别通过三阶样条插值和邻近插值分别将数据集中所有图像及其对应标注的体素间距插值到中间体素间距［13］；另外，我们对所有CT和MRI的信号值进行Z-score归一化；对于CT，在Z-score归一化前，进行信号值的［0.5%,99.5%］阈值裁剪［13-14］。为了克服小样本数据训练一个深度学习模型而导致的过拟合问题，我们采用了一些实时的数据增强技术，如随机翻转随机缩放，随机弹性形变，Gamma 调节和镜像等，来增加数据的多样性。

1.3 方法

1.3.1 网络结构由于3D 网络能更有效地聚合3D 医学图像的上下文有价值信息，我们以3D U-Net 为基础框架，针对海马体体积小，不易在CT 上识别，且头部CT层数较多的特点，设计了U-Net Cascade分割框架，这种分割框架利用Cascade 结构来克服大尺寸数据集上小目标分割精度低的缺点；为提高薄层数据的分割效率，我们通过Bottle layer 模块对3D U-Net模型进行压缩，降低模型参数量。最终搭建3D BUCNet（3D Bottle U-Net Cascade）分割网络，从而达到高效准确地分割海马的效果［8-9］。

Cascade 分割框架与nnU-Net 类似［13］，整个流程分两步：第一步，将CT与配准（Registration）后T1W拼接（Concat.）到一个3D volume 中，通过粗分割网络Bottle U-Net 分割下采样（Down-sampling）图像，然后对粗分割结果（Coarse segmentation）进行上采样（Up-sampling）操作，得到与原始图像体素间距一样的全像素分割结果；对于粗分割网络的训练，网络的目标函数（Objective function）L1为Dice loss 和Crossentropy loss 的加权求和。第二步，将上一步中的3D volume 与对应的全像素分割结果拼接，从中裁剪出粗分割结果作为细分割网络Bottle U-Net 的输入，最终获得细分割结果（Fine segmentation）；为了克服图像中分割目标过小，导致训练数据在patch 采样时海马体区域和非海马体区域的比率不均衡，我们在训练细分割网络时引入了Focal loss以提高对小目标的检测，并且与Dice loss结合为细分割网络的损失函数L2（图2）。对于模型每一个patch的分割结果，我们采用Gaussian融合成全分辨率的分割结果，并且对每一个类的分割结果通过最大连通分量的后处理操作后，获得最终的分割结果。

图2 Cascade分割框架Figure 2 Segmentation framework of Cascade

我们将3D U-Net中每个编码器和解码器换成了Bottle layer 模块，在每个Bottle layer 模块中，我们用两个（1×1×1）的卷积代替3D U-Net 中的一个普通的（3×3×3）卷积层，并且通过残差连接（Residual connection）实现对每个Bottle layer 输入特征图（Input map）的非线性压缩［9］；用LeakyReLU（负斜率1e - 2）替换ReLU 激活函数，实例归一化（Instance normalization,dropout = 0.5）代替更常见的批量归一化（Batch normalization）（图3）。

图3 3D Bottle U-Net模型结构Figure 3 Architecture of 3D Bottle U-Net model

1.3.2 实验实施与评价由于受到实际可用GPU 显存容量的限制，通过从原始图像中滑动裁剪较小（32×256×256）的图像块（Image patch）作为分割网络的输入，并且在一块NVIDIA Tesla V100 训练该模型框架。在实验中，数据集被随机划分为3 组：28 例数据作为训练集，用于模型的训练；4 例数据作为验证集，用于训练模型时，网络的超参数调节与优化；剩下的8例数据作测试集，用于模型性能的测试。

我们分别计算3D U-Net、3D U-Net Cascade、3D BUC-Net 模型自动分割左右海马体与对应的标注之间的Dice相似系数（Dice Similarity Coefficient,DSC）和95% 豪斯多夫距离（95% Hausdorff Distance,95HD），以及左右海马体的体积作为模型分割准确性的评估，并且对同一大小patch 的自动分割耗时作为对模型效率的评估。

1.3.3 统计学分析使用统计软件IBM SPSS（21.0版）进行分析。计算测试集上测试样本的DSC、95HD，结果用均值±标准差表示，用于评估自动勾画轮廓与手动勾画轮廓之间的一致性。评估改进后的模型（3D U-Net Cascade 和3D BUC-Net）与基础模型3D U-Net 的相关性，使用t检验分别统计分析两者在测试集上DSC和95HD的相关性，统计显著性设定为双尾，P＜0.05 为差异有统计学意义。另外，统计分析测试集上左右海马体的自动分割体积与手动分割体积的中位数，用于比较不同数据集和不同自动分割方法之间的性能。

2 结果

2.1 不同的模型分别在数据集CT 和CT-MRI 上DSC和95HD的测试结果

为了验证引入MRI 信息能否提高海马的自动勾画准确性，我们准备了两组数据集：一组是仅包含40例CT 图像的数据集CT；另一组是包含40 例CT 和MRI 图像对的数据集CT-MRI，也就是将MRI 刚性配准到对应的CT 上，制作成CT-MRI模态数据对。表1为3 种模型U-Net，U-Net Cascade 和BUC-Net 在数据集CT 和CT-MRI 中对同一测试集上左右海马体分割结果的统计分析结果（DSC,95HD）。

表1 不同模型在数据集CT和CT-MRI上DSC和95HD的测试结果Table 1 DSC and 95HD of different models on CT and CT-MRI datasets

根据表1可以看出：（1）无论用哪个模型，CT-MRI数据集上DSC 数值明显高于CT 数据集，CT-MRI 数据集上95HD 明显低于CT 数据集，说明引入MRI 信息能大大提高海马的自动勾画准确性。（2）对于不同模型，我们发现U-Net Cascade 和BUC-Net 在数据集CT 和CT-MRI 上左右海马体的DSC 和95HD 均优于U-Net，特别BUC-Net 在数据集CT 和CT-MRI 上左右海马体的DSC和95HD均有最好表现，并且在数据集CT-MRI 上，BUC-Net 左右海马体的DSC与U-Net相比，差异有统计学意义（P＜0.01）。

2.2 不同模型的分割效率比较

比较U-Net、U-Net Cascade、BUC-Net 3个模型对大小为32×256×256的path每一次自动勾画的耗时，我们发现虽然U-Net Cascade（3.44 s）在数据集CT 和CT-MRI 较U-Net（1.50 s）有较好的分割准确性，但是分割效率并没有优势；然而BUC-Net（1.05 s）不仅在数据集CT 和CT-MRI 有最好的分割准确性，而且分割效率较U-Net 也有30%的提升。BUC-Net 对于1例107 层（2.5 mm）的CT 图像，一般只需要7 s 左右即可完成全脑左右海马体的自动勾画。

2.3 手动勾画和模型自动分割左右海马体的体积比较

对同一测试集的CT 和CT-MRI 数据集手动勾画和模型自动分割左右海马体体积进行比较，如图4所示。

图4 手动勾画与模型自动分割左右海马体体积比较Figure 4 Comparison of volumes of left and right hippocampus segmented automatically by models and labeled by experts

我们发现与手动勾画左右海马体体积的中位数相比，BUC-Net自动分割的左右海马体体积在数据集CT 和CT-MRI 上较U-Net 和U-Net Cascade 均有最小的误差。特别在数据集CT-MRI 上，左、右海马体的体积绝对误差率分别为2.0%和3.1%，说明BUC-Net自动分割的左右海马体体积和手动勾画的海马体体积最接近。

2.4 BUC-Net 分割模型在CT 和CT-MRI 数据集上左右海马体分割结果对比

如图5所示，BUC-Net 在CT-MRI 数据集上对于左右海马体的自动勾画效果要优于CT 数据集，特别表现在对于上下界部分层（a 与f,d 与i,e 与j）的小目标的识别，以及中间层（b与g,c与h）的左右海马体的边界判断。

图5 BUC-Net分割模型在数据集CT和CT-MRI上左右海马体分割结果对比Figure 5 Comparison of segmentation results of left and right hippocampus using BUC-Net model on CT and CT-MRI datasets

3 讨论

头颅放疗对治疗脑转移癌［15］、儿童中枢神经系统肿瘤［16］，以及作为小细胞肺癌［17］的脑预防性放疗是一个有效的治疗方法。近90%的脑转移癌患者在诊断时有神经认知功能的下降，大于2/3 的患者全脑放疗2～6个月内会出现认知功能的进一步损伤，大量的临床研究表明，海马的放疗损伤是导致认知功能下降的主要原因［18］，因此，海马区保护在头颅放疗中显得尤为重要。Ghia 等［19］研究表明脑转移瘤大都位于距离海马5 mm之外的区域，有3.3%的脑转移瘤位于距离海马5 mm 之内的区域，在全脑放射治疗中保护海马及周围5 mm 区域是合理可行的［20］。Brown等［21-22］对脑转移瘤患者做全脑放疗时做海马保护加美金刚，病人的总生存时间和无进展生存期对比无海马保护加美金刚放疗组无差别，但患者的认知功能明显好于无海马保护组。随着靶向免疫治疗时代的到来，肿瘤的综合治疗发挥越来越重要的作用，患者的总生存时间也大大延长着脑转移瘤放疗过程中针对海马体的保护，从而保护患者的认知功能，对于患者生活质量的提高尤其重要。

现代放疗技术主要基于CT 的靶区勾画来完成，而海马结构在定位CT 上难以辨认，需要依赖核磁影像手动勾画海马轮廓［23］，如何在CT 上实现海马体的自动勾画对于提高工作效率、保持靶区的同质性显得非常重要［24-27］。本文利用人工智能深度学习的方法，以U-Net 为基础框架，构建级联框架（CNN Cascade）以提高小目标的分割效果，同时采用Bottle layer 模块压缩模型，提高模型的速度，并且引入MRI图像信息来提高CT 上海马体的自动勾画准确性。实验结果表明，MRI 图像信息的引入，即数据集CTMRI 上DSC 数值明显高于数据集CT，数据集CTMRI 上95HD 明显低于数据集CT，说明引入MRI 信息能大大提高海马的自动勾画的准确性。在数据集CT-MRI 上，BUC-Net 与U-Net 左右海马体的DSC 值差异具有统计学意义（P＜0.01），且分割效率最高。最后，手动勾画海马体和自动分割的海马体表明，BUCNet 自动分割的左右海马体体积和手动勾画的海马体体积最接近。因此，模型BUC-Net 是实现海马自动勾画的理想模型，能够在CT 上实现海马体的自动勾画。

尽管我们的AI算法BUC-Net在两个数据集上都取得了不错的效果，但是目前仍有几个问题需要解决：（1）我们本次工作的收集的数据均为排除肿瘤位于海马区周围1 cm 内的脑转移瘤病例，其中海马结构未受肿瘤的影响。实际临床中，由于肿瘤的“挤压”，手术或者化疗等因素可能对海马结构产生影响，我们的模型是否仍能表现出出色的自动勾画效果，尚需验证和优化［28］；（2）不同厂商的仪器或不同的扫描协议常常导致医学影像有不同的体素间距和分辨率，以及成像质量和风格，这些差异对于MRI 来说尤为明显。如何使得AI算法能够泛化到多中心和多种设备所扫描的医学影像上，仍然是一个重要的挑战［29］；（3）虽然我们证实了引入MRI图像信息对在CT 上海马结构的自动勾画有显著的提升，但是一些器官或者肿瘤靶区，比如视神经交叉是一个类似的X形，而脑干则类似苹果形，鼻咽癌靶区形状更为复杂，需要结合更多不同的医学影像，以及专业医生丰富的医学先验知识来判断。如何将这种形状先验知识和医学先验知识融入到模型中，来进一步提高AI算法的通用性和泛化性是一个需要解决的问题［30］。