一种基于深度学习的2.5D心脏分割算法

徐佳陈 龙翔

摘要：心脏动态核磁共振图像的自动分割算法可以有效减少心血管科医生压力，其分割结果是评估心脏功能的金标准。文章提出了一种有效分割心脏动态核磁共振图像的自动分割算法。该算法采用U形神经网络结果，根据心脏动态核磁共振图像，网络结构分为目标图像下采样层、相邻时间片下采样层、上采样层和连接桥。与其他分割算法相比，文章提出的算法能够更好地分割心脏图像，分割效果更为精准。

关键词：图像分割；心脏动态核磁共振图像；Unet；医学影像

中图分类号：TP312文献标志码：A

0 引言

心脏动态核磁共振技术由于其非入侵性、安全性以及无辐射性，在临床上被广泛地运用。根据左心室、右心室、左心肌的分割结果，医生可以准确地获得心脏的大小、壁运动规律、心室功能以及流血速度等数据。心脏动态核磁共振技术是评估心脏瓣膜功能、心脏瓣膜反流、心脏缺血情况的金标准。然而，由于核磁共振技术本身成像时间长，心脏动态成像又需要准确地包含完整的心脏运动周期，心脏动态核磁共振往往会放弃丰富的短轴信息来达成快速成像的效果。因此，心脏动态核磁共振具有短轴梯度过大、横轴与纵轴信息丰富、短轴信息稀疏的特点。这增加了心脏动态核磁共振图像自动分割的难度。为了获得更好的分割效果，人们提出了很多针对心脏动态核磁共振图像的算法。如Jiang^[1]等提出了一种以多尺度视觉注意力为基础的U形神经网络，采用多种条状卷积来代替大型卷积，从而获得不同尺度的图像信息。Alom^[2]提出了一种递归残差结果，通过递归卷积积累特征量，利用残差结果避免梯度爆炸现象的出现。

本文提出了一种通过时间信息增强图像信息的2.5D分割算法，与以往的心脏分割算法相比，本文算法具有以下优势：（1）本文使用相邻时间片的图像信息弥补心脏动态核磁共振图像的短轴信息，增加了分割图像的信息量;（2）本文采用双编码路径的方法，分别对收缩期末期和舒张期末期图像以及相邻时间片的图像进行编码，既丰富了编码信息又保证了编码信息的准确性。结果表明，本文所提算法的分割精度更高，具有更好的分割效果。

1 算法设计

本文所提的基于深度学习的2.5D心脏分割算法结构如图1所示，所采用的基本框架为Ronneberger^[3]提出的Unet结构。Unet结构由下采样路径、上采样路径和连接桥组成。其中，下采样路径的作用是提取特征，通过池化层获得不同尺度下图象的局部特征信息以提高卷积的感受野。上采样路径又被称为还原路径，其作用为将下采样路径提取出的高纬度低分辨率的特征图提升至原始图像大小的高分辨率图，从而实现分割。连接桥的作用是将下采样路径的高纬度特征信息传递给相应的上采样路径，从而避免了网络在上采样还原过程中特征丢失的情况。

本文算法根据心脏动态核磁共振图像横纵轴信息丰富、短轴信息少的特点，在Unet的基础上对其下采样路径进行改进，形成了一种双下采样的2.5D分割网络。

心脏动态核磁共振图像是一种四维图像，其第四维是时间维度。有效的心脏动态核磁共振图像的时间轴应包含一次完整的心脏运动周期。其中，收缩期末期和舒张期末期的图像是心脏分割的目标图像。假设时间维度为t，收缩期末期为t_ed，舒张期末期为t_es，t_i时刻的三维图像的维度表示为[x，y，z]，其中x为横轴，y为纵轴，z为短轴。由于短轴层高过厚，梯度过大，若直接用三维卷积处理，则会有很强的卷积效应从而导致分割效果过差。因此，本文将t_ed与t_es时刻的图像沿短轴切分，形成xy平面的二维切片，将此二维切片作为目标图像输入网络的目标图像下采样路径。为了弥补心脏动态核磁共振图像短轴信息量少的缺点，本文算法选择与目标图像相邻的2个时间片t_ed+1和t_es+1的xy平面图像，将其与目标图像组成的相邻时间片共同输入网络的相邻时间片下采样路径。

在相邻时间片下采样路径中，每一层都由2个卷积核大小为3×3的卷积层组成，并在每个卷积层后面都进行归一化处理。由于相邻时间片之间心脏形变较小，除心脏边缘会有收缩或扩张的形变外，内部中间信息依旧有效。因此，相邻时间片下采样路径能够用时间信息来弥补短轴信息，从而提高了心脏内部的分割效果。相邻时间片所获得特征可以表示为：

其中，t表示输入的时间，取值为t_ed或者t_es，C_t表示在时间t下的特征图，P_n为卷积核的任意采样点，w_Pn是卷积核在该点的权重值，C_t（P_n+P₀）表示特征图在P_n+P₀位置的值。

在相邻时间片t_ed+1或t_es+1的图像中，心脏的边缘信息会因为心脏的收缩或者扩张运动发生偏差，因此需要目标图形提供更精准的边缘信息。而目标图像下采样路径由2个卷积核大小为3×3的可变形卷积层以及归一化组成。相较于普通卷积，可变形卷积在执行每次卷积时会自动学习一个偏移矩阵δ，从而使卷积核的采样位置发生偏移。因此可变形卷积能够自适应心脏器官的形状，从而捕获更为精确的心脏器官边缘信息。目标图像下采样路径所获取的特征可以表示为：

其中，Δ_Pn为当δ是可变形卷积时卷积核在P_n位置的偏移量。将相邻时间片下采样路径与目标图像下采样路径所获得特征进行融合，融合方式为矩阵元素相加。融合后的矩阵既包含中间信息又包含器官边缘信息；融合后的特征也作为下一层相邻时间片下采样层的输入。该特征矩阵表示为：

2 实验验证

本文共执行3次对比实验，分别将本文算法与Unet^[3]、Unet++^[4]、MFF Unet^[5]进行对比。评判指标采用了DSC相似性系数以及豪斯多夫距离HD。DSC表示图像的分割结果与真实分割图的相似度。HD表示分割结果与真实分割图的不匹配度。数据集采用国际医学影像计算与计算机辅助干预会议MICCAI提供的ACDC数据集。对比实验结果如表1所示，对比效果如图2所示。

由表可知：本文算法结果普遍优于其他算法。结合图2（b）、（c）可以看出：当采用Unet与Unet++进行网络分割时，心脏边缘信息容易出错，边缘信息分割不准确；这两者对于心脏器官的非边缘部分也会出现分割错误的情况，分割效果较差。由图2（d）可知：虽然相较于前两者，采用MFF Unet进行网络分割时，心脏边缘信息较为准确但依旧会有错误，出现边缘丢失的情况；在左心肌与右心室之间、左心室与左心肌肉之间会出现误分割的情况，分割效果依旧不如本文所提算法。这是因为上述算法都提取了目标图像在收缩期末期和舒张期末期的特征信息，特征信息量不足；而本文算法在利用时间信息弥补特征信息的同时，能够获得目标图像编码路径提供的精准心脏边缘信息。因此，本文算法能够取得较好的网络分割结果。

3 结语

本文提出了一种针对心脏动态核磁共振图像的分割算法。针对心脏动态核磁共振图像短轴梯度大、信息量少的特点，本文开创性地提出了双下采样路径的2.5D分割网络。所提算法利用相邻时间片下采样路径获取相邻时间点内的特征信息，弥补了短轴的信息稀疏问题；利用目标图像下采样路径获得收缩期末期和舒张期末期精准的器官边缘信息，并将两者结合。最终结果表明，本文算法的分割效果较好，分割精确度更高。

参考文献

[1]JIANG T， LI X N. Segmentation of abdominal CT and cardiac MR images with multi scale visual attention[J]. Journal of Image and Graphics，2024（1）：268-279.

[2]ALOM M Z， HASAN M， YAKOPCIC C， et al. Recurrent residual convolutional neural network based on U-Net （R2U-Net） for medical image segmentation[J]. arXiv preprint arXiv，2018：1802.06955.

[3]RONNEBERGER O，FISCHER P，BROX T. Proceedings of the International Conference on Medical Image Computing and Computer-Assisted Intervention：U-net：Convolutional Networks for Biomedical Image Segmentation，October 5-9th， 2015[C]. Munich， Germany：Springer，2015.

[4]ZHOU Z，SIDDIQUEE M M R，TAJBAKHSH N，et al. Unet++：Redesigning skip connections to exploit multiscale features in image segmentation[J]. IEEE Transactions on Medical Imaging，2019（6）：1856-1867.

[5]刘从军，徐佳陈，肖志勇，等.基于深度学习的心脏核磁共振图像自动分割算法[J].计算机工程与科学，2022（9）：1646-1654.

（编辑 王雪芬编辑）

2.5D cardiac segmentation algorithm based on deep learning

Xu  Jiachen， Long  Xiang

（School of Computer and Information， Nantong Institute of Technology， Nantong 226001， China）

Abstract： The automatic segmentation algorithm of cardiac dynamic MRI images can effectively reduce the pressure on cardiovascular doctors， and its segmentation results are the gold standard for evaluating cardiac function. This article proposes an automatic segmentation algorithm that effectively segments cardiac dynamic MRI images. According to the cardiac dynamic MRI image， the U-shaped neural network results are used by the proposed algorithm. The network structure is divided into a target image in the downsampling layer， an adjacent time slice in the downsampling layer， an upsampling layer and a connecting bridge. Compared with other segmentation algorithms， the proposed algorithm in this article can better segment cardiac images and the segmentation effect is more accurate.

Key words： image segmentation; cardiac dynamic MRI image; Unet; medical images