子宫肌瘤MRI图像分割方法研究进展
2022-03-31孙成女刘志伟吕发金
孙成女 刘志伟 吕发金
(1.重庆医科大学生物医学工程学院,超声医学工程国家重点实验室 重庆市 400016)
(2.重庆医科大学附属第一医院放射科 重庆市 400016)
1 引言
子宫肌瘤是由子宫平滑肌细胞增生而成,是一种常见于女性生殖系统中的良性肿瘤[1]。据统计,我国育龄女性子宫肌瘤患病率已高达25%[2]。临床上常用的子宫肌瘤检查方法包括超声检查、宫腔镜检查和磁共振成像(MRI)检查。其中MRI 由于其成像质量高、优越的软组织对比度,被认为是检测和定位子宫肌瘤最准确的成像技术[3]。子宫肌瘤的传统治疗方法(如子宫切除术和子宫肌瘤切除术)具有手术时间长、可能引起术后并发症等缺点,微创治疗越来越受到人们的关注[4]。高强度聚焦超声(HIFU)是一种新兴的无创治疗子宫肌瘤的热消融技术,该手术在实时超声(称为超声引导聚焦超声手术(USgFUS))或磁共振成像(称为磁共振成像引导聚焦超声手术(MRgFUS))引导下,依靠超声的机械能和热能消融目标组织[5]。在HIFU 治疗前,需要分割子宫及子宫肌瘤为手术规划提供辅助。在HIFU 治疗后,需要分割消融后的子宫肌瘤以测量非灌注体积来获得关于疗效的第一定量反馈。因此,子宫及子宫肌瘤的自动分割对于HIFU 手术计划和疗效评估是至关重要的。图1 显示了HIFU 治疗前后的子宫肌瘤MR 图像。
图1:HIFU 治疗前后的子宫肌瘤MR 图像
目前,子宫及子宫肌瘤分割工作通常依赖于放射科医生进行手动分割,这个过程不仅繁琐耗时且具有主观性,依赖于医生的专业知识和经验水平。因此,为了帮助医生提高子宫肌瘤MRI图像分割的准确性和效率,开发一种快速且准确的子宫肌瘤自动分割方法在临床应用中具有重要的价值。目前在医学图像分割领域常用的分割方法可分为两大类:传统分割方法和深度学习分割方法,具体如图2所示。传统的医学图像分割方法主要包括:阈值法、水平集法、边缘检测法、模糊C 均值法及区域生长法。这些方法大多依赖于手工设计的特征实现分割任务,同时自我学习能力较弱,对噪声、灰度不均匀等干扰敏感[6]。近年来,得益于不断提高的计算机性能和持续增长的可用数据量,深度学习技术得到飞速发展,主要包括卷积神经网络(CNN)、自编码神经网络 (AENN)和深度置信网络(DBN)。特别是CNN,因其具有自学习和泛化能力被广泛地应用于医学图像分割领域,并在医学图像分析中有明显优于传统方法的潜力[7-8]。本文接下来的部分首先介绍了基于传统方法的子宫肌瘤MRI图像分割,其次阐述了基于深度学习方法的子宫肌瘤MRI图像分割,最后对子宫肌瘤分割方法进行了总结并对其未来的发展趋势进行展望。
图2:医学图像分割方法
2 基于传统方法的子宫肌瘤MRI图像分割
2.1 基于水平集的方法
水平集算法是一种基于能量泛函的图像分割方法。其基本思想是将二维曲线隐式表达为三维连续函数曲面的零水平集,并利用图像的相关信息为其定义能量泛函。通过三维曲面的演化来达到演化其内部隐含曲线的目的,从而实现目标分割。该算法并不试图跟踪演化后的曲线位置,而是通过不断更新水平集函数,使得零水平集不断变化,实现了二维曲线的演化。只要始终保持水平集函数为一个有效函数,其内部隐含的曲线便可以发生任意拓扑结构的变化,解决了参数法无法实现拓扑结构改变的问题。因此,自该方法提出以来,便成为了国内外学者的研究重点。
Yao 等人[9]提出了一种基于水平集算法的子宫肌瘤半自动分割方法。首先使用快速行进水平集对MRgFUS 治疗后的子宫肌瘤MR 图像进行粗略分割。随后利用拉普拉斯水平集从初始分割结果中搜素局部最小值来进行分割细化。在13 名子宫肌瘤患者组成的MR 图像数据集中,该方法得到Sensitivity 均值为84.6%,Specificity 均值为84.3%。
Ben-Zadok 等人[10]提出了一种子宫肌瘤分割的两步走半自动分割方法,首先是基于水平集算法进行子宫肌瘤的初始分割,随后是允许用户进行反馈的交互式手动细化。
Khotanlou 等人[11]同样提出了一种子宫肌瘤的两步走半自动分割方法。第一步使用Chan-Vese 水平集方法进行粗略的半自动分割子宫肌瘤。第二步使用形状先验模型对分割结果进行细化。所提出方法的分割结果与医生的手动分割进行对比,得到的DSC 均值为87.70%。
2.2 基于模糊C均值的方法
模糊C 均值(FCM)算法是一种基于划分的聚类算法,它的主要思想是根据特定的目标函数,将大量无标签的数据划分成不同的簇,使得被划分到同一簇的对象之间相似度最大,而不同簇之间的相似度最小。FCM 算法因其算法简单、收敛速度快和可以处理大数据等特点,应用最为广泛且成功。
Fallahi 等人[12]提出一种基于FCM 算法的新方法用于子宫肌瘤患者T1W 和T1W 增强MR 图像的子宫分割和体积测量。首先在T1W 增强MR 图像上使用FCM 算法对子宫进行初始分割。由于FCM 初始分割结果可能不是完全连接的,并且可能包含其他区域像素,如解剖学模糊性的结肠。因此,作者随后使用两种形态学操作(填充运算和开运算)来改善初始分割结果。
最后,作者使用MIPAV 软件包将T1W 图像配准到T1W 增强MR 图像上,在配准后,将分割结果作为掩码应用到T1 图像上并使用直方图阈值化来去除冗余部分。他们在10 名子宫肌瘤患者的T1W 和T1W 增强MR 图像上进行方法评估,得到的DSC 均值为80%。
后来,Fallahi 等人[13]在前文的基础上提出了一种多发性子宫肌瘤的两步走自动分割方法。第一步是使用FCM 算法分割T1W 增强MR 图像和配准后T1W MR 图像中的子宫,并使用一些形态学操作来细化分割结果。在第二步中,通过在配准的T2W MR 图像上应用新的可能性模糊C 均值(MPFCM)算法进行子宫分割,并利用基于知识的图像处理方法对子宫肌瘤进行分割。MPFCM 算法使用体素及其邻域的信息、隶属度和典型性进行分裂,不仅解决了FCM 的隶属度函数不随着类中心的距离而减少问题,而且目标函数充分考虑了空间信息,并在大数据集的情况下也能正常工作。该方法在5 名患者组成的数据集中取得了DSC 均值为79.91%。
此外,为了提高经MRgFUS 治疗后的子宫肌瘤区域分割效率和准确性,Militello 等人[14]提出了一种基于无监督模糊C 均值聚类和迭代最优值选择算法的子宫肌瘤全自动分割方法。首先应用FCM 算法分割子宫区域,并应用一些形态学操作移除冗余部分。随后使用自适应阈值方法从已分割的子宫区域中识别出子宫肌瘤。所提出的方法在15 例不同子宫肌瘤患者的MR 图像上进行测试,得到的DSC 均值为88.67%,HD 均值为2.988 像素。
2.3 基于区域生长的方法
区域生长算法是根据预先定义的准则将像素或子区域聚集成更大区域的过程。其基本思想是以一组生长点为起点,该生长点可以是单个像素,也可以是某个小区域,将与该生长点性质相似的相邻像素或区域与之合并,形成新的生长点,重复此过程直到不能生长为止。可以将灰度值、纹理和颜色等图像信息作为生长点和相似区域的相似性判断依据。
Militello 等人[15]提出一种半自动多种子区域生长方法用于MRgFUS 治疗后的子宫肌瘤区域分割。首先对输入图像应用平均滤波进行去噪。接着利用区域生长算法对子宫肌瘤区域进行分割。最后运用一些后处理操作来消除分割结果中的空洞,并计算消融后子宫肌瘤体积用于MRgFUS 治疗的初步评估。
由于在该方法中用户必须手动选择种子点,Rundo 等人[16]提出了一种基于直接区域检测模型的新方法用于MR 图像中的子宫肌瘤分割。此方法分为三个阶段,第一阶段对输入图像进行归一化处理。第二阶段应用区域分割和合并方法进行种子区域自动选择和检测。第三阶段则通过自适应多种子区域生长算法分割子宫肌瘤。所提出的方法可以实现多发肌瘤的自动分割,在14 例子宫肌瘤患者的矢状位方向T1W增强MR 图像上得到的分割结果为DSC 均值为87.57%。
图3 展示了几种不同的传统方法分割子宫肌瘤MR 图像示例。虽然上述的这些传统分割方法都取得了较好的分割效果,但是仍然存在一些问题。水平集算法作为一个基于梯度的方法,对大多数图像中常见的噪声和差的图像对比度非常敏感。模糊C 均值法强烈依赖于初始化数据的好坏并容易陷入局部鞍点。区域生长法需要用户提供初始种子点用来迭代合并具有相似强度的邻域像素。总而言之,传统分割方法大部分利用图像的灰度、颜色、纹理和形状等表层特征对图像进行分割,对于需要大量深层特征的复杂分割任务而言并不适用。同时传统分割方法中的图像特征提取主要依赖于人工设计的特征提取器,并且调参需要具有专业知识和经验。
图3:用于子宫肌瘤MR 图像分割的传统分割方法示例
3 基于深度学习的子宫肌瘤MRI图像分割
近年来,随着数据量的持续增长和计算机性能(CPU、GPU)的不断提高,基于卷积神经网络的深度学习技术,具有从原始形式数据中自动学习分层特征表示的良好能力,消除了对手动特征的需求,被广泛地应用于医学图像分割领域,并取得了优异的结果[7-8]。Ronneberger 等人[17]在2015年提出了U-Net,如图4(a)所示,它是一个端到端对称的编解码结构,包括一个用于特征提取的收缩路径(编码器)和用于精确定位的扩展路径(解码器),并引入跳跃连接将编码器功能和解码器功能串联在一起以提高网络的分割性能,成为了医学图像分割领域最常用的卷积神经网络架构之一。
在深度学习方法应用在子宫及子宫肌瘤MR 图像分割方面,Kurata 等人[18]最早利用包含各种子宫疾病的T2W MR 图像,评估优化的U-Net,如图4(b)所示,进行全自动子宫分割的临床可行性。即使用LeakyReLU 函数代替原始U-Net 网络中ReLU 函数作为非线性变换的激活函数,以避免ReLU 函数输入为负数的区域梯度为0,导致网络学习停止。同时,在网络中加入dropout 层来改善神经网络的泛化问题。此外,将原始U-Net 网络中的四次下采样增加到八次下采样,以进一步提高网络的分割性能。研究纳入122 例女性患者(子宫内膜癌14 例,宫颈癌15 例,子宫肌瘤55 例),结果表明改良的U-Net 进行全自动子宫分割在临床上是可行的,所提出模型的分割性能不受子宫疾病存在的影响。
然而,Kurata 等人[18]提出的优化的U-Net 只是对原始U-Net 进行小范围修改,网络学习能力欠佳。因此,Tang等人[19]提出了另一种改进的U-Net(Attention ResNet101-UNet,AR-UNet),如图4(c)所示,来分割子宫肌瘤T2W MR 图像。该网络使用深度神经网络ResNet101[20]代替原始U-Net 的编码器部分来加深网络以进一步提取图像的语义信息。并在上采样和下采样特征图拼接之前添加Attetnion Gate[21]来加强网络对子宫肌瘤区域特征关注,抑制无关区域特征激活,从而提高网络的分割性能。研究使用了93 例子宫肌瘤患者的T2W 矢状位方向MRI 图像,随机选取80 例患者作为训练集,13 例患者作为测试集,得到DSC 均值为90.44%。
此外,Zhang 等人[22]受U-Net 网络中的编解码器结构启发,提出了一个名为HIFUNet 的2D 编解码模型,如图4(d)所示,进行MRI 图像中子宫区域的多类别分割(子宫、子宫肌瘤和脊柱)。网络的编码器部分使用预训练的ResNet101[20]网路进行特征提取,并结合深度多重空洞卷积(DMAC)和全局卷积网络(GCN)来扩大有效感受野以捕获更多的上下文信息并提高计算效率。DMAC 使用五个具有不同膨胀率的3×3 大小卷积核对输入图像进行特征提取以获得不同的特征,并将所有的特征与输入图像融合作为最终输出图像。GCN 使用两个一维卷积核的组合代替单个二维卷积核用于跳跃连接层以进一步提高网络的计算效率。该模型在297 例子宫肌瘤患者的术前矢状位方向T2W MR 图像上进行训练和测试,其中260 例作为训练集,37 例作为测试集。测试集分割结果为子宫的DSC 均值为82.37%,子宫肌瘤的DSC 均值为83.51%,脊柱的DSC 均值为85.01%。
图4:用于子宫肌瘤MRI图像分割的深度学习模型
4 结语
本文总结了传统方法和深度学习方法在子宫及子宫肌瘤MRI图像分割领域的应用。两种分割方法具有各自的优点和不足:相比于手动分割,传统分割方法提高了医生的工作效率,然而大部分方法依然需要人工在图像处理过程中进行干预。基于深度学习的自动分割方法则实现了图像端到端的分割,能够针对当前问题从现有数据中自动学习合适的特征表示以识别子宫肌瘤,速度快且精度高。但是目前应用在子宫肌瘤分割中的深度学习方法主要是基于2D UNet 及其变体网络,并基于3D 体积的2D 切片来执行分割任务,没有充分考虑器官的空间结构以及利用体积信息,分割精度有待进一步提升。
基于目前子宫及子宫肌瘤MRI图像自动分割方法,提出了未来可能的发展方向。
(1)3D 卷积可以充分利用MRI 图像的体积信息以提高网络的分割性能,将3D 深度学习模型应用于子宫肌瘤分割是未来一个值得研究的方向。
(2)就图像预处理和后处理而言,传统分割方法具有简单高效的特点,因此将传统分割方法与深度学习方法相结合会有一个很好的发展前景。
(3)目前用于子宫肌瘤分割的深度学习模型都是基于有监督学习,需要大量带注释的医学图像进行训练。未来半监督学习或无监督学习也将会成为一个值得研究的方向,这对于减轻标注者的工作量具有重要意义。