胎儿脑磁共振图像分割研究进展
2024-03-20陈健广梦婷陆冉林罗琴魏丽芳沈定刚
陈健,广梦婷,陆冉林,罗琴,魏丽芳,沈定刚
1.福建理工大学电子电气与物理学院,福州 350118;2.福建农林大学计算机与信息学院,福州 350002;3.上海科技大学生物医学工程学院,上海 201210;4.上海联影智能医疗科技有限公司,上海 200232
0 引言
全世界每年有超过800 万婴儿出生时患有先天缺陷,每5 名婴儿死亡中就有1 例因出生缺陷导致,同时,出生缺陷也会导致幸存下来的人终生残疾(HNN Team,2021)。这不但增加了家庭与社会的经济和精神负担,也降低了人口素质(梁志清,2012)。导致出生缺陷的多种胎儿发育异常与畸形中,中枢神经系统畸形(central nervous system malformation,CNSM)的发生率位居前列(周玉,2016)。随着二胎及三胎政策的放开,高龄孕产妇持续快速增加,CNSM 的发生率也逐年增高(华方明 等,2017)。因此,对胎儿中枢神经系统,尤其是胎儿脑生长发育情况进行有效监测,尽早对胎儿脑异常实现准确检测,是指导临床管理决策、遗传咨询及确保优生优育、降低出生缺陷率的关键措施。与此同时,在《国家中长期科学和技术发展规划纲要(2006—2020)》中,我国对脑科学研究做了重要战略规划,并在《“十三五”国家科技创新规划》中将“脑科学与类脑研究”列为“科技创新2030—重大项目”,在国家“十四五规划”重大项目清单中也包含脑科学研究专项(蒲慕明 等,2016;张学博 等,2020)。
医学影像是产前筛查、诊断、治疗引导和评估的重要工具,能有效避免胎儿脑的发育异常。在医学影像中,超声(ultrasound,US)是胎儿脑结构量化计算的首选成像方法,具有实时、无辐射及费用低等优点。Torres 等人(2022)针对US 成像,对胎儿头部和大脑评估过程中所采用的不同图像处理方法进行分析和分类。但US 图像容易受羊水过少、孕周过大、胎儿体位、胎儿肋骨钙化、多胎和母体体型(如母体肥胖、合并子宫肌瘤等)等因素的影响,不能计算胎儿脑皮质细小结构、脑结构纤维束连接和功能连接(任婧雅和董素贞,2020)。而胎儿磁共振成像(magnetic resonance imaging,MRI)没有这些局限性。与US 相比,MRI 具有视野大、软组织分辨率高等特点,能够发现US 中不易发现的结构。因此,MRI 作为US 的补充工具,在产前诊断中愈加重要(Khawam等,2021)。然而,常规的MRI 诊断依赖于阅片医生的水平和经验,存在主观性强、重复性低和定量分析不足等问题(施俊 等,2020)。胎儿脑的自动测量可以实现对胎儿脑发育的定量评估(Makropoulos 等,2018a),从而有助于提升医生的阅片效率及诊断的准确性。
实现自动、定量和精确地分析胎儿脑磁共振(magnetic resonance,MR)图像依赖于可靠的图像分割。如图1所示,胎儿脑MR图像分割主要包括脑实质提取(brain parenchyma extraction)、组织分割(tissue segmentation)及病灶分割(lesion segmentation)(Olshaker 等,2018)。其中,脑实质提取又分为大、小脑提取,脑组织分割则将脑实质中的脑脊液(cerebrospinal fluid,CSF)、灰质(gray matter,GM)、白质(white matter,WM)等分割出来,而病灶则包括出血、脑室增大等。最后,结合组织/病灶分割情况,医生或专业人员判断胎儿脑的正常与否和缺陷所在。
图1 胎儿脑MR图像分割方法流程图Fig.1 Flow chart of fetal brain segmentation method
虽然成人及婴幼儿脑图像分割方法已经得到了广泛关注与快速发展,但相关技术与方法往往又不适合直接应用于胎儿脑图像中。主要包括以下几个原因:
1)图像信息复杂,结构差异较大。成人及婴幼儿图像在大、小脑提取过程中仅需要考虑脑壳及头皮的影响,而胎儿图像在提取脑实质过程中,还需要去除图像中孕妇母体及其他身体组织的影响。如图2 所示,以MR 图像为例,图2(a)显示的是胎儿MR 图像,孕妇母体中部分组织由于具有相似结构或灰度范围,对胎儿脑实质提取的准确性产生较大的影响。图2(c)是新生儿颅脑(Li等,2019),其在提取过程中仅会受到脑壳及头皮的干扰。
图2 胎儿/新生儿颅脑MR图像对比(Chen等,2021a)Fig.2 Comparison of fetal and neonatal brain MR images(Chen et al.,2021a)((a)fetal brain;(b)enlarged image of(a);(c)neonatal brain)
2)图像质量差。MR 图像在成像过程中,由于胎儿脑体积小,同时还伴有神经元细胞的移位变化及白质的髓鞘化表现,神经元细胞从生发基质向灰白质移行的过程中,灰白质信号表现相似,导致图像对比度较低(Gu 等,2019);此外,由于扫描时间短,没有进行类似婴儿一样的镇静过程,图像的对比噪声比(contrast-to-noise ratio,CNR)相对更低,胎儿MR 图像在采集过程中也极易因为胎儿活动出现运动伪影、组织边界模糊等问题,如图3 所示。因此,胎儿MR 图像往往质量较差,在很大程度上影响了脑实质提取及组织分割的准确性。
图3 胎儿MR图像前后帧颅脑错位及图像降质(Chen等,2021a)Fig.3 Craniocerebral misalignment and image degradation in consecutive frames of fetal MR images(Chen et al.,2021a)
3)胎儿脑发育快速,结构变化大。胎儿脑是一个快速成长中的脑,其大小与形状的变化情况比整个生命周期中的其他时刻都要明显。图4 为美国哈佛大学计算放射学实验室胎儿脑图谱(computational radiology laboratory fetal brain atlas,CRL)显示的21~36 孕周胎儿脑发育过程(Gholipour 等,2017)。从图中可以看出,胎儿脑大小、形状及发育中的灰白质的灰度在短时间内发生快速变化。结构问题及上文提到的胎儿MR 图像中极易存在的噪声、伪影等降质因素进一步影响了胎儿脑实质提取、组织/病灶分割的准确性。此外,小孕周时胎儿脑内脑脊液含量较多,也对胎儿脑的提取造成困难。
图4 不同孕周的胎儿脑图谱(Gholipour等,2017)Fig.4 Fetal brain atlases with different gestational weeks(Gholipour et al.,2017)
经过数十年的发展,医学图像分割方法已经得到了广泛的应用,尤其是随着深度学习方法在医学领域的应用,许多基于深度学习的医学图像分割方法得到了广泛关注与快速发展(Litjens 等,2017;Shen 等,2017;施俊 等,2020)。在婴幼儿脑图像研究方面,Devi 等人(2015)对新生儿大脑MR 图像分割方法进行综述,并将其分为脑实质分割及脑组织分割两个方面。Li 等人(2019)对婴儿大脑MR 图像分割进行总结与分析。张航等人(2020)从基本思想、网络架构、性能及优缺点4 个方面对基于深度学习的等强度婴儿脑MR 图像分割方法进行了系统性总结。Makropoulos 等人(2018a)对胎儿及新生儿脑MR 图像分割进行了综述,其中针对胎儿脑图像的分割主要分为脑实质提取及脑组织分割两个方面,由于此前几乎没有基于深度学习方法的应用,该综述在针对胎儿脑图像分割的方法细分中并未提及深度学习相关方法。Pishghadam 等人(2016)则仅针对胎儿MR图像中的脑实质提取方法进行了综述。
本文针对胎儿脑MR 图像分割方法进行综述,包括胎儿脑实质提取、组织分割及病灶分割。首先,对胎儿脑MR图像的主要公开图谱/数据集进行详细说明;接着,对脑实质提取、组织分割和病灶分割方法进行分析;最后,讨论了当前研究的局限性,并提出未来的研究方向。
1 胎儿脑图谱及数据集
不同于成人及婴幼儿脑图像,胎儿脑MR图像数据相对较少。现有的胎儿脑MR图像共包括4个脑图谱及3个数据集,分别是:胎儿脑时空图谱(spatiotemporal atlas of the fetal brain,SAFB)(Habas等,2010a)、高清时空图谱(high-definition spatio-temporal atlas,HDSTA)(Serag 等,2012b)、CRL 胎儿脑图谱(Gholipour 等,2017)、脊柱裂图谱(spina bifida aperta atlas,SBA)(Fidon 等,2022)、发展人类连接组计划(the developing human connectome project,dHCP)(Makropoulos 等,2018b)、胎儿组织标注数据集(fetal tissue annotation datasets,FeTA)(Payette等,2023)以及胎儿脑磁共振采集数字模型(fetal brain magnetic resonance acquisition numerical phantom,FaBiAN)(Lajous等,2022)。图5展示其中3个脑图谱及1个数据集的胎儿脑MR图像轴状面、矢状面和冠状面3个视图的差异情况。表1列出了7个公开可用的胎儿脑图谱/数据集的详细信息,其中,GAs指gestational ages,TR指repetition time,TE指echo time。
表1 公开的胎儿脑MR图谱/数据集Table 1 Publicly available fetal brain MR atlas and datasets
图5 不同图谱/数据集的胎儿脑MR图像Fig.5 Fetal brain MR images from different atlas/datasets
1.1 胎儿脑图谱
SAFB使用西门子1.5 T(Tesla)扫描设备对40例胎龄为20.57~27.86 孕周且脑发育正常的胎儿进行MR 成像。对于每个受试者,在轴状面、矢状面和冠状面获取有关胎儿脑的多个T2 加权(T2-weighted,T2w)单次激发快速自旋回波(single shot fast spin echo,SSFSE)图像堆栈。采集得到的图像首先使用切片交叉运动校正(slice intersection motion correction,SIMC)技术对图像堆栈进行配准(Kim 等,2010),以消除胎儿运动(胎动)的影响,并重建分辨率为0.5 mm 的各向同性胎儿脑3D 图像。重建后的MR 图像手工分割为灰质、白质、生发基质(germinal matrix,GMAT)、脑室(ventricles,Vent)和非脑结构(non-brain structures)区域,并利用人工标注进行组织概率图的分组配准,随后模拟了胎龄对胎儿脑的灰质、白质、生发基质和脑室的影响。同时,以类似的方式创建了MR 灰度、形状和全局尺度变化的时空模型,从而构建出完整的胎儿脑解剖结构的4D图谱。该图谱能正确捕捉胎儿脑解剖结构中与发育相关的变化,因此,可用于改进基于图谱的胎儿脑MR图像组织自动分割方法(Habas等,2010a)。
HDSTA 对80 例胎龄为21.7~38.7 孕周且脑外观正常的受试者使用飞利浦1.5 T Achieva 设备,获得T2w SSFSE 扫描图像。对于每个受试者,在轴状面、矢状面和冠状面获取多个图像堆栈,并使用Jiang 等人(2007)所述的切片到体积配准(slice-tovolume registration,SVR)方法,得到分辨率为1.18 mm的各向同性3D图像。针对得到的图像,首先用脑提取工具(Smith,2002)去除非脑组织,并使用Tustison等人(2010)的N4(improved nonparametric nonuniform intensity normalization)算法进行偏置场校正;接着,在预处理的基础上使用自适应核(Serag 等,2012a)及成对图像配准将图像划分到不同的时间间隔组;随后,使用来自所选年龄邻域的加权来构建任何给定年龄的平均大脑模板。该图谱由医学专家手动分割为4 个组织类型,包括:大脑半球(brain hemispheres)、脑室、皮层(cortex)和脑脊液(Serag 等,2012b)。
CRL胎儿脑图谱由美国波士顿儿童医院的计算放射学实验室创建,对81例胎龄为19~39孕周的健康胎儿使用西门子3 T Skyra/Trio MRI 扫描设备,或者使用飞利浦1.5 T Achieva 扫描设备,重复采用T2w SSFSE 扫描得到胎儿MRI 数据。另有一组数据作为测试集,基于7 例胎龄介于23~38 孕周的健康胎儿扫描得到。针对该组图像的预处理,首先将MRI数据通过层间运动校正和超分辨率重建(Gholipour 等,2010)迭代得到3D 图像;然后,通过监督水平集分割(Yushkevich 等,2006)和人工修正得到胎儿脑掩膜,并经过N4算法和灰度归一化后得到重建图像。在上述图像预处理的基础上,将空间对称微分同胚形变配准(Avants 等,2008)与年龄中的核回归相结合对图像进行配准,构建胎儿脑发育的无偏4D 图谱。图谱带有脑组织和结构标记,包括皮层灰质(cortical gray matter,CGM)、白质、皮层下灰质结构(subcortical gray matter structures)、脑脊液、侧脑室(lateral ventricles)、脑干(brainstem,BS)和小脑(cerebellum,Cer)等。该图谱可作为解剖学、配准和分割的参考,以帮助大脑连通性分析及早期大脑生长的分组和纵向分析(Gholipour等,2017)。
开放性脊柱裂(spina bifida aperta,SBA)在怀孕第1 个月内胎儿脊柱未能闭合时发生,是一种出生缺陷。SBA 会影响胎儿脑的发育,导致终生残疾,如认知障碍、行动困难和寿命缩短。因此,开发可视化SBA对于改善先天性SBA患儿的诊断和治疗至关重要。比利时鲁汶大学医院和英国伦敦大学医院提供数据并创建了SBA 图谱,该图谱由90例胎龄为21~35 孕周的SBA 胎儿在1.5 T 扫描设备上采集至少3 个正交T2w半傅里叶单次激发快速自旋回波(half-Fourier acquisition single-shot turbo spin-echo,HASTE)序列得到。在图像处理部分,首先使用Ranzini 等人(2021)基于深度学习的方法自动提取2D 胎儿MR 图像中的胎儿脑;然后,使用Ebner 等人(2020)的超分辨率重建算法获得胎儿脑各向同性和无运动的3D 图像;接着,对3D 图像提出7 个解剖标志的标注协议,以提高图像配准步骤的准确性和鲁棒性;最后,基于解剖协议提出一种加权广义普氏分析(generalized procrustes analysis,GPA)(Gower,1975)方法实现对图谱的无偏初始化,并根据图像灰度和解剖结构采用非线性配准优化图谱。该图谱采用半自动分割方法将胎儿脑图谱分为8 种组织类型,是第1 个针对SBA 的时空胎儿脑MR 图谱,为将来SBA 胎儿脑3D MR 图像自动分割方法的研究提供支持(Fidon等,2022)。
1.2 胎儿脑数据集
dHCP由英国伦敦国王学院、伦敦帝国理工学院和牛津大学共同创建。对20~45 周受试者使用飞利浦3 T 扫描设备采集数据(Hughes 等,2017)。为了减少运动的影响,使用快速自旋回波(fast spin echo,FSE)序列获得T2w 图像,该序列在两个2D 切片堆栈(轴状面和矢状面)中获取,同时,使用具有相同分辨率的反转恢复(inversion recovery,IR)FSE 序列获取T1 加 权(T1-weighted,T1w)图像。结 合Cordero-Grande 等人(2018)和Kuklisova-Murgasova等人(2012)提出的运动校正和超分辨率重建技术,得到分辨率为0.5 mm 的各向同性3D 图像。得到3D 图像后,首先对T1w 和T2w 图像使用基于期望最大化的发育大脑区域标注(developing brain region annotation with expectation-maximization,Draw-EM)算法(Makropoulos 等,2014)将大脑图像分割成9 种组织类型;接着,进行皮层白质及软膜掩膜提取(Schuh 等,2017),膨胀并投影到球体(Alvarez 等,2002;Fischl 等,1999);最后,定义皮层特征描述符,包括皮层几何形状和髓鞘形成的描述符(Glasser等,2013)。该项目成功扫描了800 多个新生儿大脑和300 多个胎儿脑,旨在构建一个20~45 周的人脑连接的动态图谱并尝试创建早期生命的4D 连接组(Makropoulos等,2018b)。
瑞士苏黎世大学儿童医院和苏黎世大学联合领导创建的FeTA 是第1 个公开发布的胎儿脑数据集。该数据集对120 例20~33 孕周的受试者使用通用1.5 T 或3 T 全身扫描设备(型号为Signa Discovery MR450/MR750)获得正常与患病胎儿的T2w SSFSE低分辨率扫描图像,以胎儿脑为标准,在轴状面、矢状面和冠状面中选择一个维度的高质量图像,再使用超分辨率方法进行胎儿脑MR 图像高分辨率重建。其中,60例数据的大脑掩膜通过MeVisLab 模块(Deman 等,2020)或人工标注的方法获得,再使用mialSR(MIAL super-resolution)方法重建(Tourbier等,2023);其余60 例使用Simple IRTK(simple image registration toolkit)方法重 建(Kuklisova-Murgasova等,2012),最终得到分辨率为0.5 mm的各向同性胎儿脑MR 图像。随后,对每个重建图像进行直方图匹配(Kikinis 等,2014),并将图像填充成大小为256 × 256 × 256 的三维图像。最后,使用Fedorov 等人(2012)和Kikinis 等人(2014)方法中的工具将每个重建图像分割为7 类不同的脑组织。该数据集旨在作为自动多分类语义或实例分割算法的训练数据集,并在2022 年医学图像计算和计算机辅助干预国际会议(medical image computing and computer assisted intervention,MICCAI)作为分割挑战赛数据集(Payette等,2023),从而评估不同的自动胎儿脑分割算法的性能(Payette等,2023)。
FaBiAN 是一种胎儿脑磁共振采集数字模型,模拟了临床T2w 胎儿脑的FSE序列。该数据集通过对13例21~33孕周的受试者使用西门子1.5 T扫描设备进行采集,获取正常胎儿HASTE 图像;通过对15 例21~35孕周的受试者使用1.5 T或3 T临床GE全身扫描仪(型号为Signa Discovery MR450/MR750)进行采集,获取13 例正常胎儿脑和2 例轻度脑室增大胎儿脑SSFSE图像。在得到的数据上进行以下操作:首先,将脑组织分为白质、灰质和脑脊液等高分辨率图像中的解剖结构并将其转换为相应的MR 对比度信息,以获得1.5 T 或3 T 时胎儿脑的参考T1w和T2w 图像;再使用扩展相位图(extended phase graph,EPG)算法(Hennig 等,2004)模拟每个大脑体素中的T2w随时间的衰减;随后,对运动胎儿模拟图像的傅里叶域进行采样;最后,通过2D 傅里叶反变换恢复胎儿脑的HASTE 和SSFSE 图像。该数据集支持用于胎儿脑组织分割的数据密集型深度学习方法,丰富了临床数据集(Lajous等,2022)。
本节介绍了7 个公开可用的胎儿脑MR 图谱/数据集。早期胎儿脑图谱中数据量较少,不利于基于监督学习的方法研究。随着FeTA,dHCP 等数据集的公开,胎儿脑领域可用数据集已经有所增加,因此,许多学者也将深度学习应用于胎儿脑图像的分割当中,并取得了一定的成果。然而,不同数据集之间由于采集设备、参数和预处理方法的不同,数据差异较大,尤其与医院实际采集得到的数据有较大差异,也在一定程度上降低了不同数据集的可用性及跨数据集的使用。
2 图像分割
医学图像分割对于组织/病灶的定量分析、制定治疗计划和监测疾病进展具有重要意义。胎儿脑作为一个快速成长中的脑,其大小与形状的变化情况比整个生命周期中的其他时期都要明显。因此,自动、定量和精确地分析胎儿脑MR 图像具有重要的临床意义,而上述分析又依赖于图像自动分割技术。胎儿脑MR 图像分割主要包括胎儿脑实质(简称胎儿脑)提取、组织分割及病灶分割(Olshaker 等,2018),其中胎儿脑提取主要包括大、小脑提取,而组织/病灶分割则进一步将大脑中的脑脊液、灰质、白质、脑室及病灶等提取出来,从而结合组织/病灶分割情况,判断胎儿脑的正常与否以及缺陷所在。以下分别针对胎儿脑提取、组织分割及病灶分割进行说明与分析。
2.1 脑实质提取
2.1.1 方法概述
胎儿脑提取是胎儿脑图像分析的先决条件,有利于准确观测胎儿脑形态结构,监测和表征胎儿脑发育,便于临床早期诊断和干预治疗(Rampun 等,2020)。尽管可通过人工分割实现大脑提取,但由于耗时长且需要一定的医学知识,通过人工分割实现大规模的胎儿脑提取并不现实。虽然目前已有针对成人和婴儿MR 图像大脑提取的公开软件且精度较高(Shi 等,2011;Smith,2002),但正如引言中所述,胎儿MR 图像中存在母体组织的干扰,图像对比度低,以及胎儿脑大小及结构与成人/婴儿MR 图像有较大差异的问题,如图2 所示。因此,这些工具并不适用于胎儿MR 图像的大脑提取(Tourbier 等,2015)。此外,由于孕妇母体扫描过程通常需要较长时间,在图像采集过程中,孕妇的呼吸或者不可预测的胎动都可能导致运动伪影(Lou 等,2019),引起图像质量下降。因此,胎儿脑的提取是极具挑战性的。学者们针对胎儿脑提取进行了一系列的研究工作,总体可归类为以下4 种技术:阈值分割技术、区域生长技术、图谱融合技术和分类技术。
1)阈值分割技术(Al-Attas 和El-Zaart,2007)是通过设置不同的阈值,把具有不同灰度级的图像像素点分为目标区域和背景区域等若干类,也常用于医学图像分割。Anquez 等人(2009)提出了一种依赖于眼睛定位及模板匹配的胎儿脑提取方法,方法引入了二值分割法并充分利用对比度信息、形态学及生物特征等先验知识,由于胎儿眼睛有时不能完全可见,且该方法是基于胎儿MR 图像没有明显胎动的假设,因此方法并不可靠。Somasundaram 等人(2016)使用重心为中心画圆以去除周围母体组织得到感兴趣区域(region of interest,ROI),然后通过阈值法、形态学操作和连通域分析对胎儿脑进行提取,该技术的局限性是当母体组织和胎儿颅骨的灰度相似时方法的准确性不足。由于胎儿脑不同组织对比度低,部分切片中的皮层和脑脊液灰度分布相似,如图6 所示,不能仅用传统分割算法对所有切片的胎儿脑进行分割,Gayathri等人(2020)提出一种融合各向异性扩散、形态学滤波和改进最大熵阈值的自动胎儿脑提取方法。
图6 胎儿脑脊液和皮层灰度相似(Gayathri等,2020)Fig.6 Intensity similarity of fetal cerebrospinal fluid and cortex(Gayathri et al.,2020)
2)区域生长技术(Adams 和Bischof,1994)是指从某个像素出发,按照一定的准则,逐步加入邻近像素,当满足一定条件时,区域生长终止。Pishghadam等人(2019)同样利用眼睛来定位胎儿脑,采用变分水平集方法提取胎儿脑,提取流程如图7。该方法同样对运动伪影非常敏感。Durgadevi和Vijayalakshmi(2021)利用种子区域生长分割技术,首先对图像进行了表征,然后对局部图像进行了自动分割,并对分割结果进行了讨论。
图7 提出的胎儿脑提取流程图(Durgadevi和Vijayalakshmi,2021)Fig7 Proposed flow chart of fetal brain extraction(Durgadevi and Vijayalakshmi,2021)
3)图谱融合技术是根据对齐图谱的标签来分割图像。Taleb 等人(2013)提出一种基于年龄相关模板/图谱匹配的方法来解决具有胎动及分辨率低的MR 图像胎儿脑自动提取问题,方法首先在正交获取的图像(轴状面、矢状面和冠状面)中定义一个ROI,然后将ROI 配准到一个特定年龄的胎儿脑模板中。Wright等人(2014)采用Eskildsen等人(2012)提出的基于分块的大脑分割方法,从胎儿MR 图像中提取大脑,该方法是通过Coupé 等人(2011)提出的基于分块的技术对成人MR 图像大脑提取的多分辨率扩展。Tourbier 等人(2015)采用基于归一化相关系数的全局加权投票法(global weighted voting,GWV)来实现多图谱融合(multiple atlas fusion,MAF)策略,从而证明在胎儿脑分割中基于MAF 策略的方法性能明显优于其他方法。图谱融合技术对具有运动伪影的胎儿图像的错误配准较敏感。为了缓解这一问题,Wright 等人(2014)在脑提取之前采用SVR技术。
4)基于分类技术的方法首先在图谱/数据集上训练分类器,以学习基于图像特征的标签分配,然后,分类器为测试图像中的像素/体素贴上标签。本文将应用于胎儿脑提取领域的分类技术分为基于传统机器学习的分类技术与基于深度学习的分类技术。
(1)基于传统机器学习的分类技术。Ison 等人(2012)提出了一种从原始胎儿MR 图像中提取和定位大脑的框架,该框架首先通过二相随机森林分类器抑制母体组织的影响,找出大脑内组织质心的可能位置,接着使用高阶马尔可夫随机场预测大脑中心和ROI,结果表明全自动胎儿脑提取是可行的。为解决由于胎动而错位的2D 图像堆栈的胎儿脑提取问题,Keraudren 等人(2014)在定位阶段使用词袋模型(bag-of-words,BOW)(Csurka 等,2004)及最大稳定极值区域(maximally stable extremal regions,MSER)技术查找胎儿头部的所有候选对象,并结合胎龄等先验知识根据大小对所有候选对象进行筛选,提取候选对象的尺度不变特征变换(scaleinvariant feature transform,SIFT)特征,然后使用支持向量机进行分类,在粗分割的基础上基于随机森林与条件随机场(conditional random field,CRF)实现大脑提取。
(2)基于深度学习的分类技术。随着深度学习的发展,基于深度学习的分类技术大量用于胎儿脑提取领域。而基于深度学习的分类技术大多使用基于编码器—解码器结构的U-Net 网络。本文将基于深度学习的分类技术分为基于U-Net(Ronneberger等,2015)及其改进网络的方法与基于其他卷积神经网络(convolutional neural network,CNN)的方法。为了提高提取精度,减少假阳性,许多方法使用多阶段提取框架,如先定位到大脑周围区域,再进行提取等,如图8 所示。因此,本文又将胎儿脑提取细分为单阶段和多阶段策略。
图8 胎儿脑定位—提取框架Fig.8 A framework for fetal brain localization and extraction
①单阶段U-Net。由于层间错位和胎动引起的伪影会导致3D图像中产生不相关的结构边界,Salehi等人(2018)基于2D U-Net和自动上下文开发了一种深度全卷积神经网络(fully convolutional network,FCN),用于提取胎儿脑,该网络具有较高的实时性。Gu 等人(2021)提出基于注意力的综合卷积神经网络(comprehensive attention-based convolutional neural networks,CA-Net),该网络由联合空间注意力模块、通道注意力模块及尺度注意力模块组成,在胎儿脑提取中比原始U-Net具有更高的鲁棒性。Rampun等人(2021)提出了一种融合U-Net 和全面嵌套边缘检测(holistically nested edge detection,HED)结构(Xie 和Tu,2015)的SIMOU-Net(single input multioutput U-Net),该网络将下采样阶段的局部信息、上采样阶段的上下文信息及多尺度、多层次的上下文信息结合在一起,在正常图像和运动伪影图像上都获得较高的胎儿脑提取准确性。Li 等人(2021a)提出基于U-Net 的胎儿脑自动提取方法,并结合超分辨率重建得到胎儿脑3D 图像。de Asis-Cruz 等人(2022)提出了实时性较高的端到端生成对抗网络(generative adversarial network,GAN)用于胎儿脑分割,该网络由两个CNN 组成:基于3D U-Net 的生成器和基于全卷积解码器网络的鉴别器。
②多阶段U-Net。为了从带有运动伪影的堆栈中提取胎儿脑,同时,针对U-Net 经过几层下采样后,特征图的维数逐渐降低并变得比标签小,从而导致反向传播无效、收敛速度减慢及模型识别能力降低的问题,Lou 等人(2019)对U-Net 做出了改进,提出一种基于深度监督的多阶段2D U-Net 实现胎儿脑提取。Dudovitch 等人(2020)提出端到端自动分割胎儿结构的方法,且只使用少量标签数据训练,方法主要包括3 个阶段:采用3D U-Net 进行两步自动结构分割、分割误差估计及分割误差修正。Chen 等人(2021a)提出一种针对3D 图像的胎儿脑多阶段提取框架,该框架首先结合连接组件标记算法和质心法的全局定位网络实现胎儿脑的定位并得到粗概率图,接着采用局部细化网络对定位后的胎儿脑进行精细分割得到细概率图,最后将前两步得出的概率图输入到融合网络中得到最终的提取结果,虽然该方法在测试结果中取得了较高的精度,但对具有伪影的图像仍不具有鲁棒性。Zhang 等人(2021)提出两阶段置信感知级联框架,首先分割大脑区域并对3D 图像中的每个切片产生分割置信度,然后,利用具有高置信度分数的图像来指导低置信度图像的大脑分割,特别是在大脑中的模糊边界区域。此外,该方法还提出了一种切片一致性损失函数来增强相邻切片分割结果之间的关系。Liao 等人(2020)对于严重的运动伪影问题,使用U-Net 改进网络并联合图像质量评价的胎儿脑提取多阶段深度学习模型,模型在胎儿脑检测和特征提取后,同时进行质量评价和胎儿脑提取。
③单阶段其他卷积神经网络。Rajchl 等人(2017)利用CNN 建模扩展了GrabCut(Rother 等,2004)的思想提出了DeepCut,该方法对一种定义在密集连接的条件随机场上的迭代能量最小化问题进行建模,并使用它来更新一个CNN 模型的参数。Wang 等人(2020)提出了一种不确定性引导的交互式细化(uncertainty-guided interactive refinement,UGIR)框架来分割胎动导致的胎儿降质图像,方法首先提出一种基于分组卷积的CNN,在一次前向传递中获得具有不确定性估计的多个自动分割预测,然后引导用户只在不确定性最高的切片子集中提供交互,接着提出了一种交互水平集方法,得到初始分割的细化结果。Faghihpirayesh 等人(2022)为提高实时性和准确性,提出小型CNN,将高分辨率的空间细节信息和低分辨率提取的上下文特征结合起来,并使用了多个具有跳跃连接的分支来保持高精度,同时设计了卷积和池化操作的并行组合作为下采样模块的输入,进一步减少了预测时间。为了解决由于胎动和母体呼吸导致的图像模糊和重影问题,Sun等人(2023)提出了一种用于胎儿脑提取的多尺度多层次注意力卷积神经网络(multi-scale multihierarchy attention convolutional neural network,MSMHA-CNN)。MSMHA-CNN采用不同局部感受野的多重卷积运算来提取胎儿脑的多尺度特征,以有效利用子宫内3D MR 图像的上下文信息;同时,引入了基于通道的空间注意力结构,自适应地融合由不同卷积核大小的卷积运算得到的多尺度特征图;此外,方法采用特征金字塔结构来学习多层特征。
多阶段其他卷积神经网络。Ebner 等人(2020)基于P-Net 的初始分割(Wang 等,2018)对多个由于胎动引起错位的2D胎儿脑图像进行粗分割定位,提出一个多尺度损失函数训练P-Net 实现胎儿脑的精细分割。Li 等人(2020)在训练数据有限的情况下,使用一个浅层的FCN 有效地进行胎儿脑定位和ROI提取,并提出一个深层多尺度FCN 来提取胎儿脑,该网络将残差学习块和多尺度分割相融合来处理胎儿脑组织在妊娠周期内的巨大变化。Wu 等人(2021)首先使用CNN 在每个输入低分辨率图像中自动定位胎儿脑,以获得胎儿脑的初始分割,接着使用第2个CNN实现局部分割,提取胎儿脑。
上述胎儿脑提取相关文献方法概述见表2。
表2 胎儿脑提取方法总结Table 2 Summary of fetal brain extraction methods
2.1.2 性能分析
表3 描述了本节胎儿脑提取主要方法的性能。所有方法均采用自有数据集进行测试。表中采用Dice 系数(Dice coefficient)及豪斯多夫距离(Hausdorff distance,HD)作为胎儿脑提取的指标来评估方法性能。Dice 的范围为0~1,Dice 越接近1,分割效果越好;HD值越小,分割效果越好。
表3 胎儿脑提取方法的性能评估Table 3 Performance assessment of fetal brain extraction methods
2.1.3 方法总结
上述方法比较时都使用自有数据集,无法进行统一的性能比较。因此,创建特定的公共数据集进行不同方法的比较成为亟待解决的问题。
现有方法针对质量较好的MR 图像均能取得不错的效果。但仅部分方法(Ebner 等,2020;Gayathri等,2020;Ison 等,2012;Keraudren 等,2014;Liao 等,2020;Lou 等,2019;Rampun 等,2021;Salehi 等,2018;Sun等,2023;Taleb等,2013;Tourbier等,2015;Wang 等,2020;Wright 等,2014;Zhang 等,2021)考虑到运动伪影、边界模糊等图像降质因素。因此,降质图像的胎儿脑提取需要进一步关注。上述基于深度学习的方法都依赖于图像的标注,而医学图像的标注过程非常困难并且需要耗费大量时间精力,尤其对于具有降质问题的图像而言,所以训练数据不足的问题仍比较严重(Li等,2020)。同时,基于深度学习的方法中,大多数多阶段策略由于引入了粗定位与精细分割这两个阶段,有助于提高胎儿脑提取的准确性。
2.2 组织分割
2.2.1 方法概述
胎儿脑实质从母体中提取出来后可进一步进行组织分割。脑组织分割通常是指将脑实质中的灰质、白质等分割出来。如第1 节所述,不同的数据集在进行胎儿脑组织分割时,脑组织分类数也有所不同,如图9 所示。目前,胎儿脑组织分割主要采用图谱融合技术和分类技术,其中,分类技术又分为基于传统机器学习的方法与基于深度学习的方法。本节对胎儿脑组织分割技术进行说明。
图9 胎儿脑组织分割数据集示例Fig.9 Dataset example of fetal brain tissue segmentation
1)图谱融合技术。Habas 等人(2008)提出使用图谱的期望最大化(expectation maximization,EM)模型并进行偏差估计,将胎儿脑分割为灰质、白质、生发基质和脑脊液。基于之前的工作,Habas 等人(2009)将解剖约束作为先验知识加入到传统的基于图谱的EM 模型中。随后,Habas 等人(2010b)结合图谱并引入了简化的隐马尔可夫随机场(Markov random field,MRF)模型以消除被其他组织体素包围的孤立体素。Dittrich 等人(2011)提出了基于单个标注示例的胎儿脑结构时空分组协同分割方法,该方法基于一种时空隐图谱,使用包含图像似然项、时空项、长度项和面积项的概率水平集公式实现建模分割。Serag 等人(2012b)提出了一种基于图谱的脑组织分割方法,其中胎儿脑扫描图像被分割为皮层、脑室和大脑半球。Wright等人(2014)提出的基于图谱的组织分割方法采用Ledig 等人(2012)为新生儿图像开发的期望最大化马尔可夫随机场(expectation maximization markov random field,EM-MRF)方法分割胎儿脑组织。Gholipour 等人(2017)通过概率标签融合(Akhondi-Asl 和Warfield,2013)的多图谱分割方法构建发育中胎儿脑的4D图谱。
2)分类技术。
(1)基于传统机器学习的分类技术。Bach Cuadra等人(2009)提出一种基于EM-MRF 组织分割方法,针对胎儿脑组织中明显的灰度变化提出了一种由7个高斯分布组成的模型和一个三阶段的MRF模型。Benkarim 等人(2020)提出结合联合标签融合得到的初始概率图和基于支持向量机的区域学习方法,从重建的高分辨率图像中分割出主要组织。
(2)基于深度学习的分类技术。许多基于深度学习的分类技术大多以U-Net 作为基础网络进行改进及应用。因此,本文将基于深度学习的方法细分为基于U-Net 及其改进网络的方法、基于其他神经网络方法和基于Transformer的方法。
①U-Net及其改进网络。Rampun等人(2020)在U-Net基础上通过加深卷积层、引入更加鲁棒的激活函数与优化函数实现对网络的改进,该方法在不丢失空间信息的情况下可以在不同的分辨率下捕获更精细的纹理信息,虽然取得了较好的分割结果,但位于大脑边缘区域的分割结果仍有待进一步提升。Khalili 等人(2019)引入灰度不均匀的数据增强方式,使训练数据适用于具有灰度不均匀问题的降质图像,并引入U-Net 实现脑组织分割,从而证明了引入灰度不均匀的增强能够弥补降质训练数据的不足。Payette等人(2020)提出在超分辨重建后的图像上使用多分类U-Net 的方法来分割胎儿脑组织。Zhao 等人(2022)采用3D U-Net 及参数化整流线性单元激活函数优化网络性能以实现胎儿脑组织分割。与基于图谱的方法相比,3D U-Net 具有更高的分割精度,但针对不同扫描设备得到的图像的分割性能还有待进一步评估。Gangopadhyay 等人(2022)提出了多任务单编码器U-Net,不仅将胎儿脑分割为7 种组织,同时能够预测胎儿脑的类型及胎龄。de Dumast 等人(2022)为解决现有带标注的胎儿脑数据集有限的问题,使用FaBiAN 来模拟各种真实的胎儿脑MR 图像及其类别标签,再使用2D U-Net 进行组织分割。Peng 等人(2023)提出了基于nnU-Net(no-new U-Net)的胎儿脑组织分割方法,在编码器中采用残差结构增强信息在浅层的传播,并引入深监督机制加速网络的有效训练,方法在FeTA挑战赛中排名第3。
②其他卷积神经网络。Dittrich 等人(2014)提出了一种基于时空隐图谱的半监督分割方法,由于该方法是根据3 组正交切片(冠状面、矢状面、轴向面)重建的3D 图像构建图谱,因此重建算法引入的降质因素也包含在分割结果中。Dou 等人(2021)在FCN 架构中加入深度注意力模块,引入了深监督及残差连接,缓解了因胎儿脑结构的变化和严重的部分容积效应而难以提取多尺度上下文信息的问题,虽然该方法取得了较好的结果,但仍丢失了胎儿脑皮层细微边界的细节。Fidon 等人(2021a)将部分监督学习应用于胎儿脑的3D MR 图像分割,提出了标签集损失函数,较好地处理部分分割图像。Karimi等人(2023)提出一种新的标签平滑流程和损失函数来训练一个基于深度学习且具有噪声平滑功能的分割模型,该方法适当考虑了组织边界的不确定性,取得了较好的分割结果。Li 等人(2021b)提出由分割子网(segmentation subnet,SS)、图谱生成子网(atlas generation subnet,AGS)和微分同胚配准子网(diffeomorphic registration subnet,DRS)组成的条件图谱生成和大脑分割网络(conditional atlas generation and brain segmentation network,CAS-Net),网络可同时生成条件地图集和分割脑组织。针对运动或部分容积效应引起的灰度不均匀,CAS-Net 生成的条件地图集可提供分割连通性的解剖先验,从而提高了运动伪影图像分割的准确性。Mazher等人(2022)提出了一种端到端的胎儿脑多组织分割模型IRMMNET(inception residual multi-scale multi-view network),模型包含初始残差编码器块和密集空间注意力(dense spatial attention,DSA)模块,便于从多视图MR 图像中提取多尺度胎儿脑组织相关信息,增强了特征重用,大大减少了分割模型的参数数量。
③基于Transformer 的方法。如上所述,基于CNN 的分割模型在医学图像分析中占据主导地位,并取得了显著的成果(Chen 等,2018)。CNN 利用卷积核来执行卷积运算,提取局部特征,然而,基于CNN 的模型仍很难从胎儿脑MR 图像中精确分割胎儿脑组织,主要问题之一是卷积运算的局部性导致模型难以提取长距离语义信息(Chen 等,2021b)。Transformer(Vaswani 等,2017)凭借自注意力机制弥补CNN 分割模型的不足,在自然语言处理领域取得了巨大成功,并已应用于胎儿脑MR 图像分割。Lee等人(2022)提出了一种轻量级3D UX-Net,采用基于CNN 的分层Transformer 实现鲁棒的组织分割。Wen等人(2023)提出了一种新型非平衡加权U-Net,该方法将基于移位窗口和外部注意力(shifted window and external attentions,ExSwin)的Transformer 模块与U-Net 结合,通过有效捕获不同样本之间的长距离依赖关系和相关性来解决由于训练数据分布不平衡产生的结果偏差。Huang 等人(2023)提出基于CNN 的胎儿脑组织分割方法,将上下文转换块(contextual Transformer block,CoT-Block)应用于CNN 中,以指导动态注意力矩阵的学习并增强图像特征提取,并在解码器的最后一层引入了混合空洞卷积模块,有效地提取胎儿脑MR图像中的全局上下文信息。
胎儿脑组织分割相关文献方法概述见表4。
表4 胎儿脑组织分割方法总结Table 4 Summary of fetal brain tissue segmentation methods
2.2.2 性能分析
表5 描述了以上胎儿脑图像组织分割方法的性能。同样,将Dice 相似系数和HD 作为图像组织分割的指标来评估方法性能。其中,ThalL 指left thalamus;ThalR 指right thalamus;CC 指corpus callosum;VentL 指left lateral ventricle;VentR 指right lateral ventricle;CPL 指left cortical plate;CPR 指right cortical plate;WML 指left white matter;WMR 指right white matter;BGT 指basal ganglia and thalami;vCSF指ventricular cerebrospinal fluid;eCSF 指extracerebral cerebrospinal fluid;DGM 指deep gray matter;DR指rigid dataset;DNR指non-rigid dataset。
2.2.3 方法总结
组织分割可帮助日常临床实践研究,如诊断、随访和脑科学研究。目前组织分割面临的挑战之一是缺乏适当的数据集来对比不同的方法,故上述方法大多是基于自有数据集进行对比,公开的数据集有助于分割方法的深入研究,随着FeTA、dHCP 等数据集的出现,近年来在公开数据集上进行性能验证的方法越来越多(Wen 等,2023;de Dumast 等,2022;Fidon 等,2021a;Gangopadhyay 等,2022;Huang 等,2023;Lee 等,2022;Li 等,2021b;Mazher 等,2022;Peng 等,2023)。因此,研究人员应致力于公共数据集的构建及统一的评价标准的选择,以实现对不同方法的评价。其次,由于胎儿脑发育快,脑结构及形状变化大,其CNR 要比成人的大脑低得多,采集过程中MR 图像也会受到运动伪影等的影响,这使得胎儿脑组织分割更具挑战性,上述总结的组织分割方法中,仅少数文献考虑到此类因素(Dou 等,2021;Karimi 等,2023;Khalili 等,2019;Li 等,2020;Payette等,2020)。为解决降质图像问题,学者们或通过超分辨率重建(Khalili 等,2019;Payette 等,2020)等预处理方法,或引入降质因素对应的数据增强方法(Khalili 等,2019),或针对分割网络进行改进(Dou等,2021)以及引入解剖先验进行约束(Li 等,2020)等方法来提高降质图像的组织分割性能。此外,针对缺乏带有标注的数据集,学者们则模拟临床数据及对应标注(de Dumast 等,2022)或使用半监督方法(Dittrich 等,2014)来实现胎儿脑组织分割。因此,未来针对少量标注或无标注数据的组织分割研究也是学者们需深入研究的方向之一。最后,传统的卷积运算存在局部性,这导致模型难以提取长距离语义信息。Transformer 的自注意力机制允许模型在处理每个像素点时考虑整个图像范围内的信息,因此能够更好地捕获像素的长距离依赖关系,有助于准确分割空间关系复杂的胎儿脑MR 图像中的不同组织。但目前基于Transformer的胎儿脑组织分割领域的研究还较少(Lee 等,2022;Wen 等,2023;Huang等,2023),未来可充分利用Transformer的优点,解决胎儿脑组织分割模型性能不足的问题。
2.3 病灶分割
2.3.1 方法概述
对于非正常胎儿,如脑室增大或伴有开放性脊柱裂胎儿,可在胎儿脑提取的基础上进行病灶分割,以便医生更好地诊断病情。虽然基于深度学习的病灶分割方法在成人及婴儿脑MR 图像中进行了大量的研究工作,尤其是针对成人脑MR 图像。但由于胎儿脑MR 图像质量较差、病灶组织存在特征不明显等问题,应用于胎儿脑MR 图像的病灶分割方法还较少。本节对胎儿脑病灶分割技术进行介绍,分为图谱融合技术和分类技术。
1)图谱融合技术。Gholipour 等人(2012)使用多图谱多形状分割技术来分割胎儿脑室,该方法利用个体内脑MR 图像配准进行标签传递,并利用同步真实性能水平估计(the simultaneous truth and performance level estimation,STAPLE)保证多图谱标签融合的鲁棒性,该方法对具有明显解剖结构差异的空间上相邻结构具有较大的作用。
2)分类技术。Ebner 等人(2020)提出的方法在有不同程度的脑室增大和伴有开放性脊柱裂的胎儿MRI数据上进行了验证。Fidon等人(2021b)提出在nnU-Net 中加入分布式鲁棒优化(distributionally robust optimization,DRO)以提高网络性能的稳定性。Ranzini 等 人(2021)提出了 一种新 的工具MONAIfbs,利用新开发的人工智能医学开放网络(medical open network for artificial intelligence,MONAI)及nnU-Net 进行超分辨率重建后的脊柱裂胎儿脑分割。
病灶分割相关文献总结如表6所示。
表6 胎儿脑病灶分割方法总结Table 6 Summary of fetal brain lesion segmentation methods
2.3.2 性能分析
表7 描述了以上胎儿脑图像病灶分割方法的性能。4 种方法中,除Ebner 等人(2020)采用CRL、FeTA 及自有数据集外,其他方法均采用自有数据集。方法中主要将Dice 相似系数和HD 作为图像病灶分割的指标来评估方法性能。
表7 胎儿脑病灶分割方法性能评估Table 7 Performance assessment of fetal brain lesion segmentation methods
2.3.3 方法总结
胎儿脑的病灶分割对诊断病情有极大帮助,然而,目前检测胎儿脑异常或病变的相关研究成果较少。其次,胎儿器官的低信号、间歇性胎动和母体运动导致获取的MR 图像存在伪影等问题也是病灶分割面临的挑战之一,在将来的研究中,科研人员应注重研究图像的预处理以解决这一问题。同时,缺乏适当的数据集也是该领域面临的挑战之一,需要创建特定的数据集以更好地对比不同的方法。
3 结语
针对胎儿脑图像分割的相关研究已经有20 余年的历史,包括胎儿脑实质提取、组织分割和病灶分割。随着深度学习方法在医学领域的应用,基于深度学习的胎儿脑图像分割得到了广泛的关注。目前,针对胎儿脑MR 图像分割领域仍有许多问题有待进一步研究。
1)公开数据集少且样本量小是胎儿脑图像研究的一个主要问题。正如第1 节所述,目前已有的数据集及图谱仅7个,其中,公开数据集仅3个,不足以支撑针对胎儿脑图像的相关研究工作。在仅有的3 个数据集中,针对胎儿脑病灶的图像仅有FeTA 和FaBiAN 数据集中的部分数据。此外,医学影像的数据标注也是严重制约深度学习广泛、深入应用的一个问题,在胎儿脑图像分割领域同样需要广泛开展数据自动标记方面的研究工作。
2)现有数据集的数据不足以支撑临床应用。出于对未知风险的担忧,临床上胎儿MR 检查使用较多的是1.5 T MRI 设备,婴幼儿则可采用3.0 T MRI设备(Barzilay 等,2017)。因此,目前已有4 个胎儿脑图谱及3 个数据集中的图像大多是采集至1.5 T设备的厚层图像,这些数据均经过了大量预处理操作,从而得到各向同性的高分辨率MR 图像。然而在临床应用中,大多数图像仍然是采集至1.5 T 设备的厚层图像,除存在采集参数不同外,图像质量与分辨率也与这些公开数据集的数据有极大的不同,因此,来自于这些公开数据集的数据及标注往往无法直接应用于临床采集得到的图像。从上述许多文献中可以看出,目前的算法研究仍然是在各课题组与医生/技师完成的标注基础上得到的非公开数据集后进行相关算法验证工作,使得算法之间的可比性不足。也正是如此,FeTA成为第1个加入MICCAI挑战赛的胎儿脑图像分割数据集。由于公共数据集FeTA 的出现,2022 年以来的大部分文献采用FeTA数据集进行性能对比。
3)现有基于深度学习的方法虽然已经在胎儿脑图像分割中进行了一定程度的应用,但大多数方法仅仅是将已有的应用于其他领域的深度学习方法应用于胎儿图像中,并没有针对胎儿图像的特征,如解剖结构等进行深入研究,以提出切实可行的创新方案,实现方法性能的进一步提升。此外,在已有的文献中,基于弱监督学习/迁移学习/自监督学习等胎儿脑图像分割方法较少。
4)临床采集的MR 图像面临的运动伪影、边界模糊等图像降质问题无法避免,这使得胎儿脑分割具有挑战性。而现有的胎儿脑提取、组织/病灶分割方法只有少量文献考虑到该问题,未来针对图像降质问题,可将分割方法与数据增强、超分辨率重建、图像复原等技术结合,形成一套端到端的全栈方案来解决实际问题。
5)深度学习方法目前的性能远远不能满足胎儿脑图像分割的实际应用对结果准确性的要求。与婴儿/成人大脑提取对比,胎儿脑提取在临床应用中的准确性仅仅达到95%左右;由于结构差异、胎龄变化、灰白质在此阶段较低的组织对比度,造成目前基于深度学习的组织/病灶分割算法性能相对更低。而较低的胎儿脑提取、组织/病灶分割准确性则会导致无法准确地表征大脑的发育情况。
6)临床受成像设备、参数等因素影响,胎儿脑MR 图像存在较大的差异,导致目前的分割方法针对自有数据集时效果较好,而泛化性较差。因此,提升分割方法的泛化性是目前亟需解决的问题。针对该问题,未来可在数据训练前进行数据增强,以模拟不同成像设备及参数的变化。同时,可利用多模态数据进行训练(例如T1w、T2w 等),通过提供更多的信息以缓解数据差异的影响。此外,还可以引入迁移学习方法提升模型针对跨数据集数据的分割性能。
上述问题与挑战为从事胎儿脑图像分割领域的研究人员提供了巨大的机会,随着图像采集设备性能的不断提升,如3.0 T 设备逐步应用于产前MRI检查中,更多高质量图像也将应用于临床研究中,加之深度学习方法的普及与算法性能的提升,必将有助于该领域研究工作的快速推进。