深度学习用于产前超声显示切面分析研究进展

2024-01-27高云玥王宗敏

中国医学影像技术 2023年12期

高云玥,福林,王宗敏

(内蒙古医科大学附属医院超声诊断科,内蒙古呼和浩特 010050)

产前超声可监测胎儿在子宫内的生长和发育;噪声、声影及软组织形变等多种因素可使切面不标准而致胎儿生物学特征测值出现变异。利用深度学习(deep learning, DL)算法能从输入图像中提取特定的局部特征,对声像图中的感兴趣结构进行定位和分割,进而预测及分类不同切面,并于正确切面内测量目标结构等,有助于提高产前超声的效率和可重复性[1]。

1 DL概述

多种DL算法均可用于分析产前超声切面,主要包括卷积神经网络(convolution neural network, CNN)、循环神经网络(recurrent neural networks, RNN)及编码器-解码器结构等。

CNN主要结构为卷积层、池化层和全连接层。卷积层以不同过滤器(即卷积核)提取边缘、纹理、形状等特定图像特征;池化层在特定区域内选取最大值或平均值以减小特征图尺寸,以在尽可能保留关键特征的同时降低计算量;全连接层对提取到的特征进行非线性组合,将其映射为固定长度的特征向量,用以表示输入图像属于相应位置类别的概率,并最终生成分类结果[2]。以卷积层和池化层减小特征图空间尺寸的过程为下采样;而采用插值、上池化、反卷积等操作增大低分辨率特征图空间尺寸以恢复图像细节的过程为上采样。以传统CNN全连接层得到的是一维概率信息,无法保留像素之间的空间关系,故只能对二维图像进行分类[3];而利用RNN可将当前输入和前个时间步的隐藏状态作为新的输入而生成当前输出和新的隐藏状态,以此持续将隐藏状态传递到网络中并建立时间步的连接,进而将像素之间的空间关系引入图像分割中[4]。RNN与CNN结合可提升图像分割性能:先以CNN提取图像特征,再由RNN接收之作为输入,同时在每个像素点上考虑周围像素信息,以更好地捕捉空间依赖关系而实现像素级别预测。利用全卷积网络(fully convolutional networks, FCN)在CNN基础上将全连接层替换为卷积层,将卷积后的小尺寸高维特征图通过转置卷积等上采样恢复到输入图像相同的尺寸,既可保留输入图像中的空间信息,又能对每个像素进行预测,实现端到端训练[5]。U-Net是最常用的编码器-解码器结构之一,其生成高语义特征图过程可视为编码器,而高语义到像素级别的分类过程则为解码器;U-Net通过跳跃连接将深层特征与浅层特征相融合,以丰富细节并生成更精确的语义分割结果[6]。

2 分割产前超声切面的挑战

DL模型须学习和识别产前超声图像的各种特征,以大量经过标注的高质量图像进行模型训练,以免过拟合而影响其泛化能力;但训练中图片数量及质量要求很难得到满足,学习特征结果同样难以保证,主要原因如下:①DL模型性能取决于样本数量[7],但产前超声图像内容庞杂,前期标注工作量大,且难以确保其准确性,使得可用带标签训练图集极为有限,且目前针对监督学习所需最低训练样本量尚无金标准[8];而无监督学习模型需要更多学习时间和更高算力,且预测能力无法保障;通过简单迁移学习将以其他领域图片训练得到的模型用于分析产前超声图像则可导致不稳定或无法收敛的结果[1];②产前超声图像质量受多种因素影响[9],孕周过小或过大、胎儿体位变化及频繁活动、孕妇腹壁较厚及骨盆遮挡等均可致观察目标被遮挡或伪像形成;③超声设备、操作者经验、伪像、软组织变形、胎儿发育程度及探头方向等多种因素均可造成同类别图像特征存在高度变异[10],而相邻切面间结构差异较小时则可造成不同类别间存在相似性,增加模型训练与测试难度;④相比二维超声,产前三维(three-dimension, 3D)超声所获信息更加直观、全面,但行体积分割时需适当选择卷积“目标体积”大小,过大时可能超过算力影响分割性能,过小可能只考虑局部而丢失图像空间结构和情景信息[11]。

针对训练集样本量不足及训练模型出现过拟合等问题的解决方式包括:①增强数据,通过旋转、平移、缩放等增加训练集规模;②优化模型,以正则化、初始化、动态学习率等技术提高模型稳定性和收敛速度;③迁移学习,依照分析产前超声图像需要对经其他相关任务完成预训练的模型进行微调。

3 DL用于不同部位产前超声切面

3.1 颅脑产前超声胎儿头部单切面内常显示颅脑多个解剖结构,而相邻切面间内容差异较小,使识别切面与分割图像难度较大;而颅骨声影、颅骨轮廓显示不完整及颅外结构干扰等因素也可影响分析切面的准确性。

束鑫等[12]通过双线性CNN以两路并行子网络特征融合预测胎儿颅脑横切面,实现了在增加激活区域并获取更多有辨识能力特征的同时提升模型泛化能力。QU等[13]在传统CNN特征图基础上利用不同过滤器生成差分特征图,以协助提取边缘及转角等细节特征,较其他叠加卷积层模型降低了计算要求,在对6类标准切面(丘脑水平横切面、侧脑室水平横切面、小脑横切面、正中矢状面、中央旁矢状面及侧脑室前角冠状面)与其他切面进行分类时,其所获差分CNN模型分类预测结果优于经典机器学习和其他CNN模型。黄佳伟[14]基于U-Net结构以注意力机制获取长依赖关系,融合不同尺度特征以增大感受野,并采用2种损失函数训练网络以提高其分割性能;用于分割胎儿头部图像时,使用Canny算子提取头部轮廓,再对其进行椭圆拟合,可准确自动检测胎儿头围。邢妍妍[15]将U-Net特征提取模块改进为残差模块,并以点乘方式融合编码器不同级别特征,同时引入语义监督以改善编码器提取特征的质量,先分割胎儿头部ROI再提取目标边缘,取得较好的边缘检测效果。CHEN等[16]将不同解剖结构或相同结构的不同视图视为不同的域,采用包含共享层和特定层的迭代多域正则化FCN设计进行跨域学习和细化迭代分割,其中的共享层用于加强描述低级特征,特定层则基于高级语义信息区分背景与目标解剖结构,迭代过程则对目标区域及周围背景进行上采样,得到尺寸更大图像作为分割图像的基础,可有效去除混杂的背景区域,由细化的边界生成更精确的图像分割结果;其用于分割胎儿头部图像的表现与2名专家相当。

3.2 腹部胎儿上腹部横切面是测量腹围及评估体重的重要切面,需显示胃泡、脐静脉、肝脏及脊柱等重要结构;腹部与周围结构显像对比度较低,易发生形变,且存在其他组织遮挡致腹部边界不清等问题,可使图像分割失败。

WU等[17]基于AlexNet构建以原始超声图像及图像局部对称、局部非对称特征为输入源的CNN模型,采用中心定位和矩形定义方法识别胎儿腹部ROI并作为另一CNN模型的输入源,通过胃泡和脐静脉判定是否为标准上腹部横切面,测试结果显示其评估结果与3名医师相当。JANG等[18]将超声波传播方向、局部与非局部图像块输入CNN模型后得到腹部切面分类结果,并以所获标准上腹部切面为基础,结合霍夫变换测量胎儿腹围,所获结果较为稳定,但不适用于腹部变形或周围羊水过少等情况。RAVISHANKAR等[19]将CNN输出的腹部ROI与梯度提升机预测相结合进行精细化分割,其自动测量的腹围估计孕周与真实孕周误差较小。

3.3 心脏胎儿心脏容积较小,解剖结构相对细微,且随着探头移动或胎儿体位变化,产前超声图像中胎儿心脏位置可发生改变,增加了分类难度。

CHEN等[20-21]联合CNN与RNN共享腹部横切面、四腔心(four chamber, 4C)切面、双眼水平横切面3个不同检测任务的信息,其在识别图像和检测视频中的表现优于分类器与CNN结合及跨域迁移学习后的CNN。HUANG等[22]将圆形锚点模型嵌入CNN并与RNN结合,将识别胎儿心脏扫查视频的不同切面的问题描述为检测框架内空间-时间多任务分类问题,于帧水平分类预测4C切面、左心室流出道(left ventricular outflow tract, LVOT)切面、三血管(three vessel, 3V)切面与背景类切面,可获得心脏位置及方向等更多信息。SUNDARESAN等[23]利用FCN分割4C切面、LVOT切面和3V切面,采用反向步长卷积(双线性内插)对预测标签输出进行32倍、16倍和8倍上采样,对比分析所获像素级标签图与人工分类注释结果,发现16倍上采样FCN效果最佳;上述3个切面中,以LVOT切面准确分类难度最大,原因在于其与4C切面仅存在主动脉瓣等微小结构差异。王联芳[24]将心脏不同标准切面识别视作长尾学习任务,通过改进损失函数向残差CNN中引入标签概率作为先验概率,再以RNN中的长短期记忆(long short-term memory, LSTM)网络提取CNN输出特征中的帧与帧之间的时间依赖信息,用于分类识别4C、LVOT、右心室流出道(right ventricular outflow tract, RVOT)、3V切面及其他非标准切面表现较为优秀。

3.4 三维结构相比3D CNN体积分割,利用二维卷积分割3D超声图像时,因相邻像素共享大量空间背景,易丢失三维解剖结构信息。除计算机算力及显存大小等,胎儿软组织、胎盘及羊水等的变化也是影响3D CNN体积分割效率和结果的重要因素。

YANG等[25]联合引入深度监督的3D FCN及分层深度监督的RNN用于分割10～14周胎儿、羊水和胎盘,以克服容积超声图像质量差、空间关系复杂及边界不确定等缺陷,进一步提升了模型分割性能。SCHMIDT-RICHBERG等[11]以全卷积网络体系结构将3D超声图像中的待分割区域结合对同位置扩大范围行下采样所获粗分辨率特征图进行上采样,实现输出概率图与原始超声图像的融合,并作为可变形模型的输入数据,以此识别胎儿腹围切面优于未结合单模型,并大大增强了分割的稳健性。LOONEY等[26]以半自动随机游走输出图像训练双通路CNN,克服胎盘位置变异大的影响而全自动分割早孕期3D容积超声图像中的胎盘。