基于边界显著性的超声颈动脉内中膜的智能提取

杨继锋,韦浩,熊飞,黄庆华,李乐,周光泉

(1.东南大学 生物科学与医学工程学院,南京 210096;2.深圳市德力凯医疗设备股份有限公司,深圳 518132;3．西北工业大学 光电与智能研究院,西安 710072;4．西北工业大学 医学研究所,西安 710072)

0 引言

心血管疾病的早期诊疗对预防患者遭受更严重的疾病至关重要[1-3]。研究发现,心脑血管病症是一种慢性炎症过程,并且大多数的心脑血管事件都与动脉粥样硬化有关,具体表现为动脉最内层不对称的局部灶性增厚[2]。颈动脉因其位置相对靠近皮肤表面且与皮肤表面平行,易于成像,已成为反映动脉粥样硬化的重要窗口[4]。几项基于人群的大型研究[5]表明,颈动脉内中膜厚度(intima-media thickness , IMT)可作为早期检测心血管疾病的重要指标。其检测方法为非侵入性、无创伤、无辐射、方便快捷且成本低廉[6-8]。IMT是管腔内膜界面和外膜界面之间的平行距离,见图1。传统的人工测量方法为专业医生在内膜和外膜中各标记一点,进而利用仪器测量两点间距离作为颈动脉内中膜的厚度。然而,该方法存在以下缺点:(1)受医生经验的影响每次选择的标记点会有所区别,从而导致测量的内中膜厚度不一致;(2)对超声医生来说,传统测量方法耗时、费力。因此,实现颈动脉内中膜的智能提取非常有意义。

图1 颈动脉内中膜示意图

识别超声图像中颈动脉内中膜的上下边界是颈动脉粥样硬化诊断中的一个重要问题[9-10],多项研究提出利用传统图像处理方法来解决该难题[11-12]。近年来,深度学习在医学图像处理中取得了优异性能[13-17]。例如,为了利用颈动脉三维体积中的三维信息,Jiang等[18]将融合模块引入U-Net[19]网络,并在数据集中取得了67.5%的Dice指数。Zhou等[16]将动态卷积神经网络应用于超声切片。由于内中膜上边界位于血管壁内部,因此U-Net参考内中膜下边界的掩模执行上边界分割,最终在内膜和外膜的边界分割上,Dice指数分别达到了96.46%和92.84%。该方法实现了较高精度,但仍需手动设置一些候选参数。尽管该类方法取得了重大进展,但仍易受颈动脉径向运动引起的图像斑点噪声以及伪影的影响。此外,该类方法并未充分利用颈动脉内中膜的细长条结构特征。

为提高临床验证效率,并降低厚度测量的主观误差,本研究设计了一种基于U-Net的改进网络以实现颈动脉内中膜的精准分割,可同时获得内中膜的上下边界,进而计算出内中膜厚度。其创新在于:(1)在U-Net结构中加入条形注意力模块,以扩大传统卷积的感受野,充分利用内中膜的长条形状结构。(2)利用后处理-自编码器模块进一步优化初始分割结果,以减少由于超声噪声或伪影带来的分割性能的下降。本研究网络输入由医生手动选择内中膜感兴趣区域(region of interest,ROI),是一种基于内中膜ROI的半自动化内中膜提取方法。

1 新型图像分割网络

图2为本研究的整体网络结构。该网络以人工选取的内中膜ROI作为输入,基础架构为经典的分割网络U-Net。首先,在U-Net编码器和解码器间的跳跃连接处插入条形注意力模块(stripe attention, SA),以提升模型的感受野,增强模型全局特征表示能力。为提高内中膜分割的准确度,本研究在结果后加入后处理模块,将预测的掩膜图输入后处理模块,以利用内中膜的形状特征,进一步提升分割结果。

1.1 条形注意力模块

注意力机制可在计算过程中对指定位置赋以更高权重,进而提高下游任务性能。其通过卷积池化等运算获得图像的像素权重,与原图做相乘运算。条形注意力机制关注于图像中信息的长距离依赖关系[20],可提高全局特征提取能力。其细节见图3。

由于传统卷积网络的感受野有限,仅能用于提取局部特征,导致全局信息丢失。因此,本研究插入SA来缓解该问题。条形注意力在提取远程上下文特征信息的任务中已获得广泛应用。与普通卷积操作不同,条形注意力机制对行或列中的特征值进行平均运算。具体地说,给定二维张量,设H和W分别为图像的高度和宽度,则垂直方向的yh输出为:

(1)

图2 改进U-Net模型整体网络结构示意图

类似地,水平方向的输出张量yv可通过式(2)获得:

(2)

其中i,j分别表示图像矩阵的第i行,第j列。由图3可知,得到两个不同维度的特征向量后,经过一个一维卷积运算可获得在另一个维度下的信息交互。将所得特征进行复制扩充,还原成原图大小,以便后续的融合操作。在融合后,使用卷积层和Sigmoid运算获得最终的权重矩阵,该矩阵视为注意力图。因条形注意力模块特殊的卷积形状,具有更强大的捕获长距离空间相关性的能力,特别是对于条状对象。此外,其不会增加运算量和性能损耗。

图3 条形注意力机制示意图

1.2 后处理模块

在临床上,内中膜附近总是有血液流动,因此,即使内中膜中有斑块存在,其上下边界也呈相对均匀的曲线。然而,由于B超分辨率低,图像中常出现大量伪影和噪声。传统语义分割方法对图像的质量非常敏感,因此,从内中膜的分割中对区域进行形态学调整是一项具有挑战性的任务。先前的工作[15]建议使用基本的形态学操作,如用于平滑的开闭操作。然而,该方法在很大程度上依赖于先前的分割性能和所选参数。因此,本研究将深度学习模块用于任务优化,后处理模块采用编码器-解码器架构(即自编码器结构[21])进行图像分析,该模块与本研究的预测模块相似,但更简单。其只包含2个降采样操作,层数更浅,因为初步预测的粗掩模远没有原始图像复杂,因此无需设计用于特征提取的高深度编码器。

2 实验结果与分析

2.1 数据采集与实验配置

本研究由西北工业大学医学和实验动物伦理委员会批准(研究方案编号:202002010)。在中山大学癌症中心的帮助下,利用超声波扫描仪(飞利浦,IU22,L9-3)采集了1 000张样本。模型训练标签由一位有颈动脉超声检查经验的临床专家使用注释软件制得。此外,使用k5交叉验证策略(即将数据集划分为80%的训练集和20%的测试集,并分批次训练,取平均值)用于训练和测试。为提高模型泛化能力,防止过拟合,本研究对数据集采用了多种数据增强策略,如水平翻转、随机缩放等。

本研究使用SGD优化器在批处理大小为8的情况下,训练网络75轮,其中学习率设置为0.003。此外,本研究中的所有实验均由Python v3.6和Pytorch v1.10实现,网络均在NVIDIA GTX 1080Ti GPU中训练。本研究使用Diceloss作为损失函数,其表达式为:

(3)

其中X,Y分别表示预测掩膜和标签掩膜,smooth为固定数值,用于避免表达式的分母为0,从而导致训练出错。此外,本研究选择Dice、Jaccard用于评估分割的准确性,用IMT误差评估厚度误差,其中内中膜的厚度根据分割结果计算而来,取得上下边界垂直方向的平均距离。而误差则是预测厚度与实际厚度的偏差,具体如下:

(4)

(5)

(6)

其中,X,Y分别表示预测图和标签掩膜,pi,qi分别表示预测和真实的内中膜厚度。

2.2 消融实验

本研究将基础U-Net作为基线网络,依次加入条形注意力机制和后处理模块,在相同数据及超参下训练网络。表1显示了消融实验中的平均Dice得分、Jaccard系数和IMT误差,定量地证明了每个子模块均有助于性能改进(其中SA-UNet表示“UNet+条形注意力模块”,“本研究方法”表示在“SA-UNet”的基础上再加上后处理模块)。此外,与基线模型U-Net相比,条形注意力模块可在CIMT误差度量中优选地减少约15%,从而验证了条形注意力机制在内中膜边界识别中的优势。另外,将后处理模块加入到模型中进行试验,取得了最优的度量结果,Dice和Jaccard分别提升了0.024, 0.032,IMT误差降低了30%。由图4可清晰看出,加入模块带来的分割性能上的提升。其中a、b、c分别表示U-Net、SA-UNet、本研究方法的分割结果,d则表示真实标签。

表1 模块间的消融研究结果

图4 消融实验的结果可视化

2.3 对比实验

本研究将改进的分割网络与分割模型SE-UNet[22]和U-Net++[23]进行比较。为提高方法的可靠性,使用同一数据集进行训练,并使用相同的超参数以保持一致性,结果见表2。由表2可知,本研究提出的方法在所有度量方面均优于其他方法,平均Dice和IMT误差的性能均优于其他模型,表明该网络结构能够处理边界模糊,并准确地分割出内中膜的边界。该结果也验证了本研究方法的优越性。具体地说,通过将本模型与SE-UNet比较,验证了本研究使用的条形注意力机制性能优于传统注意力机制,这是由内中膜的特殊形状结构造成的。另一方面,提出的后处理模块相当于附属模块,用于对初始分割结果进一步优化。

表2 与经典算法的性能对比研究

3 讨论

在本研究提出的新型分割模型中,颈动脉内中膜的先验信息至关重要。大多数现有的基于深度学习的算法偏向于预测大的椭圆形结构,不利于细长条形结构的分割。相比之下,本研究模型基于内中膜统一的条形结构显著提高了边界精度,从而生成了具有清晰边界的检测图。与传统卷积不同,条形注意力模块通过特殊的运算规则,捕获孤立区域的长距离关系。此外,条形模块中沿空间维度的卷积核形状有助于获取全局的上下文信息,并防止建立不相关联系。因此,将条形注意力模块插入网络中,可有效提升内中膜分割结果。

另一方面,后处理模块通过学习粗分割和真实掩膜之间的残差来细化预测图,自适应地校正斑点噪声和伪影干扰的影响,进一步捕获内中膜结构的精确边界。该过程有利于去除一些离散噪声、孔洞、凹角等。由于内中膜的结构相似,边界因血液流动呈流水型,后处理模块可在训练过程中学习这些信息,当粗略预测的形状与内中膜的统一结构相差较远时,实现自动拟合。后处理模块无论在分割精度还是边界厚度的准确性方面,都表现出显著优势。然而,本研究有一些局限性。首先,本研究数据集相对质量较高,其中来自噪声和伪影的干扰不充足,致使数据集在基线模型下依然能取得较好的结果,导致本研究中算法模型的优越性未得到充分体现。因此,未来需要有多样化的数据集来支持本研究,以在后续研究中证明其临床实用性。

4 结论

本研究开发了一个新的端到端框架,用于从超声图像中识别颈动脉内中膜,将为分析系统性动脉疾病提供一种有效方法。该框架首先通过条形注意力模块,利用先验形状和解剖信息来解决传统卷积感受野受限的问题。此外,为更好地减少图像中噪声和伪影的干扰,本研究进一步结合后处理细化模块,通过从内中膜的固有膜形状特征中学习,实现校正估计误差。实验结果表明,本方法优于其他的先进算法。后续研究将针对多任务学习进行优化改进,并期望从超声原图中实现内中膜的全自动化提取。