乳腺癌腋窝淋巴结超声图像分割算法研究

韩 悦,张永寿,郭依廷,班楷第,丛金玉,魏本征

(1.山东中医药大学智能与信息工程学院,山东 济南 250355) (2.山东中医药大学医学人工智能研究中心,山东 青岛 266112) (3.中国人民解放军第960医院医学工程科,山东 济南 250031) (4.山东中医药大学第二附属医院放射科,山东 济南 250001) (5.山东中医药大学青岛中医药科学院,山东 青岛 266112)

世界卫生组织国际癌症研究机构(IARC)2020年最新数据显示,乳腺癌已经成为全球发病率最高的癌症,并呈逐年上升趋势,严重地威胁着女性健康. 同时,腋窝淋巴结(axillary lymph node,ALN)是乳腺癌常见的转移部位,是乳腺癌疾病预后的重要指标[1-2]. 其中,前哨淋巴结是乳腺癌淋巴转移的第1个位置,其转移状态决定着乳腺癌的手术治疗方案. 临床上,腋窝淋巴结的转移状态需用前哨淋巴结活检(sentinel lymph node biopsy,SLNB)或腋窝淋巴结清扫术(axillary lymph node dissection,ALND)等方法来进行组织病理上的确认. 然而,SLNB和ALND均是有创的临床检测方法,具有一定的手术风险,容易导致血肿、伤口感染、淋巴水肿等并发症[1-2]. 而基于医学图像的准确分析及判断因其无创性,被广泛应用于辅助医生临床诊断.

在医学图像中,超声因其无辐射、实时成像、无创及费用低等优势,被广泛应用于乳腺癌等疾病的检测和腋窝淋巴结的术前评估,对乳腺癌患者的分期诊断至关重要. 在超声诊断中,腋窝淋巴结的转移状态与其淋巴结门样结构、淋巴结纵横比、形态、大小等有一定关系,但均不能单独作为诊断的唯一标准[1-2]. 此外,腋窝淋巴结的超声诊断存在以下几个问题:①淋巴结形态复杂,不同人群或生理周期下的淋巴结具有一定的差异;②超声探头等仪器的不同会引起图像的差异性;③设备本身造成的图像噪声多及分辨率低,影响临床诊断[3];④腋窝淋巴结在灰阶超声成像上与其他组织有一定的相似性,难以判断,医生的诊断结果也会受其主观性的影响.

医学影像分割作为医学图像处理的重要部分,可以辅助医生判断组织或病灶位置,勾勒出目标区域的大小、边缘及形态,腋窝淋巴结的准确分割有助于医生判断腋窝淋巴结的转移.

基于以上研究背景,本文进行以下腋窝淋巴结分割相关工作,主要包括:

(1)设计一种基于超声图像的腋窝淋巴结分析算法,实现腋窝淋巴结的自动分割,为临床医生提供指导,降低有创手术检测风险.

(2)针对超声图像下采样阶段信息丢失过多、特征提取不充足的特点,增加下采样过程中间层的上采样操作,并利用密集跳连接结构(dense skip connection,DSC),充分提取图像中的语义信息,准确地分割出腋窝淋巴结.

(3)对于分辨率较低、尺寸较小的超声图像,减少下采样过程中底层作用较小的编码解码层,避免不必要的计算代价,提高网络训练效率.

1 相关工作

近年来,众多临床研究者仍停留在腋窝淋巴结的超声征象上,如贾海霞[4]研究了超声检查在乳腺癌腋窝淋巴结转移中的应用及声像特征. 也有许多研究致力于探索腋窝淋巴结图像特点与其转移存在的关系,如黄哲兰[5]分析了超声诊断乳腺癌腋窝淋巴结转移的影像学表现的价值,证实了超声影像学与淋巴结转移的相关性. 另外,利用计算机分析医学图像来辅助医生诊断逐渐流行,如金华等[6]应用乳腺癌超声图像特征Logistic回归方程预测腋窝淋巴结转移风险;Liu等[7]使用回归模型构造列线图、腋窝淋巴结超声图像训练集,然后使用测试集验证其准确性,测试集上的AUC达到0.84.

除以上传统方法外,深度学习在医学上的应用也受到了广泛关注,但其在腋窝淋巴结超声图像预测上的应用比较少,也具有一定的难度,特别是在腋窝淋巴结的超声图像分割及其转移评估方面. Sun等[8]利用DenseNet对比了深度学习和放射组学在评估腋窝淋巴结转移的效果,结果显示深度学习在准确率上优于放射组学. Zhou等[9]收集了974例超声图像,使用几种经典的卷积神经网络对腋窝淋巴结状态进行预测,AUC最高达到0.89. Zheng等[10]提出一种结合临床参数的深度学习算法,实验结果证实了其方法可以预测早期乳腺癌的腋窝淋巴结状态. Lin等[11]提出一种结合全卷积神经网络和主动学习的算法来分割腋窝淋巴结. Zhang等[12]提出从粗到细的堆栈式全卷积网络. Lin等[11]和Zhang等[12]的思路都是先用全卷积神经网络得出参考的建议区域结果,再得出最终分割结果,旨在减少标注的任务量,训练过程较为繁琐且最终结果都有待提高.

2 超声图像分割网络算法设计

2.1 基本框架

U-net是2015年Ronneberger等[13]提出的针对医学图像分割的算法,因其U形结构而获名,在之后的医学图像分割领域取得了广泛的应用.

本文将基于U-net进行算法改进. U-net框架如图1所示,U-net包括特征提取部分的编码器和上采样部分的解码器. 其中,特征提取部分由重复的3×3卷积核进行卷积计算,公式如下:

图1 原始U-net示意图Fig.1 Schematic of original U-net

(1)

卷积计算后紧跟1次Relu计算和1个2×2最大池化操作. 上采样部分使用2×2的卷积核进行反卷积. 该网络使用跳连接结构,使得编码过程和解码过程相同大小的特征图互相补充、融合,达到减少部分信息丢失的效果,如图中X1与Y1的连接.

2.2 超声图像分割网络算法

本文提出了一种基于腋窝淋巴结超声图像的新型网络算法U-net-MDSC,该算法主要采用DSC方法将原始U-net进行改进,并改变下采样深度以达到预期分割效果. 该算法结构框架如图2所示.

图2 本文网络框架示意图Fig.2 Architecture of the proposed model in this paper

原始U-net使用的跳跃结构较为简单,只有编码解码中相同尺寸之间的单次连接,而淋巴结超声图像因其携带信息的复杂性及噪声多等特点,使用原始U-net在编码过程中会丢失很多有用的语义信息,因此,本文采用DSC结构,对下采样编码过程中中间层的特征图进行反卷积操作,并与其相同尺寸的特征图进行融合. 如图2所示,黑色虚线左侧为下采样编码过程,右侧为上采样解码过程,灰色虚线为原始U-net的跳连接结构,蓝色虚线为加入的密集跳连接,蓝色向右实线为1次编码过程,红色斜向上实线为上采样过程.

假定xi,j表示Xi,j的输出,i表示编码器中的下采样层,j表示跳跃结构中的卷积层,则计算公式如下:

(2)

式中,H(·)表示1个紧跟着激活函数的卷积操作;u(·)表示上采样层;[ ]表示跳连接层.

超声图像本身噪声多、像素小,在下采样层数较多的情况下,底层的特征图将变得较小,以至于包含的有用信息较少,最终导致特征提取不明显,此外还增加了一定的算力和网络训练时长. 为解决上述问题,U-net-MDSC算法引入了剪枝的思想,减少了图2中橙色虚线框内的编码解码层.

2.3 损失函数

一般将网络的输出与图像的专业图像标签做二值化的交叉熵运算,交叉熵计算公式如下:

(3)

式中,Y表示网络输出经过sigmoid函数计算后的值,Y′表示图像标签值.

Dice损失函数定义为:

(4)

本文使用以上2种损失函数,最小化两者加和的值以优化训练模型.

3 结果与讨论

本文基于Tensorflow深度学习框架编写并实现提出的算法,在NVIDIA Tesla V100 32GB GPU上进行训练和测试. 算法学习率设置为0.001,使用随机梯度下降(stochastic gradient descent,SGD)作为优化器.

3.1 数据集

本文采用的数据集为356个病人的712张超声图像,其中,有病理证实的未有腋窝淋巴结转移的图像451张,已转移的图像261张. 腋窝淋巴结的分割标签由专业医生标记,数据随机划分训练集、测试集,分别为640张、72张图像.

3.2 评价标准

本实验分别用交并比、平均类准确率、平均像素级准确度、Dice系数等来评估U-net在淋巴结转移预测和分割中的有效性.

交并比定义为:

(5)

式中,Apred表示预测的区域边界内面积,Atrue表示标签的区域边界内面积.

平均类准确率定义为:

(6)

式中,TP和TN分别为真阳性和真阴性,FP和FN分别为假阳性和假阴性.

平均像素级准确度定义为:

(7)

式中,N表示测试集样本数,C表示类别数,pc表示c类被分类正确的数量,PC表示C类所有被分类正确的数量.

Dice系数定义为:

(8)

3.3 实验和结果

为验证本文提出的腋窝淋巴结超声图像分析算法的可行性,本文将VGG16、FCN、Segnet、U-net、U-net-M 5个网络和本文所提出的算法进行比较. 首先是原始的VGG16、FCN、Segnet、U-net,不做任何改变,损失函数使用原始图像和标签图的交叉熵;然后是U-net-M,基于原始的U-Net减少1层下采样结构. 实验结果证明,对于尺寸较小、质量较低的超声图像,适当减少下采样层可以减少算力,并且结果无明显差别;最后是本文提出的U-net-MDSC算法,是加入DSC结构的减层网络.

表1为按照评价标准计算公式得出的结果. 可以看出,本文提出的算法有效,各项指标均有明显提高,证实了DSC对于特征提取具有有效性. 此外,由U-net-M结果可以得出,对U-net减少1层下采样结构对结果的影响不大,也间接说明了对于尺寸较小、噪声较多的图像,下采样过多后的特征图不仅包含的有效信息较少且增加了不必要的算力.

表1 腋窝淋巴结分割实验结果Table 1 Segmentation results of axillary lymph node

分割的可视化如图3所示.

图3 腋窝淋巴结分割结果对比图Fig.3 Comparison of segmentation results of axillary lymph node

4 结论

由于腋窝淋巴结的复杂性及超声图像质量低等客观因素,乳腺癌腋窝淋巴结超声图像的自动分割具有一定的挑战性,准确率有待提高. 本文提出了一种基于超声图像特点的腋窝淋巴结分析算法,该算法利用密集跳连接结构,将下采样的中间层做反卷积操作并与其上一层的卷积做拼接,增强了最后的特征图像表征能力. 此外,基于实验数据集超声图像尺寸较小、噪声较多的特点,本文减少了下采样层以去掉包含较少语义信息的特征图. 综上所述,本文实现了无创自动分割腋窝淋巴结超声图像,分割精度的提高有助于诊断乳腺癌腋窝淋巴结的转移,对临床诊断有一定的指导意义.