基于跨模态注意力机制特征B型超声与弹性超声融合模块联合诊断乳腺良、恶性肿瘤

王 彤，苏 畅，何 萍，王心怡，崔立刚，林伟军

(1.中国科学院声学研究所超声学实验室，北京 100190；2.中国科学院大学电子电气与通讯工程学院，北京 100049；3.北京大学第三医院超声诊断科，北京 100191；4.北京大学肿瘤医院 北京市肿瘤防治研究所乳腺中心恶性肿瘤发病机制及转化研究教育部重点实验室，北京 100142)

乳腺癌为女性发病率较高的恶性肿瘤[1]，影像学检查为常用早期诊断方法。乳腺超声(breast ultrasound, BUS)安全性和实效性均较佳，是早期筛查乳腺疾病的重要影像学手段。超声弹性成像主要通过获取组织弹性信息进行成像，近年逐渐用于诊断乳腺疾病[2]。有学者[3]基于深度学习相关算法将超声弹性图像与B型图像(即灰阶图像)模态信息相结合，据此判断乳腺肿瘤的性质，且直接串联融合二者的多模态特征的效果较佳[4]。本研究对提取超声图像的网络加以改进，设计跨模态注意力机制特征融合模块，以融合B型超声图像与弹性超声图像，并观察其诊断乳腺良、恶性肿瘤的价值。

1 资料与方法

1.1 一般资料 收集2011年10月23日—2012年4月6日及2019年1月—9月北京大学第三医院接受常规超声检查及超声弹性成像的371例女性乳腺肿瘤患者，年龄11～85岁，平均(39.0±22.0)岁；共466处乳腺病灶，包括良性230处、恶性236处病灶。纳入标准：①超声声像图清晰、完整显示肿瘤；②病理学资料完整。

1.2 仪器与方法 采用Hitachi Vision Preirus/Samsung RS80A 超声诊断仪，频率5.0～13.0 MHz的L5-13/L4-18探头，均具备应变弹性成像能力[5]。嘱患者仰卧，多切面扫查双侧乳腺各象限并重点观察病灶，获取其灰阶图像及弹性图像。之后按3∶1∶1将466组病灶图像分为训练集(n=280)、验证集(n=93)及测试集(n=93)，并尽量使每组数据集中乳腺良、恶性肿瘤占比约为1∶1。

1.3 网络模型 采用卷积神经网络分支模型分别提取B型超声图像和弹性超声图像的特征，之后以基于跨模态注意力机制的多模态特征融合网络进行特征融合，整体结构见图1。

图1 基于跨模态注意力机制的多模态特征融合网络示意图

1.3.1 特征提取网络 提取特征过程中，在DenseNet模型[6]基础上增加卷积块注意力模块(convolutional block attention module, CBAM，图2)[7]，即将CBAM添加到DenseNet第一层卷积层，以突出学习灰阶图像的底层特征；见图3。训练过程中均采用预训练模型参数提取网络。

图2 CBAM

图3 基于B型图像的改进DenseNet模型

1.3.2 多模态特征融合网络 参考SE模块(squeeze-and-excitation module)[8]，采用跨模态注意力机制的特征融合方式(图4)，根据全局信息调整不同特征通道的权值，以实现特征通道的自适应校准，并突出两模态间的重要特征。输入B型超声图像和弹性超声图像分别经卷积神经网络分支提取特征后，采用跨模态注意力机制特征融合方法加以融合，并以尾端两层全连接层为分类器；见图5。

图4 跨模态注意力机制模块结构图 图5 基于跨模态注意力特征融合的整体模型结构

1.4 训练环境 在python3.7的Keras环境下，采用64位Ubuntu18.04操作系统，以TensorFlow为后端；以交叉熵(cross entropy)为目标优化函数、Adam为优化器，采用ReduceLROnPlateau监控验证集loss以调整学习率，设置初始学习率为0.000 3，batch size为32。

1.5 评价 采用Python 3.7软件。绘制受试者工作特征(receiver operating characteristic, ROC)曲线，计算曲线下面积(area under the curve, AUC)。

2 结果

2.1 特征提取网络 改进后的DenseNet用于B型超声诊断乳腺良、恶性肿瘤的准确率为88.43%，敏感度为88.96%，特异度为87.31%，效能略优于改进前。见图6及表1。

表1 B型超声基于改进与未改进DenseNet121模型诊断乳腺良、恶性肿瘤的效能

2.2 多模态特征融合网络 基于跨模态注意机制特征融合的B型超声与弹性超声诊断乳腺良、恶性肿瘤的准确率为94.23%，敏感度为95.11%，特异度为93.28%，效能优于决策加权融合模型、直接串联融合模型及单模态模型。见表2。

表2 B型超声与弹性超声基于不同模型诊断乳腺良、恶性肿瘤的效能

3 讨论

本研究主要观察B型超声图像与弹性超声图像联合判断乳腺肿瘤良、恶性的效能，并对单模态特征提取网络及多模态特征融合方式加以改进。既往研究[4]表明，B型超声基于计算机诊断乳腺良、恶性肿瘤的效能低于弹性超声。为此，本研究针对B型超声图像特性及相应临床表现设计了改进DenseNet模型，旨在使该模型网络能更准确可靠地提取图像中的肿瘤特征信息；而弹性超声图像具有较高的对比度，且展现信息简单、直观，基于普通DenseNet121模型即可提取其特征，故未予以改进。

乳腺良、恶性肿瘤并非均具备典型表现，如本组B型超声发现多例良性肿瘤形状不规则、边界不清晰且无完整包膜等。基于单模态B型超声图像诊断乳腺良、恶性肿瘤时，改进后的DenseNet121仅有助于区分典型良、恶性表现，故本研究将改进后的DenseNet121用于B型超声诊断乳腺良、恶性肿瘤的效能仅略优于改进前。

MISRA等[9]将超声B模式与应变弹性成像融合，利用AlexNet和ResNet进行特征提取、添加分类层而形成集成模型，其对乳腺癌进行分类的准确率、敏感度及特异度分别为90.00%、88.89%及91.10%。DING等[10]开发了双通道ResNet-GAP网络，基于此将B型超声与弹性超声相结合，其对乳腺癌进行分类的准确率、敏感度、特异度及AUC分别为88.60%、95.30%、84.60%及0.936。LIAO等[11]利用卷积神经网络VGG19提取B型超声图像及弹性超声图像特征，并将二者结合用于判断乳腺良、恶性肿瘤，其准确率、敏感度、特异度及AUC分别为92.95%、91.39%、94.71%及0.98。上述研究所用多模态特征融合方式多为直接串联融合，未充分考虑不同模态的特征及其相关性，而合理、高效地融合多模态信息十分重要。本研究对特征提取及特征融合进行了有针对性的改进，提出跨模态注意力机制的特征融合模块，以更加突出2种模态的重要特征，从而在一定程度上增强特征的表征能力；基于此，本组B型超声与弹性超声诊断乳腺良、恶性肿瘤的准确率为94.23%、敏感度为95.11%、特异度为93.28%、AUC为0.98，表明其效能优于决策加权融合模型、直接串联融合模型及单模态模型。

综上所述，基于本研究提出的跨模态注意力机制特征融合模块可在一定程度上提高B型超声与弹性超声联合诊断乳腺良、恶性肿瘤的效能。但本研究样本量不足，有待后续扩大样本量后进一步加以完善。