基于超声图像FPN-SENet-FL深度卷积神经网络模型鉴别乳腺良、恶性肿瘤及预测乳腺癌分子分型

周晓欣,陈俊谕,卢焕冲,赵志丹,陈绍琦*

(1.汕头大学医学院第一附属医院超声科,广东 汕头 515041;2.汕头大学工学院计算机系,广东 汕头 515063)

乳腺癌在全球大多数国家的发病率和死亡率均位居女性恶性肿瘤榜首[1]。早期诊断并获取其分子分型对于治疗乳腺癌和判断预后至关重要[2],而如何在术前无创准确判断良、恶性乳腺肿瘤并预测乳腺癌分子分型是目前亟需解决的问题。乳腺超声是常用乳腺癌筛查手段[3]。受惠于良好的图像自动识别、分割和信息提取能力,深度卷积神经网络在医学影像领域的应用已获得极大成效[4]。本研究基于乳腺超声图像训练深度卷积神经网络模型,观察其鉴别良、恶性乳腺肿瘤及预测不同St.Gallen分子分型乳腺癌的能力。

1 资料与方法

1.1 研究对象 回顾性分析汕头大学医学院第一附属医院2016年1月—2022年4月273例乳腺癌及2021年2月—2022年3月41例乳腺良性肿瘤患者,均为女性,年龄18～86岁,平均(53.5±13.3)岁。纳入标准:①经术后病理确诊乳腺癌或良性肿瘤;②乳腺癌分子分型[5]免疫组织化学(immunohistochemistry,IHC)资料完整,包括雌激素受体(estrogen receptor,ER)、孕激素受体(progesterone receptor,PR)、人类表皮生长因子2(human epidermal growth factor receptor-2,HER-2)和Ki-67;③术前接受常规乳腺超声检查且图像清晰。排除标准:①乳腺超声检查前接受任何干预或治疗;②病灶超出探头单次最大可扫查范围;③孕妇或哺乳期患者。参照文献[6]标准将乳腺癌分为 Luminal A型、Luminal B型、HER-2过表达型及三阴性。本研究通过院医学伦理委员会批准(B-2022-125)。检查前患者均知情同意。

1.2 构建数据集 采用Mindray Resona 7超声诊断仪、频率4.0～14.0 MHz L14-5 WU线阵探头采集超声图像,扫描范围(最大)54.4 mm。嘱患者仰卧、充分暴露双侧乳房及腋窝后扫查双侧乳腺,深度以能包括乳房组织及后方胸肌并显示胸膜为宜,发现病灶后于其最大径线切面(纵切面)及与之垂直的最大径线切面(横切面)进行观察,并于超声工作站中留存显示病灶最清晰的图像。

从工作站中以JPG格式导出乳腺肿瘤超声图像,构建原始数据集。按7∶3随机将图像分组。对前者进行数据扩增,对每幅图像进行90°、180°逆时针旋转、水平翻转及随机裁剪[7],使数据扩大5倍作为训练集;以后者为验证集。见图1。

图1 数据扩增示例图患者68岁,左侧乳腺病灶BI-RADS 4C类,术后病理诊断为Luminal A型乳腺癌 A.术前二维声像图; B.90°逆时针旋转图; C.180°逆时针旋转图; D.水平翻转图; E.随机裁剪图

1.3 构建和验证模型 以ResNet为主体模型,结合特征金字塔网络(feature pyramid network,FPN)和特征融合,将ResNet50中每个CONV BLOCK对应阶段的末个残差块分别记为C2、C3、C4及C5,以1×1卷积和上采样使以上层特征图构建的新特征图和原始下层特征图尺度相同。将新特征图与原始下层特征图中的每个对应元素相加,实现高层特征与低层特征融合;再将融合后每层特征图均输出为一个新特征图M2、M3、M4及M5并以3×3卷积进行平滑处理,得到融合得更加充分的特征图P2、P3、P4及P5;加以拼接后得到最终预测特征图F。

在C2到C5过程中加入通道注意力机制之SE模块(squeeze-and-excitation networks,SENet)。以上一阶段输出作为输入特征图,先行H×W压缩,得到1×1×C特征矩阵,再经Excitation[8-9]操作以乘法将输出权重逐通道加权于输入特征,以在通道维度上对原始特征进行重锚定。FPN-SENet 深度卷积神经网络结构见图2。

图2 FPN-SENet 深度卷积神经网络结构示意图

最后将Focal Loss作为损失函数[10]用于模型以调整训练参数,构建FPN-SENet-FL 深度卷积神经网络模型,使之适应二分类任务(鉴别乳腺良、恶性肿瘤与)和五分类任务(预测乳腺良性肿瘤与4种不同分子分型乳腺癌)。开展3次模型验证,包括以训练集构建分类预测模型,并在验证集中基于混淆矩阵、受试者工作特征(receiver operating characteristic,ROC)曲线及其曲线下面积(area under the curve,AUC)评估其平均诊断效能,并计算其完成不同分类任务的准确率、精确率、召回率及F1分数。混淆矩阵以列代表预测类别、以行代表实际病理结果;绘制ROC曲线时,对目标病理结果赋值为1、其他赋值为0。

1.4 统计学分析 采用SPSS 27.0统计分析软件。以±s描述正态分布计量资料,集间行方差分析;以中位数(上下四分位数)描述偏态分布计量资料,集间行Kruskal-WallisH检验。以例(%)描述计数资料,组间行χ2检验或Fisher精确概率法。P<0.05为差异有统计学意义。

2 结果

2.1 基本资料 273例乳腺癌中,Luminal A型69例、Luminal B型83例、HER-2过表达型56例、三阴性65例;针对各分型分别有112、120、118及130幅超声图像符合数据库要求,以之与41例良性乳腺肿瘤的113幅超声图像共同构成原始数据集。随机进行的3次构建和检验分类预测模型实验中,患者年龄差异无统计学意义(P>0.05);乳腺癌各分子分型间,仅训练集三阴性乳腺癌占比差异有统计学意义(P<0.05),见表1。

表1 3次乳腺肿瘤分类预测随机实验病理分类构成结果

2.2 分类结果

2.2.1 二分类 二分类任务模型的混淆矩阵以及ROC曲线见图3,其准确率、精确率、召回率及F1分数分别为94.71%、91.32%、91.30%及91.28%。其中,混淆矩阵显示预测结果大部分落在主对角线上,仅2幅

图3 二分类任务模型预测结果的混淆矩阵(A)及ROC曲线(B)

良性、7幅恶性乳腺肿瘤图像被错误分类。以二分类预测模型鉴别乳腺良、恶性肿瘤的AUC为0.976。

2.2.2 五分类 五分类任务模型的混淆矩阵及ROC曲线见图4。混淆矩阵显示,大部分预测结果落在主对角线上,模型预测准确率、精确率、召回率及F1分数分别为71.78%、72.48%、72.11%及0.721。该模型识别良性肿瘤效果最好,混淆矩阵显示仅4幅图像被错误分类,其分类AUC为0.976;在预测乳腺癌分型方面,模型预测Luminal B型的AUC为0.944,效果相对较好。

图4 五分类任务模型预测结果的混淆矩阵(A)及ROC曲线(B)

3 讨论

早期判断乳腺癌分子分型可指导临床进行精准治疗[11]。乳腺癌部分超声特征与其分子分型相关[12-16]。影像组学研究需人工勾勒病灶[17]。利用深度卷积神经网络能自动识别、分割图像,提取信息并分析肉眼难以识别的纹理特征[18],有助于弥补不同年资医师之间水平的差异并进行诊断[19-20],现已广泛用于分析乳腺癌。

在基于超声图像进行的乳腺肿瘤良恶性二分类研究中,FUJIOKA等[21]所用GoogleNet Inception v2卷积神经网络模型的二分类准确率达92.5%、AUC达0.913;MA等[22]以Fus2Net模型分类乳腺良、恶性肿瘤的准确率为92%、AUC达0.97。目前大多数相关预测乳腺癌分子分型的深度卷积神经网络模型系针对四分类[5,23]及两分类任务[24-26],均无法同时鉴别良、恶性肿瘤及区分乳腺癌分子分型,使其临床应用受限。

本研究以ResNet50网络结构为主干,结合FPN和特征融合,以同时利用图像语义特征及几何信息;并添加了通道注意力机制SENet,以显式构建卷积特征通道之间的相互依赖性,使其专注于重要特征;以Focal Loss作为损失函数构建FPN-SENet-FL深度卷积神经网络模型,以有效解决样本不均衡、提高模型分类准确率。所获模型在二分类任务中的准确率为94.71%、AUC为0.976,且混淆矩阵预测结果大多数落在主对角线上,表明其模型能基于超声图像准确鉴别乳腺良、恶性肿瘤;在五分类任务的准确率为71.78%,AUC为0.860～0.976,尤以鉴别乳腺良、恶性肿瘤的AUC及混淆矩阵预测准确率最高,表明其诊断乳腺良性肿瘤的能力最佳,其次为Luminal B型乳腺癌,但准确率未达80%,可能与样本量小及图像数量欠均衡有关。

综上,FPN-SENet-FL深度卷积神经网络模型可辅助超声鉴别乳腺良、恶性肿瘤,且预测Luminal B型乳腺癌效能较佳。但本研究为单中心、回顾性分析,样本量较小,且未设置外部验证,有待后续进一步观察。

利益冲突:全体作者声明无利益冲突。

作者贡献:周晓欣研究实施、统计分析、撰写文章;陈俊谕图像处理;卢焕冲统计分析;赵志丹指导;陈绍琦指导、经费支持、审阅文章。