人工智能在鉴别乳腺结节弹性成像及预测淋巴结转移的应用

宋伟健，孙立涛

1蚌埠医学院研究生院，安徽 蚌埠 233030；2浙江省人民医院超声科，浙江 杭州310014

人工智能（AI）这一概念最早由麦卡锡在1956年在达特茅斯会议中提出［1］，已经渗透到我们的日常生活之中。深度学习作为AI最重要的子集之一，利用多层神经网络让机器能够像人一样具有分析学习的能力，能够有效提取原始图像的特征，并作出有效的图像分类、图像分割和图像重建［2］。计算机辅助诊断是AI另一重要的应用，以机器学习和图像处理技术为基础，辅助发现病灶，有效提高诊断准确性和诊断效率。目前，AI在各个领域的应用愈加广泛，尤其在医学影像领域。超声弹性成像是一种可以了解组织内部弹性属性的弹性模量的差异，通过图像显示，能够研究传统超声无法探测的肿瘤，通过弹性参数（硬度）提供病变的成像［3］。但超声弹性成像检查对医生的操作和诊断具有依赖性，一个合格的超声科医生需要长期大量的训练［4］。近年来，AI在乳腺结节弹性成像良恶性鉴别以及预测淋巴结转移有着重要发展，本文对此应用现状做一综述，并讨论其前景及挑战。

1 AI

AI是计算机科学的一个分支，现已发展为一个交叉学科，涉及机器人、语言识别、图像识别、自然语言处理、专家系统等多个领域。AI自1956年诞生以来，理论和技术日益发展，应用领域也不断扩大，近年来AI在医学影像领域的应用受到了广泛的关注，与医学影像相关的医学成像系统和医学图像处理与分析鉴别是AI医疗最为典型的应用场景。

1.1 深度学习

深度学习是机器学习的一种，已经作为最先进的机器学习方法在许多实际应用中出现。深度学习是一种由多个表示级别，通过组合不同的模块获得。一个模块可以将一个低级别的表示转换为更高或者更抽象级别的表示，不同模块的组合可以更好的从数据中学习［5-6］。它的最终目的就是让机器能像人一样具有分析学习的能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在图像识别方面取得的效果，远远超过之前的相关技术［7］。深度学习就具体研究内容来看主要涉及三类方法：基于卷积运算的神经网络系统，即卷积神经网络（CNN）；以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络；基于多层神经元的自编码神经网络，包括自编码以及稀疏编码。深度卷积神经网络是最常用的图像模式识别任务的深度学习网络，在训练集数量足够多和类型足够多样化的情况下，可以有效提取样本中的相关特征，并且学习能力随着深度的增加而增加。深度学习在医学图像中的模式识别能力已经得到广泛的认可，在放射科［8］、超声科［9］、眼科［10］、病理科［11］中取得了喜人的成果，在不久的将来会有更多成功，目前正在开发的新学习算法和体系结构将加速这一进程［12］。

1.2 计算机辅助诊断

计算机辅助诊断是指通过影像学、医学图像处理技术以及其他可能的生理、生化手段，结合计算机分析计算，辅助医生发现病灶，提高诊断准确性和效率［13-14］的一种方法。使用计算机自动分析医学图像的尝试早在20世纪60年代就出现了，一些研究已经证明将计算机应用于医学图像分析的可行性，但这项工作没有引起太多关注，可能是因为对高质量的数字化图像数据和计算资源访问的有限。但是近年来，随着计算机技术的快速发展和数字化医疗成像设备的普及，计算机辅助诊断已经成为医学影像、诊断放射、计算机科学中重要的研究领域。计算机辅助诊断已经被研究应用于各种疾病，包括疾病检测、特征化、分期、治疗反应评估、预后预测和风险评估以及各种成像方式，计算机辅助诊断系统对于疾病的早期筛查尤为重要，早期筛查对疾病的诊断、治疗起着重要的作用［15］。现在常说的计算机辅助诊断技术主要是指基于医学影像学的计算机辅助技术，基于医学图像的计算机辅助诊断系统分为两类:一类是计算机辅助检测系统，在医学图像上检测异常并定位呈现出来；另一类是计算机辅助诊断系统，在医学图像上检测异常并帮助医生决定异常的类别以及恶性级别［16］。

2 AI在乳腺结节弹性成像的应用

乳腺结节是临床常见的病变，好发于乳腺增生、乳腺囊肿及乳腺肿瘤性等疾病。乳腺良恶性结节的生物特性存在一定的差异，患者的治疗手段和预后存在着巨大差异，准确鉴别乳腺结节的良恶性对治疗和预后有着重要意义。乳腺结节良恶性的评估主要通过临床、病理、影像三方面。乳房疼痛、乳房肿块、乳头溢液是乳腺结节常见的临床表现。病理检查是鉴别乳腺结节良恶性的金标准，常用的病理检查是超声引导下空芯针穿刺活检［17］。影像学检查最常用的方法是二维超声成像和X线钼靶成像，可以对病灶进行定位、定量诊断，但定性诊断的准确性和特异性比较低。其中超声弹性成像利用不同组织之间的硬度差异进行成像，从而对良恶性进行判断，避免不必要的超声引导下空芯针穿刺活检。计算机辅助诊断系统和深度学习是AI技术采用的两种主要方法，AI的发展减少了乳腺弹性成像中医生主观性带来的误差，有效提高了诊断准确率，有利于医生更好的进行结节的良恶性鉴别。

2.1 深度学习在乳腺结节弹性成像的应用

近来，基于CNN 技术的超声剪切波弹性成像（SWE）成为术前诊断乳腺结节良恶性的有效工具。有学者构建了一个由逐点门控Boltzmann 机器和受限Boltzmann机器组成的两层深度学习结构，用于SWE特征提取［18］。对121例患者的227幅SWE图像（良性肿瘤135例，恶性肿瘤92例）进行了5次交叉验证的实验评估，对量化图像强度和纹理的统计特征进行了比较。结果表明，DL特征更有助于分类，准确率为93.4%，敏感度为88.6%，特异性为97.1%，曲线下面积（AUC）为0.947。基于深度学习的方法将SWE中的特征学习和特征选择结合在一起，它可能在乳腺良恶性结节的临床诊断中有潜在的应用价值。有学者提出了一种基于SWE 对良性和恶性乳腺肿瘤进行分类的无分割放射组学方法，并结合CNN自动提取特征和分类［19］。训练集包括540 张图像（分别为318 张恶性乳腺肿瘤和222张良性乳腺肿瘤），结果显示准确度为95.8%，敏感度为96.2%，特异性为95.7%。与现有的方法相比，该方法具有更好的性能和自动化特性，表明SWE和CNN相结合在乳腺肿瘤良恶性鉴别诊断中具有很大的优势。有学者从SWE和B 型超声中自动提取双模态图像特征，基于双模态特征采用深度多项式网络的特征学习和分类框架，以区分良性和恶性乳腺肿瘤［20］。通过留一法交叉验证，深度多项式网络方法对双模态特征的准确率为95.6%，敏感度为97.8%，特异性为94.1%，约登指数为91.9%，AUC为0.961，优于经典的单模态方法以及使用主成分分析和多核学习的双模态方法。以上结果表明，基于双模态AI的深度多项式网络技术在未来的临床实践中具有用于乳腺结节鉴别和分类的潜力。也有学者［21］回顾性收集了158张良性肿块图像和146张恶性肿块图像作为超声SWE的训练数据进行CNN训练，构建了多个CNN模型（Xception、InceptionV3、InceptionResNetV2、DenseNet121、DenseNet169 和NASNetMobile），具有50、100和200个时期。与2个放射科医生5点视觉颜色评估（SWEc）和平均弹性值（SWEe，kPa）的一致读数来解释这些测试数据。CNN是最佳的模型，其中最好的CNN模型（具有100个epoch的DenseNet169）、SWEc和SWEe的敏感度分别为0.857、0.829和0.914，特异性分别为0.789、0.737 和0.763，CNN 的平均AUC 为0.870，SWEc 和SWEe 的AUC 分别为0.821 和0.855。与放射科医生相比，使用CNN 进行深度学习在超声SWE上区分良恶性乳腺肿块时表现出相同或更高的AUC。有学者提出了一个新的框架（AW3M），它利用4种类型的超声（即二维超声、多普勒、SWE和应变弹性成像）联合来辅助乳腺恶性结节诊断［22］。它配备使用自监督一致性损失的多流CNN 模型来提取模态特定和模态不变的特征，有效提高了诊断的准确性。深度学习的结构从最早的两层学习结构，可能有潜在的价值，到结合放射组学、多模态图像特征、构建更好模型，基于CNN的弹性成像鉴别乳腺良恶性结节有了更高的准确性和特异性。

2.2 计算机辅助诊断在乳腺结节弹性成像的应用

计算机辅助诊断系统一般包含图像获取、预处理、图像分割、感兴趣区域检测、特征提取、特征选择、诊断分类。诊断分类系统也可以在假阳性去除步骤后再进行特征提取、特征选择、感兴趣区域、良恶性分类（或评估）［23］。有学者在具有统计学意义条件下，得出超声弹性成像能客观地评价乳腺肿块的相对弹性硬度，定量参数直径变化率和面积比有助于乳腺肿块良恶性的鉴别。计算机辅助诊断可系统量化超声弹性成像的参数，鉴别乳腺结节的性质，有助于医生作出更加客观的诊断，已经成为AI诊断乳腺结节的主要方法［24］。有学者开发了一种利用SWE图像来区分良恶性乳腺肿瘤的计算机辅助诊断系统，对109个活检证实的乳腺肿瘤（57个良性和52个恶性病例）进行分析发现，与基于B型超声的计算机辅助诊断系统相比，其敏感度、特异性、准确性和AUC分别为86.5%、93.0%、89.9%和0.905，高于前者（敏感度、特异性、准确性、AUC分别为86.5%、80.7%、83.5%和0.893），表明基于SWE特征的计算机辅助诊断系统有助于提高超声对乳腺良恶性肿瘤的鉴别能力［25］。有学者提出了一种基于应变弹性成像定量颜色分布的计算机辅助诊断系统，纳入了31个恶性和52个良性病变图像，与放射科专家和其他视觉诊断比较。与经验丰富的放射科医师相比，计算机辅助诊断系统的性能实现了70.97%的敏感度、88.46%的特异性和0.853的AUC。与其他的视觉诊断相比，该系统表现出更好的性能，其敏感度、特异性和AUC 分别为61.29%、88.46%和0.829。基于弹性成像的计算机辅助诊断系统可以提高放射科医师对乳腺结节进行分类的能力，其可能成为未来临床诊断的有效工具［26］。有研究纳入83例经皮活检的乳腺肿块，评估3位放射科医生在使用和不使用基于应变弹性成像的计算机辅助诊断系统诊断的敏感度、特异性和诊断准确性，结果表明使用基于应变弹性成像的计算机辅助系统，3位医生AUC分别为0.900、0.926 和0.868（没有使用情况下分别为0.835、0.801和0.765），3位受试者之间的组内相关系数在应变弹性成像计算机辅助诊断系统下为0.811（没有应变弹性成像计算机辅助诊断系统时为0.6713）［27］，所提出的用于应变弹性成像系统计算机辅助诊断系统有可能提高放射科医师在使用与弹性成像相关的超声进行乳房检查时的诊断率。有学者提出了一种基于自步学习的新型多经验核映射排他性正则化机集成分类器算法，在乳腺弹性成像数据集上进行验证。结果表明弹性成像的分类准确率为（85.97±3.75）%，敏感度为（85.93±6.09）%，特异性为（86.03±5.88）%［28］。该算法能有效提高基于超声弹性成像的乳腺癌计算机辅助诊断系统的性能，进一步提高了鉴别乳腺肿瘤良恶性的能力。

3 AI在超声预测乳腺癌淋巴结转移的应用

乳腺癌是最常见的妇科恶性肿瘤，乳腺癌的侵袭性和淋巴结转移是治疗复发和影响患者生存率最相关的因素［29］。乳腺癌患者最先转移至前哨淋巴结，同时腋窝淋巴结转移长期以来被认为是全身扩散的途径［30］，部分患者因腋窝淋巴结肿大就诊发现乳腺癌。腋窝淋巴结状态是浸润性乳腺癌分期、治疗和预后的关键因素，不仅决定了乳腺癌的治疗方案，也影响预后的评估［31］。当发现可疑结节时，通常会进行侵入性检查以确定良恶性，如超声引导下细针穿刺或芯针活检。超声是检测腋窝淋巴结是否转移的常用非侵入手段，有研究发现超声检查腋窝淋巴结为阴性的患者中仍有40%的患者在手术后的病理中存在腋窝淋巴结的转移［32］。超声已被广泛用于术前确定乳腺病变的特征和确定腋窝淋巴结状态。一项研究表明，临床T分期和术前腋窝超声结果与早期乳腺癌的淋巴结状态有关［33］，但腋窝超声对淋巴结状态的诊断能力较差，AUC为0.585～0.719［34］。为了解决淋巴结状态诊断不佳的问题，临床医师试图通过临床病理数据来预测腋窝淋巴结的状态，如肿瘤分级、组织学肿瘤大小、淋巴血管侵犯和激素受体状态［35-36］。然而，仅仅靠临床病理等数据是不够准确的，有学者利用不同的变量与腋窝淋巴结状态相关联，AUC为0.66～0.74［37］。此外，一些数据在术前无法获得，如淋巴血管侵犯和组织学肿瘤大小，但术前对腋窝淋巴结状态的了解对于确定适当的治疗方案是重要的［38］。

AI技术广泛用于各种术前淋巴结转移风险的评估，有学者开发了机器学习人工神经网络预测T1大肠癌淋巴结转移风险，减少不必要的淋巴结清扫［39］；也有研究建立了基于双能CT的深度学习放射组学列线图，用于胃癌淋巴结转移预测［40］。AI技术结合超声精准预测腋窝淋巴结的转移也已经展开了深度的研究，对选择合理治疗方式、提高疗效、改善患者预后具有重要作用。

3.1 深度学习在预测乳腺癌淋巴结转移的应用

深度学习算法因其在图像识别任务中的出色表现而受到广泛关注。深度学习模型可以自动对复杂的医学图像特征进行定量评估，并以更高的效率实现更高的诊断准确性。通过结合原发性肿瘤的超声特征和DL对淋巴结弹性成像进行预测转移可能会产生巨大的诊断效果。既往有研究利用基于机器学习技术和深度学习技术的QUS图像分析，纳入105名患者，将118幅患者的淋巴结超声图像分为53例实验组和65例对照组，构成一个研究系列，每个结节的病理结果通过超声引导下细针穿刺、芯针活检或者手术活检来确定，结果表明该方法的准确率为86.4%，敏感度为84.9%，特异性为87.7%，与放射科专家进行的腋窝淋巴结超声结果相对比准确性提高了9%（86.4%vs77.9%）［41］。有学者将756例腋窝淋巴结阴性原发性乳腺癌患者（974幅图像）纳入训练集，78例腋窝淋巴结阴性原发性乳腺癌患者（81幅图像）纳入测试集，腋窝淋巴结均经病理证实［42］。三种不同的CNN（Inception V3、Inception-ResNet V2和ResNet-101模型）结果与五名放射科医生的诊断结果相比，在独立测试集中，表现最好的CNN 模型为InceptionV3，其预测腋窝淋巴结转移的AUC 为0.89。该模型的敏感度和特异性分别为85%和73%，放射科医生的敏感度和特异性分别为73%和63%。表明深度学习模型可以有效地预测腋窝淋巴结转移，及时为临床提供诊断策略。有研究利用基于二维超声及SWE深度学习影像组学（DLR）图像特征，构建术前影像组学评分系统，预测乳腺癌淋巴结转移，该模型临床参数结合DLR值诊断效果最好，AUC为0.902，同时结合临床信息、网络特征的临床参数以及DLR还可以辨别腋窝淋巴结转移的轻重程度，在测试队列中的AUC值为0.905［43］。该研究提供了一个非侵入性的检查方法来预测早期乳腺癌的腋窝淋巴结转移及轻重程度。有学者纳入937名符合条件的乳腺癌患者的超声图像，分别作为训练集（n=542）和独立测试集（n=395），开发并验证了基于超声模型的多中心深度学习放射组学（DLRU）预测前哨淋巴结（SLN）转移和残留非SLN（NSLN）的转移，结果显示DLRU 在识别SLN转移的敏感度为98.4%，NSLN转移的敏感度为98.4%［44］。DLRU还准确地将SLN或NSLN中无转移的患者分为相应的低风险和高风险类别，阴性预测值分别为97%和91.7%。此外，DLRU将整个研究队列中51%（39.6%/77.4%）过度治疗患者适当分配到低风险组。该研究表明DLUR有潜力成为乳腺癌腋窝淋巴结的管理工具，有效预测淋巴结的转移和避免过度治疗。有研究使用CNN的深度学习在超声图像上区分正常和转移性腋窝淋巴结的能力，开发了一个使用CNN 架构Xception的深度学习模型，收集了300幅正常的图像和328幅带有乳腺癌转移的腋窝淋巴结图像进行训练。分析50个正常和50个转移性淋巴结的测试数据，与一位具有12年经验的委员会认证医师（读者1）和两位具有3年和1年经验的医师（读者2、3）诊断结果做比较，结果显示DL模型的敏感度为94%，特异性为88%，AUC为0.966；DL模型的AUC与读者1的差异无统计学意义（P=0.881），但高于读者2（0.913）和读者3（0.810）（P＜0.001）。在DL支持下，读者2和读者3的AUC分别增加到0.960和0.937（P＞0.05），与读者1相当［45］。DL模型在乳腺超声鉴别腋窝淋巴结转移方面表现出出色的诊断性能，并可能提供有效的诊断支持。超声凭借实时、无创、无辐射、多模态成像的特点，在构建基于深度学习预测模型方面有着独特的优势和发展潜力，有效的预测乳腺癌腋窝淋巴结的转态，有效的避免了不必要的淋巴结穿刺，最重要的是避免了非必要的淋巴结清扫。基于深度学习预测模型为乳腺癌术前诊断提供了一种新的手段，不仅帮助临床医生做出有效的决策，同时也提高了影像医生诊断的准确性。

3.2 计算机辅助诊断在预测乳腺癌淋巴结转移的应用

有研究从247名女性中获得249例恶性肿瘤的图像，通过肿瘤形态和纹理等特征分为非转移组（n=130）和转移组（n=119），使用基于乳腺超声图像的计算机辅助预测模型以及乳腺癌腋窝淋巴结转移的肿瘤特征预测淋巴结转移的可能性。其准确度、敏感度、特异性和Az 值分别达到75.1%（187/249）、79.0%（94/119）、71.5%（93/130）和0.757［46］。计算机辅助预测模型结合原发肿瘤的纹理和形态特征在预测腋窝淋巴结转移方面表现出更高的性能。有学者纳入了乳腺癌患者腋窝淋巴结的105个超声图像（81个良性和24个恶性），每个淋巴结被手动分割，通过符号距离变换获得每个像素3-D特征空间中的坐标，并将仓位计数作为支持向量机学习算法的预测器输入［47］，使用80/25个训练测试分割的重复随机抽样来估计泛化性能并生成接收器操作特性曲线，最佳分类器的AUC为0.95，敏感度和特异性分别为0.90和0.90。结果表明通过计算机辅助诊断进行腋窝淋巴结分期的可行性。

4 研究局限与前景展望

目前，诊断乳腺结节的医疗数据，90%来源于医学影像，但这些数据几乎都需要人工分析，不可避免的带来了一些问题：医生的主观性强，没有一个量化的标准，准确性较低，容易造成误诊；大量的图像信息造成医生疲劳，产生漏诊［48］。AI技术能够很好地解决了这个问题，深度学习和计算机辅助诊断在乳腺结节弹性成像的特征提取、图像识别与良恶性鉴别和分类中取得了较为满意的结果，但是两者仍存在可以改善之处。

首先，样本量小可能是深度学习无法广泛应用的一个原因。大样本量是提高深度学习网络准确率的重要保证，研究证实深度学习在大样本数据中比其他算法（如支持向量机）具有更好的准确率［49］。超声领域中的大多数深度学习应用都是在从单个医疗中心和单个超声设备获得的有限的单一数据集上进行训练和评估的。为了克服这一问题，第一，可通过迁移学习从不同医疗中心或不同超声设备获得的新数据集去微调模型；第二，通过使用数据增强（如组织变形、平移、水平翻转、添加噪声和增强图像）获得更多的数据来提高深度学习模型的泛化能力；第三，采用弱监督学习，解决标记的问题；第四，改进模型，以提高从小样本提取特征的能力并减少训练时间［50-51］。其次，结节边缘的勾画是影响分类诊断的另一个因素，这一过程应包括更多的高年资医生，以确保手动勾画轮廓的准确性；为了对模型进行更客观的评估，需要将相同的数据集应用到其他算法模型中进行比较，而不是使用不同的数据集来比较诊断效率［52］。

近年来关于计算机辅助诊断的研究越来越多，但临床上却很少使用。其中一个主要原因可能是用传统的机器学习方法开发的计算机辅助诊断工具可能没有达到能够满足医生提高诊断准确率和工作流程效率的需要的高性能。以下两种方法可以缓解这一问题：第一，深度学习作为机器学习领域的新兴技术，可在很大程度上改进浅层学习的问题，大幅提高计算机辅助诊断系统从图像学习特征的能力，解决人工提取特征带来的主观影响，以及无法利用高维特征之间的关系所提供的有效信息。第二，鉴于不同的影像手段可以提供不同的诊断信息，基于多模态影像的计算机辅助诊断可能会改善性能效果，在超声领域里，结合二维超声和弹性成像或者超声造影的计算机辅助诊断有一定的研究价值。

AI应用在超声诊断是顺势而为，目前AI广泛应用于超声诊断中，包括心脏超声［52］、胃肠超声［53］、肾脏超声［9］等。超声作为临床检查中最常用的检查方式，超声诊断需求急剧增多，对医生诊断有了更高的要求，AI很好的解决这个问题，AI辅助诊断提高了工作效率的同时降低了误诊率，患者也可以获得更精淮的诊断建议以及个性化治疗方案建议。在大数据时代背景下，建立术前精准、无创诊断乳腺结节良恶性、预测腋窝淋巴结转移的AI超声影像学体系，对实现乳腺结节AI支撑下的乳腺诊疗新模式具有重要意义。依托医学影像多中心大数据及标准化、规范化的数据采集流程，未来AI技术在乳腺结节弹性成像诊断及预测腋窝淋巴结转移中能得到更广阔的应用，甚至可以做到接近病理学的诊断［54］。