基于乳腺超声动态影像的深度学习模型建立与初步应用

袁曼莉 左晓文 赵 月 吴雪松 张番栋 王思雯 贾化平

二维超声是乳腺超声检查的主要模式，目前已有的超声影像人工智能（artificial intelligence，AI）辅助诊断模型也是基于对静态二维超声图像，Zhang等［1］研究证实基于乳腺肿块DICOM 格式静态图像建立的深度学习模型显示出较好的分类性能。乳腺肿块是三维立体结构，基于静态二维图像的深度学习模型难以反映结节空间构型中包含的有效信息。本研究将乳腺超声动态扫查图像和深度学习技术相结合，旨在建立基于乳腺超声动态影像的深度学习模型，并对其效能进行初步验证。

资料与方法

一、研究对象

选取2019年11月至2020年8月在我院经病理确诊的506 例乳腺肿块患者，均为女性，年龄24～75 岁，平均（45.6±10.2）岁。其中219 例患者为多发病灶，共1511 个肿块，获得乳腺超声动态图像156 826 张，均以DICOM 格式存储。将整理好的影像数据随机分为训练集、验证集和测试集，各个集合的患者无交集；训练集包括411 例患者1127 个肿块的116 972 张图像，验证集包括51 例患者213 个肿块的21 126 张图像，测试集包括44 例患者171 个肿块的18 728 张图像。所有患者连续动态图像采集清晰，且取图标准；排除已行放化疗者及图像采集不标准、不清晰者。本研究经我院医学伦理委员会批准，所有患者均签署知情同意书。

二、仪器与方法

1.乳腺超声动态图像采集：使用西门子S 2000、Oxona 3 彩色多普勒超声诊断仪，线阵探头，频率8～10 MHz；动态图像帧频范围18～47 帧/s。如扫查中未发现病灶，留取乳腺外上象限由外到内及由上到下的动态图像；如扫查中发现病灶，则从邻近病灶边缘开启动态采集，均匀缓慢扫查病灶区，直至病灶另一侧边缘完全显示，结束存储；探头旋转90°，重复上述过程。如一侧乳腺有多处肿块，则按照上述方法分别进行动态采集。常规扫描双侧乳头及腋下，发现淋巴结和可疑病灶按上述方法存储图像。将收集到的超声图像进行整理、匿名化处理。

2.数据标记及特征提取：动态图像解帧后，导入多功能影像标注平台（深睿博联科技有限责任公司开发），该平台可支持DICOM、JPG 等多种图像格式。所有图像均由高年资主治医师以上乳腺超声专业人员按照系统设置参数进行标注，意见不一时由2 名副主任医师复核确定。利用矩形区域半自动裁剪每个病变，见图1，提取乳腺声像图中肿块的形状、边缘、生长方向（平行/不平行）、内部回声、后方声影（无改变、增强、衰减、混合性改变）；相关征象提取包括有无结构扭曲、导管扩张、皮肤回缩、皮肤及皮下组织水肿、Cooper 韧带改变，肿块内钙化的形态（粗大、点状、弧形）及分布（单发、簇状、散在）情况，乳头及腋窝淋巴结情况。见图2。

3.基于深度学习的乳腺超声影像肿块检出算法模型（以下简称算法模型）的构建：采用基于深度学习的端到端的肿块检出网络，以一个50层的残差神经网络ResNet50 作为骨干网络，通过特征金字塔进行特征的多尺度变化增强，融合低分辨率语义信息充分的特征和高分辨率空间信息丰富的特征，得到增强后的特征图。基于骨干网络提取到的特征，自动得到候选的肿块区域，每个候选肿块区域有对应的类别标签（u）和回归标签（v），再结合分类损失函数（Lcls）和回归损失函数（Lreg）得到总体损失函数（L），通过误差梯度的反向传播，深度神经网络自动地学习到候选的肿块区域实际为肿块的概率（p）及肿块的尺寸（t），公式如下。

训练完成后，深度神经网络学习可以直接检测出乳腺超声影像中的肿块，网络的总体架构见图3。

4.单帧图像与多帧图像在算法模型中的分析方法：①对于单帧超声图像，从每个超声动态扫查序列随机选取一帧，输入基于深度学习的乳腺超声影像肿块检出网络中，该帧的若干个检出目标框代表该序列的若干个检出，其中每个检出目标框代表该序列的1 个检出；②对于多帧超声图像，采用一种基于决策层的融合算法，首先将一个序列内每一帧输入基于深度学习的乳腺超声影像肿块检出网络中，得到每一帧的检出目标框；对于每个序列，将该序列全部帧的检出目标框彼此交并比大于预设阈值的进行合并，从而将该序列的检出目标框分为若干组，即得到序列的若干个检出，其中每组包含若干个检出目标框，即该序列的1个检出。

三、统计学处理

应用SPSS 17.0及Python 3.6 统计软件，通过比较算法结果与超声专家的标注，计算不同标注与检出目标框的交并比（交集和并集的比值）阈值下的真阳性（超声医师标注且算法模型检出的）、假阳性（超声医师未标注但算法模型检出的）、假阴性（超声医师标注但算法模型未检出的），算法模型检出的敏感性=真阳性/（真阳性+假阴性），平均每序列的假阳性个数=假阳性个数/序列数。控制假阳性个数为评价每序列0.1、0.2、0.5，采用交并比0.2和0.5两种阈值。计数资料比较行χ2检验。P＜0.05为差异有统计学意义。

结 果

一、算法模型识别中的“假阳性”与“假阴性”

图4 中红色矩形框是算法模型检出的“假阳性”，根据解剖学知识可知该位置为肋骨回声，而本研究中的AI 算法未利用解剖学知识，根据该区域的图像特征将其误判为肿块。图5中蓝色矩形框是算法模型检出的“假阴性”，该肿块尺寸较小，影像中包含的肿块信息较少，且与周围组织比较回声差异较小，因此算法模型易漏检。

二、算法模型识别结果

算法模型对单帧与序列乳腺超声影像的肿块检出结果见表1，2。平均每序列的假阳性个数0.1，交并比为0.2 和0.5 时，单帧与多帧乳腺超声影像的肿块检出敏感性比较差异均无统计学意义；平均每序列假阳性个数0.2，交并比为0.2 和0.5 时，单帧与多帧乳腺超声影像的肿块检出敏感性比较差异均有统计学意义（均P＜0.05）；平均每序列的假阳性个数0.5，交并比为0.2 和0.5 时，单帧与多帧乳腺超声影像的肿块检出敏感性比较差异均有统计学意义（均P＜0.05）。

表1 交并比为0.2时算法模型的肿块检出结果

表2 交并比为0.5时算法模型的肿块检出结果

讨 论

AI 在医学图像处理和辅助诊断领域的应用是当前研究的热点，其可以识别超声图像中乳腺病变的形态和纹理特征，发现人眼所不能识别的特征，是对人工检查的有益补充，且处理速度快，能够减轻超声医师的工作负荷，减少超声医师寻找乳腺肿块的时间，在提高乳腺超声诊断的准确性、一致性和效率方面的潜力较大。然而，目前国内外研究［1-3］仅是基于超声静态（单帧）图像的分析，并非（动态）序列连续图像的采集，可能遗失许多细微或重要的病灶特征，甚至遗漏部分小的病灶，还可能将增生的腺体组织或肋骨误认为肿块，从而误导深度学习模型判断错误。准确识别病灶是乳腺超声AI评估的基础，本研究旨在建立深度学习模型，并对其自动检测肿块的效能进行初步验证。

本研究基于深度学习端到端的肿块检出网络AI技术，采用了骨干网络对乳腺超声影像的大数据分析，其实深度学习算法的复杂度并非取决于算法本身，而取决于用于训练算法的数据。在本数据集中，同一患者可能有多个肿块，每个肿块可能有多个图像，因此从同一患者获得的图像可能已有一些相关性和变化，这个数据获取的过程类似于数据扩充。在本次深度学习模型中，通过动态二维超声序列扫查也可以获得三维信息，针对病灶的空间结构，由资深专家按照系统设置参数对每个肿块逐一解帧之后进行标注，并提取其特征，完全能够避免误标。另外，恶性肿块往往边界模糊、形态复杂，具有边缘呈毛刺或针尖样改变，导致观察者间对病变边缘的界定不一，为避免这种差异，本研究利用矩形感兴趣区半自动裁剪每个肿块，避免了病灶边缘勾画的不一致性。

本研究结果显示，平均每序列的假阳性个数0.1、0.2、0.5，交并比为0.2，随意单帧乳腺超声影像的肿块检出敏感性为76.6%、84.2%、86.0%，序列多帧乳腺超声影像的肿块检出敏感性为77.2%、91.8%、95.3%；当平均每序列的假阳性个数0.1、0.2、0.5，交并比为0.5，随意单帧乳腺超声影像的肿块检出敏感性为71.3%、76.0%、80.1%，序列多帧乳腺超声影像的肿块检出敏感性为76.0%、91.2%、93.6%，在交并比为0.2 或0.5，平均每个序列的假阳性个数0.2、0.5 时，序列多帧乳腺超声影像的肿块检出敏感性明显高于随意单帧乳腺超声影像肿块检出敏感性，差异均有统计学意义（均P＜0.05）。Uniyal 等［4］在乳腺病变分类的超声射频时间序列研究中仅选择0.5 的阈值来指定一个样本为恶性肿瘤或良性肿瘤。Liu 等［5］研究采用交并比阈值0.2，提出采用一种图卷积网络来模拟双侧视野的结构相似性。Ren等［6］研究也仅采用交并比阈值0.2。所谓交并比函数是计算两个边界框交集和并集之比，其反映了检出框的准确度。为了更全面、公平地比较算法模型检出性能，本研究则采用0.2 和0.5 两个阈值，较以往单一指标能更加全面地评价检出算法模型的效能。本研究选取动态超声影像，解帧为多帧序列，采用基于决策层的融合算法，不仅可以消除随意单帧图像下对类肿块的假阳性，还可以结合多帧图像关联分析，提升病灶检出敏感性。

综上所述，基于乳腺超声动态影像的深度学习模型能提高乳腺超声影像的肿块检出敏感性，证实了AI深度学习用于乳腺超声动态图像病灶识别的可行性和效能。但本研究仅对乳腺肿块进行识别，未将解剖学知识融合进AI 算法中，也未与病理结果对照研究，后期将进一步深入探讨。