基于迁移学习的多视角乳腺肿块和钙化簇分类方法

肖 禾，刘志勤*，王庆凤，黄 俊，周 莹，刘启榆，徐卫云

（1.西南科技大学计算机科学与技术学院，四川绵阳621010； 2.绵阳市中心医院放射科，四川绵阳621010）

（∗通信作者电子邮箱lzq@swust.edu）

0 引言

乳腺癌已经成为威胁女性健康主要魁首之一［1-2］，患者确诊乳腺癌晚期后，由于癌细胞侵蚀性等特性导致治疗效果较差，早期及时精准的诊断与治疗有助于降低乳腺癌发病率。完全基于人工的筛查方式费时费力，极其依赖医生的专业背景知识，还可能因医生的专注状态下降而导致误诊、漏诊。随着成像设备和机器学习技术的发展，计算机辅助诊断（Computer Aided Diagnosis，CAD）技术能在医生介入前完成图像的自动分类，并且提供相关的诊断建议，协助医生更快、更准确地作出诊断，因此有着积极和重要的临床应用价值。

图1 乳腺切片图像Fig.1 Local tissue image of breast

传统的计算机辅助诊断方法基本是半自动的，通常的做法是先由人工提取图像中可疑的区域，利用机器学习的方法提取出特征，随后送入到例如K近邻算法（K-Nearest Neighbor，KNN）［3］、支 持 向 量 机（Support Vector Machine，SVM）［4］或者多层感知机（Multi-Layer Perceptron，MLP）［5］等算法中进行分类。基于传统机器学习的方法，存在耗时费力和提取高质量的特征较为困难等问题，严重限制了其在实际工程中的应用。卷积神经网络是一种重要的深度学习方法，它能通过端到端训练自动学习到原始图像数据的潜在特征［6］，近年来在图像分类任务上大放异彩，并且在医学影像领域也取得不错的成绩。

在乳腺钼靶图的病理分类工作中，学术界提出了一系列优秀的深度学习方案：Lotter等［7］首先训练了一个切片分类网络，再利用滑动窗口策略（Scanning-window scheme）对输入的乳腺钼靶图逐区域预测分类；Wang等［8］利用一个杂交的神经网络，首先对3个不同来源的数据进行特征提取操作，随后利用循环神经网络（Recurrent Neural Network，RNN）对得到特征向量进行进一步处理得到最终预测结果；Zhu等［9］将一系列的组织切片看作一个包，随后利用多实例的方法进行分类预测；Dhungel等［10］利用多视角的深层残差神经网络同时处理了两个视角的三种状态的输入图像，在全连接层进行特征融合后输出预测结果。上述方法，虽然只使用图像级标签，但模型最终性能还有提高的空间。

对于乳腺钼靶图，病变区域往往只占据很小的区域，因而有一种策略就是先对病变区域进行分割定位，然后再进行分类：Perek等［11］利用孪生神经网络（Siamese network）同时处理一张头尾位视角（CranioCaudal，CC）和一张侧斜位视角（MedioLateral Oblique，MLO）图像，进行弱分割后生成一系列的候选局部组织切片，最后再利用神经网络对这些候选切片进行预测，从而得到最终得预测结果；Dhungel等［12］将乳腺肿块检测分为了检测、分割、分类三个步骤，首先利用神经网络得到一系列候选区域，随后利用贝叶斯优化的方法进行精炼提取，筛选出最有可能的区域，随后对该区域进行分割和分类。但是这种策略对训练数据的标签级别要求很高，往往需要精准的病灶区域掩码标签。

如何获得一个能够精准捕捉到图像基本特征的预训练网络，再经过良好微调是提升图像识别任务表现的关键所在［13］。对于图像分类和检测任务，迁移学习是常用的做法，通常是使用经过ImageNet［14］预训练的网络权重去初始化目标模型。这种方法通常建立在源域和目标域数据存在语义相关和分布相关的基础之上［15］，而自然图像与乳腺钼靶图存在显著的差异，因而使用传统的ImageNet源域是不合适的。

除了上述所提及的问题，在模型进行实际部署时还面临一些问题。首先，这些方法都是建立在几个公开数据集之上的，且部分方法要求像素级的标签；其次，不同地区、医院的设备或成像结果也不尽相同，同时不同国家和地区人口存在体质上的差异，导致在实际部署时需要使用本地数据集进行再训练，而本地数据集的数据量与标注可能并不充分。

针对这些问题，本文提出了一种基于DenseNet［16］网络架构使用图像级标签的多视角深度卷积神经网络模型。首先，同时输入两个视角图像独立进行特征提取，在全连接层进行特征向量的融合，最后同时输出对肿块和钙化簇的预测结果。具体的，实验方法分为两部分，首先制作乳腺组织切片数据集并用于特征提取网络的领域适应性训练，使网络具备精确的病理捕捉能力；随后，二次迁移至多视角模型进行全尺寸图像训练，同时利用公开数据集进行数据扩充从而得到更好的泛化性和鲁棒性。实验结果表明，本文方法能够显著提升模型的曲线下面积（Area Under Curve，AUC）值。

1 实验用数据集

1.1 CBIS-DDSM数据集

CBIS-DDSM（Curated Breast Imaging Subset of DDSM）是DDSM（Digital Database for Screening Mammography）的辅助乳腺成像子集，同时进行了转码与重新标定，提供了更为准确的病理信息与病变组织的轮廓标注，并以DICOM格式储存。其主要目的是给予计算机算法开发更好的数据支持，以帮助病理筛选和临床诊断。该数据库包含大约1 500例病理样本，同一乳房的CC和MLO视角图像成对出现（图2（a））。

图2 患者两种视角的乳腺钼靶图Fig.2 Mammogramsfromtwoviewsof patient

1.2 数据集

本文创建了一个本地数据集，数据集图像来自于绵阳市中心医院（图2（b）），且已经过脱敏处理。数据集中所有图像已经由放射科医生标记完成，包括3 372张全尺寸图像，CC和MLO图像成对出现，阳性样本有1 222张，标签L=｛正常，肿块，钙化簇｝，样本可能在不同区域含有多种疾病。

2 本文方法

2.1 数据融合

深度学习与传统的机器学习方法相比，可以从海量数据中学习到更多的高级特征，因而在深度学习中最严峻的挑战之一就是数据依赖性［17］。由于医学图像的特殊性，导致了医学图像数据库并不能像ImageNet等自然图像数据库那样充足，相对于自然图像数据库来说医学数据库数据量往往非常少。为了缓解这一矛盾，本文融合不同的数据库，增大训练数据量，使模型能接收到更多病理特征信息，从而提升模型在本地数据集上的表现力。

本文从CBIS-DDSM数据库［18］中一共选取1358组图像对本地数据集进行数据扩充操作，该数据集中的图像与本地数据库中的图像形式与组织特征都较为相似。需要注意的是，扩充训练数据本质上是一种数据增强的手段，因而仅参与训练网络，不参与测试和验证网络。

2.2 乳腺切片图像提取与预训练特征提取网络

实验中利用了一个乳腺组织切片数据集R，R中的阳性样本由CBIS-DDSM数据集中的感兴趣区域（Region Of Interest，ROI）随机剪裁三次后，再缩放至299×299分辨率，其余正常组织图像仅随机剪裁一次且与ROI区域没有重叠，单幅图像至多包含一种疾病（图1），数据集R一共具有5种不同的标签。

本文为了获得更好准确度和鲁棒性，实验首先在数据集R上预训练特征提取网络，完成网络的领域适应性学习。特征提取网络采用DenseNet121为主干网络，此网络的目标是能够精确捕捉到病变组织图像的基本特征，最终表现出对于分辨局部组织图像是否存在病变以及存在何种病变有着较高的准确度。在预训练任务中，网络输出层采用Softmax作为损失函数：

2.3 多视角网络模型与迁移学习

模型（图3）同时输入两个不同视角的乳腺钼靶图，分别经过两个独立的卷积神经网络进行特征提取操作，随后拉伸特征向量并进行融合后输入到全连接层中，最终经过输出层输出预测结果。在整个网络的隐藏层中，使用ReLU（Rectified Linear Unit）函数作为激活函数，采用平均池化层（AvgPooling）压缩网络特征减小模型占用量，结合全尺寸图像的可能存在多种病变的特性，输出层采用Sigmoid作为输出量化函数：

乳腺钼靶图像与自然图像存在显著的特征差异，在ImageNet上的预训练权重无法用来初始化多视角网络。初始化状态的网络需要具备初步的病理特征捕捉能力，因此多视角网络模型中的两个视角通道的初始化需要重新定制，这样有助于多视角模型在全尺寸的图像上更好地搜索潜在的病变区域，从而做出更精确的诊断。

本文采用迁移学习的方式，使用已经在乳腺组织切片数据集预训练完成的网络去初始化两个特征提取通道。

图3 多视角网络结构Fig.3 Multi-view network architecture

3 实验及结果分析

3.1 数据集划分

经过乳腺切片图像提取操作后，乳腺组织切片数据集R包含约50 000张图像，其中阳性图像占14%，阴性图像占86%。数据集R含5种标签，分别为正常、良性钙化、良性肿块、恶性钙化、恶性肿块。实验将R随机划分为训练集（80%）、验证集（10%）和测试集（10%）。

扩充后的绵阳市中心医院数据集将被分为两部分，原生数据1 686组和扩充数据1 358组。在多视角网络训练任务中，为了更加客观地反映数据融合带来的积极影响，扩充数据不参与测试阶段，仅出现在训练阶段且不参与数据集划分。原生数据随机划分为5份，每次取4份与扩充数据融合后输入到模型进行训练，另一份作为交叉验证集。

3.2 网络训练配置

本文实验的硬件配置为1块RTX2080Ti GPU、内存24 GB、处理器I7 8700K，在Windows10操作系统下使用Python3.7和深度学习库Pytorch进行模型实现。

在预训练特征提取网络任务中，使用数据集为R，利用已经在ImageNet数据库上训练完成的网络权重来代替随机初始化。此时输入图像的标签是非此即彼的，因此损失函数采用交叉熵（Cross Entropy Loss），输入尺寸为3× 299× 299，训练批次大小（Batch Size）为24，训练轮次（epoch）为30。

在预训练完成后进行迁移学习，使用特征提取网络来初始化多视角模型的两个特征提取通道权重，并改用本地数据集进行训练。与此同时，输入图像分辨率增大至328×397，训练批次大小降为16，网络损失函数相应的更改为二元交叉熵（Binary Cross Entropy）：

网络优化器采用Adam，除学习速率外其余参数采用默认配置。在训练开始阶段采用冷启动方式，学习速率从0逐步攀升至峰值1E-3，随后以类滑梯形式衰减至1E-5（图4）。

图4 学习率策略Fig.4 Learningratestrategy

3.3 结果分析

特征提取网络训练完成后，在测试集上的结果见表1。表明此时的特征提取网络已经能够非常精确地捕捉到乳腺组织病变的各项特征，具备了进行迁移学习的条件。

表1 不同特征提取网络的AUC与模型大小Tab.1 AUCand model size for different featureextraction networks

在实验进程中，本文对比了其他三种不同的主流网络架构ResNet50、InceptionV3、DenseNet161在此次任务中的表现力。根据表1与图5，三种网络架构在乳腺切片数据集上的表现相比于DenseNet121更为优异，但是在绵阳市中心医院数据集上，DenseNet121表现最为优异且DenseNet架构性能明显好于其余两个架构。从最终的结果分析：1）DenseNet因为其采用大量且密集的跳层连接结构，在训练数据量较少时有着更为明显的优势；2）DenseNet121因为其网络大小适中，在训练数据量较少时，不容易过拟合数据，反而能够获得更好的性能表现。

图5 在本地数据集上不同主干网络结果对比Fig.5 Comparison of results of different backbone networks on local dataset

本文对采用不同训练策略的模型进行了独立实验，最终结果如图6所示。从实验数据分析：1）由于ImageNet上的自然图像与乳腺钼靶图存在显著的特征差异，导致在没有进行领域适应性训练的情况下，多视角模型表现非常糟糕，证明了预训练特征提取网络工作的重要性和必要性；2）采用公开数据集进行数据扩充的策略使模型得到了更好的泛化性和鲁棒性；3）现阶段的网络中，需要将原始图像缩放至更小的分辨率，而钙化簇通常所占区域非常小从而在缩放过程中存在丢失特征的情况，导致钙化簇的指标低于肿块。

图6 采用DenseNet121时不同训练策略AUC对比Fig.6 AUCcomparison of different trainingstrategiesusing DenseNet121

3.4 病变区域可视化定位

友好的可视化界面能够给医学辅助诊断提供更加直观的解释，让医生更加精确快速地作出最后的诊断，同时使网络更加透明，有助于建立医生对本文模型的信任度。梯度加权类激活映射Grad-CAM［21］是一种神经网络可视化技术，它将网络最后一层卷积层的梯度信息和网络神经元激活度相结合，然后计算出每个神经元激活度，最终以热力图的方式呈现出来。该方法可以帮助医生直观的感受到是哪一块区域最大地激活了网络，从而帮助医生进一步定位病灶区域作出更加精确的诊断。Grad-CAM可以用式（6）、（7）进行描述：

首先通过式（6）得到类别c相对于第k层特征图A的平均梯度和，Z为特征点个数和，yc为类别c的预测值。最后通过式（7），以为权重，将最后一层特征图进行加权求和线性组合起来，再通过一个ReLU激活函数，就得到了类别c的热力图。

图7呈现了特征提取网络对放大之后的病灶区域的Grad-CAM热力图。从图7（c）、（d）中分析网络对于肿块能够准确地定位到，且较少注意到非病灶区域，这说明网络对于肿块区域有着良好的分辨能力。基于图7（a）、（b）分析，网络依然能够捕获到钙化簇区域，但是对于恶性钙化簇，由于其分布较为广泛和离散，加大了网络的聚焦难度，因而存在一些无关的激活区域。

图7 四组不同情况下的局部组织Grad-CAM热力图Fig.7 Four groupsof Grad-CAMheatmaps of local tissuesunder different conditions

在图8中，对4组不同情况下的图像进行了Grad-CAM可视化，方框为人工标记。从整体看，模型的两个通道能够分别对各自的输入图像进行病灶区域的定位，图8（d）表明在某一个视角的病灶区域定位不是特别精确时能够通过另一个视角的结果来纠正这种偏差，从而获得更为精确的预测结果。尤为重要的是，全局图像激活区域热力图为医生在使用模型进行辅助诊断提供了更加直观的病灶区域提示，有助于建立医生对于模型的信赖度，对模型的实际部署应用有着积极意义。

图8 四组不同情况下的全尺寸Grad-CAM热力图Fig.8 Four groups of full-scale Grad-CAMheatmaps under different conditions

4 结语

本文提出了一种多视角端到端的卷积神经网络，通过同时考虑两种视角的乳腺钼靶图，实现了对乳腺肿块和钙化簇的疾病诊断，同时成功利用公开数据集扩充训练集来进一步改善模型表现，探究了不同网络架构对于乳腺图像的敏感度问题，并且使用Grad-CAM更为直观呈现出了激活区域，为临床应用提供了可视化基础。在未来的工作中，将围绕解决钙化簇信息丢失问题与病灶区域精准定位问题进一步展开研究，提升诊断精度。