基于迁移学习的乳腺肿瘤组织病理图像分类研究

王振东，李悦，申炳俊，金丽虹，夏冰

（1.长春理工大学 生命科学技术学院，长春 130022；2.长春妇产科医院，长春 130041）

乳腺癌是女性最常见的恶性肿瘤之一［1］，早期的诊断和治疗可以大大提高乳腺癌患者的生存率和生活质量。组织病理学图像是乳腺癌诊断的“金标准”，病理医师根据组织病理学图像的细胞形态学特征及分布信息，进而完成对乳腺癌临床分类诊断。然而，这个过程不仅非常费时费力，而且诊断易受到病理医师经验和知识水平的影响。随着组织病理学图像被大量应用于乳腺癌的临床分类诊断，最大程度地辅助医生精确、快速地诊断病情，这成为医学图像处理领域的研究热点。

深度学习作为计算机辅助诊断的方法之一，其在提高乳腺癌诊断的效率和准确度方面展现了显著优势。2016 年，Spanhol 等人［2］发表了乳腺病理图像处理领域重要的数据集BreakHis，通过对数据进行预处理达到对数据扩增的目的，使用Alexnet 网络训练数据并进行分类，实验结果与传统的机器学习分类相比，高出4%-6%。2021 年，Singh 等人［3］提出了一种混合深度神经网络，用于组织病理学图像中的癌症检测，BreakHis 数据库放大倍数分别为40、100、200 和400 的分类精度分别达到0.808 0、0.827 6、0.865 5和0.858 0。随着神经网络的层数越来越多，提取的特征越来越复杂，计算量也逐渐增加，但增加网络的深度不一定会取得较好的分类结果，有时候也会适得其反。为了解决这种问题，迁移学习算法进入了研究者的视野。Vesal 等人［4］使用预训练好的Inception-V3 和ResNet50 网络，通过微调方法对乳腺肿瘤组织病理图像进行分类。对比发现，Inception-V3 的分类结果高于ResNet50，达到97.08%。Saini 等人［5］提出一种迁移学习策略，首先在大型数据ImageNet 上进行训练并保存参数，对BreakHis 数据集上不同放大倍数的图像进行实验验证，分别获得了0.965、0.94、0.955 和0.93 的准确率。

近年来，许多研究者开始使用迁移学习结合其他分类器来进行分类。Zerouaoui 等人［6］使用MLP 分类器和DensNet 201 特征提取（MDEN）的混合架构，对BreakHis 数据集四种放大倍数图像进行分类，准确率分别达到92.61%、92%、93.93%和91.73%。Wang 等人［7］采用卷积神经网络和与机器学习结合的卷积神经网络模型对ICIAR2018数据集上的乳腺图像进行分类。通过数据增强操作，使用Vgg-16 模型分类取得的分类准确率为92.5%。

随着不同的分类器应用到乳腺癌分类中，像遗传算法（GA）这样的优化算法也成为提高分类准确率的趋势。Dhahri 等人［8］提出了一个基于GP 的乳腺癌分类模型，GP 算法在研究中的作用是优化模型的数据和控制参数。Davoud 等人［9］使用三种不同的优化器（小批量梯度下降、Adam和GA）训练模型，并通过对BreakHis 数据集的各种实验评估模型。实验结果表明，通过GA 训练的CNN 模型的性能与Adam 优化器一样好，分类准确率为85%。Fu 等人［10］采用果蝇优化算法（FOA）优化网络架构，进一步提高SNN 性能。通过特征提取、基于熵的时间编码和网络优化，对BreaKHis 数据图像分类的准确率为95.83%。

基于此，本文提出了一种基于迁移学习的乳腺肿瘤诊断方法：使用块处理作为数据增强技术，用于解决基于深度学习的模型训练时数据量不足问题；调用已经在ImageNet 数据集上训练好的Alexnet，冻结顶部的卷积层权重，微调底部的全连接层部分，并采用支持向量机作为分类器；最后，使用三种优化算法优化SVM 的参数，进一步提高分类效果。

1 数据集及预处理

1.1 数据集

BreakHis 数据集目前包含四种不同类型的良性乳腺肿瘤和四种恶性肿瘤，数据库中的7 909个样本来自于82 名志愿者，其中2 480 个样本标记为良性肿瘤，剩余5 429 个样本标记为恶性肿瘤。图1 给出了四种不同放大倍数下的图像样本。表1 详细介绍BreakHis 中各放大倍数下良恶性样本的数量。

表1 BreakHis 中各放大倍数下良恶性病人数目分布

图1 BreakHis 数据集中四种不同放大倍数下的图像样本

1.2 预处理

BreakHis 数据集原始图像大小为700×460，而Alexnet 网络图像输入大小为227×227×3，因此采用块处理的方法对组织病理学图像进行裁剪，提取六个大小为227×227 的非重叠图像块，对边缘部分进行舍弃（如图2 所示），以便于将其输入到神经网络。经过预处理后，各放大倍数下的良恶性样本数量扩大到原来的6 倍。将预处理过后的图像数据按照7∶3 的比例随机划分为训练集和测试集。

图2 数据预处理

2 迁移学习模型

2.1 迁移学习

迁移学习方法最大的特点就是可以很快地建立一种识别图像的模型，通过调用在大型数据库已经训练好的学习模型，来解决与原有问题相似的问题。所引用的模型在大规模数据上表现出非常出色的效果，其包含大量的层结构及参数，通过微调技术，可以将其应用到所要解决的问题中。主要方法是冻结模型的卷积结构及其参数，修改全连接层以匹配数据。

2.2 分类器及优化

Alexnet 网络最终全连接层输出端是一个Softmax 分类器，为了提高分类准确率，本文在提取特征之后选用SVM 作为分类器。

SVM 通过训练有限数量的样本，获得误差较小，尤其是在给数据独立测试时，发生错误的概率是最小的。SVM 分类方法避免了神经网络在分类问题中难以解决的局部最小值问题，具有处理小样本和非线性分类问题的优点。给定特征向量χi，权重向量ω和类标签yi：

其中，i表示样本数；C是惩罚参数，用于控制间隔最大化和分类误差最小化之间的权衡；ζi是松弛变量。

SVM 作为一种机器学习算法，它能够将决策函数的内积置换为核函数，进而有效地求解复杂的不确定性现象。其中，线性核能用来解答复杂的线性问题，而高斯径向基能用来解答复杂的非线性问题。

在其他学者的研究基础上，本文选择径向基核函数（RBF）的SVM 作为分类器。此外，使用灰狼算法（GWO）、遗传算法（GA）和网格搜索算法（Grid）对SVM 的核参数进行自动寻优来提高SVM 的分类性能。

2.3 模型结构

2012 年Krizhevsky 等人［15］构建了Alexnet 网络，由此迁移学习受到学者的追捧，逐渐成为最热门的研究领域。本文所使用的策略为微调，保留Alexnet 网络中的内部网络及参数（图3 方框所示），对网络的全连接层部分进行微调。在Alexnet 网络前两层全连接层及其参数后添加fc8和fc9 全连接层，参数设置为64 和2，在fc8 层添加ReLU 激活函数。此外，采用SVM 替换原先的Softmax 分类器，修改后的网络结构如图3 所示，将其称为Alexnet-SVM 网络。图像经模型训练提取特征，将最后一层全连接层特征归一化到［0 1］，输入到SVM 分类器进行良恶性分类。

图3 Alexnet-SVM 网络结构

2.4 参数设置

网络训练使用带动量的随机梯度下降（SGDM）作为优化函数，学习策略为分段式学习，学习率下降因子设置为0.5，学习率下降周期为8，验证频率设置为80。每训练完一个epoch就打乱一次数据，避免丢弃同一批数据。此外，为了防止过拟合，引入L2 正则化技术。提取最后一层全链接层输出的特征，将数据打乱后进行归一化处理，输入SVM 分类器进行分类。表2详细介绍网络模型的超参数。

表2 实验参数设置

3 实验结果和讨论

3.1 实验环境

本文所有实验都是在以下平台进行的：操作系统为64 位Windows10，Inter Xeon CPUE5-2678-v3@2.40 GHz，运行内存为48 GB，GTX 1050Ti 4G图形处理器。实验使用的软件是Matlab 2019b。

3.2 预处理前后对比

将未进行预处理的图像调整尺寸后输入到Alexnet（Softmax）网络，与经过预处理的数据进行对比，观察预处理前后分类性能的变化。实验采用五倍交叉验证，每次实验网络在训练集的准确率均达到100%，其在测试集表现如图4 所示。方块代表的是没有进行预处理的分类结果，圆点代表的是采用块处理后的分类结果。

图4 预处理前后的分类准确率

图4 展示了四种不同放大倍数下病理图像分类结果。可以看出，经过预处理后的数据分类准确率均比未经过预处理的数据分类准确率高，其在放大倍数为40、100 和400 中表现最为明显。放大倍数为200 时的两种实验分类结果最为相近，但经过预处理之后的分类准确率仍比未经过预处理的略高。

在放大倍数为40、100 和400 的实验中，没有经过块处理的数据，其分类准确率波动幅度范围较大，而经过块处理后的数据，其分类准确率不仅有较大提高，且准确率的波动幅度比未进行预处理的要小很多。因此，经过所提出的预处理方法后，迁移学习策略可以明显提高网络分类性能，并且具有较好的鲁棒性。

3.3 与原Alexnet（Softmax）对比

图像经过预处理后，对比原Alexnet（Softmax）和Alexnet-SVM 两种迁移学习模型对数据的分类效果。图5 所示为四种不同放大倍数下的图像经过预处理后Alexnet（Softmax）和Alexnet-SVM 两种网络对数据的分类结果。红色代表的是Alexnet-SVM 网络，黑色代表的是Alexnet（Softmax）网络。

图5 Alexnet（Softmax）和Alexnet-SVM 的分类准确率

放大倍数为40X 和200X 下的图像分类结果中，Alexnet-SVM 的分类准确率明显要比Alexnet（Softmax）高，说明SVM 分类效果比Softmax 更好；放大倍数为100X 下的图像分类结果中，Alexnet-SVM 的准确率和Alexnet（Softmax）的相差很小，但SVM 分类器的分类结果仍比Softmax 的高；放大倍数为400X 下的图像分类结果中，Alexnet-SVM 只在第2 次实验中的分类准确率比Alexnet（Softmax）低，其他4 次实验中的分类准确率均比Alexnet（Softmax）高。综上可知，SVM 分类器比Softmax 更具有优势。

3.4 SVM 参数优化

由以上实验可知替换为SVM 分类器，模型的分类性能有了明显的提高。为了进一步提高分类的准确率，本文采用三种算法来优化SVM 的核参数。图6 展示的是使用放大倍数为40 的图像使用Alexnet-SVM 网络与三种算法优化后的分类准确率，可以看出GWO、GA、Grid 优化SVM 后都能在不同程度上提高网络分类的准确率。

图6 不同优化算法分类结果

GA 算法在对SVM 参数进行优化后所得到的准确率在五次实验中均为最高，尤其是在第4 次实验中准确率提升最为明显，比Alexnet-SVM 提高0.25%，GWO 算法的优化效果次之，表现最差的是未优化的Alexnet-SVM 模型。Grid 算法在第3 次和第5 次实验中表现与GA 算法一样，准确率分别为97.61%和97.63%，但在其他3 次实验中的分类准确率均比GA 算法优化过的分类准确率低。由此可知GA 优化的SVM 分类性能较好。

3.5 不同放大倍数下的分类结果

表3 是四种放大倍数的乳腺肿瘤图像分类准确率。使用放大倍数为40 的图像进行分类时，只有Fold1 的分类准确率在97%之下，其他四组实验分类准确率均在97.50%以上；使用放大倍数为100 的图像进行分类时，在Fold2 实验中其分类准确率达到最高，为98.02%；而以200 放大倍率的图像作为数据集测试时，准确率最高达到了98.10%，比其他三种放大倍数下的测试准确率都要高。

表3 不同放大倍数的图像分类结果

四种放大倍数的交叉验证分类准确率平均值均在97%以上，实验结果证明，微调后的网络不仅在分类性能上表现很好，而且具有较好的稳定性。

3.6 评价指标

用TN 表示“将负类预测为负类”的数量，FP表示“将负类预测为正类”的数量，FN 表示“将正类预测为负类”的数量，TP 表示“将正类预测为正类”的数量，则以下指标可表示为：

其中，准确率（Accuracy）反映模型正确预测正样本精度的能力；召回率（Recall）反映模型正确预测正样本数量占全部正样本数量的能力；特异性（Specificity）是疾病分类中的一个重要指标，它衡量了分类器对负例的识别能力。表4 显示了四种放大倍数下性能指标平均值。

表4 不同放大倍数的图像分类指标

3.7 与其他方法对比

本文将基于Alexnet-SVM 方法与其他文献进行对比，验证本模型分类性能。各文献方法具体的分类准确率如表5 所示。在放大倍数为40的图像分类中，本文模型表现最佳，与分类效果最差的Dense-Net 201 相比，高出16.71%；在放大倍数为100 的图像分类中，Googlenet 模型的准确率达到94.60%，比其他五种方法获得的分类准确率均高，但本文模型比其高了3.05%；在放大倍数为200 和400 图像分类中，全卷积模型FCN+Bi-LSTM 得到的准确率比其他方法都要高，分别为96.32%和94.29%。而Dense-Net 201 混合深度神经网络，分类的准确率分别为86.55% 和85.80%，表现最差。本文提出的迁移学习模型获得的分类准确率比其他方法均高，其分类性能表现最好。

表5 与其他方法对比

4 结论

本文致力于开发一种精确的乳腺肿瘤图像分类算法，提出了一种基于迁移学习网络与支持向量机相结合的分类模型，简称Alexnet-SVM模型。首先通过对图像进行块处理，对数据量进行扩增，增强模型的泛化能力；使用基于核的SVM 作为分类器，替换掉原Softmax 分类器，提高了分类准确率；使用算法优化SVM 的核参数，进一步提高Alexnet-SVM 的分类性能。通过一系列对比实验分析，所提出的迁移学习模型对乳腺肿瘤组织病理图像有较好的分类效果，该研究对于乳腺肿瘤的诊断具有重要意义。未来的研究将侧重于不同乳腺癌类型的分类，以确定其作为医疗诊断工具的适用性。