基于卷积神经网络和迁移学习的乳腺癌病理图像分类

郑群花 段慧芳 沈 尧 刘 娟 袁静萍

1(武汉大学计算机学院 湖北 武汉 430072) 2(武汉大学人民医院病理科 湖北 武汉 430060)

0 引 言

乳腺癌已成为导致女性死亡最常见、发病率最高的恶性肿瘤，严重威胁着女性的身心健康。2013年卫生部统计年鉴最新数据显示：乳腺癌是中国女性发病率最高的癌症，癌症死亡原因位居第六[1]。诊断乳腺癌的最可靠的依据是病理诊断。苏木素-伊红H&E(Hematoxylin-Eosin)染色组织病理图像分析是乳腺癌的常规诊断方法。传统乳腺癌病理分析主要是通过病理医生在显微镜下对病变组织和细胞学特征人工分析，确定其病理类型等。这种诊断过程存在经验要求高、过程复杂、结果主观性强且变异较大等不足。随着数字病理的发展，病理实验室采集了大量的数字化H&E组织病理图像，迫切需要开发基于计算机图像分析方法实现准确、高效、客观定量分析组织学图像，为临床的综合治疗提供依据和参考。

计算机辅助诊断治疗CAD(Computer Aided Diagnosis)早已成为国际上医学影像研究中的热点课题之一，同时也是一个具有重要意义的课题。但是由于良性肿瘤图像特征与乳腺癌图像差异较大，因此要求计算机辅助诊断具有很高的敏感性。除此之外，目前病理实验室虽然均采集了大量的乳腺癌患者图像，但是缺乏大量的公开的、已标记的数据集，进一步加大了计算机辅助诊断的难度。

目前基于计算机辅助诊断的乳腺癌组织病理图像分类主要有两类方法。一是基于人工特征提取和传统机器学习算法的乳腺癌病理图像分类[2-3]。这类方法采用人工提取特征，基于这些特征使用支持向量机、随机森林等分类器完成分类。该方法存在专业知识要求高、提取特征耗费时间和提取高质量的特征比较困难等缺点。二是基于深度学习的乳腺癌病理图像分类。随着深度学习的发展，卷积神经网络CNN在计算机视觉如人脸识别、手写字体识别等方面都取得了领先的成绩[4-5]。该网络可以直接输入原始图像，避免了对图像进行复杂的前期预处理。同时由网络自主学习相应的特征，克服了传统分类方法需要专业人士手工提取特征的缺点。

近年来，卷积神经网络也逐渐运用在乳腺癌组织病理图像的分类上。Araújo等[6]在以色列理工学院提供的数据集上，利用卷积神经网络将H&E染色的乳腺癌组织病理图像分成正常组织、癌、原位癌和浸润性癌四类。同时还将图像整体分成了癌和非癌两大类，分别达到了77.8%和88.3%的识别率。2016年7月，Spanhol等[7]公布了一个乳腺癌组织病理图像数据集BreaKHis。基于这个数据集，Bayramoglu等[8]采用放大倍数独立的深度学习方法分类，达到了83%的识别率。Wei等[9]在同样的数据集上，利用GoogLeNet作为深度卷积神经网络模型的基本框架，同时采用了数据增强和迁移学习的方法将图像分为良性肿瘤和恶性肿瘤，达到了97%的识别率。

目前存在的分类方法只将乳腺癌组织病理图像分成了正常和癌变两大类，同时对于高分辨率图像分类具有局限性。针对这些问题，本文使用深度卷积神经网络将乳腺癌病理图像分为乳腺导管原位癌、乳腺浸润性导管癌、乳腺纤维腺瘤和乳腺增生四类。对于高分辨率图像，提出了图像分块的思想，对于每块的分类结果利用多数投票算法进行整合，整合结果作为该图像的分类结果。同时，为了避免因乳腺癌病理图像标记样本过少带来的过拟合问题，采用了迁移学习和数据增强的方法来提高模型的准确率，以更好地满足临床需要。

1 模型与方法

1.1 模 型

近年来，卷积神经网络在图像识别领域取得较高的准确率，而且避免了人工提取特征，是研究领域中的研究热点，这也是我们选择CNN的原因。

目前的卷积神经网络模型主要有LeNet[10]、VGG[11]、GoogLeNet[12]和ResNet[13]等。本文选用Krizhevsky等[14]提出的AlexNet模型。该模型在大型图像数据库ImageNet的图像分类竞赛中获得冠军。

本文图像处理流程如图1所示。将原始图像先进行染色归一化预处理，利用数据增强技术扩大数据集，然后将图像分块，输入CNN进行训练(分类)，最后对每块的分类结果用多数投票算法进行整合，整合之后的类别即为原始图像的类别。

图1 模型流程图

1.2 染色归一化和数据增强

图像质量显著影响后续的图像分类和特征提取。图像质量是由多种因素造成的，包括固有的乳腺癌异质性、组织切片制备或图像采集过程中的不一致、来自不同实验室的数据等因素。采用适当的预处理方法可以在一定程度上减少这种变化。

目前已经提出了各种方法将组织病理图像染色归一化。Reinhard等[15]利用lαβ色彩空间，通过进一步对lαβ分量进行统计对比，提出一个利用颜色统计均值和方差进行色彩迁移的方法。Magee等[16]和Macenko等[17]同时提出了基于CD衍生表示的染色标准化方法。本文采用Reinhard等[15]使用的方法进行预处理，将数据进行归一化。

深度学习需要大量的有标注的数据集进行训练学习，但是在现实中，尤其是在医学领域，往往难以获取大量有标注的数据。由此，本文采用了数据增强技术，如仿射变换方法、颜色和对比度扰动方法来增强数据集。主要通过将图像旋转90°/180°/270°，颜色和对比度扰动组合操作，将数据扩充10倍。

1.3 图像分块

用高分辨率图像作为原始输入的深度卷积神经网络，必然会导致更复杂的具有较多参数的体系结构，用于微调和训练该复杂网络需要的时间代价也会随之变得非常高。因此利用图像分块[18]的策略，在不改变适用于低分辨率的CNN结构的前提下，将图像分成较小的块(patch)，以适应AlexNet的输入层。

本文数据集图像分辨率较高，因此将图像进行了分块处理。训练时，为了增强训练数据规模，采用有重叠的(overlapping)分块处理策略，重叠率为50%；测试时，为了保证分类结果的客观性，采用不重叠的(non-overlapping)分块策略。AlexNet网络输入图像大小是227×227，因此将数据集的原始图像分成了227×227的块。

1.4 AlexNet架构

典型的卷积神经网络主要由输入层、卷积层、下采样层(池化层)、全连接层和输出层组成。本文采用的AlexNet模型包括5个卷积层和3个全连接层。在每一个卷积层中包含了激励函数ReLU以及局部响应归一化LRN(Local Response Normalization)处理。模型结构如图2所示，图片摘自文献[14]。

图2 AlexNet模型结构

1.4.1 输入层

输入层负责载入图像，产生一个输出向量作为卷积层的输入。本文模型输入为227×227×3的块，三个通道图像信息均作为输入。

1.4.2 卷积层

卷积层负责特征的学习。输出图像中的每个像素都是由输入图像的对应位置的小区域的像素通过加权平均所得，把这个小区域叫做卷积核。假设输入图像为Yi，本文用Yi表示卷积神经网络第i层的特征图(Y0=X)，假设Yi是卷积层，Yi的产生过程可以描述为：

Yi=f(Yi-1⊗Wi+bi)

(1)

式中：Wi表示第i层卷积核的权值向量；⊗表示卷积核和第i-1层图像或者特征图进行卷积操作，卷积的输出与第i层的偏移向量bi相加，最终通过非线性的激励函数f(x)得到第i层的特征图Yi。

AlexNet[14]在每一个卷积层中包含了激励函数ReLU以及局部响应归一化LRN处理。

AlexNet模型共有5个卷积层，3个全连接层，前两个卷积层和第五个卷积层有pool池化层，其他两个卷积层没有池化。在第一个卷积层，采用了96个大小为11×11×3，步长为4的卷积核。在第二个卷积层，采用了256个大小为5×5×3，步长为1的卷积核。第三、第四和第五卷积层，均采用了384个大小为3×3×3，步长为1的卷积核。

1.4.3 池化层

池化层即下采样层，通常跟在卷积层之后，依据一定的下采样规则对特征图进行下采样。下采样的功能主要有两点：1) 对特征图进行降维；2) 在一定的程度上保持特征的尺度不变特性，提高算法的性能和鲁棒性。常用的下采样规则有两种：求平均值(mean-pooling)和取最大值(max-pooling)。

本文采用Max-pooling方式，第一、第二和第五池化层的池化尺度均为3×3，步长为2。

1.4.4 全连接层和输出层

全连接是每个神经元和前面的所有的神经元都相连。AlexNet模型共3个全连接层。第一全连接层将经过卷积和下采样得到的256个6×6的特征图使用4 096个神经元，进行一个全连接，输出特征图单元数为4 096。第二全连接层，输入特征图单元数为4 096，输出特征图单元数也为4 096。第三全连接层即输出层，输入特征单元数为4 096，输出特征图单元数为1 000。输出层采用逻辑回归即Softmax回归对输入图像进行分类。

Softmax回归模型是Logistic回归模型在多分类问题上的推广，在多分类问题上，类标签可以取两个以上的值。本文类标签为4。

1.5 多数投票算法整合

由于采用了图像分块的思想，一张图片被分割成很多不同的块，每个块在模型分类后可能会得到不同的分类结果，因此需要一种融合算法将分类结果进行整合，整合结果作为该图片的分类结果。

常用的融合算法[19]有，最大规则、最小规则、中值规则和多数投票规则。本文采用多数投票规则。

多数投票规则[19]制定如下：某一类得到的票数最多，则判定该图片属于这一类。

1.6 迁移学习

CNN的参数训练需要大规模的已标记样本，然而对于乳腺癌病理诊断来说，缺少大规模的已标记样本。因此，本文采用了迁移学习[20]的方法来解决这一问题。

通过在一个现有的大型数据集上预训练一个CNN，然后使用该预训练好的CNN的权重作为初始化权值，迁移到目标数据集上进行训练和微调，这是迁移学习的基本思想。迁移学习可行是因为CNN的前面几层学习的是样本的泛型特征，例如点、线、颜色等底层特征，后几层学习的是数据集的特定特征。

本文在ImageNet数据集[21](包括120万余张自然图像和1 000个不同的类)上预训练，得到的模型参数作为网络的初始化参数，然后迁移到目标数据集上进行训练。本文参加训练的patch块数有20余万，采用全局微调的策略对模型进行优化。

2 实验结果及分析

2.1 实验数据

本文采用的实验数据来自合作医院武汉大学人民医院病理科提供的549张病理图像，包括150张乳腺浸润性导管癌(见图3(a))、150张乳腺导管原位癌(见图3(b))、150张乳腺纤维腺瘤(见图3(c))和99张乳腺增生(见图3(d))。其中：乳腺浸润性导管癌和导管原位癌是乳腺癌的一种常见类型，乳腺纤维腺瘤和乳腺增生不属于乳腺癌，是乳腺组织的一种良性病变。在此数据集中，浸润性导管癌图像大小为1 329×993，乳腺导管原位癌和乳腺纤维腺瘤图像大小均为1 360×1 024，乳腺增生图像大小为1 600×1 200和1 360×1 024两个尺寸，放大倍数均为20倍。模式为RGB三个通道。

(a) 乳腺浸润性导管癌(b) 乳腺导管原位癌

(c) 乳腺纤维腺瘤 (d) 乳腺增生 图3 乳腺病理图像样例

采用图像分块方法和数据增强方法之后，用于训练的patch数量达20余万。

2.2 训练策略

增强前和增强后的数据被分为训练集(60%)、验证集(20%)和测试集(20%)。训练集用于训练模型和调节参数，验证集主要用于选择模型，测试集用于测试模型的识别和泛化能力。实验结果为五次随机分配数据集实验的平均值。

采用的训练策略为迁移-微调训练。

2.3 评价标准

由于本文采用了图像分块的思想，因此将实验结果评价标准分为块识别率和图像识别率。对于块识别率，Np表示测试集中所有的块数，Nrp表示正确分类的块数，则块的识别率简记为P：

(2)

对于图像识别率，Nall表示测试集所有的图像数，Nr表示测试集中正确分类的图像数。图像识别率简记为I：

(3)

2.4 实验环境及消耗

本文使用Caffe框架[22]，在CentOS、GPU Tesla K10上训练，训练时间约为3 h。在CPU环境下，识别一张图片需要2 s左右，在GPU下，需要0.7 s左右的时间。

2.5 实验结果及分析

实验结果如表1所示，是五次随机分配数据集得到的测试结果。表中的“图像类别1/2/3/4”分别代表乳腺浸润性导管癌、乳腺导管原位癌、乳腺纤维腺瘤和乳腺增生。

表1 测试集的识别率

训练时，本文将batch-size设置为104，学习率为0.001，最大迭代次数为10 epoch，在验证集上patch准确率达到95%～98%。然后根据patch分类情况和投票策略，得到图像的分类准确率。

对于测试集的图像，采用non-overlapping分块策略。每张图片分为30块或者48块，块的大小是227×227，输入已训练好的网络模型，获得该图片每一个块的分类概率，再根据多数投票规则判定该图片的类别。

结果显示，在测试集上，patch平均识别率为99.32%，图像平均识别率达到了99.74%。

对表1中patch识别率为99.32%，而图像识别率为99.74%的原因做出如下解释：由于一张图像被分成30或48块之后，每块的分类结果可能并不相同，因而对于块的分类结果采用多数投票规则进行整合。

图4所示的两个块(patch)A和B原本是乳腺纤维腺瘤(见图5)的patch，这两个patch都被错分成了乳腺浸润性导管癌。对于图5，其被分成30个patch，其中26个patch分类结果正确，4个patch分类结果错误。根据多数投票规则，判定该图像属于乳腺纤维腺瘤，分类正确。

(a)(b) 图4 乳腺纤维腺瘤切成的两块

图5 完整的乳腺纤维腺瘤图像

2.6 与其他方法的比较

由于本文使用数据集为非公开数据集，为了对比CNN其他训练模型，还尝试了文献[23]中采用的模型。该模型类似cifar10网络结构，将图像分块后，训练总块数达到50万左右，训练数据量足以从头随机初始化训练模型，此模型的分块大小为64×64。为便于统计，将该模型命名为cifar10_64。

为了对比SVM的分类效果，本文尝试了基于词袋模型的乳腺组织病理图像分类算法[24]。首先通过中值滤波、局部对比增强变换和颜色标准化等对图像进行预处理。然后采用颜色卷积运算提取图像的苏木素和伊红通道，分别提取各通道的稠密尺度不变(SIFT)特征转换特征。组合多通道特征后采用局部受限线性编码方式对提取的底层特征进行编码，生成最大池空间金字塔匹配表达。最后采用线性支持向量机分类模型分类。

三种方法的识别率对比如图6所示。从图中可以看出，AlexNet和Cifar10_64两个CNN模型的结果都优于SVM。AlexNet和cifar10_64是CNN模型的两种网络结构，对比这两个模型可以看出：在图像识别准确率方面，AlexNet在乳腺纤维腺瘤该类的识别率优于cifar10_64；在训练时间代价方面，AlexNet基于预训练进行微调，只需迭代10轮次就达到理想的效果，而cifar10_64初始化随机训练，迭代20轮次才达到97.4%的效果。由此可见，预训的AlexNet模型效率更高，其在准确率和训练代价上优于cifar10_64。在乳腺癌的四分类图像识别方面，两种结构的卷积神经网络的方法均优于传统SIFT+SVM方法。

图6 三种方法图像识别率比较

对比结果表明，本文提出的方法在时间消耗和识别率上都优于其他方法，同时具有较好的鲁棒性和泛化能力。

3 结 语

本文使用以AlexNet为架构的卷积神经网络，将高分辨率乳腺癌病理图像分成乳腺导管原位癌、乳腺浸润性导管癌、乳腺纤维腺瘤和乳腺增生四类。通过图像分块的方法，将每块的分类结果使用多数投票算法整合，使模型能够高效准确地处理高分辨率的乳腺癌病理图像。采用迁移学习的方法解决了乳腺癌病理图像标记样本过少带来的过拟合问题。实验证明，本文提出的方法具有较高的识别率，为临床诊断提供了更好的辅助作用。本文存在的不足是实验数据仍然不是很大，今后的工作方向是使用更多的数据测试模型的识别率。