基于DenseNet和迁移学习的乳腺癌图像识别

杨雨航, 刘 铭, 王新民, 肖志成, 蒋 扬

(1. 长春工业大学 数学与统计学院, 长春 130012； 2. 中电文思海辉技术有限公司 汽车制造数字化事业部, 辽宁 大连 116000)

0 引 言

癌症是目前世界上最重要的公共健康问题, 而其中乳腺癌是女性中最常见的恶性疾病, 其发病率占所有新发癌症的25%[1], 严重危害女性的生命健康。近几年, 乳腺癌疾病筛查在大众中越来越普及, 并且随着医疗检测技术的迅速发展, 乳腺癌确诊患者数量明显增多。病理组织学分析是诊断乳腺癌最广泛使用的方法, 而众多的病理图像诊断分析分类需要病理学专家通过显微镜对组织学样本进行目测识别, 将耗费大量人力和时间[2]。因此, 运用计算机人工智能相关算法对病理组织学图像进行分类识别, 将大幅缩短乳腺癌疾病诊断的时间, 并且有较高的准确率[3]。

目前针对乳腺癌疾病的诊断, Sqanhol等[4]根据82例乳腺癌病理构建了一个名为BreaKHis的乳腺癌病理图像数据集, 研究了6种手工提取的纹理特征结合包含SVM(Support Vector Machine)在内的4种分类器, 共24组分类性能, 进而对良性、恶性肿瘤进行分类, 达到了80%～85%的准确率。Yusuf等[5]利用深度迁移学习技术对乳腺癌中最常见的浸润性导管癌(IDC: Invasive Ductal Carcinoma)进行自动化检测, 达到很好的效果。Krithiga等[6]提出了一种使用深度卷积神经网络(Deep-CNN: Convolutional Neural Networks)的自动检测、 分割和分类乳腺癌细胞核的方法。主要利用滤波器中的各向异性扩散检测细胞核, 并在导管癌组织中应用一种新的多水平显著核检测模型。采用新的Deep-CNN模型将检测到的细胞核分为良性和恶性细胞。Mesut 等[7]提出了一种基于卷积神经网络的BreastNet深度学习模型。采用该模型进行分类, 提高了分类的成功率。该模型的总体结构是建立在注意模块上的残余结构。在图像数据输入模型前, 每张图像数据都经过了增强技术处理。通过增强技术, 将每张图像都处理后传输到BreastNet。

为进一步提高乳腺癌病理图像的精度, 笔者利用目前现有的卷积神经网络相关算法对数据集BreaKHis进行实验, 选取深度学习网络VGG16、ResNet50、ResNet101、DenseNet121, 针对不同放大系数下的良性和恶性图像两分类进行识别对比, 分析验证了网络深度与复杂程度对图像识别准确率的影响, 并对最好的DenseNet121模型结合迁移学习进行识别, 提高准确率。

1 相关算法

深度学习在医学领域的应用越来越广泛, 卷积神经网络在解决医学图像处理及其计算机视觉等问题效果尤为显著[8-11], 卷积神经网络应用于各种医学图像, 如癌症CT图像分割、 细胞学组织图像分割识别等[12-14]。随着卷积神经网络的不断发展, 网络模型种类及性能逐步提高, 网络结构与深度逐渐增加, 准确率也得到了显著提升。

1.1 稠密卷积网络

随着网络深度逐渐增加, 实验结果易出现梯度爆炸与消失现象。为此, 稠密卷积网络(DenseNet: Dense Convolutional Network)使用了一种新的连接方式, 即稠密连接块, 简称密集块(Dense Block), 是稠密卷积网络的密集连接机制, 每层均与前面所有层连接, 各特征图大小一致, 并作为下一层输入。第l层的输入是之前每层的特征图[x0,x1,…,xl-1]的拼接。第l层的计算方法为

xl=Hl([x0,x1,…,xl-1])

(1)

其中[x0,x1,…,xl-1]是每层特征图的拼接,Hl是由批量标准化、 激活函数和卷积组成的结构。

对比其他卷积神经网络, DenseNet均采用密集连接, 主要由多个稠密连接块和过渡层组成, 如图1所示。相邻稠密连接块之间的层为过渡层, 通过卷积与池化操作, 减少特征图的数量。密集卷积网络与其他网络相比, 参数效率更高, 提升了网络信息的流动与梯度, 其关键为网络计算量减少及特征的重复使用。

图1 DenseNet网络结构

1.2 迁移学习

迁移学习主要是将训练好的模型参数迁移到新的模型帮助训练, 通过在其他数据集预训练一个CNN, 利用预训练好的CNN权重作为初始化权值, 迁移到目标数据集进行训练和微调, 当样本量极少时, 训练过程易出现训练困难和过拟合现象。而迁移学习就能很好地解决这一问题。为此, 笔者基于DenseNet网络和迁移学习的乳腺癌图像识别, 根据不同的放大倍数(放大倍数越小的乳腺癌图像得到的颜色和纹理信息更多, 也能得到更多的图像空间信息特征), 从放大倍数小的逐渐迁移到放大倍数大的图像上。首先将预训练好的DenseNet121网络上的模型参数迁移到放大倍数40×的乳腺癌图像上, 然后在放大倍数100×的乳腺癌图像下载保存好的模型参数再进行训练, 将放大倍数100×的乳腺癌图像以相同的方法迁移到200×的图像上, 将放大倍数200×的乳腺癌图像以相同的方法迁移到400×的图像上, 从而得到DenseNet121网络和迁移学习的乳腺癌图像识别模型。迁移过程如图2所示。

图2 DenseNet121网络和迁移学习的乳腺癌图像识别模型

2 实验设计与结果分析

2.1 数据集

2.1.1 数据集说明

BreaKHis数据集是巴拉那联邦大学发布的公开数据集。此数据集共采集了82名患者, 由7 909张乳腺肿瘤组织显微图像组成, 其中包含2 480个良性样本、 5 429个恶性样本, 分为4个放大系数40×、100×、200×、400×, 具体分布情况如表1所示。

表1 按放大系数和图像类别的分类图片数目

乳腺肿瘤病理图像良性样本如图3所示, 乳腺癌病理图像恶性样本如图4所示。

图3 乳腺肿瘤病理图像良性样本

图4 乳腺癌病理图像恶性样本

通过显微镜观察肿瘤细胞图像, 乳腺肿瘤根据良性和恶性可分成不同类型。该数据集目前包含4种组织学不同类型的良性乳腺肿瘤和4种恶性肿瘤(乳腺癌)。笔者仅研究不同放大倍数的乳腺肿瘤良性图像和恶性图像二分类问题。所有图像的储存格式为RGB 3通道格式, 固定尺寸为700×460像素。

2.1.2 数据集预处理

对于BreaKHis数据集, 笔者将乳腺肿瘤病理图像中按照良性样本和恶性样本进行分类, 其中良性、 恶性样本图像根据不同的放大倍数进行细分, 共形成了4组数据, 40×的良性、 恶性样本图像； 100×的良性、 恶性样本图像； 200×的良性、 恶性样本图像； 400×的良性、 恶性样本图像。针对每组数据, 划分数据集, 将图像的70%作为训练集, 图像的30%作为验证集, 通过训练集训练网络, 验证集验证网络性能。

2.2 实验环境

实验操作系统为Linux, 内存为128 GByte, 主要开发环境为Python3.6.7, 深度学习网络基于Keras2.2.4实现, 并在显卡为16 GByte的Tesla V100的GPU上运行, 学习率初始值设置为1×10-4, 迭代步数为100。

2.3 实验结果分析

为证实研究方法有效, 在BreaKHis数据集上分别与采用网络VGG16、 ResNet50、 ResNet101、 DenseNet121进行对比实验, 比较不同模型在显微镜放大倍数下的模型效果, 所得准确率如表2所示。由于放大倍数为40×的图像显示的信息更加复杂, 其模型结果的loss值和准确率值随迭代步数的变化情况如图5、 图6所示。

表2 不同放大倍数下模型的准确率

图5 放大倍数为40×的各模型准确率 图6 放大倍数为40×的各模型loss值

通过对卷积神经网络的不同模型分析发现, DenseNet121网络相比VGG16、 ResNet50、 ResNet121结构准确率最好。对比放大倍数为40×的各模型准确率和loss值, 发现在epoch为100时, 除了VGGNet16的效果不理想, 波动较大外, 其他各模型均趋于稳定, DenseNet121的网络效果最好。因此, 对DenseNet121进行迁移学习, 即将放大倍数较小图像的训练模型逐步迁移到放大倍数较大图像的模型上训练, 并对迁移学习的DenseNet121模型与DenseNet121网络的训练准确率进行对比, 结果如表3所示。

表3 DenseNet121网络与结合迁移学习的DenseNet121网络的准确率

通过DenseNet121网络结合迁移学习可以明显看出, 在不同放大倍数下的准确率都得到了提升。在100×,200×,400×下得到的准确率分别为98.63%,98.23%,98.58%。图7为不同放大倍数下的混淆矩阵。图8为迁移学习后不同放大倍数下的ROC曲线。

图7 迁移学习后不同放大倍数下的混淆矩阵

图8 迁移学习后不同放大倍数下的ROC曲线

根据ROC(Rate Of Change)曲线, 得到DenseNet121网络结合迁移学习模型对放大倍数为100×、200×、400×的乳腺癌图像AUC(Area Under Curve)值分别为0.981,0.977,0.978, AUC值都很均衡且均达到0.975以上, 说明该实验是一个准确性很高的分类实验, 且该模型对不同放大倍数的识别中准确提取图像的信息, 具有良好的识别性能。DenseNet121网络结合迁移学习模型应用于癌症图像识别可达到较高的识别准确率且具有泛化性。

3 结 语

随着信息时代不断发展与计算机视觉不断进步, 计算机在医学图像的处理与诊断中的应用越来越广泛。深度学习模型的不断改进与深度增加, 更为广泛应用于医学图像的诊断。笔者基于深度学习的模型与迁移学习算法对乳腺癌病理图像进行识别, 将图像分为良性、 恶性样本的二分类, 得到经过迁移学习的DenseNet121的模型效果最好, 识别的准确率最高。在未来, 应逐步实现对恶性样本的具体癌症类型进行判断, 进一步细分, 更能对每个病患情况具体处理, 将大大提高医学诊断效率。