基于空间注意力机制的EfficientNet乳腺癌病理图像分类研究

刘雅楠，王晓艳，李靖宇，郝利国，赵添羽，邹鹤，许东滨

1.齐齐哈尔医学院，黑龙江，齐齐哈尔，160006；2.齐齐哈尔市第一医院，黑龙江，齐齐哈尔，161000

0 引言

乳腺癌组织病理图像的自动分类的关键在于对相关组织所呈现变化的特征提取，当前围绕特征提取技术主要有两种研究方法。一种方法是基于人工特征提取方法，这一方法的主要过程包括分割图像、提取特征、训练分类器；特征提取围绕形态特征、纹理特征、空间特征 进行，形态特征即形状、尺寸等，纹理特征反映图像清晰度，并关注多次出现的局部特征及排列规律，空间特征重点强调乳腺癌细胞核的排列及变化。另一种方法是基于深度学习的方法，深度学习算法种类较多，国内外学者着重提出了以下方法：①向量机算法[1-2]，其基本思想是线性映射，即SVM利用内积核函数代替向高维空间的非线性映射，其优点在于适用小样本学习，基本不涉及概率测度和大数定律等领域，对分类和回归问题进行简化；缺点是样本数量很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。②随机森林算法[3-4]，即建立众多决策树，组成一个决策树的“森林”，通过多棵树投票来进行决策。其优点是有效地提高对新样本的分类准确度；缺点是可能做出超越训练集数据范围的预测，导致对某些特定噪声的数据进行建模时出现过度拟合，对于特征较少的数据分类效果不好。③卷积神经网络[5-6]方法，就是将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，该方法的优势在于避免了传统识别算法中复杂的特征提取和数据重建过程，但会由于训练时间较长导致过度训练。

本文着重围绕深度学习特征提取方法开展研究，主要做了以下两方面的工作。一方面，利用卷积神经网络中性能优异的EfficientNet模型，通过改进与优化实现了该模型对于乳腺癌病理图像的复合缩放，使得图像在深度、高度、图像分辨率、大小等多方面都可调整变换；另一方面，在对图像实现较好处理的基础上，通过设计空间注意力机制，使得计算机根据深度学习结果只处理医师感兴趣的区域，从而尽量避免工作效率低下，且实践表明，该机制能显著提高模型运算效率、速度和准确率。

1 实验数据集介绍

本实验所用数据集是巴西P&D实验室发布的BreaKHis数据集，在数据集图像的搜集与制作过程中，患者均享有充分的知情权，并行使同意权，同时根据伦理学审查标准对所有数据进行匿名处理。BreaKHis数据集的图片是通过苏木精-伊红染色剂对乳腺组织进行活检切片染色，后由病理医师标记，共含7909张不同放大倍数（40倍、100倍、200倍、400倍）的乳腺组织切片。图像原始大小为700×460像素，图像数据具体分布如表1所示。

表1 不同放大倍数的数据集图片分布统计

数据集图像分为两大类：即良性肿瘤（benign）组织病理图像和恶性肿瘤（malignant）组织病理图像。良性肿瘤包括：腺病、纤维腺瘤、叶柄状瘤、管状腺瘤。恶性肿瘤包括：导管癌、小叶癌、粘液癌、乳头状癌。以放大100倍为例，不同类型图像如图1所示。

2 本文方法

2.1 染色标准化

病理医师借助光学显微镜观察染色组织进行病理学研究，但由于制备切片时的染液生产批次与扫描图像时仪器型号的细微差别，会导致图像存在色度差异，人工操作时可以凭借主观经验尽力克服这种差异造成的影响，但在图像自动处理过程中，色度差异会导致识别技术上出现误区，进而大幅降低准确率。因此，需要将获得的乳腺癌组织病理图像转换至相同颜色的空间，进而消除不同制备条件对诊断结果造成的影响，即进行图像染色标准化。

首先，将RGB图像调整至染色浓度，但能否成功稀疏染色分离的关键在于是否在染色通道上设置了合理的稀疏约束。其次，把图像的颜色外观归一化为理想图像的颜色外观，这种方法最大限度地保留了源图像染色浓度与富含生物学信息的组织结构，效果如图2所示，且出于最大限度保留图像生物组织结构的目的，采取不改变图像的相对染色浓度、只改变颜色外观的归一策略，效果明显。

2.2 图像数据增广

图像数据对于深度学习模型如卷积神经网络的训练结果发挥着重要作用，通过增强数据能够提高模型泛化程度，降低发生过拟合的概率。考虑到乳腺癌组织病理图像内包含复杂的组织结构信息，结合上文对数据集内两类图像的统计分析，且为使每一放大倍数下的图像数量平衡且均匀，故选择翻转、旋转等不对图像造成实质性影响的数目增加方法，这一方面扩充了数据量，另一方面保证特征稳定。图像翻转效果如图3所示。

2.3 空间注意力机制设计

注意力机制在人体多个感觉器官中都有体现，如人眼视觉中，同时进行大范围输入信息的接收时，通过注意力机制能够实现对感兴趣区域的快速定位，并强化注意。人耳听觉同样会在接收声音信号输入的同时对感兴趣的声音进行强化处理，这是人类面对复杂生存环境、经历漫长自然选择后的能力。因此，如果为神经网络模型赋予这种能力，那么模型面对各种本质上是数据信息筛选的任务时将会更加稳定与高效，能及时做出准确的决策。在此将以SE模块介绍本文机制对于非感兴趣区域特征的抑制。

对于给定的某一个特征X∈RH×W×C，通过明确搭建特征通道之间的相互依赖关系进而重新展示特征，整合全局空间信息，增强有用信息并抑制无用信息。SE模块结构如图4所示。特征X首先横跨全部空间维度（H×W）压缩至一个通道描述符，进而通过全局平均池化生成该通道的统计向量，便于指导信息特征，为网络学习提供参考。随后，对通道描述符进行非线性操作编码，选用两个带有不同激活函数的1×1的卷积层和降维、升维操作来明确依赖关系。

2.4 EfficientNet模型设计

扩充卷积神经网络的可用资源库，会增大其规模，进而提高网络识别精度。但卷积神经网络的技术参数众多，模型准确率会因个别参数的单独提高而快速达到饱和状态。但若网络深度、网络宽度和图像分辨率三个维度全部采取人工调节，一方面无法同时集中众多的专业人才来完成巨大的工作量，另一方面人工调整过程中由于工作状态不同极易造成误差。因此，笔者创新模型压缩方法，设置简单高效的复合系数用以放大网络，实现网络的运行速度与判别精度共同发展。

EfficientNet网络模型是卷积神经网络中的一种，利用复合模型扩张，并引入神经结构搜索技术，进而实现对网络深度、网络宽度和图像分辨率的动态提高，同时为保证准确率增益效果的稳定，对上述参数的调节还需要进行协调，协调过程如图5所示。

该模型功能完善，其基本组成结构是多个反转残差块。反转残差块的工作原理在于利用不同规模卷积核的先后顺序不同，即对特征从不同维度进行增加，再借助3×3的卷积核对目标特征进行处理和选择。

3 实验及结果分析

3.1 实验环境介绍

本实验中操作系统是Windows10，具体配置包括：显卡配置NVIDIAGTX1080Ti，集成开发环境PyCharm2020。

3.2 实验流程及结果分析

对数据集图片进行八分类，验证本文算法。（1）将每个放大倍数下每种类型图像的80%划分为训练集，20%划分为测试集；（2）按照上文2.1中的步骤对两种图像进行标准染色处理；接着以50%的覆盖率对标准染色处理的数据集图像进行采样，采样后进行数据增强，将训练集扩充为原来的四倍；最后，使用本文提出的空间注意力机制对EfficientNet网络进行训练后，利用训练好的EfficientNet网络对测试集图像块进行预测，得出图像块的分类，再通过多数投票方法得出图像级别的分类。

为使改进模型对乳腺癌组织病理图像分类效果一目了然，本文采用了图像级别的分类准确度（Accuracy-I）和从患者级别出发的分类准确度（Accuracy-P），同时显示模型运行时间，进而验证模型性能。图像级别的分类准确度定义如下：

Ncor代表测试集中正确分类的乳腺组织病理图像数，Ntotal代表测试集中总的乳腺组织病理图像数。患者级别的分类准确度定义是测试集中所有患者分类准确率与所有患者数的比值：

其中，测试集中某位患者全部病理图像为Na，测试集中该患者正确分类的病理图像数为Ncor，Ncor与Na比值为某位患者分类准确率。NP表示测试集中所有患者数。实验结果见表2所示。

表2 分类准确率对比

通过与其他典型网络模型的运行结果进行对比实验，本文所设计的空间注意力机制下的Efficeient神经网络模型表现出更为优异的性能，对放大倍数40倍、100倍、200倍、400倍的图像，其分类准确率均超过90%，特别是相较于传统的AlexNet网络，不仅能够提高图像处理速度，而且能够保持图像的稳定性和清晰度，极大地提升了计算机辅助诊断效率，有助于及早对乳腺癌病理图像的良恶性进行筛查。

4 结语

本文前期在理论与实验数据集准备的基础上，选择了卷积神经网络中表现性能优异的EfficientNet模型，同时采取空间注意力机制的学习策略对模型进行训练，创立了实验环境，提升了卷积核的性能，其在分类时间及准确率等算法评价指标上均表现出色。最后，提出了对于深化空间注意力机制的应用，也对在更多临床场景中应用EfficientNet模型提出了自己的思考。