基于注意力机制的乳腺X线摄影分类方法

盛龙帅，李 策，李 欣

1.江苏省社会安全图像与视频理解重点实验室（南京理工大学），南京210094

2.中国矿业大学（北京）机电与信息工程学院，北京100083

1 引言

随着环境日益恶化，癌症的发病率也在逐年增加。人们的不规律作息与饮食习惯加剧了癌症的发生。根据WHO（世界卫生组织）的统计，2018年全世界共新增癌症病例8 622 539 例，其中新增乳腺癌病例2 088 849例，占比24.2%，为新增癌症发病率最高的种类之一。2018 年中国新增乳腺癌病例367 900 例，占到新增乳腺癌总数的17.7%，为全球范围内新增乳腺癌病例最多的国家。乳腺X线摄影价格实惠，易于操作且节省人力物力，作为40岁以上妇女普查乳腺癌的一种方法，已经被广泛应用。乳腺X 线摄影是利用低能量的X 线来给乳房造影的一种方法，它的目标是通过检测乳房是否含有特征性肿块或者是微钙化来判断乳房的健康程度。乳腺X 线摄影可以检测到无症状的患者和临床触诊也无法检测到的肿瘤，且可以在触诊阳性两年前检测到病变。作为目前最好的乳腺癌筛查方法，也是早期发现乳腺癌最有效的方法[1]，可以显著降低乳腺癌的死亡率。

2 相关工作

近年来，卷积神经网络逐渐运用在乳腺癌组织病理图像的分类上，并且取得了非常好的效果。Dhungel N等[2]提出一种新的网络模型先使用手动提取的特征预训练CNN 网络，然后使用fine-tune，最后送入随机森林中得到整个模型，在INbreast 数据集上，肿块的检出率为90%。Zhu W 等[3]设计了由多个卷积层、一个线性回归层、一个排序层和一个多实例loss 层组成的网络结构。在使用ImageNet预训练的AlexNet网络上，使用多实例学习的方法得到INbreast 数据集AUC=0.85 的结果。Domingues I 等[4]使用全卷积的设计，将一个patch 分类器转变成端到端的对整张图像的分类器，在VGG16 和RESNET 网络上进行训练，该方法在DDSM 数据集和INbreast 数据集上取得的AUC 在0.65～0.97 之间。以上这些方法需要人工手动框选出肿块区域，对人力物力的要求很高，且需要一定的医学知识。另外这些方法使用的预训练模型也需要大量的乳腺癌医学图像数据，数据获得方式困难，预训练的过程不公开不透明。

3 注意力记忆网络

本文提出注意力记忆网络，对比传统迁移学习，在不经过预训练[5]的情况下可以在乳腺X线摄影数据集上取得更好效果。注意力记忆网络包含注意力记忆模块和卷积残差模块，如图1 所示，O 为经过预处理的乳腺X 线摄影，将乳腺X 线摄影的RGB 三个通道分别输入三个注意力记忆模块中，得到O͂送入卷积残差模块，经过softmax得到预测的分类结果。注意力记忆模块的注意力模块提取图像特征，记忆模块在RNN网络[6]加入注意力权重来模拟人对关键信息的重点突出。将经过注意力记忆模块处理后的三个通道送入卷积残差模块，卷积残差模块通过卷积神经网络[7]和残差单元[8]来对乳腺X线摄影进行分类。

3.1 注意力机制

图1 注意力记忆网络结构图

注意力机制是指人们在观察图像时，会选择性地观察所有信息中的突出部分，注意力机制允许人们将优先的资源分配到最重要的部分，只关注感兴趣的区域。

视觉的注意力是指在看到一幅图像时，人类的眼睛对于图像中的特定信息具有更高的敏感度。如图2 所示，最左边是一个包含恶性肿块的乳腺X 线摄影，人眼在看到图像的第一时间就会注意到图像中的圆斑，也就是恶性肿块，这在图像颜色反转之后更加明显，掩模中可以清晰地看到恶性肿块病害区域。

图2 注意力机制

3.2 注意力记忆模块

注意力记忆模块通过BiGRU[9]建立信息，通过Attention 注意力模块来获取图像中的关键信息。GRU 是循环神经网络的一种变体，将遗忘门和输入门融合成了更新门。BiGRU 是指双向GRU，通常在较小的数据集上有更好的效果。公式（1）为GRU的公式。

其中，xt是输入向量，ht是输出向量，zt是更新门控向量，rt是重置门控向量。

注意力记忆模块中，乳腺X 线摄影的RGB 三个分量，经过全连接后，送入注意力模块和记忆模块。在注意力模块中，R 分量经过平均池化以及全连接层和Sigmoid 激活函数提取关键信息得到FA(R)，记忆模块中R 分量通过BiGRU 得到FM(R) 。如公式（2），将FA(R)与FM(R)进行逐元素相乘运算，得到F(R)，注意力记忆模块输出

如图3所示，为注意力记忆模块的结构。乳腺X线摄影图像输入到注意力记忆网络后，首先RGB 三个通道分别通过注意力记忆模块进行处理，首先是一个全连接层，参数通过记忆模块的BiGRU进行处理，同时全连接层输出的参数也经过注意力模块进行处理。注意力模块包含了平均池化，之后重复操作使参数翻倍，然后是两个全连接层，最后使用Sigmoid 激活函数将输出的参数与记忆模块输出的参数一同经过全连接层，通过处理得到乳腺X 线摄影新的RGB 三个通道，送到卷积残差模块进行处理。

3.3 卷积残差模块

图3 注意力记忆模块

卷积残差模块通过使用BN-ReLU-Conv 的结构作为卷积神经网络模型来提取乳腺X 线摄影中的信息F，经过注意力记忆模块处理后的参数被传入到卷积残差模块中进行进一步处理，卷积残差模块的具体实现如图4。

图4 卷积残差模块

Batch Normalization（BN）层[10]网络大小为5×5，64加ReLU激活函数，再连接卷积层，最后使用Softmax分类器预测乳腺X线摄影的类别，见公式（3）。

3.4 注意力记忆网络训练

注意力记忆网络使用Keras框架[11]开发，TensorFlow[12]作为后端。将注意力记忆模块中记忆模块的BiGRU神经元个数设为128，其中神经元的个数是64，双向GRU神经元个数翻倍。注意力记忆模块和卷积残差模块的网络结构如表1 所示。该网络使用SGD 随机梯度下降[13]的方法来完成优化训练，其学习率设为0.1，学习参数momentum设为0.9。

4 实验与结果

本文在公开数据集INbreast 上评估提出的注意力记忆网络方法的性能。实验基于Keras 实现，在配置有英特尔酷睿i7-8700K CPU和两块英伟达2080 GPU的PC机上运行。

表1 注意力记忆网络结构

4.1 数据集描述

INbreast 数据集[14]是一个包含115 个病例410 张乳腺X 线影像的数据集，原始图像由葡萄牙波尔图的de São João 医院的乳腺中心获取。INbreast 原始图像是dicom格式，图像中背景部分为黑色，造成了很多冗余信息。为了改进获取的数据集中的图像质量，对图像进行Resize[15]。将图像转换为50×50 大小，同时去掉图像中黑色部分，将剩余部分拉伸填充成为一个新的正方形图像。卷积神经网络中输入图像的通常是正方形，以便于卷积的运算。图5是Resize操作。

图5 Resize处理示意图

4.2 实验结果

将Resize处理后的INbreast数据集按照BI-RADS评价指标[16]对图像进行分类，根据病变的程度，将BI-RADS ∈{1，2，3}的划分为良性，将余下的BI-RADS ∈{4，5，6}划分为恶性肿瘤，一共得到100张恶性肿瘤，以及310张良性。按照0.2 的比例划分数据集，将其中的80%划分为训练集，余下的20%划分为测试集，如表2。

表2 INbreast数据集中每个类别乳腺X线摄影的数量

使用本文提出的注意力记忆网络模型对INbreast数据集进行训练和测试。图像长宽均为50，注意力记忆模块中，注意力模块全局平均池化，第一个全连接层的激活函数为ReLU，第二个的为Sigmoid；记忆模块BiGRU参数设置里Dropout=0.5，与注意力模块的输出相乘，再与R 相加得到R͂。卷积残差模块进一步提取深层特征，交叉熵损失函数用来度量预测值与label 之间差别。网络的batch_size 设置为32，epoch 设置为80。80个epoch 得到的准确率为84.1%，运行时间为705.85 s。epoch与损失值及准确率的关系图如图6。

图6 注意力记忆网络的损失值和准确率曲线

为验证注意力记忆网络的运行速度及准确率，对比实验使用ImageNet权重预训练的Inception v2、ResNet50、VGG16 三种网络结构。调用keras 的applications 中对应的网络模型，include_top=False，使用ImageNet权重后网络会对1 000 个类别进行分类，因此重新设计顶层网络结构。使用sequential 模型，添加Flatten 层，参数为三种网络输入的大小。之后添加全连接层，参数256，ReLU 激活函数，Dropout=0.5，忽略掉一半的参数防止网络过拟合。最后是一个全连接层，参数为1，激活函数使用Sigmoid用来对一张乳腺X线摄影进行恶性肿瘤或良性的预测。在80 个epoch 后三种网络在INbreast 数据集上的分类准确率均为76%左右，运行时间分别为1 328.61 s、1 152.70 s、1 108.49 s，相同epoch的运行时间比注意力记忆网络多出50%以上。

与国内外一些研究的网络模型相比，可以得到表3中分类准确率、迭代次数（epoch）和运行时间的对比结果。预训练的Inceptionv2、ResNet50、VGG16 网络准确率分别为76.3%、76.1%、76.0%，均使用ImageNet 的权重，因为ImageNet数据集的图像多为自然光图像，与本文研究的X光图像相差较大，因此准确率相较无预训练的AlexNet 并未有明显提升。预训练的AlexNet、CNN网络使用在DDSM数据集上预训练得到的权重，预训练的CNN 方法还需要使用手工标注肿块信息[2]。DDSM数据集是一个乳腺X线摄影相关的数据集，该数据集虽数据量极大但获取困难，文献[2-3]对于预训练的过程不公开不透明，预训练部分需要消耗大量的时间。

相比使用ImageNet权重和DDSM数据集预训练的卷积神经网络等，本文提出的注意力记忆网络有如下优点：首先，注意力记忆网络训练不需要手工手动框选肿块区域，节省人力成本；其次，注意力记忆网络不需要提前在相关数据集上训练得到权重，只使用小样本数据集即可达到很好的效果，在数据集获取日益困难的当下节省研究人员的精力；最后，在相同机器上执行相同迭代次数，注意力记忆网络的运行时间比其他预训练网络的运行时间少50%以上，同时注意力记忆网络的准确率更高。

表3 INbreast数据集上各网络模型的对比

5 总结

本文提出端到端的注意力记忆网络，构建了注意力记忆模块和卷积残差模块，在RNN+CNN结构上引入注意力权重，提取图像关键信息增强特征描述用于乳腺X线摄影图像分类。注意力记忆网络在不使用预训练权重的情况下，可以在医学图像小数据集上得到更高的准确率，节省了大量的训练时间。乳腺X线摄影分类受制于当前数据集的规模大小，相信未来在更大的乳腺X线摄影数据集上，本文提出的注意力记忆网络将达到更好的效果。