基于带池化层图神经网络的乳腺超声图像小样本分类研究

李林翰

（四川大学计算机学院，成都610065）

0 引言

乳腺癌是现如今最为常见的癌症之一，对于乳腺癌的早期诊断是极其重要的。相较于X 射线和活检来说，超声诊断具有安全、灵活、无创等优势，因而被广泛应用。医生可以根据乳腺超声图像进行诊断肿瘤的良、恶性，此过程主要依赖于医生的专业能力而会存在一定得误诊，因此提供标准且智能的模型来辅助医生判断乳腺超声图像中肿瘤的良、恶性是不可或缺的。

因为拍摄设备、隐私、数据处理等因素，标准的乳腺超声图像数据量有限，同时某些罕见的乳腺肿瘤可用数据量极少，因此对于乳腺超声图像小样本学习的研究是十分关键的。并且医学图像间极高的相似性，也可由超声图像迁移至其他类型的医学图像去解决新型突发时的需要，例如新冠肺炎早期CT 影响的判断。

深度学习在医学图像处理等领域因其极好的效果而发挥着非常重要的作用[1-3]，但是其都依赖于大量数据训练，当数据缺乏时，深度学习模型极易过拟合。本文针对样本量有限的问题，结合少样本学习（few-shot learning）思想[4-5]和图神经网络[6]提出了基于可池化的图神经网络的小样本乳腺超声图像良、恶性分类模型，充分发挥少样本学习在小数据处理方面的优势，以及借助图神经网络的度量学习方法来处理相似性极高的医学图像。

1 基本概念

1.1 少样本学习

少样本学习主要对数据采样得到多个任务T，T 包含S 和Q，前者是有标签的训练数据，后者是无标签的测试数据。在训练阶段采用多次少量的思想，利用T进行模型训练。S 和Q 可包含N个类别，每个类别K个样本，此被称为N-wayK-shot。少样本学习模型主要分为度量学习[5,7-8]和元学习[4]两类：前者通过嵌入模块后计算相似性来缩小解空间，后者让模型自己学会学习来自适应小样本的分布。本文在少样本学习的基础上进行了修改使其符合我们的乳腺超声图像分类的需求，即训练时，T 中的S 和Q 都从训练集中采样；而测试时，S 和Q 分别从训练集和测试集中采样。

1.2 图神经网络

图神经网络[6]是借助卷积神经网络思想的图结构神经网络模型，用于非结构化数据的特征提取和分类等场景。图神经网络主要包含受图像卷积启发的图卷积[6,9]操作，图中每个顶点都与和他相邻的顶点存在一定的关系，因此通过结合邻接顶点来更新当前顶点可使其具备更多信息和更高泛化性，例如社交网络、分子结构等场景。因图神经网络本身的度量特性，图神经网络也被应用于少样本学习问题中[10-11]。本文实现了带有池化层的图卷积处理，根据样本间关联构建图，不断更新图使其达到平衡状态来对测试样本与训练样本进行相似性计算从而分类肿瘤。

1.3 人类思维模式

小样本学习也符合人类的学习模式[12]，利用少量数据就可以实现学习而不需要深度学习所需的海量数据的训练过程。具体来说，对于高相似性且样本量极少情况下分类问题，人类无法获取高区分性和代表性的特征，而是将未知样本与已知样本进行比较，选择相似性更高的样本进行判断。这个过程类似于度量学习，图神经网络中计算邻接矩阵就是相似性度量的过程，最后根据邻接矩阵中包含的相似性信息解决问题。

2 引入池化层的图神经网络

少样本学习大多采用相似性计算的方式来对T 中的Q 进行分类，这主要依赖于数据量少，无法从极少的数据中获取足够的信息优化大量的参数。度量学习所需要训练的参数量少，甚至不需要学习额外的参数，只需学习嵌入模块参数即可。结合少样本学习随机采样组合成不同包含少量样本的T，其组成的多样性能够进一步提高模型的学习能力，并且组成相似度计算的T 组合的数量能够缓和过拟合现象。图神经网络核心思想就是借助相似度来更新顶点信息，具体的来说便是图注意力网络[13]。

本文对于小样本乳腺超声图像分类问题，提出的带池化层的图神经网络模型框架如图1 所示，首先从训练集采样T 并提取特征，其中实线和虚线分别对应训练和测试图像（图中的问号顶点）；之后构建图结构，红色和绿色顶点分别为良性和恶性训练样本，问号则对应测试样本，边的粗细表示相似度，越粗则相似性越高；通过图的不断更新，最后计算测试图像和每类训练图像相似性去高者为预测标签。测试过程与之类似，只是测试图像从测试集中取得。整体框架包含特征提取和图神经网络（图更新），后者可分为图卷积和图池化两部分。

图1 本文模型结构框架

2.1 特征提取

由于乳腺超声图像本身的质量较差，而边缘细节包含了重要的判别信息，例如肿瘤轮廓、纹理、肿瘤边缘等，因此本文采用了直方图均衡化加强了超声图像中的边缘信息并将灰度范围进行了统一。将直方图均衡化的图像xHE采用卷积神经网络φCNN()∙进行特征提取得到样本特征φCNN()xHE，用于图的构建中作为图顶点ν0。

2.2 图神经网络

图神经网络本质目的上是对图进行不断更新使其达到平衡状态，即图更新过程。针对小样本学习的图神经网络主要可分为两部分：图卷积更新顶点和重新相似性来更新邻接矩阵[10-11,13]。因为样本量极小且医学图样本间极高相似性，极易出现过光滑现象，所以极少层数更新即可达到稳定，本文采用池化处理来减少必要的计算并概括每类样本特征，根据提取的泛化特征来实现分类。图2 展示了简单的一层的图更新流程，多层更新则对其不断堆叠即可。

图2 带池化层的一层图更新流程

（1）图卷积

图注意力网络是将邻接顶点按一定权重进行聚合来更新当前顶点，此权重可以采用顶点间相似性来表示。本文依据此思想，将采样得到的T 中图像特征φCNN(xHE)作为顶点v0，图像相似性作为边A0初始化图（邻接矩阵初始化准则：同类别训练样本相似度为1，不同类别为0，测试样本与所有训练样本相似度皆为0.5），多次的图卷积处理使得相同类别的顶点越发接近、不同类别的顶点越发疏远，从而达到分类的目的。其中图卷积主要包含两部分：顶点vm更新和邻接矩阵Am计算。

顶点更新的思路是对当前顶点结合与其邻接的顶点信息来计算新一层的顶点，这其中采用了邻接矩阵，邻接矩阵可看作图中的边，表示了顶点之间的相似性，因此与邻接顶点聚合时根据相似性按权重计算新的顶点特征，本质是注意力机制。顶点更新如下式（1）所示。

式（1）中，表示第m层的第i个样本特征，f(∙;θm)采用参数为θm的多层感知机将聚合特征降维，gcni(∙,∙)表示进行图卷积来更新顶点i，||是聚合操作，本文采用了向量拼接串联方式。

邻接矩阵的更新是重新计算顶点相似性的过程，可以采用固定度量方式：余弦相似性、欧氏距离、马氏距离等，也可以利用神经网络自发学习度量方式。本文采用后者通过计算顶点间差值绝对值经过神经网络学习度量方法来得到邻接矩阵，如下式（2）所示。

其中，是邻接矩阵m的第i行第j列数据，即顶的多层感知机来计算相似性，使其具备学习能力而不采用固定的相似度衡量方式。

T 中的shot 值越大，其覆盖的范围就越大，但计算量会升高，且随着层数增加会出现过光滑问题（随着图卷积层增多导致各节点变化量极小、效果降低），因此本文引入了图池化过程。

（2）图池化

图池化和图像池化层类似，将卷积得到的感受野特征姜维，最后得到能表征样本的高层次特征。图池化层将同类别的多个顶点取均值或最大值作为池化后的顶点，从而减少图的大小以及使其泛化性提高，主要依据的思路就是通过图卷积后的同类别顶点具有极高的相似性，因此不需要保留全部顶点的信息，只需要将其泛化至可高度概括的特征即可，因而本文采用了均值池化的方式。

在每层顶点和邻接矩阵更新后，分别对顶点和邻接矩阵进行均值池化，顶点池化如下式（3）所示。

2.3 预测与训练

通过多层更新，最后一层的邻接矩阵包含了样本间的关联信息，通过相似性即可完成类别预测。通过多层图卷积和图池化处理，训练样本具有更高的泛化和总结性，因此根据测试样本与训练样本的相似度计算所属类别概率，如式（5）所示。

其中，Cl={C0,C1} 是良性或者恶性类别，即根据最后一层M的邻接矩阵M的测试样本所处行进行预测，其预测标签为概率之和较大的类别，即:

3 实验数据

本文在四川大学华西医院取得的来自1339 个病幅。我们将其划分为两部分：5%数据（约67 幅）用于训练，剩余95%数据（约1272 幅）用于测试。我们采用了五折交叉严重，恶性肿瘤视为正类，良性肿瘤视为负类。图像统一尺寸为168×168，池化层图神经网络的相关参数设置：way 值为2，即共良性和恶性两类；shot值设为16；层数设为5，即进行5 次图更新；学习率为0.001；batch 设为16；迭代次数为1000 此。

为比较本文带池化层图神经网络的小样本分类模型的性能，将其与深度学习模型、乳腺超声图像处理模型和图神经网络的少样本学习模型三类进行对比。深度学习模型采用了在ImageNet 数据集上预训练的VGG-16 和Inception-V3 模型，并在约67 幅乳腺超声图像训练集上微调；超声图像处理模型采用了AGNetwork[3]和NF-NET[14]模型，前者解决了乳腺超声图像的定位和分类问题，后者能在有噪声的数据集上精确分类；图神经网络的少样本学习模型采用GNN[10]和EGNN[11]模型，两者都在Mini-ImageNet 上效果显著。衡量指标采用分类准确率、敏感度、特异性、F1 分数和AUC。

表1 展示了不同模型的实验结果，本文的带池化层图神经网络在分类准确率和误诊率等指标表现最好，AG-Network 的漏诊率低但误诊率高，即倾向于将肿瘤划分为恶性而失去分类基准。深度学习模型预训练后与少样本学习（从头学习）效果类似。结果表明了在此类小样本分类问题下，本文模型相较于其他类型模型具有较大优势。

表1 针对乳腺超声图像小样本分类问题的不同模型分类结果对比

4 结语

医学图像因疾病的罕见姓、突发性以及设备要求高等因素，标准且高质量图像数据有限，但医学图像的小样本学习的研究尚缺乏，本文从乳腺超声图像入手进行小样本分类的研究，结合了少样本学习和图神经网络并引入图池化来解决小样本分类问题。从人类对于小样本问题的思维模式出发，通过结合注意力机制和池化的图神经网络能够高度概括每个类别的特征，并结合少量多次的概念学习度量方法来完成分类，并和其他深度学习模型、医学图像处理模型等比较发挥了杰出的效果，提供了将小样本学习应用于实际场景中的途径。但是如果能够结合迁移学习和元学习的思路，在其他医学图像上进行预训练来指导后续的小样本分类问题将会有更大的提升。