外周血白细胞分类模型的建立与应用

尹 馨, 焦 娟, 常志红, 夏迎龙, 刘 杰, 关坤萍

(1. 山西医科大学 公共卫生学院, 山西 太原, 030001;2. 中国人民解放军总医院第七医学中心 检验科, 北京, 100700;3. 山西医科大学第二医院 检验科, 山西 太原, 030001)

外周血细胞形态学检查对于疾病的临床诊断至关重要[1], 其中人工镜检法主要依靠检验人员，不仅耗时耗力，而且准确率欠佳，容易误诊或漏诊。因此，外周血细胞的自动化分类问题亟待解决[2]。自动化分类主要依靠深度学习实现[3], 而计算机视觉是深度学习的热门研究领域。近年来, Transformer模型已经从自然语言处理领域转至计算机视觉领域，包括2020年提出的Vision Transformer模型和2021年提出的Swin Transformer模型。目前，大多数外周血白细胞分类相关研究均依靠卷积神经网络，其不足之处在于仅通过1个卷积核提取局部特征，而Transformer模型则是通过注意机制学习整个图像的特征[4]。鉴于此，本研究基于Swin Transformer模型进行白细胞分类，并与经典卷积神经网络模型ResNet进行比较，现报告如下。

1 资料与方法

1.1 外周血细胞图库准备

本研究符合《赫尔辛基宣言》基本原则，符合国家相关法规与政策，经中国人民解放军总医院第七医学中心伦理委员会审核批准，并获得所有患者的知情同意。随机选取2022年4—6月在中国人民解放军总医院第七医学中心就诊的100例受试者的外周血样本(静脉血2 mL), 置于乙二胺四乙酸二钾(EDTA-K2)抗凝管，受试者包括白血病患者33例、其他疾病患者34例和健康体检者(医院体检结果显示所有指标正常的人群)33例。检验人员先用SYSMEX-SP10染色机制备外周血染色涂片，然后用Cella Vision DI60自动分析仪采集白细胞的单个图像(分辨率为360×366), 细胞图像的类别标签由2位经验丰富的检验人员确认。将白细胞图像按照各自类别放入不同文件夹中，然后过滤掉染色异常细胞。正常细胞与异常细胞的图像见图1。

1.2 数据预处理

本研究采集的白细胞包括中性粒细胞、嗜酸性粒细胞、嗜碱性粒细胞、淋巴细胞、单核细胞5个类别。本研究采集的外周血白细胞图像数量有限，故需要进行数据增强，数据增强的作用是使训练的模型具有更强的泛化能力，避免过拟合，此外，引入噪声可以提升模型的鲁棒性。本研究选用5种方法对样本进行数据增强，包括图像旋转、增加亮度、增加对比度、裁剪和图像添加高斯噪声。其后，将数据进行归一化，使数据映射到统一区间内，输出范围缩小至0～1, 这样可以更快地找到最优解，模型也更容易收敛到最佳水平。

1.3 构建实验平台

1.3.1 主要软硬件: 显卡为NVIDIA Tesla P100 PCIE 16GB, 主板为QC-B365-TDIMM。操作系统为Ubuntu 18.04.5 LTS, ResNet框架为tensorflow-gpu1.15, Swin Transformer框架为PyTorch1.8, 软件包括cuda10.2、cudnn8.1.1、torchvision0.9、pycharm和Anaconda3。

1.3.2 Swin Transformer工作原理: Swin Transformer是一种基于Transformer的深度学习模型，其引入层次化构建方式构建Transformer, 并引入locality思想对无重合的窗口区域内进行自注意力计算。Swin Transformer网络结构见图2, 首先将图片输入Patch Patition模块中，分成小块，每相邻的4×4像素为1个patch, 然后在channel方向展平。通过Linear Embeding层对每个像素的channel数据进行线性变换，通过4个Stage构建不同大小的特征图，每个Stage都是类似的重复单元。Stage1先通过1个Linear Embeding层，其余3个Stage则先通过1个Patch Merging层进行下采样，重复堆叠Swin Transformer Block, 堆叠次数为偶数。Swin Transformer使用窗口多头自注意力(W-MSA)模块和移位窗口多头自注意力(sW-MSA)模块代替多头自注意力(MSA)模块。为了不丢失全局信息, Swin Transformer增加了移位窗口以更好地与其他窗口交互，从而实现分层特性和线性时间复杂度。Transformer中提出的MSA模块运算公式为:

(1)

Transformer中提出的MSA模块的计算复杂度为:Ω(MSA)=4hwC2+2(hw)2C

(2)

Swin Transformer中提出的W-MSA模块的计算复杂度为:Ω(W-MSA)=4hwC2+2M2hwC

(3)

h代表特征图的高度,w代表特征图的宽度,C代表特征图的深度,M代表每个窗口的大小。

传统Transformer基于全局图像计算注意力，使用标准MSA执行全局自注意力，每个patch之间的关系根据其他patch计算，这会产生与patch数量相关的二次复杂度，且计算复杂度随着窗口大小呈平方级增长，计算复杂度很高，不适合高分辨率的图像。Swin Transformer通过将注意力计算限制到每个窗口而减少内存和计算量，能够进行全局信息建模，层级式的优势在于提供各个尺度的特征信息。Swin Transformer窗口是patch的集合，注意力只在每个窗口内计算，复杂度呈线性增长，大大降低了序列长度，效率更高。

1.3.3 训练: ① 参数调节。网络的训练参数在config.py文件中设定, Batchsize为128, Lr为0.000 012, img size为224, Momentum为0.9, Epochs为300。② 网络模型评价。训练完成后，用测试集对模型的分类性能进行评价，计算准确率。计算公式为准确率=准确预测的细胞数/细胞总数×100%。

2 结 果

2.1 数据增强

本研究汇总了5种白细胞分类的数量信息，共计13 940个白细胞，包括中性粒细胞8 485个、嗜酸性粒细胞195个、嗜碱性粒细胞145个、淋巴细胞4 225个、单核细胞890个，见表1。将每种类别按照8∶2比例划分训练集和测试集，然后将训练集样本采用图像旋转、增加亮度、增加对比度、裁剪和图像添加高斯噪声5种方法进行增强。

表1 训练数据集和测试数据集详细信息 个

2.2 网络结构

2.2.1 网络结构确定: 研究初期基于经典卷积神经网络ResNet针对外周血白细胞分类设计一种深度卷积神经网络，为了使模型能够快速收敛，调整ResNet层数为36层，图3为ResNet结构参数。结果发现, Resnet的测试准确率较低，仅为95.2%, 不能实现准确的医学诊断。本研究随后改用最新的Swin Transformer模型进行训练和测试，准确率明显提升。

2.2.2 学习率衰减: 在训练网络时，学习率的调节可控制参数的更新速度，学习率较小会降低参数的更新速度，学习率较大会使搜索过程发生震荡，导致参数在极优值附近徘徊。为了防止学习率过大，在收敛到全局最优点时来回摆荡，本研究在训练过程中引入学习率衰减(PyTorch中学习率衰减的方式包括指数衰减和分段常数衰减，本研究选用指数衰减)，曲线见图4，根据运行Batchsize的轮数，动态更新学习率。训练开始时，将学习率调节至较大使模型快速收敛，此后在降低学习率的同时降低收敛速度，从而找到最优值。指数衰减公式为:

lrate为当前学习率, Init_lrate为初始学习率, drop为衰减指数用, epoch为当前迭代次数, epochs_drop为调整系数。使用学习率衰减策略更容易获得准确率高的分类模型。

2.3 网络性能评估

对测试集的2 788张图片进行测试，结果显示, ResNet平均准确率最终收敛为95.2%, 而Swin Transformer的平均准确率达到99.1%。与ResNet相比, Swin Transformer对5种白细胞的识别准确率均有一定提升，在白细胞分类领域更为适用。见表2。

表2 Swin Transformer与ResNet的准确率比较 %

3 讨 论

近年来，深度学习在医学领域的应用日益广泛[5-9], 其中亦包括外周血白细胞分类领域。但既往的多数研究基于公共数据库进行分析，而公共数据库并不能涵盖临床诊断中的各种真实情况[10-14]。MA L等[13]基于残差神经网络提出一种血细胞图像分类框架，引入一个新的损失函数，准确率达到91.7%。HEGDE R B等[14]将深度神经网络和支持向量机(SVM)相结合进行白细胞分类，获得了98.8%的分类准确率。

本研究优势在于采集的数据是医院检验科的真实数据，图像的多样性和真实性有助于提升模型的鲁棒性和泛化能力。为了从图像中提取高维特征信息，本研究通过多种方法对图片进行数据增强，如图像旋转、增加亮度、增加对比度、裁剪和图像添加高斯噪声。本研究以ResNet模型和Swin Transformer模型为基础设计深度神经网络，考虑到在学习率不变的情况下，梯度下降难以在最后达到收敛，所以在训练过程中使用学习率衰减策略，随着梯度下降的进行，学习率衰减有利于最后收敛至一个趋近最低点。在白细胞分类领域，全局信息是区分不同类别细胞的关键，如形状和边缘特征等。Swin Transformer模型通过移动，使得相邻窗口之间有所交互，上下层之间有跨窗口连接，从而变相达到一种全局建模效果。同时，该模型通过限制在窗口内使用自注意力，带来了更高的效率。此外，该模型层级式的结构不仅建模各个尺度的信息，而且计算复杂度随着图像大小而线性增长，具有高效、低计算量、高准确率的特点，与经典卷积神经网络模型ResNet相比具有一定优势。

综上所述, Swin Transformer模型可减少计算量，更适用于白细胞分类识别，且准确率相较于ResNet模型更具优势(准确率提高了3.9%)。但本研究尚存在一定局限性，例如选取的样本来自于同一家医院的100例患者，模型可能偏向于单中心的患者和机器，另外仅针对正常5类白细胞进行研究，并未包含异常淋巴细胞、浆细胞、原始细胞、中性早幼粒细胞等其他细胞，未来还需收集多中心样本并针对差异小的类别以及干扰图像的鲁棒性进一步深入研究，从而提升模型的泛化能力。