胸部X光片多特征融合的冠状病毒诊断

龙如山，杨 丹

（辽宁科技大学 计算机与软件工程学院，辽宁 鞍山 114051）

近年来，传染性极强的冠状病毒严重影响了人们的生活，截至目前已致数亿人感染。在全球范围内，防范冠状病毒传播仍然是一项重要的工作。目前冠状病毒检测的两种技术分别是实时逆转录-聚合酶链反应（RT-PCR）和医学成像技术。RT-PCR的敏感性较低，一般为60%～70%，且耗时较长；利用患者肺部X 光片图像检测Covid-19，可以加快筛查和诊断速度，然而X 光片图像的检查需要专业的放射科医生，一旦筛查病例增加，则将面临专业医护人员短缺和易受外界因素影响等问题。因此，采用人工智能的冠状病毒诊断系统将加快诊断速度，提高诊断准确率。

随着深度学习技术的不断发展，在计算机视觉任务中，如图像分类、目标检测和图像分割等都取得了良好的性能，促进了人工智能在生命科学领域的利用。目前许多研究将CNN（Convolutional neural networks）、ViT（Vision transformer）等 主流技术应用到医学成像中，如皮肤病变分类［1］、脑肿瘤检测［2］、乳腺癌检测［3］和肺病理筛查［4］等。随着深度视觉神经网络模型的可用性不断加强，在胸部X 光片图像上的分类、检测和分割等任务都取得良好结果，但通过X 光片的疾病智能诊断仍存在问题与挑战：（1）视觉网络模型从X光片中提取的特征太过单一化。若将整张胸部X光片作为网络模型的输入，单一的网络模型将很难捕获X光片中关键特征和轮廓特征，进而导致学习到的胸部X光片表征能力弱。（2）监督学习网络在胸片疾病诊断上太过依赖诊断标签，这将导致得到的X光片特征过度拟合诊断标签，从而丢失了胸片内部真实隐性特征。因此，本文提出将胸部X 光片多特征融合的冠状病毒诊断框架Covid-19Net，融合X 光片图像特征、关键点特征和肺掩膜特征作为X 光片的特征表示，实现冠状病毒的人工智能诊断。

1 X光片的冠状病毒诊断方法

最近，许多研究采用深度学习方法从肺部X光片中诊断冠状病毒。Hemdan 等［5］提出由七个CNN 组成的COVIDX-Net 模型，用于正常和新冠肺炎X光片二元分类，正常和新冠肺炎的F1 值分别达到89%和91%。Wang等［6］提出一种用于Covid-19 检测的深度模型Covid-Net，该模型对正常、非Covid 肺炎和新冠肺炎类别识别准确率达到92.4%。Waheed 等［7］提出一种基于辅助分类器生成对抗网络（Auxiliary classifier generative adversarial network，ACGAN）模型CovidGAN 合成胸部X 射线（Chest X-ray，CXR）图像的方法，实验结果表明，单独使用CNN分类器的准确率为85%，采用CovidGAN 生成合成图像，准确率提高到95%。Chowdhury 等［8］采用迁移学习技术训练深度卷积神经网络，在包含423个新冠肺炎、1 485个病毒性肺炎和1 579 个正常胸部X 光图像的数据集上进行实验，结果表明，DenseNet201 模型在X 光片二元分类和多元分类上取得最佳分类性能，灵敏度分别为99.7%和97.9%。Fan 等［9］提出一个多核空间通道注意力方法（Multi-kernel-size spatial-channel attention network，MKSCAN），集成一个特征提取模块、一个多核注意力模块和一个分类模块，在包含 的500 张Covid-19 和500 张非Covid-19 图 像的数据集上，达到98.1%的灵敏度和98.3%的特异性。

对比学习（Contrastive learning）［10］是一种用于表示学习的技术，旨在将相似的输入样本映射到嵌入空间中的相邻位置，而将不相似的样本映射到空间中较远的位置。在对比学习中，从大量的未标记数据中选择两个或更多的样本进行比较，找到它们之间的差异和相似之处。这种方法已广泛用于自监督和非自监督的表示学习中。He等［11］提出MoCo 编码器，通过构造一个负样本对，并设计批次分支动量更新策略，用于维护批次数据和队列数据的一致性。Chen等［12］提出SimCLR对比学习方法，将当前批次中不同于自身样本增强的样 本 作 为 负 样 本。Richemond 等［13］提 出BYOL（Bootstrap your own latent）对比学习方法，从一个视图预测另一个视图，不需要构造负样本对，在BYOL的一个分支网络中引入动量编码器，避免模型出现坍塌问题。Chen 等［14］提出Simsam 对比学习方法，在BYOL的基础上进行改进，通过移除动量编码器采取停止梯度关键操作，使模型没有出现坍塌。

已有研究大多数针对下游任务。首先利用自监督对比学习方法训练模型，然后将预训练模型迁移到下游任务上。然而，预训练模型提取的特征应用到下游任务监督学习中，并不能很好地达到同步效果。此外，一些研究并未充分考虑融合X光片的多特征，这被视为一个潜在的不足。使用多个特征解决医学图像的问题已经被证明是有效的，这些特征可能来自不同的模态或视角，可以提供不同的信息，帮助模型更准确地进行分类。因此，仅仅考虑X 光片中的某一特征，可能无法充分利用其他重要的特征信息，会限制模型性能。

2 多特征融合的冠状病毒诊断

本文提出的胸部X光片多特征融合的冠状病毒诊断框架Covid-19Net 如图1 所示。Covid-19Net由五个模块组成：胸部X光片图像特征提取模块；X 光片特征的教师—学生对比学习网络；胸部X 光片关键点特征提取模块；肺掩膜特征提取模块；X光片的冠状病毒诊断模块。

图1 胸部X光片多特征融合的冠状病毒诊断框架Covid-19NetFig.1 Coronavirus diagnostic framework Covid-19Net with multi-feature fusion of chest X-rays

2.1 基于EfficientNet网络的X光片特征提取

首先对X 光片进行图像增强，常见增强操作主要有两大类：一种类型的增强涉及数据的几何和空间转换，如裁剪调整大小和旋转；另一种类型的增强涉及外观转换，如颜色失真（包括颜色下降、亮度、对比度、饱和度、色调）、高斯模糊和Sobel滤波等。本文对X 光片采取随机增强操作，对原始图剪裁、调整大小、旋转和添加高斯噪声，可视化效果如图2所示。

图2 X光片数据增强Fig.2 X-ray data augmentation

EfficientNet 重点提升网络深度、网络宽度和分辨率这三个维度。EfficientNet 通过NAS（Neural architecture search）技术搜索网络的图像输入，平衡深度d、宽度w和分辨率r这三个维度，通过一组固定的扩展系数（α，β，γ）综合扩展这三个维度。d、w和r的计算式

其中，φ为混合因子，用于平衡扩展d、w和r参数。

2.2 X光片的教师—学生对比学习网络

为了学习到更好的X 光片特征，本文采用教师—学生对比学习网络，联合疾病诊断标签共同优化X光片特征。

X 光片的教师—学生对比学习网络由三个编码器所组成，分别为学生编码器、教师编码器和预测编码器。三个编码器都由MLP（Multilayer perceptron）组成，其中MLP 有两层，BN（Batch normalization）批次归一化和GELU 激活函数用于隐藏的全连接层。学生编码器和教师编码器的输入维度d为1000，输出维度为128，中间隐藏层维度为512。学生编码器的输出作为预测编码的输入，预测编码器的隐藏层维度设为512，输出维度为128，这使得预测编码器成为一个瓶颈结构。此外，教师编码器设置梯度停止。为了避免教师编码器与学生编码器网络参数更新后差异过大，引入MOCO中的动量更新策略。

本文利用2 个共享参数的EfficientNet-B3 预训练模型对增强后的X 光片进行特征提取，经过学生编码器和教师编码器分别得到学生特征、和教师特征、。形式上，和的网络参数分别表示为ε1和ε2。ε2的更新过程计算式

其中，m为动量参数。

其中，N为批次大小。

2.3 胸部X光片关键点特征提取

尺度不变特征变换（Scale invariant feature transformation，SIFT）技术可以从图像中提取关键点，并且在处理尺度缩放、平移、旋转、亮度变化和噪声等各种图像时，能够提取具有良好稳定性的关键点。本文利用SIFT技术获取X光片图像中的关键点，这是提高X 光片的冠状病毒诊断的关键一步，接着将所有关键点聚集形成一个字典，然后通过MiniBatchKmeans 方法聚类成K个词袋。对每张X 光片中的每个关键点特征聚类，找到离特征最近的中心点，即可得到X 光片中关键点在K个词袋出现的频率，构造词频直方图作为该X 光片的关键点特征。

本文构建的词袋数量为K，即每张X 光片关键点特征的维度。因提取的关键点维度较高，使用全连接层对关键点特征进行降维，得到关键点的低维特征表示

式中：σ为非线性函数；W为可学习参数；b偏置项。

2.4 肺掩膜特征提取

在X 光片冠状病毒诊断过程中，为了裁掉非肺区域影像，先将X光片分割生成肺掩膜图像，调整每张肺掩膜图像使其尺寸统一，再利用ResNet18 预训练模型提取肺掩膜图像特征，将肺掩膜图像特征输入到MLP 层中，得到肺掩膜图像特征Xmask。这里引入MLP 主要是起到降维和进一步提取肺掩膜深层特征作用。Xmask计算式

其中，X为大小统一的肺掩膜图像。

2.5 X光片的冠状病毒诊断

式中：f为非线性函数；W0为学习参数；b0为偏置系数；‘∘’为连接符。

本文优化Xlung的损失函数由两部分组成，分别是教师—学生对比学习损失lossC和疾病诊断最小化交叉熵损失lossy。其中，对比学习损失可以在网络训练过程中约束X光片对疾病诊断标签的依赖，疾病诊断最小化交叉熵损失可以加快网络训练收敛。lossy计算式

其中，Ytrue为X 光片真实疾病标签，Ypred为预测值。本文最终的损失函数loss计算式

其中，λ1和λ2为平衡因子。

3 实验结果及分析

3.1 数据集

本文使用COVID-QU-Ex［15］数据集。COVIDQU-Ex 数据集由33 920 张胸部X 光片图像组成，包括Covid-19共11 956例，非Covid-19感染（病毒性或细菌性肺炎）共11 263例和正常共10 701例。数据集还提供真实肺分割掩模，是迄今为止最大的肺掩膜X光片数据集。胸部X光片和肺掩膜部分样例如图3所示。

图3 胸部X光片数据样例Fig.3 Example of chest X-ray data

3.2 参数设置

X光片尺寸统一设置为224×224，肺掩膜图像设置为128×128。在X光片关键点聚类过程中，K为1 000。在教师—学生对比学习网络中，动量参数m设为0.99。训练过程中，使用SGD（Stochastic gradient descent）优化器，学习率为0.5，剩余的网络参数学习率为0.05，批处理大小设为32，训练迭代次数为10。教师—学生对比学习损失和疾病诊断损失的平衡因子分别为1.0 和1.5。数据集按7∶1∶2随机划分为训练集、验证集和测试集。

3.3 评估指标

本文采用4 种指标，分别为准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1 值来评估模型性能。4种指标的计算式

式中：TP（True Positive）表示X光片的疾病类别为阳性，预测的X 光片的疾病类别为阳性；FP（False Positive）表示X光片的疾病类别为阴性，预测的X 光片的疾病类别为阳性；FN（False Negative）表示X 光片的疾病类别为阳性，预测的X 光片的疾病类别为阴性；TN（True Negative）表示X光片的疾病类别为阴性，预测的X 光片的疾病类别为阴性。

3.4 实验结果与讨论

将本文提出的Covid-19Net 方法与其他新冠诊断方法进行对比，对比方法有ResNet18、ResNet50、ResNet101、ChexNet、Vgg16、Efficient-Net-B2 和EfficientNet-B3。不同方法的冠状病毒诊断结果详见表1。Covid-19Net 方法所有评价指标方面都明显优于其他方法，表明Covid-19Net 通过融合X 光片图像特征，关键点特征和肺掩膜特征在冠状病毒诊断任务上取得最佳性能。

表1 不同方法的X光片冠状病毒诊断结果Tab.1 Diagnostic results of coronavirus on chest X-rays by different methods

3.5 消融研究

为了验证教师—学生对比学生网络的有效性，本文移除了X光片特征的对比模块，将此网络框架命名为Covid-19Net-contrast，Covid-19Net-contrast直接融合EfficientNet-B3 预训练模型提取X 光片的图像特征、关键点特征及ResNet18 提取的肺掩膜图像特征。Covid-19Net 和Covid-19Net-contrast在X光片的冠状病毒诊断实验结果如表2 所示。Covid-19Net-contrast在X光片诊断上性能评估指标均低于Covid-19Net 方法。表明本文提出的教师—学生对比学习网络可以更好地学习并优化X 光片图像特征。

表2 Covid-19Net的消融研究，%Tab.2 Ablation study of Covid-19Net，%

为了验证本文提取X光片关键点特征和肺掩膜特征对冠状病毒诊断的有效性，将仅使用X 光片关键点特征的网络框架Covid-19Netkey、仅使用肺掩膜特征的网络框架Covid-19Netmask、融合X 光片关键点特征与肺掩膜特征的网络框架Covid-19Netkey+mask进行冠状病毒诊断对比，实验结果如表2 所示，Covid-19Netkey+mask较Covid-19Netkey和Covid-19Netmask在X 光片上的诊断性能有明显提升。本文融合X 光片图像特征、关键点特征和肺掩膜特征的网络框架Covid-19Net精确率达到94.72%，表明该方法对冠状病毒诊断是有效的。

4 结 论

本文提出一种新的胸部X光片多特征融合的冠状病毒诊断框架Covid-19Net，充分考虑X 光片中的图像特征、关键点特征和肺掩膜特征，通过融合这三部分特征，得到更为紧凑的X 光片图像特征。采用教师—学生对比学习网络联合疾病诊断结果共同优化X 光片图像特征。在COVID-QUEx数据集上实验结果表明，Covid-19Net对X光片的冠状病毒诊断准确率达到94.86%，性能好于其他方法。