基于改进的U-Net的新冠肺炎病灶分割方法研究

摘要：新型冠状病毒是一种RNA病毒.利用人工智能技术分析新冠肺炎患者肺部图像，辅助医生快速有效地诊断与评估感染的严重程度，可以有效防止病情恶化.因此，提出一种改进的U-Net模型，在编码器部分采用预训练好的EfficientNet模型替换原有结构，在解码器部分添加scSE （spatial and channel Squeeze amp; Excitation）空间注意力模块.实验结果表明，本模型在新冠肺炎CT图像分割方面优于同等参数级别的其他模型，其DSC、MIoU、ACC、SEN和SPE五个指标均高于U-Net 的相应指标，可视化病灶区域分割效果良好.

关键词：U-Net；EfficientNet；scSE；图像分割；迁移学习

中图分类号：TP391.41文献标志码：A

Research on the Segmentation Method of COVID-19 Image"Based on Improved U-Net Network

LIU Yuting， CHANG Jie， HUANG Daobin， HU Tianhan

（School of Medical Information， Wannan Medical College， Wuhu 241002， China）

Abstract： COVID-19 is an RNA virus. Analyzing the images of COVID-19 of lung patients by applying artificial intelligence technology to assist doctors to quickly diagnose and evaluate the severity of infection， which can effectively prevent the deterioration of the disease. This paper proposes an improved U-Net model， in which the original encoder is replaced by the pre-trained EfficientNet model and add the spatial attention module scSE （spatial and channel Squeeze amp; Excitation） to the decoder. The experimental results show that the proposed model is superior to other models in the same parameter level in CT image segmentation of COVID-19. The five indexes of DSC， MIoU， ACC， SEN and SPE are higher than those of U-Net， and indicating good visual segmentation effect of focal region.

Key words： U-Net; EfficientNet; scSE; image segmentation; transfer learning

新冠肺炎感染者的主要感染部位是肺部，大多数患者具有轻度至中度的呼吸道症状，一般无需治疗即可康复.但对于一些有心血管疾病、糖尿病等基础疾病的老人，重症率和死亡率较高.所以，早期发现新冠肺炎至关重要.目前，我们用于检测新型冠状病毒肺炎最常见的筛查方法就是逆转录聚合酶链反应（Reverse Transcription Polymerase Chain Reaction，RT-PCR）检测.但该方法存在一定缺陷，如：灵敏度低，存在一定的假阴性［1］.胸部CT图像具有较高的灵敏度和清晰度，能提供更详细的病理信息，更好地定量测量病变大小及肺部感染程度，是目前新冠肺炎临床筛查中最高效的筛查方法［2］.新冠肺炎CT影像进行诊断和解释过程相当耗时，即使是经验丰富的放射科医生每小时也只能解释4～10次胸部CT扫描.但在疫情大流行爆发期间，有经验的影像科专家人手严重缺乏，很难及时识别患者.因此，实现对新冠肺炎CT图像的病灶区自动分割可以帮助医生根据分割结果精确量化病灶区域大小和感染区域占比，辅助临床医生诊断新冠肺炎患者的病情严重程度，制定针对性的治疗方案.

新冠肺炎患者胸部CT图像最常见的临床表现是磨玻璃影（GGO）和肺实变，早期在CT上表现为胸膜下的磨玻璃影，随着病情的进展，病灶范围逐步扩大，重症患者多表现为双肺多发磨玻璃实变和双肺弥漫性的高密度影，即白肺，具体图像由图1所示.

由上述病灶区影像学特征显示可以看出感染区域和肺部组织边界模糊，病灶区域也没有明显的边界，同时还会存在一定的背景干扰因素.所以，在实际进行新冠肺炎CT图像病灶分割任务中难度较大，病变区域的大小、位置与形状的差异也会降低分割算法的准确性.

由于新冠肺炎CT图像病变表征较为复杂，很难提取手工特征去训练机器学习模型［3］.随着深度学习的方法在医学图像处理中的兴起，卷积神经网络（Convolutional Neural Network，CNN）在各种图像分类、检测、分割等任务表现出色，根据文献调研卷积神经网络在新冠肺炎病灶区自动分割的应用也日益普及.

U-Net是Olaf等人［4］开发的一种用于生物医学图像分割的卷积网络架构，用于快速、精确地分割图像.由于U-Net网络结构相对简单、训练参数较少，比较适合样本少的医学图像进行分割任务.从最开始的研究来看，大多数新冠肺炎的病灶分割方法都是基于U-Net网络基础上开展研究.然而，仅使用U-Net进行分割并不能取得很好的效果，之后许多研究者提出了一些基于U-Net的改进模型.Rocha等［5］探索了一种带有ResNet 34编码器的U-Net结构来分割多个COVID-19病灶，能够处理问题的高度不平衡性质，以及COVID-19病灶（即大小）的巨大可变性.Hasan等［6］利用基于DenseNet的U-Net架构在X射线图像中分割COVID-19感染区域，平均IoU分数为0.90，Dice系数为0.92.为了取得更好的分割效果，一些学者通过使用半监督的学习模块，开发了新的细分模型.但半监督学习对初始有标注数据的数量有一定程度的要求，样本量少会直接导致后期模型学习泛化性能差.

由于大多数最先进的模型需要大量的参数，在训练样本有限的情况下，往往出现过拟合，现有模型的分割结果有待提高.所以，在标注数据集样本小的实际情况下，关键是解决如何在网络参数数量和效率的约束下实现准确的分割.本文通过改进U-Net模型结构，通过有效的多尺度学习和空间注意力机制提高模型的特征提取能力，进而提高图像分割的准确性.同时，减少模型的参数，最终达到提升模型分割精度的目的.

1本文算法

U-Net网络是一种经典的编码器（Encoder）-解码器（Decoder）结构.在编码阶段随着网络深度的增加，感受野也进一步扩大，但最深的特征感受野大小仅140 像素.同时，层数不够深的情况下难以捕获复杂特征，最终导致在图像边界分割时存在较大误差.因此，本文在U-Net模型基础上进行改进.

1.1对U-Net模型编码器模块的改进

Atiyah和Ali［7］提出了以ResNet50、DenseNet169和EfficientNet-B7等不同迁移学习模型为骨干的U-Net，用于脑损伤分割的迁移学习.具有EfficientNet-B7结构的U-Net在脑肿瘤分割任务中表现出色.所以，本文将U-Net模型编码器部分替换成EfficientNet网络，在增强网络特征提取能力的同时减少模型参数.Tan等人［8］提出了EfficientNet模型，该模型通过对网络的深度、宽度以及图像分辨率的复合扩展，实现模型较少参数下得到更高的精度，目前已有B0～B7共8种模型.考虑到数据集样本较少，本文选取参数量最少的EfficientNet-B0 模型.

EfficientNet-B0 模型主要由9个模块组成，模块1是一个3×3卷积层，模块2～8是block层，主要是移动倒置瓶颈卷积（mobile inverted bottleneck convolution，MBConv）结构重复堆叠构成，模块9由一个1×1卷积层、一个平均池化层和一个全连接层组成.

在MBConv结构中输入特征图.首先经过1×1的卷积，然后经过k×k（k为卷积核的大小）的深度卷积（DepthWise Convolution，DWConv），再经过压缩-激励（Squeeze-and-Excitation，SE）模块，最后经过1×1的卷积将通道数恢复到原来输入的大小，通过残差连接将降维后的输出结果和上层的输入融合，得到最终输出，具体结构如图2所示.

1.2对U-Net模型解码器模块的改进

由于病灶区域在整个CT图像所占像素较少，U-Net原有结构解码器部分提取有效特征能力有限.本文在解码器部分添加scSE模块.scSE注意力模块［9］是空间压缩通道激励模块（Channel Squeeze and Spatial Excitation，sSE）和通道压缩空间激励模块（Spatial Squeeze and Channel Excitation，cSE）的组合，用来增强新冠肺炎病灶区域的空间信息与通道信息.

sSE模块直接对特征图进行卷积操作，输出1维向量，再使用sigmoid函数进行归一化处理得到新的特征图通道U∧sSE.cSE模块将特征图U=［u1，u2，…，uc］通过全局平均池化将全局空间信息嵌入到向量ZZ∈R1×1×C，再对向量进行两个卷积操作，同时经过Relu和Sigmiod函数进行归一化处理得到新的特征图通道U∧cSE.最终将U∧sSE和U∧cSE相加得到经过信息校准过的输出特征图，即U∧scSE，其具体结构如图3所示.

2实验与结果分析

2.1实验环境配置

本文实验环境硬件系统由Intel Core i7-10700KF CPU、Nvidia GeForce RTX 3060 GPU、32RAM组成，采用64位Windows10操作系统、pytoch1.8.1的编译环境，同时包含模型训练调用的相关库.

2.2数据集

由于CT图像专家注释的采集成本较高，很难去获得较多高质量的标注图像.所以，目前已公开标注的新冠肺炎CT数据集较少.为了保证模型评估的有效性，本文选用COVID-19 CT Images Segmentation数据集［10］，该数据集包含Medseg和Radiopedia两个部分：Medseg部分包含40例100张不同疾病严重程度的新冠肺炎患者CT图像，图像尺寸为512×512；Radiopedia部分包含9例患者的829张CT轴向切片，图像尺寸为630×630，其中有373张已被放射科医生评估为阳性，剩下的456张标记为正常.

数据集总计929张图像，所有图像都经过专业的放射科医生进行了标签分割，一共有磨玻璃结节（Class=0）、实变（Class=1）、胸腔积液（Class=2）和背景（Class=3）这四种类型的分割标签.具体数据集样本图像和对应分割标签具体如图4所示，图像中白色部分标记为病灶区，黑色部分为背景.

2.3图像预处理

将所有图像统一缩放到256×256大小，对数据集进行随机划分，905张用于训练集的图像，19张用于验证集的图像，5张用于测试集的图像.同时采用旋转、随机裁剪、水平翻转的数据增强技术对训练集和验证集图像数量进行增强，最后进行归一化处理.

2.4评价指标

对于本文的新冠肺炎病灶区域分割任务来说，CT图像中每个像素点实际是个二分类问题，即病灶区域和正常区域这两类.由于本文的分割任务是针对病灶区域的，所以病灶区域为正样本，正常区域为负样本.

为了评价模型的性能，本文采用准确率（Accuracy，ACC）、灵敏度（Sensitivity，SEN）、特异度（Specificity，SPE）、Dice 相关性系数（Dice Similarity Coefficient，DSC）和平均交并比（Mean Intersection over Union，MIoU）这五个指标来评估模型性能，具体定义公式如式（1）～（5）所示：

ACC=TP+TNTP+TN+FP+FN（1）

SEN=TPTP+FN（2）

SPE=TNTN+FP（3）

DSC=2TPFP+2TP+FN（4）

MIoU=12TPTP+FP+FN+TNTN+FP+FN（5）

其中，TP代表正确分割的正样本，FP代表错误分割的正样本，TN代表正确分割的负样本，FN代表错误分割的负样本.DSC系数和MIoU的取值范围在［0，1］之间，值越大代表分割结果越精确.

2.5实验结果对比

采用Adam优化器，初始学习率设为0.001，损失函数为交叉熵损失函数，batch_size大小为8，迭代30次后各项评价指标趋于稳定.

本文选取实验对比网络有U-Net、Model-A和Model-B.其中，Model-A为在U-Net基础上将原有编码器替换为在ImageNet 数据集预训练好的EfficientNet-B0，Model-B除了将U-Net编码器替换为EfficientNet-B0，还在解码器部分添加scSE 注意力机制.使用ACC、SEN、SPE、DSC和MIoU作为评价指标，结果对比如表1所示.

从表1各项指标可以看出Model-A 和Model-B 相比较于基础网络U-Net 在各项指标上均有所提升.Model-A在原有U-Net模型编码器中引入了EfficientNet-B0模块，增强了模型特征提取能力，所以在ACC、SEN、SPE、DSC、MIoU这五个指标上都有所提升；Model-B在Model-A的基础上在解码器部分添加scSE注意力模块，增强网络特征的空间信息与通道信息.其中DSC指标有所提升，但在ACC、SEN、SPE方面指标提升较少.综合考虑Model-B模型在各项指标上表现最好，图5显示了Model-B模型在训练集和验证集MIoU的具体变化.

为了更加直观观察分割结果，本文在测试集的5张CT图像上采用U-Net模型和本文算法进行预测，具体分割结果可视化对比如图6所示.

从可视化的分割结果可以看出，原有的U-Net分割结果边界不明显，容易受到一些肺部血管影和结节等影响，出现一些伪影.本文提出算法模型在病灶区的边缘细节分割要比U-Net分割模型分割效果好，更接近专家给出的金标准.

3结语

本文提出一种基于改进的U-Net分割模型算法，在U-Net编码器模块引入多尺度预训练好的EfficientNet-B0模型；同时，在解码器部分加入了scSE 注意力机制，对网络特征的提取能力进行增强激励，提高网络学习重要的特征，抑制无用特征.实验结果显示，本算法取得了较高的分割精度.通过新冠肺炎人工智能诊断模型可以帮助医生及早发现疾病，规划新冠肺炎感染的治疗方案，降低新冠肺炎的死亡率.后期研究打算从两方面来进一步提升精度：（1）数据集融合.为了避免新冠肺炎CT图像来自同一个地方所造成的选择偏差，后期实验组合2个以上的公开数据集进行实验数据划分，并且从医院获取实际的CT图像案例测试模型.（2）预处理优化.在数据预处理阶段首先进行算法定位病灶区域ROI，根据定位后的部分区域再进行分割任务.

［参考文献］

［1］ZHANG Z，BI Q，FANG S，et al.Insight into the practical performance of RT-PCR testing for SARS-CoV-2 using serological data：a cohort study［J］.The Lancet Microbe，2021，2（2）：79-87.

［2］SHI H，HAN X，JIANG N，et al.Radiological findings from 81 patients with COVID-19 pneumonia in Wuhan，China：a descriptive study［J］.The Lancet Infectious Diseases，2020，20（4）：425-434.

［3］ELAZIZ M A，HOSNY K M，SALAH A，et al.New machine learning method for image-based diagnosis of COVID-19［J］.PLoS ONE，2020，15（6）：21-23.

［4］OLAF R，PHILLIP F，THOMAN B.U-Net：Convolutional networks for biomedical image segmentation［C］//MICCAI 2015：Medical Image Computing and Computer-Assisted Intervention，Cham：Springer，2015：234-241.

［5］ROCHA J，PEREIRA S，CAMPILHO A，et al.Segmentation of COVID-19 lesions in CT images［C］//2021 IEEE EMBS International Conference on Biomedical and Health Informatics （BHI）.IEEE，2021：1-4.

［6］HASAN M J，ALOM M S，ALI M S.Deep learning based detection and segmentation of COVID-19 amp; pneumonia on chest x-ray image［C］// 2021 International Conference on Information and Communication Technology for Sustainable Development （ICICT4SD），2021：210-124.

［7］ASSALAH Z A，KHAWLA H A.Segmentation of human brain gliomas tumour images using U-Net architecture with transfer learning［J］.Diyala Journal of Engineering Sciences，2022，15（1）：17-29.

［8］TAN M，LE Q V.EfficientNet：rethinking model scaling for convolutional neural networks［C］// International Conference on Machine Learning，2019：6105-6114.

［9］ROY A G，NAVAB N，WACHINGER C.Concurrent spatial and channel “squeeze amp; excitation” in fully convolutional networks［C］//International Conference On Medical Image Computing And Computer-Assisted Intervention，Granada，Spain：Springer，2018：421-429.

［10］JENSSEN H B.Covid-19 radiology-data collection and preparation for artificial intelligence［EB/OL］.［2021-03-03］.http：//medicalsegmentation.com/covid19/.

［责任编辑马云彤］