用于肺部病灶图像分割的多尺度稠密融合网络

卢小燕，徐杨，2*，袁文昊

用于肺部病灶图像分割的多尺度稠密融合网络

卢小燕1，徐杨1，2*，袁文昊1

（1.贵州大学 大数据与信息工程学院，贵阳 550025； 2.贵阳铝镁设计研究院有限公司，贵阳 550009）（ ∗ 通信作者电子邮箱xuy@gzu.edu.cn）

针对主流的深度学习网络难以完整分割肺部病灶、区域边界预测模糊的问题，提出一种基于U-Net的多尺度稠密融合网络（MDF-Net）。首先，引入多分支密集跳层连接以捕获多级上下文信息，并在网络末端引入信息加权融合（IWF）模块进行逐级融合，以解决网络中的特征损失问题；其次，设计一种自注意力金字塔模块，使用各金字塔层对特征图进行不同规模的切分处理，并使用自注意力机制计算像素关联度，从而增强局部与全局区域的感染特征显著性；最后，设计一种区别于传统U-Net的上采样模式的上采样残差（UR）模块，多分支的残差结构与通道特征激励使网络能够还原更加丰富的微小病灶特征。在两个公开数据集上的实验结果显示，与UNeXt相比，所提网络的准确度（ACC）分别提升了1.5%和1.4%，平均交并比（MIoU）分别提升了3.9%和1.9%，实验结果验证了MDF-Net具有更好的肺部病灶分割性能。

肺部疾病；密集跳层连接；自注意力金字塔；上采样残差；信息加权融合

0 引言

肺是人体的重要呼吸器官，肺部感染会造成肺部产生炎症性的改变、渗出性的改变和间质性的改变，严重时会导致人体出现呼吸困难甚至是呼吸衰竭的表现。直接对患者判断分析较难确认感染程度，而通过计算机断层扫描（Computed Tomography， CT）图像进一步筛查可以显示部分显著特征，包括磨玻璃影（Ground-Glass Opacity， GGO）、肺纤维化、胸腔积液和肺实变，对肺部病灶区域的早期诊断具有重要的研究价值和现实意义。

针对肺部CT病灶区域的分割方法主要有两类：传统手工分割算法［1］和深度学习图像分割算法。传统的手工分割算法［1］主要依赖标注医生的先验知识，泛化能力差，不易迁移到新的任务场景。随着深度学习在计算机视觉中的快速发展，许多优秀的卷积神经网络（Convolutional Neural Network， CNN）模型被快速应用于医学图像分割任务，为医学影像研究提供了新的方向［2-3］。Ronneberger等［4］首次提出一种具有对称特点的U-Net，并引入跳跃连接提取细节特征信息。基于U-Net，Zhan等［5］提出一种新型的扩张双注意力U-Net（Dilated Dual Attention U-Net， D2A U-Net），利用由门注意模块（Gate Attention Module， GAM）和解码器注意模块（Decoder Attention Module， DAM）组成的双注意策略细化特征图，此外引入混合扩张卷积优化解码过程，从而提高模型识别肺部病变区域的能力；但是该模型以ResNeXt-50为主干，参数量较大，导致模型推理速度较慢。为了提高患者的治愈率，Wang等［6］提出一种用于快速诊断肺部疾病的智能辅助诊断系统。该系统首先利用分割网络定位病变区域，再利用分类网络确定目标区域是否具有感染特征；但是该系统缺乏泛化能力，当图像有多种病变时，无法较好地辨别目标区域。Fan等［7］提出肺部病灶分割模型Inf-Net（lung Infection segmentation deep Network），通过边缘注意模块和反向注意模块关注感染区域的边界信息和小目标区域，分割肺部CT图像；虽然该模型的特异度得到大幅提升，但是对纹理复杂区域的分割结果不理想。为了提高网络模型的学习能力，Kumar等［8］提出基于RFA（Receptive-Field-Aware）模块的全自动化和高效的肺部病灶分割（LungINFseg）模型，其中RFA模块可以扩大分割模型的感受野，学习上下文信息。

尽管基于CNN的肺部CT图像病灶分割算法取得了极大的进展，但是仍然存在不少问题：首先，肺部CT图像组织复杂、边界模糊，网络较难提取有效特征；其次，标注医生个人判断的不确定性和不同医生客观认知差异导致图像标注误差大；最后，CT图像病变高度异质化，图像特征表达不完整，难以建立上下文信息交流关系。

针对肺部CT图像分割面临的问题，为了学习不同尺度的病灶特征，捕获丰富的上下文信息，本文提出一种基于深度学习的多尺度稠密融合网络（Multiscale Dense Fusion Network， MDF-Net）。首先，基于U-Net［4］提出一种新的多分支密集跳层连接方式，并引入一种自注意力金字塔模块（Self-attention pyramid module），以提高局部与全局区域的病灶特征显著性；其次，通过上采样残差（Up-sampling Residual， UR）模块与逐级特征融合方式增强像素分类能力，提升网络的分割性能。

本文的主要工作如下：

1）基于U-Net的跳层连接，提出多分支密集跳层连接方式。多节点的形式使解码部分不再局限于对应编码的单分支特征，有效增强了多尺度的特征信息传递。

2）在网络的编码部分，引入自注意力金字塔模块。金字塔逐层递进的结构和各层对特征图不同规模的切分处理，使网络在整体下采样过程中能够学习更精确的整体感染特征和更多的局部细节特征。

3）在网络的解码部分，设计上采样残差（UR）模块。多分支残差结构和通道特征激励可以有效减少低层特征的计算损失，利于解码支路逐层恢复图像分割信息。

4）设计一种信息加权融合（Information Weighted Fusion， IWF）模块。该模块的自适应调节能力能够合理实现特征加权融合，有效保留CT切片中的病变区域，抑制像素误分类。

1 MDF⁃Net

1.1　网络架构

MDF-Net的整体结构如图1所示。它采用端到端的网络架构，包含4个编码‒解码部分（即图1中的Stage 1～Stage 4）和信息加权融合块。编码部分依次提取语义信息并确定相对粗略的位置，解码部分则根据提取的语义信息逐阶段恢复感染区域。Stage 1～Stage 4的解码分支对特征采取上采样残差操作，帮助网络还原丰富的多尺度信息。此外，在每一个编码分支都会使用一个密集连接处理输入的特征张量，加强各层特征信息移动，有效结合高级语义特征和低级轮廓细节特征，这有助于更好地分割病变区域。各解码分支的输出特征逐级叠加送入信息加权融合块，有效突显CT切片中的感染区域并抑制像素误分类，最终实现肺部CT病灶分割。

1.2　多分支密集跳层连接

U-Net通过跳层连接提取多尺度语义信息，但只是编码和对应解码的一一连接，导致位置和边界信息等细节仍然丢失。为了解决这个问题，本文提出了多分支密集跳层连接，如图2所示。在不扩展网络深度前提下引入更多节点，使得解码部分不局限于只有对应编码的单分支特征，从而增强多尺度的特征信息传递。具体地，MDF-Net中的每个阶段的解码支路都结合了来自对称编码部分和对应上层编码部分的特征图，挖掘隐藏在浅层网络中的低维特征信息，并在获取多尺度特征时增强深层网络中的语义信息。

图2　多分支密集跳层连接

1.3　自注意力金字塔模块

注意力机制可以有效增强图像特征的显著性，解决肺部CT图像的病灶分割边界模糊、特征提取困难的问题。根据肺部CT图像的像素特征与病灶区域的分布特性，本文提出了一种自注意力金字塔模块，引导网络从浅层到深层约束局部与全局的特征区域。

自注意力金字塔模块分为3层结构，由于肺部CT切片具有较好的左右肺部对称效果，首先，将输入各金字塔层的特征图切分（Split）为不同规模大小的特征子图，再输入多头自注意力机制计算局部与全局区域的像素关联度。其次，经过多头自注意力机制后像素特征已粗略显著化，再将特征子图输入压缩‒激励（Squeeze-Excitation， SE）模块［9］实现通道特征加权，增强特征显著化效果。最后，将特征子图逐一拼接恢复到原始尺寸。自注意力金字塔模块的整体结构如图3所示。由于金字塔逐层递进的结构与各层对特征图不同规模大小的切分处理，使得网络在整体下采样过程中能够学习更精确的整体病变特征和更多的局部病变细节特征。

图3　自注意力金字塔模块

由此，自注意力机制的数学计算表达式为：

再次，使用全连接（Fully Connected， FC）层、线性整流函数（Rectified Linear Unit， ReLU）、FC和Sigmoid激活函数的组合方式作为激励函数，如式（6）所示：

最后，通过通道权重相乘，得到最终结果输出：

其中：表示权重加权操作；为第个通道的输出值。

1.4　上采样模块

在上采样时，有效融入低层采样特征可以进一步提高像素分类准确性。因此，本文设计了一种应用于解码分支的上采样残差（UR）模块，如图5所示。

图5　上采样残差模块

1.5　信息加权融合块

图6　信息加权融合模块

1.6　损失函数

对于图像分割，合适的损失函数可以加快训练过程的收敛，提高分割网络的性能。本文利用Dice系数（Dice coefficient）［11］损失函数和BCE（Binary Cross-Entropy）损失函数组成的联合损失函数训练MDF-Net。

Dice损失函数适用于图像的微小目标分割，一定程度上解决正负样本在数量上不平衡的问题，但是单独使用Dice损失函数容易使训练变得不稳定。Dice损失函数定义为：

BCE损失函数同样广泛应用于二值分割任务的性能评估，它的定义如式（17）所示：

为了更好地提升网络训练的稳定性，本文联合Dice损失函数和BCE损失函数，提高网络模型的鲁棒性与泛化能力。联合损失函数如式（18）所示：

2 实验与结果分析

2.1　数据集和实验设置

本文使用Lung dataset-1（http：//medicalsegmentation.com）和Lung dataset-2（https：//www.kaggle.com/andrewmvd/datasets）评估MDF-Net。其中，Lung dataset-1由肺部CT分割数据集和肺部病灶CT图像数据集组成，总共有6 804张切片。肺部CT分割数据集由意大利医学和介入放射学会收集的20名肺炎患者的100张轴向CT图像组成；肺部病灶CT图像数据集由Radiopaedia机构提供。本文选用肺部CT扫描数据集作为数据集2（Lung dataset-2），它包含肺炎患者的20次CT扫描和专家对肺部感染的人工分割图，共11 191张切片。

实验的硬件环境为：CPU为Intel I7 12700KF处理器，GPU为Nvidia RTX3080TI，内存16 GB。软件环境为：基于Ubuntu20.04系统的PyTorch1.7深度学习框架，编程语言为Python3.8。在训练过程中，选择Adam作为网络优化器，数据集的批大小设置为8，图片尺寸设置为128×128，初始学习率为0.01，训练迭代次数设置为120。

2.2　评价指标

为了评估MDF-Net分割肺部CT图像的效果，本文选择准确度（ACCuracy， ACC）、平均交并比（Mean Intersection over Union， MIoU）、Dice相似系数（Dice Similariy Coefficient， DSC）和F1分数（F1-Score）作为评判标准。

2.3　不同网络对比

将MDF-Net与主流的图像分割网络进行比较，对比网络包括SegNet［12］、R2U-Net（Recurrent Residual U-Net）［13］、Attention U-Net［14］、U2-Net［15］、CaraNet（Context axial reverse attention Network）［16］和UNeXt［17］。为保证实验结果的公平性，本文在相同的实验环境下分别测试这7个对比网络，实验对比结果如表1所示。

从表1可以看出，MDF-Net在两个数据集上的4项指标均为最高，相较于其他对比网络具有更好的分割效果。与SegNet相比，MDF-Net的ACC提高了13.4%、8.8%，MIoU提高了17.9%、20.2%，DSC提高了19.7%、20.7%，1提高了31.2%、31.7%；与性能表现次优的UNeXt相比，MDF-Net的ACC提高了1.5%、1.4%，MIoU提高了3.9%、1.9%，DSC提高了4.1%、1.4%，1提高了2.5%、2.0%。本文在U-Net基础上，引入了多分支密集跳层连接，在下采样过程中嵌入了自注意力金字塔模块，并使用上采样残差模块替换传统的上采样卷积操作，最后利用信息加权融合块实现各编码‒解码分支间的最优融合效果。根据实验结果可知，本文提出的MDF-Net在肺部病灶分割精度上优势明显。

随机选择Lung dataset-1和Lung dataset-2测试集中的6张CT切片，不同网络的可视化效果如图7～8所示。可以看出：SegNet和R2U-Net相较于其他对比网络，只能够分割主体部分较明显的感染区域；Attention U-Net和U2-Net在对病灶边界分割上较精准；CaraNet和UNeXt对细节部分的处理结果更好；得益于自注意力金字塔模块和信息加权融合模块，MDF-Net能够更清晰地分割病灶边界和更完整的病灶区域，最接近人工分割。

图7　不同网络在Lung dataset-1上的可视化效果

图8　不同网络在Lung dataset-2上的可视化效果

表1　不同网络在Lung dataset-1和Lung dataset-2上的性能对比 单位：%

为了进一步直观地反映分割网络的性能，图9展示了不同网络训练时的损失曲线与准确度曲线。训练过程中，MDF-Net相较于其他对比网络的收敛更快，且收敛后精度最高。因此，MDF-Net更易于训练，可以更好地学习肺部病灶分割。

图9　不同网络在两个数据集上的损失曲线和准确度曲线

2.4　消融实验

为了说明本文提出的各个模块在整体网络中的贡献，本节以U-Net为基础网络进行消融实验。Lung dataset-1和Lung dataset-2数据集的实验结果如表2所示。

从表2可以看出，与基础网络相比，MDF-Net的ACC提升了11.9%、9.7%；MIoU提升了11.1%、10.8%；DSC提升了9.2%、10.2%；1提升了4.3%、3.3%。在基础网络中加入自注意力金字塔模块或信息加权融合模块后提升力度较显著，说明提出的自注意力金字塔模块具有较强的特征提取能力，且信息加权融合模块能够有效增强病灶特征表现力。整体网络相较于基础网络的ACC与MIoU指标提升明显，在分割精度上更有优势。

表2　不同模块在Lung dataset-1和Lung dataset-2上对网络性能的影响 单位：%

注：M1表示自注意力金字塔模块；M2表示多分支密集跳层连接。

2.5　主要模块的测试对比

2.5.1改进上采样前后对比

使用本文提出的UR模块替换U-Net中传统上采样（upsampling）［4］的具体对比结果如表3所示。在ACC指标上，UR模块相较于传统上采样提高了1.2%、0.8%，MIoU指标提高了1.5%、1.5%，DSC指标提高了2.5%、2.6%，1提高了1.2%、1.0%。由此可见，在分割病灶区域时，UR模块提高了低层语义特征与高层语义特征的融合质量，融合了UR模块的U-Net得到的分割结果更加接近真实标签。综上，所提出的UR模块性能优于传统的U-Net上采样结构。

表3　不同上采样方式在Lung dataset-1和Lung dataset-2上的性能对比 单位：%

为了进一步展示UR模块对肺部病灶分割的有效性，本文对各组成部分展开详细的对比实验。基础网络设置为原始U-Net；将UR模块中的全局平均池化、全连接计算和Sigmoid激活函数整体替换为“无操作残差连接”形式，再保留5×5卷积和3×3卷积分支组成多分支残差结构，记为M3；将UR模块中的5×5卷积和3×3卷积分支去除，并保留全局平均池化、全连接计算和Sigmoid激活函数组成通道特征激励，记为M4，实验结果如表4所示。

综合各个指标，U-Net和多分支残差结构组合（U-Net+M3）的分割效果优于U-Net和通道特征激励组合（U-Net+M4）。在提升较为突出的MIoU和DSC指标上，相较于U-Net+M3，U-Net+M4在Lung dataset-1上分别提升了0.4%和1.0%，在Lung dataset-2分别提升了0.6%和0.8%。从整体来看，U-Net+UR的分割效果优于U-Net+M3和U-Net+M4，说明多分支残差结构与通道特征激励的组合对网络有更高的性能提升。

2.5.2自注意力金字塔模块与其他注意力模块对比

为了验证所提出的自注意力金字塔模块在肺部病灶分割中的有效性，以U-Net［4］为基础网络，将它与其他注意力模块对比，对比结果如表5所示。其中，空间与通道激励（Spatial and Channel Squeeze & Excitation， SCSE）模块［18］基于SE模块，分别沿通道和空间重新校准特征映射，获取更多信息；高效通道注意力（Efficient Channel Attention， ECA）模块［19］在避免降维情况下，适当地跨通道交互，从而学习有效的通道信息。

表5　不同注意力模块在Lung dataset-1和Lung dataset-2上的性能对比 单位：%

从表5可以看出，在肺部病灶分割任务上，SCSE虽然在性能指标上有所提升，但幅度较小；而使用ECA的分割效果与U-Net的效果相当。在使用具有较复杂组织纹理的肺部CT图像实验时，ECA模块难以达到理想效果。相较于上述两种注意力模块，本文所提出的自注意力金字塔模块借助肺部图像的对称结构，将输入特征图以对称形式切分，具有局部与全局的特征感知作用，再以金字塔形式逐级堆叠注意力特征。所提注意力模块在U-Net基础上提升幅度最大，表现最优，分割病灶区域最有效。

2.5.3信息加权融合块与其他特征融合模块对比

为了验证信息加权融合（IWF）模块对网络性能的贡献，以本文网络为基础网络，将IWF模块和特征融合模块（Feature Fusion Module， FFM）［20］、改进的自适应特征融合（Modified Adaptive Feature Fusion， MAFF）模块［21］对比，结果如表6所示。

表6中实验结果显示，在Baseline上加入IWF模块，它的ACC、MIoU、DSC和1指标在两组数据集上均取得了最优结果。FFM在基准模型中的贡献能力最小，与FFM相比，IWF模块在Lung dataset-1上各项指标分别提升了4.1%、4.4%、2.5%和0.7%；在Lung dataset-2上分别提升了2.8%、3.1%、1.7%和1.2%。可以看出，由于信息加权融合策略，IWF模块能够自适应地修正特征区域并抑制背景像素的显著性，提高网络的分割能力。

表6　IWF模块与其他特征融合模块在Lung dataset-1和Lung dataset-2上的性能对比 单位：%

2.5.4不同密集跳层连接方式对比

由于本文网络与UNet++［22］具有相似的跳层连接方式，因此本节将MDF-Net与UNet++对比，结果如表7所示。

从表7可知，相较于UNet++，MDF-Net在各项指标上均有所提升，在Lung dataset-1上各项指标分别提升了3.3%、3.7%、4.7%和6.0%；在Lung dataset-2上分别提升了4.5%、2.8%、3.9%和5.3%，其中1指标提升最为明显。不同采样阶段提取到的病灶特征区域不同，UNet++直接将所有低层的编码特征与高层的解码特征相互叠加，缺少特征增强的过程，这无疑会造成特征损失。而本文网络充分利用自注意力金字塔模块，从不同感知范围提取病灶特征，利用上采样残差模块和信息加权融合模块增强特征融合，实现了对病灶区域更精确的定位和分割。

表7　两种网络的密集连接方式在Lung dataset-1和Lung dataset-2上的性能对比 单位：%

3 结语

本文提出了一种针对肺部疾病的肺部病灶分割网络（MDF-Net）。首先，引入了一种多分支密集跳层连接方式，使网络中编码节点的采样特征能够在多级结构中重复利用；其次，在编码部分引入自注意力金字塔模块，最大化提取感染区域特征；同时在各解码分支设计了上采样残差模块，进一步细化特征信息，更好地恢复被感染的显著区域；最后，在所有解码分支之后使用信息加权融合模块，加权融合多尺度特征，有效突显CT切片中的病变区域并抑制像素误分类。实验结果表明，MDF-Net优于其他对比医学图像分割网络，能够得到更精确的分割结果。但本文网络也存在不足之处，如对于纹理复杂的CT图像仍存在分割不够理想、病灶边缘像素分类不够准确的问题。在未来工作中，我们将继续优化现有的方法，并尝试将二维切片图像和三维CT图像结合，从多模数据的角度探寻更优的分割模型。

[1] 陈树越，晁亚，邹凌. 基于几何特征的孤立性肺结节检测［J］. 生物医学工程学杂志， 2016， 33（4）：680-685.（CHEN S Y， CHAO Y， ZOU L. Detection of solitary pulmonary nodules based on geometric features［J］. Journal of Biomedical Engineering， 2016， 33（4）： 680-685.）

[2] LITJENS G， KOOI T， EHTESHAMI BEJNORDI B， et al. A survey on deep learning in medical image analysis［J］. Medical Image Analysis， 2017， 42： 60-88.

[3] MUNUSAMY H， KARTHIKEYAN J M， SHRIRAM G， et al. FractalCovNet architecture for COVID-19 Chest X-ray image Classification and CT-scan image Segmentation［J］. Biocybernetics and Biomedical Engineering， 2021， 41（3）： 1025-1038.

[4] RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.

[5] ZHAN X， ZHANG P， SONG F， et al. D2A U-Net： automatic segmentation of COVID-19 CT slices based on dual attention and hybrid dilated convolution［J］. Computers in Biology and Medicine， 2021， 135： No.104526.

[6] WANG B， JIN S， YAN Q， et al. AI-assisted CT imaging analysis for COVID-19 screening： building and deploying a medical AI system［J］. Applied Soft Computing， 2021， 98： No.106897.

[7] FAN D P， ZHOU T， JI G P， et al. Inf-Net： automatic COVID-19 lung infection segmentation from CT images［J］. IEEE Transactions on Medical Imaging， 2020， 39（8）： 2626-2637.

[8] KUMAR SINGH V， ABDEL-NASSER M， PANDEY N， et al. LungINFseg： segmenting COVID-19 infected regions in lung CT images based on a receptive-field-aware deep learning framework［J］. Diagnostics， 2021， 11（2）： No.158.

[9] HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.

[10] FU J， LIU J， TIAN H， et al. Dual attention network for scene segmentation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3141-3149.

[11] MILLETARI F， NAVAB N， AHMADI S A. V-Net： fully convolutional neural networks for volumetric medical image segmentation［C］// Proceedings of the 4th International Conference on 3D Vision. Piscataway： IEEE， 2016： 565-571.

[12] BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.

[13] ALOM M Z， YAKOPCIC C， HASAN M， et al. Recurrent residual U-Net for medical image segmentation［J］. Journal of Medical Imaging， 2019， 6（1）： No.014006.

[14] OKTAY O， SCHLEMPER J， LE FOLGOC L， et al. Attention U-Net： learning where to look for the pancreas［EB/OL］. （2018-03-20） ［2022-08-15］.https：//arxiv.org/pdf/1804.03999.pdf.

[15] QIN X， ZHANG Z， HUANG C， et al. U2-Net： going deeper with nested U-structure for salient object detection［J］. Pattern Recognition， 2020， 106： No.107404.

[16] LOU A， GUAN S， KO H， et al. CaraNet： context axial reverse attention network for segmentation of small medical objects［C］// Proceedings of the SPIE 12032， Medical Imaging 2022： Image Processing. Bellingham， WA： SPIE， 2022： No.120320D.

[17] VALANARASU J M J， PATEL V M. UNeXt： MLP-based rapid medical image segmentation network［C］// Proceedings of the 2022 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 13435. Cham： Springer， 2022： 23-33.

[18] ROY A G， NAVAB N， WACINGER C. Concurrent spatial and channel ‘squeeze & excitation’ in fully convolutional networks［C］// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11070. Cham： Springer， 2018： 421-429.

[19] WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：11531-11539.

[20] 傅双杰，陈玮，尹钟. 结合自注意力和特征自适应融合的语义分割算法［J］. 信息与控制， 2022， 51（6）：680-687， 698.（FU S J， CHEN W， YIN Z. Semantic segmentation algorithm combining self-attention and feature adaptive fusion［J］. Information and Control， 2022， 51（6）：680-687， 698.）

[21] 梁礼明，詹涛，雷坤，等. 多级自适应尺度的U型视网膜血管分割算法［J］. 电子测量技术， 2022， 45（13）：130-140.（LIANG L M， ZHAN T， LEI K， et al. Multi-level adaptive scale U-shaped retinal blood vessel segmentation algorithm［J］. Electronic Measurement Technology， 2022， 45（13）：130-140.）

[22] ZHOU Z， RAHMAN SIDDIQUEE M M， TAJBAKHSH N， et al. UNet++： a nested U-Net architecture for medical image segmentation［C］// Proceedings of the 2018 International Workshop on Deep Learning in Medical Image Analysis/ International Workshop on Multimodal Learning for Clinical Decision Support， LNCS 11045. Cham： Springer， 2018： 3-11.

Multiscale dense fusion network for lung lesion image segmentation

LU Xiaoyan1， XU Yang1，2*， YUAN Wenhao1

（1，，550025，；2，550009，）

Aiming at the problems of incomplete segmentation of lung lesions and fuzzy prediction of regional boundaries in mainstream deep learning networks， a Multiscale Dense Fusion Network （MDF-Net） based on U-Net was proposed. Firstly， multi-branch dense skip connections were introduced to capture multi-level contextual information， and Information Weighted Fusion （IWF） module was introduced at the end of the network for level-by-level fusion to solve the feature loss problem in the network. Secondly， a self-attention pyramid module was designed. Each pyramid layer was used to segment the feature map in different scales， and the self-attention mechanism was applied to calculate the pixel correlation， thereby enhancing the saliency of the infection features in local and global regions. Finally， unlike the up-sampling form in traditional U-Net， a Up-sampling Residual （UR） module was designed. The multi-branch residual structure and channel feature excitation were used to help the network restore more abundant features of micro lesions. Experimental results on two public datasets show that compared with UNeXt， the proposed network improves the ACCuracy （ACC） by 1.5% and 1.4% respectively， and the Mean Intersection over Union （MIoU） by 3.9% and 1.9% respectively， which verify that MDF-Net has better lung lesion segmentation performance.

lung disease; dense skip connection; self-attention pyramid; Up-sampling Residual (UR); Information Weighed Fusion (IWF)

This work is partially supported by Guizhou Science and Technology Program （Guizhou Science and Technology Cooperation Support ［2021］ General 176）.

LU Xiaoyan， born in 1997， M. S. candidate. Her research interests include deep learning， image processing.

XU Yang， born in 1980， Ph. D.， associate professor. His research interests include machine learning， data mining.

YUAN Wenhao， born in 1998， M. S. candidate. His research interests include deep learning， image processing.

1001-9081（2023）10-3282-08

10.11772/j.issn.1001-9081.2022101545

2022⁃10⁃14；

2023⁃02⁃06；

贵州省科技计划项目（黔科合支撑［2021］一般176）。

卢小燕（1997—），女，河南南阳人，硕士研究生，主要研究方向：深度学习、图像处理； 徐杨（1980—），男，贵州贵阳人，副教授，博士，CCF会员，主要研究方向：机器学习、数据挖掘； 袁文昊（1998—），男，四川成都人，硕士研究生，主要研究方向：深度学习、图像处理。

TP183；TP391

A

2023⁃02⁃08。