DA-GAN肺结节分割网络研究

赵俊强， 李 骥， 王 昌， 刘华楠，李南艾， 吴星阳

(1. 新乡医学院，河南 新乡 453003; 2. 新乡市智能影像诊断工程技术研究中心，河南 新乡 453003; 3. 新乡市医学VR（AR）与智能反馈重点实验室，河南 新乡 453003; 4. 临床与生物医学大数据融合技术河南省工程实验室，河南 新乡 453003; 5. 郑州大学第一附属医院，河南 郑州 450052)

0 引 言

肺癌是所有癌症中的头号杀手，对肺癌的早期症状做到精准的诊断是提高肺癌患者存活率的有效手段。近年来医学影像[1-3]的飞速发展给肺癌的早期诊断带来极大的便捷。但是爆炸式增长的影像数据带给医生高强度的工作。为了提高医生的工作效率，降低工作强度，很多学者将神经网络引入计算机辅助诊断系统解决肺结节分割问题。

神经网络发展初期，Mukherjee[4]，Wang[5]，Keshani[6]以及Nithila[7]等人分别提出粗-精两段分割网络，多输入分割网络，检测-分割两段分割网络和模糊C均值分割算法，这些方法相比传统算法的分割效果好，但仍属于神经网络的初级演变，即通过多种网络组合的方式实现更优的分割结果，但是仍无法解决全类型结节的精细分割。现阶段，Savic[8]等人提出了一种基于快速行进法的图像分割算法，将图像分割成具有相似特征的区域，然后结合k-means生长区域进行合并。Cha[9]等人在神经网络中加入带符号距离的函数，用于学习肺结节的形状特征，然后用光流法寻找肺结节在序列图像中的局部运动进而实现肺结节的分割。Keetha[10]等人提出了一种资源效率模型架构U-Det，在编码器和解码器之间集成了一个双向特征网络(Bi-FPN)，并利用Mish激活函数和蒙版的类别权重来提高分割效率，以一种端到端深度学习方法解决分割任务。Liu[11]等人提出一种金字塔扩张卷积块(PDCB)，利用扩张卷积的优势，解决特征图网格化问题，以更好地分割肺结节。这些方法虽然提高了肺结节分割精度，但仍存在不足之处。Savic和Cha等人的分割算法仅针对限定区域内的肺结节，而不涵盖整个肺部CT图像，未能处理结节出现位置随机这一问题。Keetha和Liu等人，虽然以端到端的方式实现肺结节分割，但是他们都忽略了肺结节分割当中一个重要的部分，即分割算法中的隐识别问题，仅关注对肺结节本身的分割效果，产生较高的假阳性。

针对上述存在问题，本文提出双注意力生成对抗网络(double-attention generative adversarial network，DA-GAN)，该网络由自注意力生成器和结节注意力判别器两个主要模块构成。生成器中的自注意力机制通过连接不同空间的位置特征，建立特征图中任意位置的依赖关系，以实现捕捉远程上下文信息、解决分割过程中的隐识别问题。判别器中的结节注意力机制通过3个独立的判别器加强分割结果图中结节的边缘信息和中心位置信息，使得分割结果无限接近标签图像。此外，本文还在判别器中使用多尺度像素损失和结节保留损失来协助生成器输出的肺结节分割图保持真实结节的形态。生成器和判别器两者在网络训练过程中进行动态的博弈，最终达到纳什均衡点[12-13]。

1 方法介绍

本文将生成对抗的思想引入肺结节分割问题中，提出基于生成对抗网络的双注意力肺结节分割方法。总体流程如图1 所示，对输入的肺部图像首先使用融入双注意力机制的类U-Net生成网络提取深度特征，得到结节的分割图，然后将标签图和分割图输入对抗网络进行学习以寻求两者的平衡点，最终得到与标签图像更相近的分割结果图。

图1 网络整体的流程

1.1 问题定义

令Pdata表示数据集，即包含肺结节的原始CT图像和肺结节分割标签图像。{I f,I p}表示从Pdata中提取的图像对，I f表示标签图像，I p表示标签图像对应的原始CT图像。假设给定一张原始肺部CT图像，理想的目标是训练一个生成器能够生成对应的肺结节分割图像，即Iˆf=G(Ip)，并使得生成的分割图像Iˆf无限接近于标签图像I f。为此，本文提出的DA-GAN有两个主要部分，即自注意力生成器（self-attention generator, SA-G）和结节注意力判别器（nodule-attention discriminator, NA-D）。自注意力生成器能够捕获长距离的上下文信息，产生的特征既包含高分辨率层的关键信息又包含低分辨率层的特征，该特征能更好地表示原始图像。结节注意力判别器包括3个独立的判别模块，每个模块针对肺结节的不同区域，该设计有助于加强I f和I p的局部一致性。SA-G与NA-D两者的结合使分割网络生成的结果更接近真实的肺结节标签图像。

1.2 融入自注意力机制的生成器

U-Net网络适用于医学图像的分割，且相较于同期其他网络分割效果较好。因此，本文分割网络的生成器（G）采用类似于U-Net[14-15]网络的结构，由编码器和解码器（encoder-decoder, E-D）组成，并在该结构中加入跳级连接以进行多尺度特征融合。

卷积层中的每个节点是通过对前一卷积层中的一个小的局部邻域计算得出的。想要得到图像长距离上下文特征信息仅仅通过对繁多的卷积层进行计算是比较困难和低效的。自注意力模块能够将特征图上单个位置的响应计算变为来自不同空间位置的所有特征的加权和，使得分割网络能够建立特征图中任意两个位置的长期依赖关系以及非线性转换关系。应用于肺结节分割中指：肺结节在胸腔内存在的位置以及肺结节区域的明暗程度有较大的差异，在生成器中引入自注意力模块，捕捉远程上下文信息，进而获得肺结节区域更好的特征表示。自注意力模块如图2所示。

图2 自注意力模块图（self-attention，SA）

对于给定的输入特征图X∈RC×H×W。首先将该特征图输入到两个不同的1×1卷积层，以生成两个新的特征映射A,B∈RC×H×W。然后把这两个新的特征映射A和B重塑成RC×N，N=H×W，分别记为A*和B*。然后再对(A*)T和B*进行矩阵乘法运算。最后，使用Softmax对权重进行归一化处理即可得到自注意力图谱Ma∈RN×N，如下：

式中：*——将三阶张量重塑为二阶张量操作；

σ——Softmax函数；

f(·)g(·)和——两个不同的1 × 1卷积操作。

生成自注意力图谱的同时，还需将原始的特征图X输入卷积层再将其重塑为RC×N，得到新特征图X′。 然后特征图X′乘 以自注意力图谱Ma后再将结果重塑为 RC×H×W。最后，对M乘以一个标量参数并将其与原始特征图X相加，得到自注意力特征图X′′∈RC×H×W。计算过程如下：

式中：i，j——特征图位置；

u——一个标量参数。

作为在教研工作中有着丰富经验的教师，王文娟不仅主动将山西的优秀经验引入到团场学校的教研工作中去，同时还十分注重传帮带工作。在教研工作期间，她引入小组合作教学、探究式教学模式在学校进行推广，还把山西长治市清华中学实施的“数学周周练、英语周周清”教学活动和初中的老师进行交流和传授，加强教学过程中的效果检查和落实，在教学成果上取得不错成绩。除了重点科目课程教研工作，王文娟老师还引入山西学校较为重视的新生入学教育、七年级转折教育、中考前的心理疏导教育课程，自己首先示范，并逐步带出一支由班主任组成的心理疏导队伍。

将其初始化为0，并在训练的过程中进行更新。自注意力特征图X′′包含空间上下文信息，能够突出肺结节特征区域，提高分割精度，有效解决了隐识别问题。

1.3 融入结节注意力机制的判别器

为了得到更加精确的肺结节分割图像，分割网络的生成器除了强调肺结节所处的局部特征之外，还必须突出肺结节的中心位置和边缘细节。为此，提出了一种新的结节注意力机制，即额外采用两个与Df判别器协同作用的“分割指引判别器”，这两个分割指引判别器分别关注肺结节的不同局部区域。即将肺结节的中心和边缘指定为两个局部区域，并对每个区域分配一个区域判别器（Dc和Db）。各区域的判别器在各自区域内发挥作用，以提高最后的分割结果。融入结节注意力机制的判别网络损失函数构成图如图3所示。

图3 辨别网络损失函数构成图

受文献[16]启发，将肺结节分解为两个预定义区域。首先使用预先训练的模型作为现成的肺结节解析器fp，生成两个研磨图像。然后将研磨图像应用于肺结节原始图像，创建区域图像，其中低频区域Ic（即肺结节中心区域），高频区域Ib（即肺结节轮廓区域）。数学公式说明如下：

式中：Mc,Mb——肺结节的中心区域和轮廓区域；

⊙——两个向量按元素逐个相乘；

，——肺结节中心和轮廓的区域图像。

3个判别器（Df,Dc,Db）分别判别3种肺结节分割标签视图（If,Ic,Ib）和与之对应的区域视图（，，）。所有这些判别器都与生成器进行对抗性地训练。因此，本文提出的肺结节注意力机制由3个独立判别器的3个对抗性损失组成，如下：

1.4 生成器目标函数

1）肺结节保留损失。评价肺结节分割效果的一个关键方面是指生成分割图中肺结节形状完整性的保留能力。利用预先训练的肺结节识别网络提取关键性的特征表示，提高生成器保留肺结节区域的能力。在训练过程中肺结节识别网络采用AlexNet+MSPP网络架构[17]与其固定的权重，得到肺结节区域特征。肺结节保留损失定义为生成器生成的肺结节区域与真实的肺结节区域在倒数第二个全连接层的特征级差，如下：

式中：pi(·)(i∈1,2)——AlexNet+MSPP倒数第二个全连接层的输出特征；

|| . ||2——L2范数。

2）多尺度像素损失。采用多尺度像素损失来约束内容一致性。在生成器中，多尺度合成图像由不同层次的解码器输出，第i个样本的损失是多尺度合成图像与真实肺结节标签的绝对平均差，对应的数学表示如下：

式中：S——尺度的数量；

Ws和Hs——对应尺度S的宽度和高度。

3）总损失。目标函数是上述损失的加权总和：

其中，λ1，λ2是控制损失项权衡的超参数，在实验中分别设为5和0.5。

2 结果分析

2.1 实验数据及细节

本文的实验数据包括两个部分，第一部分是LIDC[18]中的数据集，第二部分是河南某合作医院的数据集。实验数据的LIDC（Lung Imaging Database Consortium）数据部分，排除了切片厚度大于2.5 mm的CT扫描图像，将剩余的888例肺部图像作为数据集，这888例CT图像中共包含1 186个结节，其直径范围在3.170 mm至27.442 mm之间。CT图像采集参数为150 mA、140 kV，平均层厚1.3 mm。河南某医院CT数据含有200个肺部疾病患者，150例被确诊为肺结节，每个患者平均含有150张CT片，因为可能出现多个切片属于同一结节的情况（表示不同方位的结节），所以，在 150×150 CT 图像中大概有3 060个结节。这些结节的直径范围为：1.3～25 mm，平均最大直径为 6.1 mm。医学专家对这些结节进行了诊断并确认，其中包含1 730个恶性结节和1 330个良性结节。将合作医院的数据和LIDC数据打乱，训练数据与测试数据分别为830例与208例，这208例测试数据（其中包含孤立型肺结节320组，包含胸膜牵拉型肺结节220组，包含磨玻璃型肺结节和血管粘连型结节大约各500组，以及其他类型结节30组）CT序列图像共31 200张，单张CT图像的大小为512×512。

在训练过程中，DA-GAN以原始CT图像作为输入数据，使用MSRA[19]方法随机初始化权值，在标准反向传播更新中，学习速率初始化为0.1，每完成2次迭代衰减0.5%，将每个批次的大小设置为32，初始动量值设为0.87。采取交叉验证策略评估本文分割网络的效果，在训练和测试数据集中采用相近的数据分布情况，以避免由于数据不均衡而引起对肺结节的过分割和欠分割。

DA-GAN网络搭建实验平台是Ubuntu 19.0，处理器为Intel(R) Core(M) i7-8770，主频3.40 GHz，内存16 GB，包括一张NVIDIA GeForce RTX3060显卡其显存为16 GB。

2.2 实验结果

2.2.1 定性分析

图4是本文提出的DA-GAN肺结节分割网络对孤立型结节、胸膜牵拉型结节、血管粘连型肺结节及磨玻璃型结节的分割结果。其中第一行为原始CT图像，第二行为医生手动标记的结果，第七行为本文方法分割结果。因为磨玻璃结节具有颜色较淡、形状多变的特性，使得较难分清血管和结节；血管粘连型结节由于血管的复杂性，很可能出现将小血管误认为结节的情况；所以对这两种结节进行分割时，结果大多不太理想。但是，从结果图来看，本文方法不论是对孤立型结节还是较难分割的血管粘连型结节和磨玻璃结节，得出的分割结果都有完整且清晰的边缘，并且与医生标注的分割结果相符。

图4 各类型分割结果图

2.2.2 定量分析

像素准确率（pixel accuracy，PA），类别平均像素准确率（mean pixel accuracy，MPA）,平均交并比（mean intersection over union, MIoU）[20]是三种常用的语义分割标准。通过这三个标准对本文方法进行评估。具体的计算方法如下所示：

由于肺结节分割属于一类语义分割问题（即只需从背景中分割得到肺结节），因此我们设k=1。pij表示在标签中本归为i类但被预测为j类的像素数量。pii与pji以同理解释。

表1数据展示了不同算法在不同类型肺结节上的表现。从表格中可以看出所有方法对孤立型肺结节均有较好表现，分割精度都很高，但是对于其他三类肺结节，表现差异较大。文献[8-11]这四种方法，对于血管粘连型肺结节和磨玻璃型肺结节过分割，说明这两种算法没能解决好“隐识别”问题，就会出现将非结节部分归为到结节的现象。相反，本文方法使用融入结节注意力机制的判别器，对肺结节先识别再分割，不仅强调肺结节所处的局部特征，还突出肺结节的中心位置和边缘细节，在一定程度上避免过分割的情况，从而解决“隐识别”问题。

综合分割结果图4和分割结果数据表1得出，相比较目前成熟的四种分割算法，本文方法对血管粘连型肺结节和磨玻璃型肺结节的分割结果最好，从表1得出，本文方法有最高的像素准确率、类别像素准确率和平均交叉比值，分别达到91.22%、91.4%、91.27%。不论是哪种类型的结节，本文算法的分割结果都接近于标签，边缘完整。

表1 各类型结节的结果值

3 结束语

本文设计的DA-GAN网络的主要创新之处和贡献：1）将自注意力机制引入以类Unet为主框架的生成器中，使特征图的每个位置融入长距离的相互依赖关系进而得到更具有辨识性的深度特征。2）设计了结节保留损失函数以及多尺度特征损失函数，改进肺结节分割过程中的隐识别问题。3）把肺结节分为中心局部区域和边缘局部区域，使用不同的判别器对这两个局部区域进行指引，最终使各个类型结节的分割结果具有明确的中心和清晰的边缘。经过对河南某医院数据和LIDC数据的测试，本文方法获得91.27%的准确率。

之后的研究计划是对分割出的各类型结节进行良恶性的判断，对良性结节的突出特征进行研究，分析其生长情况，掌握整个肺结节的生长速度和标志性特征，为阻止肺结节衍生为肺癌做早期的精准诊断和预防。