融合Vnet和边缘特征的肺结节分割算法

江悦莹，施一萍，翁晓俊，朱亚梅，邓源，刘瑾

1.上海工程技术大学电子电气工程学院，上海 201620；2.高博医疗集团上海阿特蒙医院医疗质量中心，上海 200003

前言

肺癌是癌症死亡的主要原因，2020年全球新增因肺癌死亡病例1 796 144 人，占所有癌症新增死亡病例的18%，是致死率第一的癌症［1］。肺结节性质的早期诊断对肺癌早期诊治、改善远期预后有重要意义，是临床研究的热点、临床工作的难点［2］。因此，对肺结节的自动分割方法进行研究具有十分重要的临床价值［3］。目前，深度学习广泛应用于医学图像处理领域并取得了成功［4］。Ronneberger等［5］提出了U-Net，采用编解码结构来提取出相应的特征。网络只需要少量的训练数据就可以有更高的分割准确率。高分辨率的特征可以从跳跃连接来与相应的上采样结合，可以更好地集成更加精确的肺结节信息；王磐等［6］提出基于双注意力机制的3D-UNet 肺结节分割网络模型，增加特征图的全局相关性以提高分割结果的精度，在肺结节分割上取得了不错的成绩；张倩雯等［7］将残差块结构和U-Net 网络结合形成新的网络ResUnet，并将ResUnet扩展成3D 结构用于对肺部图像分割，提取肺结节区域；Milletari 等［8］提出了Vnet，结构上和FCN、U-Net 采用了类似的编解码结构，是一种三维图像分割方法，在模型中引入一种新的目标函数，训练期间根据Dice 系数进行优化，以达到处理前景和背景之间强烈不平衡的状态，应用在肺结节分割中取得了更好的效果；钟思华等［9］还在Vnet的基础上提出了新的肺结节分割网络MSVNet，既保留了Vnet 的结构，又利用多尺度的方法，运用4个结构类似的子网络提取更多特征，然后通过深度监督策略进一步优化，从而减少假阳性的判断，提高网络的分割精度；Lee 等［10］提出一种针对医疗影像分割边缘部分的模型，提出边缘关键点检测算法，并将模块集成进编解码网络中，该方法可以加强网络对结构边缘特征的学习，提高分割精度。

在神经网络对肺结节的分割过程中，往往因为网络的分割特性无法保留肺结节的边缘结构特征。肺结节的边缘结构包含细小的血管和其他信息，其分割结果对后续进行肺结节良恶性的判断有着重要的意义［11］。本文以Vnet 为基础架构，采用文献［10］中的边缘关键点选择算法，结合空洞卷积改进边缘特征增强模块，用以保留重要的肺结节的结构边缘；同时改进残差空洞模块用于Vnet 的解码器部分；最后引入一种双重注意力机制，用于网络的瓶颈部分提取上下文信息。进而保留更多的边缘信息，提高肺结节分割精度。

1 相关理论

1.1 Vnet网络

本文所提出的算法网络结构是在Vnet 基础上进行改进，Vnet网络主要由4个编码部分、4个与之对称的解码部分和连接编-解码［12］模块的瓶颈部分组成。Vnet 对输入网络的图像进行一串连续的卷积操作，以从图像中提取相应的特征。在每一个编-解码模块完成卷积操作后，用适当的步幅改变特征图的分辨率，进行相应的压缩-还原操作［13］。网络的左侧由4个编码块连接成一条下采样路径对图像压缩，右侧则由对称的上采样路径对特征图进行解压还原，使输出的图像与输入网络的图像大小一致。

同时Vnet还模仿了残差块［14］结构，每一个编解码块的阶段输入，都会添加到该阶段的卷积层输出。这样可以使输入的特征图直接传播到更高层的网络中，一定程度上解决了网络的梯度爆炸和网络退化问题。

1.2 边缘特征增强模块（Boundary Feature Enhancement Block,BFB）

由于肺结节体积较小，在CT 图像中呈现边界模糊的问题，在分割中易对结果造成影响。因此本文引入边缘关键点选择算法，并结合空洞卷积［15］构造BFB，其结构如图1a 所示。首先，利用边缘关键点选择算法在肺结节真值图边缘选取n个关键点，并通过空洞卷积扩大感受野，获取不同领域的边缘特征，生成边缘关键点图；然后，运用交叉熵优化真值图和生成的边缘关键点图之间的损失；最后，利用生成的边缘关键点图保存边缘结构特征。

图1 边缘特征增强模块Figure 1 Boundary feature enhancement block

边缘关键点选择算法流程如图1b 所示。首先，利用传统的边缘检测算法从肺结节分割真值图SGT中提取到肺结节的边缘。在肺结节边缘中，随机选取n个点，设：

式中，c(Pn t)是从所选的点集Pnt中构造的边缘区域的函数。为了得到边缘关键点图，利用交并比（Intersection over Union, IoU）来测量边缘区域Snt=c(Pnt)与分割真值图SGT之间重叠区域的量。最后，选择IoU 值最高的边界点作为边缘关键点。所选的边缘关键点表示为：

所选的关键点集将转为边缘关键真值图。利用空洞卷积可以有限地对不同感受野的特征进行编-解码。BFB 输入特征为f i，设d sr表示扩张率为r，滤波器卷积核大小为s×s表示空洞卷积的卷积函数。将已经进行过编-解码的具有不同感受野的特征d rs(f i)在信号通道间并联。本文将空洞卷积扩张率依次设计为1、1、2、3、4。由此生成的边缘关键点图表示为：

通过交叉熵来优化和之间的损失，由此生成的目标函数定义为：

BFB 使用特征f i∈Rwi×hi×ci作为输入，其中wi、hi和ci分别表示第i个卷积块图像特征的宽、高和通道数据。采用残差块的结构，利用生成的来保存f i的边缘结构特征。BFB 保留的边缘特征可以表示为：

其中，保留的边缘结构信息特征V i∈Rwi×hi×ci。最后，V i被输入到第(i+ 1)个卷积块中。

1.3 空间－ 通道压缩激励（spatial and channel Squeeze&Excitation Block,sc-SE）模块

在Vnet 网络中，并不是编码器获得的所有特征都能够有效用于分割；同时，不同通道、空间位置的特征在分割中有不同的权重［16］。因此，本文引入sc-SE［17］的注意力机制，从通道和空间中得到更多精确的特征。sc-SE模块结构如图2所示。

图2 sc-SE模块Figure 2 Spatial and channel squeeze and excitation block

设每个通道的输入表示为：Z=[z1,z2,…,zn]，Zk∈RH×W，n为通道数。在通道注意力模块中，使用全局平均池化生成一个张量g∈R1×1×n，用来表示全局空间信息，则其第k个元素表示为：

在窖泥质量的技术评价过程中，评价指标体系中指标权重和分值的确定关系到整套评价体系的系统性和科学性。目前关于指标权重确定的方法有数十种[3]，根据数据来源不同，可以分为主观赋权法、客观赋权法和组合赋权法3类。其中主观赋权法研究比较成熟，它主要有专家调研法、最小平方和法、相对比较法以及层次分析法。本研究采用专家调研法确定各指标权重，结果见表2。

然后应用两个全连接层对通道进行编码：=其中δ(·) 表示ReLU 激活函数。通过sigmoid 层获得通道权重和输入Z相乘，得到通道特征Zc，σ()表示第i条通道的权重。

在空间注意力模块，输入可表示为：Z=[z1,1,z1,2,…,zi,j,…,zH,W]，Zi,j∈R1×1×n，i∈1,2,…,H，j∈1,2,…,W。然后采用卷积操作：q=Ws×Z，q∈RH×W，Ws∈R1×1×n×1，用于实现对空间的压缩并产生一个投影张量，产生的张量是空间位置所有通道的线性组合表示。最后将空间张量通过sigmoid层获得通道权重和输入Z相乘，得到空间特征Zs，σ(qi,j)表示空间(i,j)的权重。

通过添加通道注意力和空间注意力，得到了融合的特征表示为：

1.4 残差空洞模块（Residual Dilated Block,RDB）

在解码器部分，本文利用空洞卷积和Vnet 原本的残差结构，提出RDB作为模型解码器的基本模块，在解码器中使用混合空洞卷积代替Vnet原本的卷积层来捕获上采样特征映射的多尺度模式［18］。RDB 采用卷积核大小为3，扩张率为1、2、5 的3 个空洞卷积，其结构如图3所示。

图3 残差空洞模块Figure 3 Residual dilated block

在RDB中，空洞卷积为3和扩张率1、2、5与卷积核大小分别为3、5、11 所接受的感受野大小一致。这种连续的空洞卷积的设计获得了17×17的感受野，捕获了全局信息。此外，不同扩张率的空洞卷积可以捕获特征图中的多尺度信息，这有助于对肺结节这种小物体的精确分割。同时RDB 利用Vnet 的残差结构来避免梯度消失。设X为输入特征，Y为输出特征，HDC表示混合空洞卷积，则RAB输出为：

2 肺结节分割算法

2.1 本文BSR-Vnet算法

本文在Vnet 基础上改进的BSR-Vnet 算法结构如图4所示。与原本Vnet相比，本文在编码模块中利用边缘关键点选择算法和空洞卷积将BFB 集成进网络，用以保留更多边缘信息，得到更精确的分割结果；其次用sc-SE 引入空间注意力和通道注意力机制，代替Vnet 的瓶颈结构，提取非局部上下文信息；最后利用Vnet 原有的残差结构，使用混合空洞卷积构造RDB代替原本的解码器，用于扩大感受野，提取更多特征细节。

图4 BSR-Vnet结构Figure 4 BSR-Vnet structure

在BSR-Vnet 的左侧路径中，含有4 个相似的编码器。每个编码阶段执行1～3次卷积操作，对输入的图像进行非线性处理，提取相应的图像特征，将图像的通道数倍乘；然后经过BFB 层。编码器的BFB 层中，BFB1 为扩张率为1、2 的两个空洞卷积相并联；BFB2 为扩张率1、2、3 的3 个空洞卷积并；BFB3 为扩张率1、2、3、4 的4 个空洞卷积并联；BFB4 为扩张率1、2、3、4、5 的5 个空洞卷积并联。每个编码器经过BFB 后，将图像送入一个2×2×2 的卷积块，这个卷积块的作用是使特征图的分辨率减小一半，代替最大池化层［14］。这样的操作可以保证几乎不损失精度的前提下，减少网络的运算量，在训练期间使网络占用的内存更小，运算速度更快。

在网络的瓶颈部分，将sc-SE 模块代替原本的卷积层。BSR-Vnet最后一个编码器输出的带有边缘增强后的特征降维后作为sc-SE 的输入。sc-SE 得到的特征图尺寸更小、更易获得空间与通道的复杂信息，从整个图像的所有通道和空间中捕获注意信息［19］。通过注意模块分配权重后，将获得的上下文特征通过卷积层合并，然后将得到的特征图通过BSR-Vnet的上采样路径送入解码器处理。

在解码部分中，BSR-Vnet 网络利用RDB 反卷积操作增加后续网络的感受野，使输送进下一层解码器的特征图尺寸比上一阶段增大一倍［20］。同时网络加入了跳跃连接，把对应的编码器压缩的特征图复制过来，将两张相同大小的特征图堆叠在一起，以同样的大小输入解码器，可以对特征图进行特征融合，更好地利用网络提取到的特征。最后，将特征沿着网络继续进行3 次解码操作，再用1×1×1 的卷积操作将特征图压缩成双通道输出。

2.2 损失函数

医学影像分割常用的相似系数损失函数（Dice Similarity Coefficient Loss,DSC）［21］，其表达式为：

其中，X为网络的预测结果，Y为该区域的实际值。在BFB中，运用交叉熵损失函数。故本文损失函数表达为：

3 结果与分析

3.1 数据集及其预处理

本文选用公开的LIDC-IDRI（The Lung Image Database Consortium）数据集［22］，该数据集包括7个学术中心的1 018 例研究实例，排除了9 例切片间距不一致或切片缺失的病例。此外，为了截面数据方便分析，排除了截面厚度为3 mm 以上的121 例病例。最后筛选出888例可供使用的病例。

LIDC-IDRI 数据集标注过程中的第一阶段，由4名放射科医生各自独立标注所有病例；第二阶段，给每位医生提供其他3 名放射科医生标注的所有病例信息，每位医生独立检查自己的标记和其他医生的匿名标记。最终，这888例病例中包含的标注被分为≥3 mm、<3 mm 和非结节共3 类。每一种情况都有xml 标注文件。本文选取的888 例病例中包含1 186个肺结节，其中70%是训练集，30%是测试集［23］。

在对肺部CT 图像处理之中，由于肺的HU 值为-500 左右［24］，一般做法是将HU值在［-1 000,+400］内的区域保留，超出此范围的区域就可以认为与肺部疾病监测无关而舍去。由此本文在实验之前对LIDC-IDRI数据集进行相应的预处理。

预处理步骤为：（1）将CT 图像转化为二值图像；（2）实质到图像边缘之间的模糊部分移除；（3）根据xml 注释文件给图像贴标签；（4）保留两个最大区域的标签；（5）用半径为2 像素的圆对图像进行腐蚀操作，用来分离依附于血管上的肺结节；（6）利用半径为10 像素的圆对图像进行闭包操作，此操作用来保持结节附着在肺壁上；（7）将肺部掩膜中的小孔填满；（8）最后在输入图像上叠加二值遮罩。由上述步骤得到的图像如图5所示。

图5 肺部图像预处理过程Figure 5 Lung image preprocessing process

3.2 实验结果及分析

3.2.1 评价指标本文模型评价采用3个评价指标：平均交并比（mean Intersection over Union,mIoU）［25］，相似系数（Dice Coefficient,Dice）和准确率（Accuracy,ACC）。

mIoU是分割问题中常用的标准评价指标。应用于本文时，其计算的是真实肺结节区域与模型分割得到的肺结节区域的交并比。这个比例可以被重新定义为交集的数量除以总数量，包括真实正样本、错误负样本、错误正样本。按类计算最后取平均即为mIoU评价指标，用混淆矩阵表示为：

Dice 系数通常用于计算两个样本的相似度。用混淆矩阵可表示为：

ACC 是评估获得所有成果中目标成果所占的比率，用混淆矩阵表示为：

其中，TP（真阳性），表示实际为正样本，且预测结果为正样本；FP（假阳性），表示实际为负样本，但预测结果为正样本；FN（假阴性），表示实际为正样本，但预测结果为负样本；TN（真阴性），表示实际为负样本，且预测结果同样为负样本。上述指标用于肺结节分割结果的综合评估，它们的值越大代表分割结果越好。

3.2.2 BSR-Vnet与其他网络模型对比利用经典的编-解码结构分割网络与本文BSR-Vnet做对比。其性能如表1所示，可视化分割结果如图6所示。可以看到，在Dice系数下，本文方法较文献［8］提高1.73%，较文献［9］的方法提高0.54%；mIoU 系数较文献［8］的方法提高1.53%，较文献［9］的方法提高0.04%；ACC系数较文献［8］的方法提高3.02%，较文献［9］的方法提高1.15%。由于BSR-Vnet方法集成了边缘特征增强模块，对比基础Vnet的分割结果可以看到，在生成的关键点附近，保留了更多的边缘结构信息，尤其对于形状不规则的肺结节而言，和其他网络相比分割结果更加精确。

表1 不同网络模型分割结果对比（%）Table 1 Comparison of segmentation results among different network models(%)

图6 不同网络肺结节分割结果Figure 6 Segmentation results of lung nodules using different networks

3.2.3 BFB关键点数选择对比针对本文加入的BFB模块，本文对边缘关键点数量的选择进行对比，并将对比结果展示在表2中。可以看到，当点数选择过少，比如只选择两个关键点时，并没有得到预期的分割结果。如图7所示，当点数选择过多时，由于肺结节本身形态较小，反而每个关键点之间互相影响，提取的特征并不能全部有效地用于肺结节组织的分割。经实验结果表明，针对肺结节这种形态较小的肺部组织，选择5个边缘关键点可以得到更好的分割结果。

表2 不同边缘关键点数对比（%）Table 2 Comparison of segmentation results by selecting different numbers of key points(%)

图7 不同关键点数分割结果Figure 7 Segmentation results by selecting different numbers of key points

3.2.4 消融实验本文对BSR-Vnet 中加入的各个模块进行对比，将每个模块单独集成进Vnet中，采用箱型图模式对不同模块进行分析，Dice 系数箱型图、mIoU 系数箱型图、ACC 系数箱型图如图8所示。从箱型图中可以直观地看出，BSR-Vnet在mIoU系数和ACC 系数指标中上四分位数与下四分位数的距离较小，表明网络较为稳定。而只添加了BFB 的Vnet 网络较易受BFB 的影响，生成关键点位置和网络的结果有较大关系，当生成关键点位置好时表现不错、生成关键点位置差时表现提升较小，需要网络中添加其他模块提取更多特征，用以稳定网络训练结果。sc-SE 模块和RDB 能够有效结合上下文信息，提升分割精度，提取出更好的肺结节分割结果。

图8 不同模块评估系数箱型图Figure 8 Box diagrams of evaluation coefficients for different modules

4 结论

本文采用Vnet 作为基础网络，分别利用空洞卷积、残差块结构、边缘关键点算法搭建BFB 和RDB，并引入sc-SE 模块，将上述模块集成进Vnet 中构造BSR-Vnet，用于肺结节分割。采用BSR-Vnet 能提高肺结节分割精度，改善肺结节边缘模糊、边缘特征易丢失的问题。实验结果表明，BSR-Vnet在Dice系数、mIoU 系数和ACC 系数上较基础Vnet 都有不同程度的提高，便于后续对肺结节进行良恶性的判断与检测。