一种编码约束的医学图像分割方法

杨红菊，牛俊峰，陈庚峰

1(山西大学 计算机与信息技术学院，太原 030006) 2(山西大学 计算智能与中文信息处理教育部重点实验室，太原 030006)

1 引 言

随着医学影像的发展，图像分割在医学上起到了重要的作用，医学图像分割，就是把医学图像分成一系列具有独特意义的特定区域，并提取出目标区域的过程.由于人的个体差异以及人体组织结构的复杂性，给医学图像分割在一定程度上带来困难，因此，对这一领域的研究很有意义.传统的方法在过去取得了良好的分割结果，如一种基于区域图像分割的阈值分割法，由于其计算简单和性能稳定使其成为广泛使用的分割技术[1].边缘检测法是通过检索目标区域的边界，进而实现对图像分割的方法[1].区域提取方法是通过区域生长组合相似的像素，来形成分割区域[2，3].由于这些方法大多数是针对特定问题而设计的，缺少普适性.

此外，深度学习技术在医学图像分割上也有了突破性的进展，如Long等人[4]提出了不含全连接层的全卷积(fully conv)网络(Fully Convolutional Networks，FCN)，通过输入任意大小的图像数据，同时增大数据尺寸的反卷积(deconv)层来输出精细的结果.Ronneberger等人[5]提出的U-Net网络利用编码解码结构在医学图像分割领域取得了良好的效果，成为了医学图像分割上一个炙手可热的网络[6]，因此研究者们大多数采用U-Net网络结构或在其网络结构基础上改进，来处理医学图像分割问题，Iek等人[7]提出的3D U-Net利用3D卷积替换2D卷积，输入部分2D切片序列来实现对3D图像的分割.文献[8]和文献[9]分别是将残差连接块和密集连接块替换U-Net网络结构当中的子模块，从而达到良好的分割效果.Attention U-Net[10]提出了一种用于医学成像的新型注意力模型，通过自动学习聚焦于不同形状和大小的目标结构来实现对医学图像的分割.nnU-Net[11]和UNet++[12，13]将不同尺寸U-Net的长跳跃连接替换为更短更密集的连接来拓宽网络达到最优效果.虽然文献[4-13]的网络模型在医学图像分割上取得了不错的分割效果，但下采样特征提取方法免不了会丢失部分语义信息，从而导致网络的特征编码能力下降.

医学图像分割本质是像素的二分类，使用Sigmoid[14，15]激活函数当前还是一种主流，而Sigmoid激活函数可能会在训练的过程中出现梯度消失或者是弥散，从而导致网络编码能力下降.利用逐层预训练的方法，在一定程度上解决深层神经网络的训练问题，尽管能够缓解梯度消失，但增加了训练成本并使训练过程复杂化.通过引入relu，dropout等技巧代替了激活函数以及深度残差学习的提出把高阶特征和低阶特征做了融合.Lin等人[16]通过添加编码层更有效的学习到图像的二进制特征，设定阈值来获得输出，以此提高效率.Yang等人[17]提出在编码层添加约束的方法来提高特征的编码能力.Zhu等人[18]提出DSTH方法，通过探索辅助上下文模态来直接扩充离散图像哈希码的语义，对哈希码施加离散约束，比特不相关约束和比特平衡约束，保证了语义转移并避免信息丢失.本文借鉴编码约束在图像检索领域的方法，针对医学图像分割特性，在全卷积网络的基础上，从像素特征的表达角度，提出编码约束的方法，通过对像素特征添加约束，使像素特征的编码能力提升，进而提升特征的表达能力，结合相应的约束损失函数对网络进行训练.不仅可以提升网络编码能力，能预防梯度消失，而且还能取得更好的分割结果.

2 编码约束网络设计

编码约束网络是以U-Net和FCN等常用的语义分割网络架构为基础，在网络的最后一个1×1的卷积层，通过激活函数(Sigmoid)把1×1卷积层得到的编码特征映射在0-1之间，该网络主要是针对Sigmoid输出的数据特征进行约束操作，通过提升编码特征之间的区分度进而提升网络编码能力，同时也能预防网络在训练时可能由于激活函数产生的梯度消失.

2.1 约束FCN网络

语义分割就是将像素按照图像数据中表达的含义来进行分组或者分割.FCN全卷积网络从全新的角度去分析解决语义分割的问题，可以输入任意大小的图像，利用上采样的方法将特征图还原到原始输入图像的大小来实现对图像像素的预测分类.该网络用卷积层替换了CNN中全连接层，网络输出是多维矩阵或是图，具体来说，对输入的图像进行卷积操作进行特征提取，将第3块和第4块卷积后的特征图保留，最后一个卷积块得到的特征图上采样还原到原始图像大小，通过跳级结构将第3块卷积和第4块卷积保留下来的特征图进行融合，来补充图像中的细节，最后完成整个图像的还原.通过结合不同层结果的跳级结构，同时确保鲁棒性和精确性.研究者们利用跳跃模块和反卷积块，对FCN网络结构进行改进，如FCN32s，FCN16s，FCN8s结构[19].由于FCN8s网络的分割效果突出，所以本文中的编码约束网络结构是在FCN8s结构的基础上，添加了编码约束层对输出的特征进行约束，进而提高网络的编码能力.实验采用的FCN8s网络如图1所示.

图1 约束FCN网络结构图Fig.1 Restricted FCN network structure diagram

2.2 约束U-net 网络

U-Net的网络结构是FCN全卷积网络结构的一种变体，并且是对称结构，包含有下采样，上采样和跳跃连接3部分.下采样的过程使用卷积池化操作来提取图像数据的特征图，上采样将下采样得到的特征图恢复到原始图像的分辨率大小，跳跃连接将每个下采样过程中得到的特征图像素Concatenate到对应的上采样层中，用于特征的融合，提高了分割结果的准确性.本文实验的基本架构是由U-Net网络结构组成，如图2所示，包含有两部分，左半部分是下采样的过程由4个卷积块组成，卷积层都采用步长为1的3×3卷积核进行卷积，每个卷积层紧跟一个ReLU非线性激活函数，用于提取图像特征；右边上采样部分由4个反卷积块来还原图像的分辨率，包含一个上采样层和两个卷积层.Skip-Connection部分将下采样得到的特征与上采样得到的特征进行级联操作.编码约束是在最后一个卷积层得到特征，利用激活函数将其映射到0-1之间，对输出的特征进行编码约束.进而来提升网络的编码能力和分割效果.在之前的工作中，提出了一种基于特征约束编码的图像检索方法(Deep Constraint Binary Code，DCBC)[20]，见2.3节，通过在第一个全连接层后添加一个维度较低的编码约束层，来提升图像特征的区分度，从而提高特征的表达能力.

图2 约束U-Net网络结构图Fig.2 Constrained U-Net network structure diagram

1https：//www.kaggle.com/kmader/finding-lungs-in-ct-data/data

2https：//competitions.codalab.org/competitions/17094#learn_the_details-overview

2.3 损失函数

本文采用的损失函数由交叉熵损失，编码约束损失和Dice损失3部分组成.

1)交叉熵损失 ：设z为样本标签，p为预测为正类的概率.其中1表示正类，0表示负类，交叉熵损失就是预测值和真实值之间的误差，如式(1) 所示:

LC=-[z×log(p)+(1-z)×log(1-p)]

(1)

(2)

上式虽然能够很好的提高编码层特征之间的像素区分度，却也会使得特征值全部趋向于0或1这种特殊情况.所以本文提出计算最小化编码层特征值的均值与中立状态之间的欧氏距离来解决这种情况，如式(3)所示，mean是取均值操作.联合式(2)和式(3)得到本文中提到的编码约束，如式(4)所示:

(3)

(4)

3)Dice损失 ：在本文中Dice系数用来计算分割图像与标签之间的相似度，取值范围在[0，1]之间.如式(5)所示，其中ε是超参数，避免分子为 0.

(5)

综上所述，本文采用的损失函数由交叉熵损失LC，Dice损失和编码约束Lcon组成.如表达式(6)所示，其中β是一个参数，表示约束对应的损失权重，本文通过实验效果来选定该参数的值.

L(w；β)=LC+LD+βLcon

(6)

3 实验分析

本章实验基于深度学习框架Pytorch实现，具体训练参数如下：GPU使用的是NVIDIA1080ti的显卡，采用SGD梯度下降优化目标函数.训练迭代10次，每个批处理大小为 1，学习率为0.0002，momentum为0.9，权重衰减因子为0.0005.

3.1 实验数据

Finding lungs in CT数据集1：2017年由Kaggle发布的，取其中的二维肺部医学图像进行实验，包含有4名患者的肺部图像数据，二维肺部数据集共有267张图像，并有对应的分割标签.由于样本量相对较少，在训练前先采取旋转﹑偏移﹑剪切﹑缩放﹑水平翻转进行数据扩增，扩增后数据集共有1601张图像，包含有训练集798张图像，测试集267张图像，大小为256×256，如图3所示，是增强后选取的测试图像.

图3 随机选取的测试图像Fig.3 Randomly selected test image

数据集Liver CT是LiTS-Liver Tumor Segmentation Challenge上的数据集2，其中取二维肝脏医学图像进行实验，包括有400张测试图片及相对应的标签，20张测试集图像，大小为256×256.

3.2 编码约束的特征直方图

基于U-Net编码约束网络，为了验证编码约束提升网络的编码能力，通过实验我们得到了不同区间内编码层特征的直方图(如图4和图5所示)，以及不同特征值区间内像素个数统计表(如表1所示)，两幅图中的(c)、(d)、(e)分别表示在[0，0.3)，[0.3，0.7]，(0.7，1]区间内的特征分布.表1中添加编码约束后在区间[0，0.3)像素个数增加，在图4(c)和图5(c)中显示经过编码约束后的特征分布区分度更加明显.在区间[0.3，0.7]内，从表1中可以看出添加编码约束后像素个数上升，图4(d)和图5(d)中发现编码约束后特征分布增加，可以看出特征的区分度更加明显.图4(e)和图5(e)在区间(0.7，1]上分布减少，整体上可以看出编码约束层可以增强图像特征，在保证特征区分度的情况下，规范了编码值，从而提升了网络的编码能力.

表1 图(A)和图(B)在U-net和编码约束U-net上的像素个数统计Table 1 Statistics of the number of pixels on the U-net and the coding constraint U-net in figure(A)and figure(B)

图4 编码约束U-net图3(A)特征直方图Fig.4 Encoding constraint U-net fig.3(A)feature histogram

图5 编码约束U-net图3(B)特征直方图Fig.5 Encoding constraint U-net fig.3(B)feature histogram

基于FCN8s编码约束网络，实验得到其编码层的特征直方图如图6和图7所示.从图中可以看出，图像特征分布几乎

图6 编码约束FCN图3(A)特征直方图Fig.6 FCN coding constraint fig.3(A)feature histogram

图7 编码约束FCN图3(B)特征直方图Fig.7 FCN coding constraint fig.3(B)feature histogram

都在0.5附近，添加了编码约束层后特征的区分度更加明显且分布逐渐向两端延伸，在一定程度上提升了特征编码能力.在不同特征值区间像素个数的统计表，如表2所示，FCN8s编码约束网络使得像素个数在区间[0.3，0.5)增加大约21000，在区间[0.5，0.8]内增加约26000个像素，表明编码约束层的有效性.

表2 图(A)和图(B)在FCN和编码约束FCN上的像素个数统计Table 2 Statistics of the number of pixels on FCN and coding constraint FCN in figure (A) and figure (B)

3.3 肺部数据集编码约束的Dice系数及结果

如表3所示，表示不同的方法在添加编码约束前与添加编码约束后的Dice系数，通过数值数据表明添加了编码约束条件后有一个更高的Dice系数，这是因为在对编码进行特征约束的同时也考虑到所产生的特征损失.表明本文提出的方法在全卷积网络医学图像分割上效果得到了提升.

表3 编码约束U-net和FCN8s在总样本上的平均Dice系数Table 3 Average dice coefficients of encoding constraints U-net and FCN8s on total samples

为了进一步验证本文模型的有效性，在Finding lungs in CT数据集随机抽取的6张测试图片，并对测试结果进行可视化处理，如图8所示.从左到右依次为无编码约束层的预测结果图、有编码约束层的预测结果图和相对应的标签图，从图中可以直观地看出，在添加了编码约束层比无编码约束层的分割效果好.

图8 肺部预测结果图Fig.8 Lung prediction result map

3.4 肝脏数据集编码约束的Dice系数及结果

表4所示，在肝脏数据集上进行了相同的实验，发现添加了编码约束后的网络分割Dice系数更高.如图9所示，在肝脏数据集随机选取的6张测试图片，从图中可以看出，在添加了编码约束后分割的结果更加平滑，效果更好.表明本文提出的编码约束方法能够有效地提升网络的分割效果.

表4 编码约束不同网络在总样本上的平均Dice系数Table 4 Average dice coefficient different network coding constraints on total sample

图9 肝脏数据预测结果图Fig.9 Liver data prediction result graph

4 结 语

本文提出的基于编码约束的医学图像分割方法，在全卷积网络框架FCN和U-Net上做了改进，加入编码约束层，提高编码层特征的表达能力，采用编码约束更新模型参数，解决因使用Sigmoid激活函数而导致的梯度消失问题，提升卷积神经网络的特征编码能力，通过在不同的网络上进行实验验证，表明本文模型能够有效地增强特征的分布，增强图像特征，提高编码能力，进而提升分割性能.在Finding lungs in CT数据集和肝脏数据集上分别验证了本文编码约束的有效性.