融合U-Net 3+和ACM的医学图像分割模型

刘国奇 ，宋一帆，蒋 优，茹琳媛

(1. 河南师范大学计算机与信息工程学院，河南 新乡 453007； 2.“教学资源与教育质量评估大数据”省工程实验室，河南 新乡 453007)

1 引言

医学图像中的器官和病变位置的自动分割，是临床研究的重要步骤。准确的轮廓提取是计算机辅助诊断在临床诊疗中能否提供可靠依据的关键之一[1，2]。

很多医学图像都存在灰度不均与和边缘不清晰的问题，比如皮肤镜图像和胸部X光图像均存在目标区域和非目标区域对比度低，以及灰度不均匀和边缘不清晰的问题。皮肤镜检查是常用的皮肤病变检测手段，对于皮肤病变的精确分割可以帮助医生快速定位病变区域。然而皮肤镜图像的病变和未病变区域的对比度低、灰度不均匀、边缘不清晰和尺度不一致等问题给计算机辅助诊断带来了挑战。此外，胸部X光片是常用的肺部疾病检测手段[3]。逐渐增高的肺部疾病发病率，使得精确分割肺部区域变得更加重要。然而在胸部X光片图像分割时面临与上述皮肤镜图像相似的问题。

近年来，许多图像分割算法被提出，活动轮廓模型(Active Contour Model，ACM)是经典的图像分割方法之一，也是目前医疗图像分割的常用方法。典型的活动轮廓模型是Chan和Vese[4]提出的模型(Chan-Vese，CV)，它是由轮廓线内外两个区域像素强度的全局差异驱动的。该模型对噪声不敏感，对模糊和具有不连续边缘的图像具有较好的鲁棒性。但是该模型对于具有弱边缘和灰度不均匀图像的分割效果不理想。

为了解决这一问题，Li等人[5]提出一种基于局部区域的用于灰度不均匀图像分割的模型(Local Intensity Clustering Property，LIC)。它利用图像不均匀的特性定义能量函数，能同时分割图像和估计偏置场。但是该模型每次演化都需要估计偏置场，时间复杂度高，并且对初始轮廓敏感。Huang等人[6]提出一种基于自适应尺度参数的非均匀图像快速水平集分割方法(Fast Level Set with Adaptive Scale Parameter，FLSAS)，在图像域内推导出最优分割平面，并设计了一种新的自适应尺度参数以准确估计偏置场，提高了轮廓的演化速度。然而此类模型只考虑了图像的局部信息，所以这类模型对初始轮廓敏感，而且容易陷入局部极小值。

针对上述模型的问题，Li等人[7]提出距离正则化水平集演化方法(Distance Regularized Level Set Evolution，DRLSE)，能够保持期望的水平集函数的形状，有限差分格式可以使用较大的时间步长来减少迭代次数，同时保证了足够的数值精度。Zhi等人[8]使用显著性项作为外部能量，提出一种层次结构水平集演化模型(Saliency Driven Region-edge-based Top Down Level Set，SDREL)，增强了模型从复杂背景中提取目标的能力，对初始化不敏感，并且具有较快的收敛速度。但该模型依赖显著项，受图像灰度方差的影响较大，难以处理灰度不均匀图像。Liu等人[9]提出基于全局和局部符号压力的活动轮廓模型(A Novel Active Contour Model Guided by Global and Local Signed Energy-Based Pressure Force，GLSEPF)，通过计算曲线内、外能量的能量差以及局部邻域内逐像素的能量差，可以处理不均匀和有噪声的图像。但该模型只考虑了图像的灰度信息，对于背景较复杂的自然图像分割效果不理想。

随着卷积神经网络(Convolutional Neural Networks，CNNs)的发展，涌现出许多分割模型，使得卷积神经网络在医学图像分割中得到广泛应用[10，11]。Ronneberger等人[12]提出U-net网络结构，在医学图像分割领域表现优秀，许多研究者采用U-net网络结构做医学图像分割[13]，并在U-net网络结构基础上进行改进。Zhou等人[14]提出U-Net++网络结构，通过设计具有嵌套和密集跳跃连接的结构，实现精度提升。然而，它没有充分利用多尺度中的信息，仍然有很大的改进空间。于是，Huang等人[15]提出U-Net 3+网络结构，它利用全尺度的跳跃连接和深度监督，充分利用多尺度特征从而提高分割精度。

卷积神经网络对于总体分割结果有了显著提升，但网络模型训练需要大量数据集[16]。并且，这些算法的结果普遍存在分割边缘粗糙的问题。虽然使用深度学习方法，可以找到目标的位置和大致轮廓，但是并不能精确定位一些目标的边缘。对于医学图像中常见的目标弱边缘和不均匀的问题，神经网络的方法很难找到精确的目标边界。

针对活动轮廓模型对初始轮廓敏感、在复杂背景图像上分割不精确，以及U-Net 3+网络在小样本数据上的分割精度不理想的问题。本文结合两种方法的优点，提出了一种融合端到端卷积神经网络和活动轮廓模型的医学图像自动分割方法。本文的主要贡献如下：

1)提出一种新的能量函数，它由拟合能量项、保真项和正则项组成。首先通过U-Net 3+网络获得先验信息，使用得到的先验信息作为拟合能量项构造新的能量函数，约束曲线演化，有效提高模型对噪声和初始轮廓的鲁棒性。

2)利用边缘停止函数作为拟合能量项和保真项的权重，引入图像边缘信息，补充神经网络在训练过程中弱化的边缘特征，优化分割结果。

3)在皮肤病变和胸部X光图像上与现有分割方法进行实验对比，验证了提出模型的有效性。

2 相关模型

2.1 CV模型

使用I表示一个输入图像，用水平集函数φ(x，y)表示图像区域Ω上的曲线为

C={(x，y)|φ(x，y)=0}

(1)

对于目标分割任务来说，需要找到一个边界曲线C，将目标从背景中分离出来。图像的前景区域和背景区域即曲线C的内部和外部分别被表示为{(x，y)∈ΩI|φ(x，y)>0}和{(x，y)∈ΩI|φ(x，y)<0}。

使用平滑的Heaviside函数

(2)

其中，ε是一个正常数。

H(φ(x，y))的导数为

(3)

在CV模型中，通过演化曲线C来最小化能量函数

E(c1，c2，C)=μ·Length(C)+ν·Area(C)

(4)

(5)

(6)

其中，Length(C)和Area(C)分别是曲线C的长度和曲线C内的面积，μ、λ1、λ2是正参数，用于调节各部分权重，c1和c2分别是曲线C内部和外部区域的平均灰度值。

根据式(4)求E对φ的变分导数，可以得到

(7)

CV模型使用图像全局信息，对噪声不敏感。CV模型使用曲线C内部和外部的平均灰度值，对于目标边缘检测收缩率高。但是医学图像边缘模糊，CV模型会忽略模糊边缘。CV模型对于目标和背景灰度值相似的图像分割效果不佳，并且存在收敛速度慢、效率低、对初始轮廓位置敏感的问题。

2.2 U-Net 3+

U-Net 3+采用端到端的网络结构，分为下采样阶段和上采样阶段，引入全尺度跳跃连接和深度监督充分利用多尺度特征。网络结构如图1所示。全尺度跳跃连接结合不同尺度特征图中的高级与低级语义信息；而深度监督从多尺度聚合特征图中学习层次表示。因此，U-Net 3+网络结构适用于医学图像中不同尺度的目标。但由于采用多个上采样操作，导致弱化目标边缘特征，使得分割结果边界粗糙。

图1 U-Net 3+网络结构

3 提出的模型

本节详细介绍提出的方法，该方法的流程图如图2所示。本文融合端到端卷积神经网络和活动轮廓模型提出一个新的能量函数，引入拟合能量项约束曲线演化。首先通过U-Net 3+网络模型获得先验结果，把该结果作为能量函数的拟合能量项限制曲线演化。新的能量函数定义如下

E(φ)=g(EFit(φ)+Elm age(φ))+ERegular(φ)

(8)

3.1 拟合能量项

传统的活动轮廓模型不能很好处理灰度不均匀图像，且曲线在演化过程中，易受到噪声的干扰，导致曲线不能朝着目标边界的方向演化。本文使用由神经网络得到的先验信息作为拟合能量项约束曲线演化，使模型能够解决灰度不均匀问题且提高对噪声的鲁棒性。该能量项定义如下

(9)

(10)

(11)

使用拟合能量项可以加速模型收敛，增强模型对噪声的鲁棒性，并且能够克服传统模型对初始轮廓敏感的问题。

3.2 Elm age(φ)能量项

使用CV模型中的一部分作为提出能量函数的保真项Elm age(φ)：

(12)

其中，I是输入的原始图像，c1和c2分别是曲线C内部和外部区域的平均灰度值：

(13)

(14)

保真项结合权重g能够更好地利用图像边缘信息，使曲线朝着目标轮廓的方向演化，有助于处理具有弱边界的图像。

3.3 正则化项

ERegular(φ)是所提出能量函数的内部能量，由长度正则项和梯度正则项这两部分组成

ERegular(φ)=μL(φ)+νP(φ)

(15)

其中，

(16)

(17)

第二项P(φ)用来刻画活动轮廓模型与符号距离函数之间的差异。正则化项能够使曲线始终保持平滑。

3.3 能量函数数值求解

能量的最小化可以看作是沿着能量下降的一种演化，随着时间参数t的变化，曲线演化可以定义为：

=-λ1g(I-c1)2+λ2g(I-c2)2-β1g(F-f1)2

(18)

对于t∈{1，2，…，T}，φ(x，y)根据式(19)更新：

(19)

最后，所提模型的算法展示在算法1中。

算法1 提出模型的算法流程

输入：原始图像I，设置参数λ1、λ2，β1、β2

输出：分割结果φT

a)通过U-Net 3+网络得到先验信息U

b)设置初始轮廓φ0，通过式(7)计算边缘停止函数g

c)通过式(10)和(11)计算u1和u2

d)通过式(13)和(14)计算c1和c2

e)根据式(19)演化

f)检查是否满足演化终止条件，如果达到演化终止条件，则停止演化，输出分割结果φT；否则，转向步骤c)。

图2 本文提出方法的流程图

4 实验结果与分析

4.1 参数设置与度量方法

本文在具有Intel(R) Core(TM) i7-8700 CPU @ 3.70GHz处理器、8GB NVIDIA GeForce GTX 1080Ti GPU的设备上进行实验。实验统一将数据集分辨率设置为512×512。在神经网络训练阶段，使用Adam优化算法更新网络权重，网络的初始学习率设置为0.001，动量(momentum)设置为0.9，epoch为40。本文提出的能量函数使用λ1=λ2=1，β1=β2=1。对比模型的参数均为默认值。

实验通过Dice系数、Jaccard相似度、精确度(Precision)和召回率(Recall)四项指标对现有模型和本文提出模型的性能进行评估

(20)

其中，TP、FP、TN和FN分别为真阳性、假阳性、真阴性和假阴性。令GT、RS和N分别表示Ground Truth、分割结果和图像中的总像素数，则

(21)

以上四个指标：Dice系数、Jaccard相似度、精确度和召回率的值越高，说明分割效果越好。

4.2 皮肤镜病变图像实验结果

实验所用的数据为ISIC2017皮肤镜病变图像，该数据集由国际皮肤成像合作组织(The International Skin Imaging Collaboration，ISIC)提供[17]。本文所提出的模型在皮肤镜病变图像上的分割结果如图3所示。提出模型的分割结果用红色曲线表示，Ground Truth用绿色曲线表示。图3中各图像分割结果对应的评价指标如表1所示。

图3 本文提出的模型在皮肤镜病变图像上的分割结果

表1 本文提出模型的定量实验结果

序号1到6分别对应图3中的皮肤病变图像。

所提模型和其它网络模型的可视化对比结果如图4所示。从左到右，第1列是原始图像及对应的Ground Truth，第2列到第5列分别是U-Net网络模型、U-Net++网络模型、U-Net 3+网络模型及本文所提出方法的分割结果。皮肤病变图像普遍存在目标与背景灰度不均匀的问题，并且病变区域颜色和正常皮肤颜色相近，特别是病变区域存在弱边界，给目标分割带来了难度。本文所提出的方法能够有效解决图像灰度不均匀和弱边缘的问题，可视化结果如图4第5列。表2给出了所提模型与其它网络模型的定量比较结果。可以看出，与其它方法相比，本文所提模型具有更高的平均Dice值，为0.9123，与U-Net、U-Net++和U-Net 3+模型相比，分别提高了7.11%、13.84%和3.36%。结果表明，本文提出的模型能较好地分割灰度不均匀和弱边缘的图像。该模型的结果会受到U-Net 3+分割结果的影响，但模型中的约束项会使这种影响最小化。如图4第4列，先验分割结果粗糙且不精确，但在最后一列中，本文提出的模型将轮廓改进为精确的边界。

表2 不同方法对300幅皮肤病变图像进行定量比较实验

图4 提出模型和其它网络模型的可视化对比结果

图5给出了CV模型、LIC模型、FLSAS模型、DRLSE模型、SDREL模型、GLSEPF模型和本文提出模型的可视化比较结果。第1行到第10行显示了10张不同的皮肤病变图像，第1列显示了原始图像以及绿线标注的Ground Truth。第2列是本文提出模型的结果。第3列是CV模型的结果，由于CV模型假设曲线内部和外部平均灰度值分别相等，因此受目标与背景灰度影响较大，例如(e)行，图像背景颜色与目标边缘类似，导致曲线过度向内演化；(f)行的图像中目标周围存在干扰信息，使曲线无法继续向目标边缘演化。第4列和第5列分别是LIC模型和FLSAS模型的结果，由于模型基于图像局部信息，忽略目标弱边缘，如(b)行所示。因此这两种模型无法准确地找到目标的位置，如FLSAS 模型的第(h)行。第6列是DRLSE模型的结果，该模型能够处理图像灰度不均匀的问题，但对于弱边缘问题明显不够好，如(c)行所示。SDREL模型的结果在第7列给出，该模型也存在与前面模型相似的问题，对噪声敏感，如(f)行所示。最后一列显示了GLSEPF模型的结果，该模型对初始化敏感，如图(a)到(d)所示，模型陷入局部最优。而本文提出的模型通过使用卷积神经网络提供的先验信息，能够准确定位皮肤病变位置，得到平滑准确的分割结果。本文提出的模型与其它方法的定量比较结果如表3所示。可以看出，本文提出模型的平均Dice值、Jaccard相似度、Precision和Recall四项指标均高于其它六种模型。与CV模型、LIC模型、FLSAS模型、DRLSE模型、SDREL模型和GLSEPF模型相比，本文提出模型的平均Dice值分别提高了28.69%、42.65%、55.19%、17.48%、18.09%、40.68%、25.56%。

图5 其它模型和本文所提模型在皮肤病变数据集上的可视化比较结果

表4和表5给出了上述模型在曲线演化部分的计算时间。表4中序号1到10分别对应图5中第(a)到(j)行的十张图片。CV模型演化需要的时间相对较长，而本文提出的模型、LIC模型和SDREL模型所需的计算时间相对较少。虽然这三种模型的计算时间相差不大，但我们的模型结果明显优于LIC模型和SDREL模型。表5给出了上述模型在70张皮肤病变图像上的平均计算时间。本文提出模型的平均计算时间相对最少，而且由表3可以看出该模型分割效果优于上述其它模型。

表3 不同模型对70张皮肤病变图像进行定量比较实验

表4 本文提出的模型与其它活动轮廓模型在曲线演化部分的计算时间(单位：秒)

表5 不同模型在70张皮肤病变图像上的平均计算时间(单位：秒)

图6 本文所提模型在不同初始轮廓下的分割结果

图6显示了本文提出模型对初始轮廓位置鲁棒性测试的实验结果。图6(a)中初始轮廓设置在目标内部；图6(b) 中初始轮廓设置在目标和背景交界处；图6(b) 中初始轮廓设置在目标外部。图6第1列、第3列和第5列显示了原始图像及不同位置的初始轮廓；第2列、第4列和第6列显示了本文所提模型的分割结果。

4.3 胸部X光片图像实验结果

实验所用胸部X光片数据集来自结核病标准数字图像数据库，由美国马里兰州国家医学图书馆与中国深圳广东医学院深圳第三人民医院合作创建[18-20]。该数据集总共有566张图像，数据标注由乌克兰国立技术大学“伊戈尔·西科斯基基辅理工学院”的信息与计算机工程学院计算机工程系的老师和学生提供。图7显示了本文所提模型与其它模型对胸部X光片数据集进行实验的可视化比较结果。第1列显示了胸部X光片原始图像以及绿线标注的Ground Truth；第2列是本文提出模型的分割结果；第3到8列分别显示了CV模型、LIC模型、DRLSE模型、FLSAS模型、SDREL模型和GLSEPF模型的分割结果。这些模型的平均Dice值、Jaccard相似度、Precision和Recall如表6所示。量化评估显示本文模型的分割精度优于传统的活动轮廓模型；虽然最新的模型FLSAS、SDREL和GLSEPF的分割精度有所提高，但评价指标显示分割准确率依然低于本文提出的方案。本文提出模型的平均Dice值、Jaccard相似度、Precision均高于其它模型，Recall仅次于DRLSE模型。这是因为，DRLSE模型将两个目标分割成一个，并且分割区域完全包围这两个目标，在计算Recall时具有优势。但该模型的其它评价指标均低于本文提出的模型。

表6 不同模型对60张胸部X光片图像进行定量比较实验

图7 其它模型和本文所提模型在胸部X光片数据集上的可视化比较结果

5 结论

本文通过卷积神经网络获得先验信息，使用得到的先验信息作为拟合能量项构造新的能量函数，从而提出一种将卷积神经网络与活动轮廓模型方法相融合的图像分割算法。所提出的拟合能量项适用于一般的活动轮廓模型，并将提出的模型应用于皮肤病变和胸部X光片图像分割。实验结果显示，该模型在皮肤病变和胸部X光片图像上相较其它方法更精确。定量实验结果表明，该模型的分割结果优于经典的和最新的活动轮廓模型，对神经网络的分割结果有一定的改进。