基于自适应分割与偏移场估计的活动轮廓模型

蔡 青, 刘慧英, 孙景峰, 周三平, 李 靖

(1. 西北工业大学自动化学院, 陕西 西安 710072; 2. 西安交通大学人工智能与机器人研究所,陕西 西安 710049; 3. 西北工业大学机电学院, 陕西 西安 710072)

0 引 言

图像分割是计算机视觉领域的一项基本而又关键的技术[1],其在现实数字世界中扮演着重要角色,例如:视频监控[2]、目标跟踪[3]和医学图像分割[4-7]等。受成像条件和成像设备的影响,所得图像会呈现不同程度的灰度不均匀,严重影响了图像的分割效果。鉴于活动轮廓模型参数少、稳定性好等优点,其已逐渐成为分割灰度不均匀图像的必选方法。现存的活动轮廓模型大体可分为边缘型[8-12]和区域型[13-18]两类。

边缘型利用图像梯度构造能量泛函,用于分割边界辨识度高的图像。例如,文献[10]提出的几何积分模型,通过最小化边界和图像梯度间夹角的方式提出模型,完成目标分割。与边缘型不同,区域型则利用图像区域信息构造能量泛函,实现了对弱边界图像的分割。例如,文献[13]提出的Chan-Vese (CV)模型,利用图像全局信息引导图像分割,完成了对边界辨识度低图像的分割。然而,该模型对灰度不均匀图像不起作用。为此,文献[14]通过将图像局部灰度信息融入CV模型,提出了著名的区域可扩展拟合(region-scalable fitting, RSF)模型,实现了对灰度不均匀图像的分割。但是,局部信息的引入降低了模型对初始轮廓的鲁棒性和分割效率。

为此,本文提出了一种新型混合活动轮廓模型,其具有以下创新点:

(1) 通过对图像进行模糊聚类分析,构造了一种带有模糊隶属度函数的新型偏移场估计模型,成功地提取了图像的偏移场,提高了模型的分割准确度。

(2) 基于图像信息熵构造的自适应尺度算子(adaptive scaling operator, ASO),实现了对模型尺度的自适应调整,提高了模型的鲁棒性和分割效率。

对灰度不均匀图像的分割结果表明,本文模型对初始轮廓和不同种类噪声具有较好的鲁棒性。此外,与经典模型的对比实验表明,本文模型在分割速度和准确度上具有较大的优势。

深度学习是目前比较流行的算法,本文基于以下3点考虑未与其进行比较:

(1) 深度学习的训练需要大量带有标注的训练样本[19-20],而本文所用的灰度不均匀图像,数量少且其大多数标准分割结果都是前人手动分割,并不适用于深度学习的训练。

(2) 本文模型的比较实验都是基于横向比较,即活动轮廓模型间的比较,若与深度学习算法比较,则违背了活动轮廓模型间的比较原则。

(3) 对于小样本数据的灰度不均匀图像,基于经典活动轮廓模型的分割算法,不仅成本低、准确度高,而且更具有应用价值。

当然,随着活动轮廓模型和深度学习的发展以及大型标注的灰度不均匀图像库的出现,两者的比较或者融合会越来越多,毕竟深度学习在大数据上的优势还是非常明显的。

1 背 景

1.1 RSF模型

文献[14]通过将局部灰度信息融入CV模型,提出了RSF模型,弥补了CV模型的缺陷,具体能量泛函为

(1)

式中,λ1、λ2是大于等于零的常数;Kσ(y-x)是高斯核函数,控制能量泛函的领域范围;f1(x)、f2(x)是点x的小邻域内演化曲线内、外的灰度均值;H(x)是Heaviside函数;φ(x)是Lipschitz函数;δ(x)是Dirac函数。然而,由于RSF采用固定尺度控制局部邻域,影响了其对灰度不均匀图像的分割效果。

1.2 信息熵理论

信息熵是香农在文献[21]中提出的用来度量信息不确定性的概念。假设X是一个离散随机变量,即其取值范围R={x1,x2…}是有限可数的,设Pi=P{X=xi},则X的熵定义为

(2)

定理1对于图像的一个局部窗口,当且仅当局部窗口内的所有灰度值均相等时,窗口的熵值最大[18]。

2 本文模型

本文混合活动轮廓由数据拟合项和正则项两部分组成,即

E=ED+ER

(3)

式中,ED和ER分别是数据拟合项和正则项。

2.1 偏移场估计模型

如引言部分所述,由于受各种因素影响,图像都有不同程度的灰度不均匀现象,其严重影响了模型的分割效果。为此,学者们提出了一种被广泛接受的数学模型,来矫正图像的这种灰度不均匀现象。假设x∈Ω是图像域Ω中的点,则该点的灰度不均匀模型可以表示为

(4)

(1)I(x)是分段常值,即I(x)=ci,x∈Ωi,其中,Ωi是图像域Ω的一个区域。

(2)b(x)在图像域Ω中是连续、光滑的。

在实际图像中,I(x)并不是相互独立的分段常值,用常值表示图像灰度是不准确的,会降低模型的分割准确度,甚至导致模型的分割失败。为此,在对图像进行模糊聚类分析后,本文用一个模糊隶属度函数来描述图像划分之间的依赖关系,即

(5)

2.2 ASO

通过将香农信息熵应用到图像领域,本文提出了图像信息熵,即

(6)

式中,Py, Ωx是图像的灰度概率分布,定义为

(7)

然后,基于背景中的定理1,提出了ASO,即

(8)

图1 ASO的工作原理Fig.1 Work principle of the ASO

2.3 数据拟合项

将偏移场估计模型和ASO融入一个能量泛函,提出本文模型的数据拟合项为

(9)

式中,λi是非负常数;N表示图像域Ω被划分的类别数,若图像只有目标和背景两类,则N=2。

2.4 正则项

为了保证数值计算的稳定性和演化曲线的光滑性,正则项是活动轮廓模型必不可少的组成部分。本文正则项由惩罚项和调整项两部分组成,即

ER=μEP+νER

(10)

式中,μ、ν为正数,用于调整控制惩罚项EP和调整项EL之间的权重。两项的具体表达式分别为

(11)

(12)

(13)

则本文混合活动轮廓模型具体表达式为

E=ED+ER=

(14)

3 模型的实现

3.1 模型的水平集实现

为计算式(14),需引入水平集方法,即用隐式表达式表示方程,省去复杂而又耗时的解参过程。

首先,用Lipschitz函数和Heaviside函数隐式表示Ωi,对于图像Ω在仅考虑目标和背景两类时,即N=2,式(14)变为

(15)

式中,Mi是Ωi的隶属函数,M1(φ)=H(φ),M2(φ)=1-H(φ);φ和H分别是Lipschitz函数和Heaviside函数,即

(17)

式中,C是演化曲线。

Heaviside函数和Dirac函数的具体定义为

(18)

(19)

其次,应用Euler-Lagrange方程和梯度下降流,解得b(x)、ui(x)和ci的表达式为

(20)

(21)

(22)

式中,*表示卷积。

最后,通过变分原理得到式(15)的梯度下降流,进而得到曲线的最终演化方程为

(23)

(24)

(25)

(26)

式中，φx,φy,φxx,φyy,φxy分别为二阶中心差,具体表达式为

(27)

(28)

(29)

多类目标分割和两类目标分割类似,在此不再详述。

3.2 模型的实现步骤

模型水平集的具体实现步骤如下：

输入读入灰度不均匀图像并初获取初始轮廓φ0。

步骤1初始化相关参数。

步骤2如果|length(φi+1)-length(φi)|>η,那么

(1) 根据式(6)～式(8)计算ASO;

(2) 根据式(20)～式(22)更新参数;

(3) 根据式(26)～式(29)计算曲率;

(4) 根据式(25)更新演化曲线。

步骤3结束循环。

输出输出最终结果φ=φi+1。

4 实 验

本节将从鲁棒性、分割速度和分割准确度等方面,验证模型对不同程度灰度不均匀图像的分割效果,包括自然图像、人工图像、医学图像、红外图像和遥感图像。实验环境:Matlab R2011b (计算机CPU Intel Core i-3 2.1 GHz,内存2GB,操作系统Windows7)。实验参数:时间步长Δt=0.1,网格间距h=1,ε=3,标准差σ=2。

4.1 实验及结果分析

4.1.1 对初始轮廓鲁棒性的验证

图2(a)～图2(e)表示不同位置和不同形状的初始轮廓,图2(f)是其最终分割结果。由分割结果可知,本文模型对不同位置和不同形状的初始轮廓具有一定的鲁棒性。

图2 模型对初始轮廓位置和形状的鲁棒性Fig.2 Robustness of the model to initial contour positions and shapes

4.1.2 对噪声鲁棒性的验证

图3(a)～图3(d)分别被泊松噪声、斑点噪声、椒盐噪声和高斯噪声污染过的灰度不均匀图像。

图3(e)～图3(h)经过20、32、41、58次迭代后的分割结果。由实验结果可知,噪声并未影响模型对灰度不均匀图像的分割效果,即本文模型对噪声具有较强的鲁棒性和抑制能力。

图3 模型对噪声的鲁棒性Fig.3 Robustness of the model to noises

4.1.3 分割效率和分割准确度的验证

图4(a)是标准库Berkeley segmentation data set 500中3幅灰度不均匀图像,图4(b)～图4(d)分别是CV模型、RSF模型和本文模型的分割结果。由实验结果可知,CV模型不能分割灰度不均匀图像,RSF模型的分割结果则出现不同程度的误分割和过分割现象,而文中模型却能准确、快速完成对不同程度灰度不均匀图像的分割。

图4 模型分割灰度不均匀图像的准确度和效率Fig.4 Accuracy and efficiency of the model to segment inhomogeneous intensity images

为更直观、定量地比较RSF模型和本文模型,分别记录了两种模型在分割图4时的DC(Dice coefficient)值、KI(Kappa index)值、迭代次数和CPU运行时间,如表1和表2所示。其中,指标DC和KI的定义为

(30)

(31)

式中,SG、ST分别是实验分割结果和标准分割结果中的目标区域;TP、FP和FN分别是真比例、假比例和假反例。DC和KI都是相似性指标,值越高越好。

表1 分割准确度

表2 分割效率

由表1和表2可知,本文模型具有较高的分割效率和分割准确度。一方面,ASO的提出,加速了曲线收敛;另一方面,新型偏移场估计模型的融入,提高了模型的分割准确度。

4.1.4 与经典模型的对比实验

图5(a)是2幅灰度不均匀的红外图像,和2幅灰度不均匀遥感图像,图5(b)～图5(e)分别是局部高斯拟合(local Gaussian distribution fitting, LGDF)[15]模型、局部Chan-Vese(local Chan-Vese, LCV)[16]模型、边界与区域水平集(boundary and region-based level set,BRLS)[18]模型和本文模型对4幅图的分割结果。由分割结果可知,LGDF模型、LCV模型和BRLS模型在分割强灰度不均匀图像时,并不能准确地找到模糊边界。而本文模型却总能准确地找到目标边界。这归功于新型偏移场估计模型的提出,使模型能准确提取灰度信息并完成最终分割。

图5 与经典模型的对比实验Fig.5 Comparison with classical models

为更好地比较4种模型,分别记录了其完成图5分割时的CPU运行时间和相应迭代次数。如图6所示,本文模型的分割效率明显高于其他3种模型。因为本文提出的ASO,能自适应地调整模型尺度,加速演化曲线向目标边界收敛。

图6 分割效率Fig.6 Segmentation efficiency

4.2 模型参数分析

图7 隶属度函数的作用Fig.7 Effect of the membership function

5 结 论

本文提出了自适应分割与偏移场估计融合的新型混合活动轮廓模型,实现了对不同程度灰度不均匀图像的快速、准确、强鲁棒性地分割。其中,ASO的提出,实现了模型的自适应分割,提高了模型的分割效率。带有隶属度函数的新型偏移场估计模型的提出,完成了对灰度不均匀图像偏移场的估计,提高了模型的分割准确度。最终实验结果,验证了模型分割灰度不均匀图像的可行性和有效性。

参考文献：

[1] YIN S, QIAN Y, GONG M. Unsupervised hierarchical image segmentation through fuzzy entropy maximization[J]. Pattern Recognition, 2017, 68(C): 245-259.

[2] SINGH D, MOHAN C K. Graph formulation of video activities for abnormal activity recognition[J]. Pattern Recognition, 2017, 68(C): 265-272.

[3] GONG M, QIAN Y, CHENG L. Integrated foreground segmentation and boundary matting for live videos.[J]. IEEE Trans.on Image Processing, 2015, 24(4): 1356-1370.

[4] ZHOU S, WANG J, ZHANG S, et al. Active contour model based on local and global intensity information for medical image segmentation[J]. Neurocomputing, 2016, 186(C): 107-118.

[5] ZHOU S, WANG J, ZHANG M, et al. Correntropy-based level set method for medical image segmentation and bias correction[J]. Neurocomputing, 2017, 234(C): 216-229.

[6] 蔡青,刘慧英,孙景峰,等.基于信息熵的自适应尺度活动轮廓图像分割模型[J].西北工业大学学报,2017,35(2):286-291.

CAI Q, LIU H Y, SUN J F, et al. An adaptive scale active contour model based on information entropy for image segmentation[J]. Journal of Northwestern Polytechnical University, 2017, 35(2): 286-291.

[7] 蔡青, 刘慧英, 周三平, 等. 基于局部和全局信息的自适应水平集图像分割[J].强激光与粒子束, 2017, 29(2): 28-35.

CAI Q, LIU H Y, ZHOU S P, et al. Adaptive level set model based on local and global intensity information for image segmentation[J]. High Power Laser and Particle Beams, 2017, 29(2): 28-35.

[8] CASELLES V, KIMMEL R, SAPIRO G. Geodesic active contours[J]. International Journal of Computer Vision, 1997, 22(1): 61-79.

[9] VASILEVSKIY A, SIDDIQI K. Flux maximizing geometric flows[J]. IEEE Trans.on Pattern Analysis and Machine Intelligence, 2002, 24(12): 1565-1578.

[10] KIMMEL R. Fast edge integration[J]. Geometric Level Set Methods in Imaging, Vision, and Graphics, 2003,7(17): 59-77.

[11] LI C, XU C, GUI C, et al. Level set evolution without re-initialization: a new variational formulation[C]∥Proc.of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 2005: 430-436.

[12] GAO X, WANG B, TAO D, et al. A relay level set method for automatic image segmentation[J]. IEEE Trans.on Systems, Man, and Cybernetics, Part B (Cybernetics), 2011, 41(2): 518-525.

[13] CHAN T F, VESE L A. Active contours without edges[J]. IEEE Trans.on Image Processing, 2001, 10(2): 266-277.

[14] LI C, KAO C Y, GORE J C, et al. Minimization of region-scalable fitting energy for image segmentation[J]. IEEE Trans.on Image Processing, 2008, 17(10): 1940-1949.

[15] WANG L, HE L, MISHRA A, et al. Active contours driven by local Gaussian distribution fitting energy[J]. Signal Processing, 2009, 89(12): 2435-2447.

[16] WANG X F, HUANG D S, XU H. An efficient local Chan-Vese model for image segmentation[J]. Pattern Recognition, 2010, 43(3): 603-618.

[17] LI C, HUANG R, DING Z, et al. A level set method for image segmentation in the presence of intensity inhomogeneities with application to MRI[J]. IEEE Trans.on Image Processing, 2011, 20(7): 2007-2016.

[18] 张梦梦, 张泾周, 周三平, 等. 基于局部熵的边界与区域水平集图像分割模型[J]. 系统工程与电子技术, 2016, 38(12): 2884-2888.

ZHANG M M, ZHANG J J, ZHOU S P, et al. Boundary and region level set method based on local entropy for image segmentation[J]. Systems Engineering and Electronics, 2016, 38(12): 2884-2888.

[19] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.

[20] LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521(7553): 436-4

[21] SHANNON C E. A mathematical theory of communication[J]. The Bell System Technical Journal,1948,27(1):379-423.