基于选择性注意机制的无边界主动轮廓图像分割算法
2013-04-27王延江
李 蕙,王延江
(中国石油大学信息与控制工程学院,山东青岛266580)
图像分割是把图像分成互不交叠的有意义的区域,每个区域内的像素都具有相似性,而在边界处则具有非连续性。常用的图像分割算法可分为三类:基于边界的算法、基于区域的算法和基于特定理论的算法。Kass等人提出的主动轮廓模型[1]是较有代表性的基于变分的图像分割算法,该算法在全局能量函数框架下求取最优解,但存在对初始值比较敏感,不具有自动拓扑变化能力等问题。因此,研究人员相继提出了许多改进:Cohen等提出了“气球”模型[2];Caselles 等[3]和 Malladi等[4]分别提出了几何活动轮廓模型(geometric active contours);后来Caselles等又提出了测地主动轮廓模型(geodesic active contours)[5];Saddiqi等提出在测地线模型基础上增加“面积最小项”[6]来进一步阻止边界泄漏;Xu等提出了几何GVF活动轮廓模型[7];而后Chan等在Mumford-Shah模型[8]基础上又提出了无边界主动轮廓模型(active contour without edges)[9]。上述算法从不同方面对主动轮廓模型进行了改进,但仍然存在一些问题,如需要人为给定初始化轮廓线或掩膜(mask),对于复杂图像和多目标图像分割效果不够理想等。受人类视觉感知机制的启发,笔者将选择性注意机制引入到无边界主动轮廓模型,提出一种基于选择性注意机制的无边界主动轮廓图像分割算法。
1 无边界主动轮廓模型概述
主动轮廓模型可分为两类:基于边界的方法和基于区域的方法。前者存在结果易受图像噪声影响,对于初始轮廓线的位置较敏感,难以得到全局性分割等问题;而后者则从图像模型的角度出发,给出图像模型应满足的全局能量泛函,通过最小化能量泛函来驱动轮廓线的膨胀与收缩,这类方法不仅抗噪性能更强,而且能够收敛到全局最优,其中,最具有代表性的是Chan等于2001年提出的无边界主动轮廓模型[9]。
无边界主动轮廓模型(又称为分段常量模型)是一种全局最优的分割方法,认为所分的两个区域(目标和背景)都是均质的,并应用二相的水平集方法来进行数值求解。假设给定一幅图像I(x,y),则无边界主动轮廓能量泛函表示如下:
其中,C为封闭边界;c1和c2分别为轮廓线内部区域和外部区域的平均灰度;μ ≥0,ν≥0,λ1,λ2> 0为固定参数,μ为约束边界长度的参数,ν为约束闭合轮廓面积的常数,λ1和λ2分别为控制轮廓线内外能量权重的参数;长度约束L和面积约束A用于控制轮廓线的光滑度和规则度。当轮廓线位于区域间边界时,E(C)才能取到最小值。
通过引入Heaviside函数和Dirac函数可将能量函数式(1)规范化。此外,Chan与Vese由拉格朗日方法推导所得的水平集演化方程如式(2)所示:
其中,φ为符号距离函数,且内正外负,其更新迭代方程为
在实际的数值计算中,分别采用正则化函数式(4)代替Heaviside函数和Dirac函数:
其中,ε为常数。
上述过程可使水平集演化方程作用于所有的水平集上,进而使能量函数达到极小值,并且得到图像分割的结果。该方法与传统主动轮廓方法相比,抗噪能力有所增强,降低了对于初始化的要求,不需要依靠图像中的边缘信息,可有效分割出模糊或者离散的边缘。此外,由于使用了水平集,从而使得轮廓线的拓扑变化能得到自动的处理。
2 基于选择性注意机制的无边界主动轮廓图像分割模型
通过对人类视觉感知系统的深入研究,本文中提出一种基于选择性注意机制的无边界主动轮廓图像分割模型,将选择性注意机制引入到基于区域的无边界主动轮廓模型中以取代传统人工方式完成掩膜初始化,该模型主要包括图像预处理、掩膜初始化和迭代分割等部分。算法流程如图1所示。
图1 算法流程图Fig.1 Flow chart of proposed algorithm
2.1 利用迭代开闭运算的预处理
ASF(alternating sequence filter)算子由 Sternberg[10]提出,而后又经 Serra[11]进行了广泛的研究和完善。本文通过构造ASF算子[12]对输入图像做平滑预处理,具体定义如下:
式中,ASFn-1为滤波前的原始图像;O表示开运算,即先腐蚀后膨胀;C表示闭运算,即先膨胀后腐蚀;n为开/闭运算的次数;SEn是半径为n的圆盘结构元素。数学形态学中的开运算可以去掉凸角,而闭运算则具有填充凹陷的作用,选取合适的结构元素(本文选用3×3的disk结构元素)以及n值,反复进行开闭运算即可得到平滑区域,如图2所示,其中,(a)列和(b)列的第一行分别为输入的原始图像,第二行为预处理后得到的平滑图像。与其相对应的直方图分别为(c)和(d)。通过直方图的对比可知,对图像的平滑预处理使区域之间的能量分布更加明显,有利于后续的分割工作,并且能有效减少迭代次数。
图2 基于ASF算子的图像预处理Fig.2 Image preprocessing based on ASF operator
2.2 基于显著图的掩膜初始化
目前的无边界主动轮廓模型大多是由人为来确定初始掩膜,分割结果和效率受主观性影响较大。对于单目标图像,考虑到算法效率,可以通过提取颜色、亮度、方向等初级特征构造显著图,进而初始化掩膜。本文中采用基于显著图的方法初始化掩膜,使得掩膜的位置更加贴近于感兴趣目标,从而能够有效减少迭代次数。构造显著图的过程以亮度特征为例,首先构造不同尺度的亮度高斯金字塔的图像序列,并记中央周边差算子为Θ,可得
式中,I(c)为细尺度图像;I(s)为粗尺度图像;c取{1,2,3},而 s=c+m,m 为{3,4},因此 s的取值范围是{4,5,6}。
然后应用归一化算子N(·),将上述的特征差异图像进行融合得到亮度分量显著图,该步骤的生物学依据在于算子近似模拟了大脑皮层的侧抑制生物机制(即近邻相似特征可以通过特定的联结来相互抑制)。其具体实现如下:
(1)归一化亮度特征图的像素值至0~M,用以消除特征图的多模态尺度差异;
(2)计算特征图的像素均值¯m;
式中,RG(c,s)和 BY(c,s)分别表示红色 - 绿色的反差对比以及蓝色-黄色的反差对比;O(c,s,θ)表示图像在不同的尺度和不同的方向上的梯度对比。
最后加权融合可得到显著图S,将其二值化后即可作为本文算法初始化掩膜:
用上述方法对包含单个目标的静态图片进行掩膜初始化,结果如图3所示。其中,第一行为原始图像,第二行为显著图,第三行为本文中基于显著图确定的初始掩膜。
当图像中存在多个目标时,传统手动选定掩膜的方法不仅效率不高,而且如果掩膜选取不当则极易出现漏分割的现象。若仅仅采用以上基于显著图的方法确定掩膜,那么多个目标可能会合成一个较大的掩膜区域(图4(c)),对迭代的效率有不利影响。因此,对于多目标图像,采用融合边缘特征及显著图的算法来初始化掩膜。其流程如图1所示,具体如下:首先,应用上述方法得到显著图;然后,通过小波变换的方法实现对图像的边缘粗检测,由于A Tuous算法不需要抽取偶数样本,奇异检测更为准确,因此本文中采用基于小波的二维A Tuous算法[13]以二阶样条小波函数和合适的尺度J进行计算,得到边缘粗检测图;最后将边缘粗检测图与前述显著图进行数学逻辑与运算,最终得到初始化掩膜。结果可见图4,其中,(a)为原始图像,(b)和(c)分别是其显著图及基于显著图确定的掩膜,(d)为边缘粗检测图与显著图的逻辑运算结果,(e)为本文基于融合边缘特征的显著图算法确定的掩膜。
图3 基于显著图的掩膜初始化(单目标)Fig.3 Saliency map based mask initialization(single target)
图4 基于显著图的掩膜初始化(多目标)Fig.4 Saliency map based mask initialization(multiple targets)
2.3 算法步骤
本文算法具体步骤如下:
(1)首先,输入静态图像I。
(2)利用迭代开闭运算进行平滑预处理,得到区域能量聚集而边界又相对清晰的平滑图像If。
(3)初始化掩膜。当原始图像I中存在单个目标时,采用基于显著图的算法初始化掩膜;当原始图像I中存在多个目标时,采用融合边缘特征及显著图的算法初始化掩膜。如此自动得到的掩膜位置和大小较接近于待分割目标的真实位置和大小,且不像传统方法那样受主观性影响。
(4)求取窄带(narrow band)[14]。使得计算主要集中在轮廓线周围的像素上而非整幅图像,从而很大程度上降低了计算量和复杂度,并能使轮廓线尽快收敛。
(5)求取当前能量函数值E,迭代直到能量函数值达到最小或达到所设定的迭代次数M。
(6)输出图像分割结果。
3 实验结果和讨论
为了验证本文算法的正确性和有效性,分别应用无边界主动轮廓模型以及本文提出的算法进行图像分割实验。实验在64位windows 7环境下运行,计算机配置Intel 2.5GHz处理器,2GB内存,MATLAB R2009a软件平台,实验所采用的图片来源是公开的显著图像库以及internet。
实验中应用无边界主动轮廓模型时随机选取其初始掩膜。当图像中仅存在单个目标时,采用本文中基于显著图的方法进行掩膜初始化;当图像中存在多个目标时,采用本文中针对多目标的融合边缘特征的显著图方法进行实验。此外,本文采用像素点统计量与收敛时间相结合的方法量化实验结果以进行比较。基准图来源于公开的显著图像库或人工标定。像素点统计量主要包括目标像素点数、漏检点个数、误检点个数以及相应的正检率和误检率。其中,目标像素点数即所得分割区域中目标区域的像素点总数目,漏检点数即分割结果中未检出的目标像素点数,误检点数即分割结果中检出的不属于目标的像素点数。一般地,较好的分割算法应同时具备准确性和完整性,因此要求漏检点数和误检点数尽量小,即具有较高的正检率和较低的误检率。此外,收敛时间越短越好。定义正检率(rcd)和误检率(red)分别如下:
3.1 单目标图像
单目标图像第一组实验结果对比如图5(C-V模型中随机选取掩膜为[50∶250,100∶200])所示,实验数据如表1所示。第二组实验结果对比如图6(C-V模型中随机选取掩膜为[100∶300,50∶200])所示,实验数据如表2所示。
图5 第一组实验结果对比Fig.5 The first set of results contrast
表1 第一组实验数据对比Table 1 The first set of experiments data contrast
图6 第二组实验结果对比Fig.6 The second set of results contrast
表2 第二组实验数据对比Table 2 The second set of experiments data contrast
表1为单目标第一组实验的量化对比结果,由表中数据可以看出,本文算法的正检率高于C-V模型的正检率,且其误检率低于C-V模型。此外,通过观察图5也可以看出,在较短的时间内,本文算法分割出了更为完整且精确的目标区域。观察第二组实验结果及数据可知,本文算法与C-V模型相比拥有更高的正检率和较低的误检率,符合目标分割算法对完整性和准确性的要求。并且,如图6所示,在第二组实验中原始图像含噪声较多,传统的C-V方法轮廓收敛过程中呈现不断振荡的状态,而本文算法则可以以较快的速度稳定收敛,因此在复杂背景或是噪声较多的图像中本文算法优势更为明显。上述两组对比实验结果表明,本文算法不仅能够自动选取初始掩膜以实现完全自动的分割,解决了传统方法受主观性影响较大的问题,而且可以有效地减少迭代次数,能够以更快的时间和更少的迭代次数收敛到边界轮廓,并得到更为精确的分割结果。此外,本文提出的算法通过模拟人类视觉初始化掩膜,实现由粗到精的分割更加符合人类认知机制。
3.2 多目标图像
图7(C-V模型中随机选取掩膜为[100∶300,100∶300])和表3分别为应用三种不同方法对飞机图像分割的结果及量化数据。由图7可直观看出,本文融合边缘特征及显著图的算法取得了较好的分割效果,完整地分割出了目标,而随机选取掩膜的C-V模型效果最为不理想。
观察表3中的具体数据,显然本文基于显著图的算法和针对多目标提出的基于融合边缘特征及显著图的算法正检率都高于C-V模型,而误检率则均远低于C-V模型。同时,在相近的时间内,本文基于融合边缘特征及显著图的算法的效果优于基于显著图的算法。因此,本文算法能够有效地取代手动选取掩膜的方法,以实现显著目标的完全自动分割。
对背景相对复杂的花朵图像分别应用三种不同的方法进行分割实验,结果如图8(C-V模型中随机选取掩膜为[100∶400,100∶500])所示。图8中(f)、(g)、(h)表明本文融合边缘特征的显著图算法效果最好,而C-V模型手动选取的掩膜受主观性影响较大。若选取不当,则极有可能漏检目标,并且对于背景相对复杂含噪声较多的图像其收敛过程中不断振荡。前述的基于显著图的算法应用于多目标的分割时,其初始掩膜由多个目标的显著图构成,可能会合成一个较大的区域,从而影响分割效率。观察表4,显然C-V模型的正检率和误检率不够理想,而本文融合边缘特征的显著图算法则取得了较为理想的正检率和误检率。其中,基于显著图算法的正检率虽然稍高于本文算法,但是其误检率却是本文算法的25.6倍。仔细观察图8可知,由于基准图为人工标定的结果有一定误差,而分割算法在迭代过程中能将边缘细节分割出来,因此可能会造成少量的漏检点。综合考虑分割目标的正确性、完整性可知,本文算法效果相对较好,能够在多目标图像分割中自动选取初始掩膜以实现完全自动的分割,在一定程度上解决了传统方法受主观性影响较大的问题。
图7 分别用不同方法迭代150次得到的轮廓以及分割结果Fig.7 Contour and segmentation results of 150 iterations with different methods respectively
表3 多目标第一组实验数据对比Table 3 The first set of multi-target experiments data contrast
图8 分别用不同方法迭代300次得到的轮廓以及分割结果Fig.8 Contour and segmentation results of 300 iterations with different methods respectively
表4 多目标第二组实验数据对比Table 4 The second set of multi-target experiments data contrast
4 结束语
通过对主动轮廓模型以及人类认知机制的深入研究,将选择性注意机制引入到基于区域的无边界主动轮廓模型中,并利用数学形态学算子对图像进行平滑预处理。此外,在多目标情况下,将选择注意与小波变换相结合初始化掩膜。实验结果表明本文算法是可行的,不仅可以减少迭代次数,当图像中存在多个目标时还可以得到更精确的分割结果,有效地提高了主动轮廓算法的效率。
[1] KASS M,WITKIN A,TERZOPOULOUS D.Snake:active contour models[J].International Journal of Computer Vision,1988,1(4):321-331.
[2] COHEN L D.On active contour models and balloons[J].Computer Vision,Graphics and Image Processing:Image Understanding,1991,53(2):211-218.
[3] CASELLES V,CATTE F,COLL T,et al.A geometric model for active contours in image processing[J].Numerische Mathematic,1993,66:1-31.
[4] MALLADI R,SETHIAN J A,VEMURI B C.Shape modeling with front propagation:a level set approach [J].IEEE transactions on Pattern Analysis and Machine Intelligence,1995,17(2):158-175.
[5] CASELLES V,KIMMEL R,SAPIRO G.Geodesic active contours[J].International Journal of Computer Vision,1997,22(1):61-79.
[6] SADDIQI K,LAUZIERE Y B,TANNENBAUM A,et al.Area and length minimizing flows for shape segmentation [J].IEEE Transactions on Image Processing,1998,7(3):433-443.
[7] XU C,YEZZI A,PRINCE J L.On the relationship between parametric and geometric active contours[C]//34th Asilomar Conference of Signals,Systems,and Computers,2000.
[8] MUMFORD D,SHAH J.Optimal approximation by piecewise smooth functions and associated variational problems[J].Communications on Pure and Applied Mathematics,1989,42:577-685.
[9] CHAN T,VESE L.Active contour without edges for vector-valued image[J].Journal of Visual Communication and Image Representation,2001,10(2):266-277.
[10] STERNBERG S R.Grayscale morphology[J].Computer Vision Graphics,and Image Process,1986,35(3):333-355.
[11] SERRA J.Image analysis and mathematical morphology[M].Vol.II:Theoretical Advances,Chap.10.London:Academic Press,1988.
[12] KAELI J W,SINGH H,ARMSTRONG R A.An automated morphological image processing based methodology for quantifying coral cover in deeper-reef zones[C/OL]//2006 IEEE/MTS Oceans Conference,Boston,USA,September 18-21,2006[2013-02-10].http://ieeexplore.ieee.org/stamp/stamp.jsp?tp= &arnumber=4098975.
[13] 吴国良,杨浩,罗建.二维A Tuous算法图像边缘检测研究[J].计算机工程与应用,2010,46(11):167-169.
WU Guo-liang,YANG Hao,LUO Jian.Research of edge detection based on 2-D A Tuous algorithm[J].Computer Engineering and Applications,2010,46(11):167-169.
[14] 蒋欣.水平集方法及其在图像分割上的应用[J].上海生物医学工程,2004,25(3):29-32,61.
JIANG Xin.Level set method and its application on image segmentation[J].Shanghai Journal of Biomedical Engineering,2004,25(3):29-32,61.