基于区域限制的EM和图割的非监督彩色图像分割方法

李　磊，董卓莉，张德贤，费　选

(河南工业大学信息科学与工程学院，河南郑州 450001)



基于区域限制的EM和图割的非监督彩色图像分割方法

李磊，董卓莉，张德贤，费选

(河南工业大学信息科学与工程学院，河南郑州 450001)

提出一种基于区域限制的EM(Expectation Maximization)和图割的非监督彩色图像分割方法,以解决自动确定分割类数问题.首先，生成图像的超像素，提取图像的CIE Lab颜色特征和多尺度四元数Gabor滤波特征；为了高效自动地确定分割类数，同时避免因直接使用超像素造成的奇异值问题，对每一个超像素采样并使用采样像素表示超像素;然后采用高斯混合模型对采样像素集合进行建模，使用加入区域限制的分量EM自动获取模型组件数及参数，最后使用图割结合高斯混合模型对图像进行优化，获取最终分割结果.实验结果表明，该方法在分割效率和分割质量上均得到较大提升.

彩色图像分割；区域限制；超像素；分量EM；图割

1　引言

彩色图像分割是计算机视觉和图像处理领域的基本任务之一，其目的是把一幅彩色图像划分为有意义且同质的区域.目前，图像分割方法大致可以分为：基于特征的方法、基于区域/边界的方法、基于模型优化的方法及其它扩展方法等.其中经典的非监督彩色纹理图像分割方法如JSEG[1]、CTM[2]、TBES[3]及mean shift[4]等均取得较好的分割效果，但由于每种方法都有各自优缺点，并没有一种通用方法能够处理所有类型的图像.因此，图像分割[5,6]仍具有较大的研究空间.

近年来，图割优化方法[7]已成为计算机视觉和图像处理领域研究的热点，它广泛应用于图像分割、视觉跟踪和去噪等领域.对于基于图割的非监督图像分割方法而言，初始模型参数的估计、分割数目(标签数)的确定及合适的势能函数的构造等是这类方法研究的重点和难点.初始模型参数的估计一般可采用K-means、期望最大化(Expectation Maximization，EM)等方法来实现，但以此得到的初始分割并没有考虑像素之间的空间关系，尽管在图割优化过程中通过平滑势能对此加以弥补，但增加了图割寻优时间，也会造成过分割.为此，一些文献[8,9]通过在模型学习中加入空间限制来解决该问题，但求解这些模型往往过于复杂.另一方面，标签数与图割优化时间呈指数关系，对优化性能影响较大.因此，获取合适的初始分割结果和标签数目是基于图割的非监督图像分割方法研究的重点.Chen等[10]提出了基于最大后验概率(Maximum a Posteriori,MAP)和最大似然(Maximum Likelihood,ML)估计的分割方法(MAP-ML)，使用MAP和ML估计结合区域重标记能够自动获取分割结果，但易造成过分割结果，且分割效率较低；Yang等[11]借助于混合模型的分量期望最大化方法(Component-wise EM for Mixture Models,CEMM)[12]和学生t分布来自动确定模型组件数，并交替执行图割和区域合并来获取最优分割结果，后续他们又提出了基于图割和变分公式的非监督分割方法[13]，但这两种方法的初始分割并没有考虑区域一致性，运行效率仍然较低.Li等[14]提取彩色图像的多尺度四元数Gabor滤波(Multi-scale Quaternion Gabor Filter,MQGF)特征，使用标准图割并结合最小描述长度以迭代分裂的方式实现图像的非监督分割，该方法在Berkeley数据库[15]的部分图像上取得了较好的结果，但在最小描述长度的参数选择上，不具有鲁棒性.

近年来，大量文献[2,3,16]在分割过程中使用超像素代替像素，以提高分割的效率和一致性.采用超像素使这些方法的性能得到了较大的提升.相对于直接使用像素，使用超像素具有以下优点：(1)提高分割效率；(2)一定程度上提高了分割质量，减少了噪声影响.但基于超像素的分割同样有自身的缺陷：(1)分割结果的质量依赖于超像素生成的质量；(2)每一个超像素表示为一个节点，并没有考虑超像素面积大小的影响；(3)由于超像素样本较少，容易造成欠拟合和奇异值问题.

综上所述，本文提出一种基于区域限制的CEMM和图割的非监督彩色图像分割方法，该方法包括图像预处理、基于区域限制的CEMM和图割优化三个过程.首先通过对超像素采样生成采样像素集合，在高斯混合模型参数估算中由采样像素代替超像素，以自动获取模型参数(包括组件数)；然后使用图割优化方法结合模型参数对彩色图像进行优化，获取最终分割结果.新方法具有以下优点：(1)在模型组件估计过程中，不再把一个超像素看作一个节点，而是使用超像素内采样像素来表示该超像素，超像素面积大，所包含的的采样像素就多，确保面积较大的超像素在组件参数估计过程中所占的比率；(2)由于采样像素多于超像素，因此能尽可能避免奇异值问题；(3)在同一个超像素内，像素的标签先验概率保持一致，即考虑了像素的空间一致性.

2　图像预处理

新方法的预处理阶段主要包括图像的超像素生成、超像素采样及图像的颜色和纹理特征提取.

2.1特征提取

提取合适的特征将有助于提高图像分割的质量.对于彩色图像的纹理特征而言，目前主要有两种提取方法：基于cut-off窗口的方法[2]和基于滤波族的方法[14].为了提高分割性能，本文采用MQGF方法[14]提取彩色图像的纹理特征Ftex.针对图像的颜色特征，由于RGB颜色空间具有非线性化特性，而CIE Lab颜色空间能较好地表达图像像素之间色度和亮度变化，因此用像素的CIE Lab颜色值来表示图像的颜色特征Fcol.最后，彩色图像的特征F则由其纹理特征和颜色特征融合而成：

F=(Fcol,Ftex)T

(1)

2.2超像素和采样像素生成

如前所述，众多文献使用超像素代替像素以提高分割效率、减少噪声影响.采用该思想，新方法首先生成图像的超像素，利用超像素信息进行模型学习.不同于类似的其它方法，在模型估计中，为了避免由于样本较少可能造成欠拟合和奇异值问题，新方法不再简单使用超像素代替像素，而是使用指定大小的窗口对每一个超像素按照一定步长进行采样，提取采样像素集合.超像素面积越大，所采样的像素个数就越多.相对于直接使用超像素内像素的均值表示超像素，这种方法更能反映超像素内部和超像素之间的变化信息.具体采样步骤描述如下.

(1)首先使用mean shift[4]生成图像的超像素，如图1所示，图像过分割为6个部分(超像素)，分别标记为1～6；

(2)使用大小为w×w的窗口按照一定步长对每一个超像素进行采样，如图1所示，本文采用窗口长度的一半作为采样步长，每个超像素只提取其中心部分像素，即满足以这些像素为中心的窗口所包含的像素均属于同一超像素的条件.使用超像素中心部分的像素代替超像素，显然可以减少超像素边界的影响；

(3)对于一些细长或较小的超像素而言，如图1中标记为6的超像素，将得不到相应的采样像素，为此，采用超像素内像素的均值，或者按照超像素的面积把所包含的像素按照空间关系划分为几个部分，并计算其均值来表示该超像素.本文使用超像素的均值来表示这类超像素.

每一个超像素对应一个采样像素集合，本文假设每一个超像素的采样像素集合都是同质的.这种超像素和采样像素之间的关系，将为新方法后续模型参数估算提供像素之间的空间关系.

3　基于区域限制的CEMM

为此，在CEMM的E步骤中，结点i相对于第m个组件的隶属度(条件期望)定义为

(2)

p(y|θm)=N (μm,Σm)

(3)

(4)

(5)

其中m=1,2,…,k，N为每一个组件参数的个数，k为参数估算过程组件的个数.

在M步骤中，模型参数协方差和均值由式(6)和(7)计算得到：

(6)

(7)

其中，nS表示所有采样像素的个数.

如算法1所示，基于区域限制的CEMM的完整步骤描述如下：

在模型参数初始化方面，给定最大和最小组件数kmin和kmax，依据文献[12]采用随机的方式初始化均值参数μ，而协方差Σ的初始化值则根据整个样本空间的全局协方差计算得到.值得说明的是，采用一些初始化策略[11]取代随机选择策略，可能会进一步提高模型学习的效果.

算法1基于区域限制的CEMM

输入：FS,PS,ε,kmin和kmax

输出：最佳混合模型参数

form=1,…,kmax且i=1,…,nS

2.whileknz≤kmindo

3.repeat

4.t←t+1

5.form=1 tokmaxdo

9.根据式(6),(7)和(3)更新组件参数和概率密度函数

10.else

11.knz←knz-1

12.end if

13.end for

18.end if

20.end while

4　图割优化

(8)

(9)

而平滑项则使用一般的Potts模型[7]：

本文使用α-expansion[7]根据式(8)定义的能量函数对图像进行迭代优化.为了使初始分割结果更加具有空间一致性，在基于区域限制的CEMM获取组件个数和组件参数后，计算图像概率密度函数p(y|θm)，类似于基于EM的图像分割方法获取每一个像素的标签，然后根据超像素内每一个像素的标签计算超像素的主标签(即超像素内像素最多的标签)，以主标签重标记该超像素的每一个像素，以此进一步增加超像素内像素之间的空间关系，减少噪声的影响.在迭代过程中，通过像素标签更新组件参数，去除一些面积较小的噪声区域.

α-expansion的目的是基于给定的能量泛函，使能量尽可能最小化，但会导致一些同质区域被弱(假)边界分裂.为了解决该问题，采用类似于文献[14]的策略去除一些较为明显的弱边界.

5　实验结果及分析

5.1实验环境设置

选择Berkeley分割图像数据库[9]中的300幅图像作为测试对象，使用JSEG[1]、MAP-ML[10](MM)、CTM[2]及Yang提出的两种方法(简称为Y13[11]和Y14[13])和本文方法进行比较.由于CTM对图像大小有要求，因此在实验过程中，CTM的输入图像均归一化为最长边为320个像素；JSEG的参数设定为默认值；MM的参数γ设置为默认值4000；CTM的参数γ设定为0.1.

本文分割方法的大部分参数均可设置为缺省值，其中，mean shift的参数(hs,hr)=(11,7)，最小面积为100个像素；采样窗口大小设置为7×7；多尺度四元数Gabor滤波的参数按照文献[14]设置缺省值；在基于空间限制的CEMM中，组件最大值和最小值根据图像分割的特点和实验结果分别为设置为15和2；图割优化参数γ固定为20，最小区域面积设置为原图像面积的0.001倍.

为了更好评价各比较方法的分割性能，采用四个常用的评价指标函数[2]：PRI(The Probabilistic Rand Index)、VoI(The Variation of Information)、GCE(The Global Consistency Error)和BDE(The Boundary Displacement Error)对分割结果进行评价，其中PRI是统计机器分割和多个人工分割之间标签一致的像素对的个数占整个像素对个数的比率；VoI则把机器分割和人工分割之间的距离定义为在给定人工分割的条件下机器分割的平均条件熵，它能够测量机器分割中不能被人工分割所解释的随机性的量；GCE测量一个分割可被看作为另外一个分割的程度；BDE则是测量两个分割结果中边界像素的平均位移误差.量化结果中PRI值越大、VoI、GCE和BDE值越小，则机器分割结果与人工分割结果越接近.

5.2实验结果与分析

为了验证基于区域限制的CEMM结合采样像素(REMS)、CEMM结合采样像素(EMS)、CEMM结合超像素(EMSP)及CEMM结合图像像素(EMP)估算组件参数之间的差别，图2展示了4种不同方法获取模型组件参数及初始分割结果的比较，其中K和T分别表示最佳组件数和时间消耗(s).

从图2可以看出，由于增加了样本的数量，本文提出的基于区域限制的CEMM(REMS)一般不会产生奇异值和可能的欠拟合问题，通过该方法计算得到的标签数大于EMSP和EMS所得到的标签数，但后两种方法容易发生过分割和奇异解问题，如EMSP的第一行及EMS的第二行，因此通过式(4)为每一个超像素内的采样像素加入空间关系，可以有效避免以上问题.相对于直接使用像素的CEMM，REMS方法不仅有效提高了算法的运行效率，而且所获得标签数相对较少，进而有助于提高后续图割优化的效率.

此外，对于通过模型组件参数得到的分割结果而言，REMS获取的初始分割结果区域一致性更好，分割错误相对较少，如图2第二行中的分割结果； EMSP虽然获取的标签个数较少，但分割结果存在较大偏差，如图2第三行中，EMSP并没有把豹子分割出来；而对于其它方法，易造成过分割(如图2第三行EMS和EMP的结果)或者奇异解问题(如图2第二行EMS的结果).

图3和图4展示了本文方法和其它3种方法分割300幅Berkeley图像数据库部分图像的结果比较，从中可以看出，本文方法分割结果中，噪声区域比较少，边界保持较好；其次，从本文方法和MM分割结果的比较可以看出，两种方法都采用了图割优化方法，分割结果的边界保持较好(如图3中MM的分割结果第1～3及第5行)，但图像的标签数对分割结果影响较大，尽管MM在分割过程中能够根据能量的变换自动调整标签数，但容易造成过分割或欠分割.

对于其它比较方法，JSEG能够得到较同质的区域，但易得到过分割结果，并且不能很好地区分视觉差异不明显的区域.CTM采用了基于超像素的区域合并策略对图像进行分割，从图3和图4中可以看出，其分割结果边界不光滑、错位，采用的最小描述长度准则并不能较好的适应Berkeley 数据库300幅图像，造成过分割或者欠分割.

表1给出了6种方法分割300幅图像的结果在6种评价指标上的量化分析，可以看出，本文方法在PRI、和VoI及GCE指标上要优于其它5种方法，在BDE指标上仅次于CTM，相对于JSEG和MM，本文方法的分割结果更加接近于人工分割结果.其中分割方法Y13和Y14的数据来源于其所在的文献[11,13].

表1　本文方法和其它5种方法分割300幅图像性能比较

表2展示了当kmax取不同值时本文方法分割300幅图像的结果，从中可以看出kmax取值[10～15]区间时，本文方法的分割性能变化不大，这说明：基于区域限制的CEMM方法具有较好的收敛性；在模型参数学习的基础上，图割利用条件随机场模型能够较好的保持像素的空间信息.因此，本文方法具有一定的鲁棒性.

表2　参数kmax取不同值时本文方法的分割结果

从以上实验可以看出，对超像素进行采样，虽然降低了抗噪能力，但能够捕捉超像素内部像素之间的差异，而且增加了样本的数量，从而降低了奇异解发生的可能；在CEMM中加入区域限制可以保证超像素内部像素之间区域一致性.这种策略也可以应用到K-means中，即在每次K-means更新中，强制把超像素内的像素标签设置为主标签，再进行聚类中心的更新.本文采用Matlab结合C++语言实现所提分割方法.所有实验均在4-G内存、3.20-GHz Intel(R) core (TM) i5-4570 CPU的台式机上执行.

6　结语

本文提出了基于区域限制的模型学习方法，该方法结合图割以实现彩色图像的非监督分割.通过使用窗口对超像素采样获取超像素中心区域的像素集合，由采样像素集合代替超像素参与模型学习，并增加了超像素和内部像素之间的空间关系，能够自动获取模型组件个数及其参数.相对于直接使用超像素或者像素的模型学习方法，采样像素能够反映超像素内部的变化，能够有效避免欠拟合和奇异值问题，并能增加像素之间的区域一致性.获取的组件个数和基于超像素的初始分割将有效提高图割优化的性能.实验结果表明，该方法在分割质量和处理效率上均得到有效提升.

[1]Deng Y,et al.Unsupervised segmentation of color-texture regions in images and video[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(8):800-810.

[2]Yang A Y,Wright J,Ma Y,et al.Unsupervised segmentation of natural images via lossy data compression[J].Computer Vision and Image Understanding,2008,110(2):212-225.

[3]Mobahi H,Rao S R,Yang A Y,et al.Segmentation of natural images by texture and boundary compression[J].International journal of computer vision,2011,95(1):86-98.

[4]Comaniciu D,Meer P.Mean shift:a robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.

[5]王顺凤,冀晓娜,张建伟,等.局部熵驱动的GAC模型在生物医学图像分割中的应用[J].电子学报,2013,41(12):2487-2492.

WANG SHUN-feng,JI Xiao-na,ZHANG Jian-wei，et al.Application of GAC model driven by the local entropy on medical image segmentation[J].Acta Electronica Sinica,2013,41(12):2487-2492.(in Chinese)

[6]赵荣昌,马义德.一种用于图像编码的区域分割新方法[J].电子学报,2014,42(7):1277-1283.ZHAO Rong-chang,MA Yi-de.A novel region segmentation algorithm with neural network for segmented image coding[J].Acta Electronica Sinica,2014,42(7):1277-1283.(in Chinese)

[7]Boykov Y,Veksler O,Zabih R.Fast approximate energy minimization via graph cuts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(11):1222-1239.

[8]Nguyen T M,Wu Q J.Gaussian mixture model-based spatial neighborhood relationships for pixel labeling problem[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2012,42(1):193-202.

[9]Ji Z,Liu J,Cao G,et al.Robust spatially constrained fuzzy c-means algorithm for brain MR image segmentation[J].Pattern Recognition,2014,47(7):2454-2466.

[10]Chen S,Cao L,Wang Y,et al.Image segmentation by MAP-ML estimations[J].IEEE Transactions on Image Processing,2010,19(9):2254-2264.

[11]Yang Y,Han S,Wang T,et al.Multilayer graph cuts based unsupervised color-texture image segmentation using multivariate mixed student's t-distribution and regional credibility merging[J].Pattern Recognition,2013,46(4):1101-1124.

[12]Figueiredo M A,Jain A K.Unsupervised learning of finite mixture models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(3):381-396.

[13]Yang Y,Guo L,Wang T,et al.Unsupervised multiphase color-texture image segmentation based on variational formulation and multilayer graph[J].Image and Vision Computing,2014,32(2):87-106.

[14]Li L,Jin L,Xu X,et al.Unsupervised color-texture segmentation based on multiscale quaternion Gabor filters and splitting strategy[J].Signal Processing,2013,93(9):2559-2572.

[15]Martin D,Fowlkes C,Tal D,et al.A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[A].Proceedings of the Eighth IEEE International Conference on Computer Vision[C].Vancouver,British Columbia,Canada:IEEE,2001.416-423.

[16]Kim T H,Lee K M,Lee S U.Learning full pairwise affinities for spectral segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(7):1690-1703.

李磊男，1979年出生，河南杞县人，博士，讲师，主要研究方向：图像处理、计算机视觉与机器学习.

E-mail:llhaut@163.com

董卓莉女，1980年出生，河南洛宁人，讲师，主要研究方向：图像处理、计算机视觉与机器学习.

E-mail:dong-lily2002@haut.edu.cn

An Unsupervised Color Image Segmentation Method Based on Region-constrained EM and Graph cuts

LI Lei,DONG Zhuo-li,ZHANG De-xian,FEI Xuan

(CollegeofInformationScienceandEngineering,HenanUniversityofTechnology,Zhengzhou,Henan450001,China)

A new unsupervised color segmentation method based on region-constrained EM (Expectation Maximization) and graph cuts is proposed,which can automatically determine the number of segments for a color image.The proposed method first obtains the superpixels of the image and extracts CIE Lab color feature and multi-scale quaternion Gabor filter feature.In order to automatically and efficiently determine the number of segments for the image and avoid the problem caused by using superpixels directly,a window is used to sample each superpixel to obtain a pixel subset which represents the superpixel.Then the feature space of the sampled pixel subsets is modeled with Gaussian mixture model,and the model parameters (including the number of components) are obtained by a region-constraint component-wise EM algorithm.Finally,the segmentation result can be obtained byα-expansion with the learned model parameters.Experimental results demonstrate the good performance of the proposed method.

color image segmentation;region constraint;superpixel;component-wise EM;graph cuts

2014-10-22；修回日期：2015-04-08；责任编辑：梅志强

河南省教育厅自然科学项目(No.13A520177,No.15A520057);河南省科技厅自然科学项目(No.132102210494);高层次人才基金(No.21476062，No.31401918)

TP391.41

A

0372-2112 (2016)06-1349-06