融合边缘和形状先验的MRF目标分割

张 微

(宝鸡文理学院计算机科学系，陕西宝鸡 721016)

图像分割作为计算机视觉与图像处理领域中极其重要的一项研究内容，是图像分析与理解的关键步骤，在图像工程中占有非常重要的地位［1－7］。对图像中感兴趣的目标进行分割成为目前研究的热点。然而，当图像受到噪声、遮挡、阴影、复杂背景等因素影响时，图像目标的精确分割往往会变得很困难，得不到较好的分割结果。目前，大多数图像分割方法是对图像的底层特征(如颜色、强度等)进行分割，但这并不足以克服上述困难。

形状先验是应对上述问题的一种有效方式，得到了越来越多的关注［8］。在实际应用中，待分割目标的形状通常是已知的，可以利用该已知信息来指导分割过程，使分割结果向理想的形状靠近。目前，形状先验在马尔科夫随机场(markov random fields，MRFs)模型与图割(graph cuts)框架中的应用受到了广泛的关注。文献［9］将一种椭圆先验形状以参数曲线的形式加入到能量函数中，取得了较好的分割结果。但在通常情况下，待分割目标并不能用简单的参数形式表示，这使其在应用中受到一定的限制。在文献［10］中，形状模板用水平集的形式表示，并以二阶势函数的形式加入到能量函数中。虽然形状模板可以是任意的，但却是单一固定的，并不能适应形状的变化。文献［11］将通量最大约束引入MRF模型，与其他两种约束共同构成形状先验能量函数以改善分割结果。但该方法采用手工标记作为形状模板，方法也较为单一，并且没有提及形状的变化。在上述方法中并没有将图像的边缘信息考虑进来。图像的边缘也是图像的基本特征之一，在图像处理领域中有着广泛应用［12－13］。如果能够将图像的边缘信息进行有效的利用，那么在一定程度上可以帮助改善图像目标的分割效果。

本文在MRF中同时引入边缘和形状先验信息，建立了一种融合边缘和形状先验的MRF模型，并用于对图像目标的分割。形状先验先在包含多个形状模版的训练集上定义，解决了形状对齐问题。相比于单一形状模版的情形，它更加灵活，能够反应出形状的变化。图像的边缘信息再与形状先验相结合，转化为势函数的形式加入到能量函数中，最后通过graph cuts算法进行能量最小化得到分割结果。实验结果表明:边缘和形状先验的引入可以较好地约束目标边界，减少遮挡、复杂背景等因素对分割结果的影响，取得较好的分割效果。

1 马尔科夫随机场目标分割理论框架

图像目标分割问题可以被认为是一个标记问题。对于待分割图像D，集合 P={1，…，m}对应于图像中的m个像素;L={l1，…，ln}是n个标记的集合，对应于n个待分割的目标。目标分割的目的是寻找某种程度上最优的一个映射 φ:P→L，其中映射φ为P集合上随机变量的一个场 F=(F1，…，Fm)，Fp表示像素p的随机变量，从集合L上取值。向量f=(f1，…，fm)表示给随机变量场标记分配的一个配置或标记，其中 fp表示分配给随机变量Fp的标记。集合P的邻域系统可以记为N={Np|∀p∈P}，其中Np表示像素p∈P的邻域集合。

在MRF建模中给定观测图像D时，标记f的后验概率为Pr(f|D)。根据Hammersley-Clifford原理［14］，一个 MRF等价于一个 Gibbs随机场(GRF)，以Gibbs分布的形式表示为

Gibbs能量函数可以进一步表示为一阶势函数Vp(fp)和二阶势函数Vpq(fp，fq)之和的形式:

式(3)中:Vp(fp)衡量给定观测图像D时为像素p分配标记fp的惩罚，该惩罚仅与像素p的特征有关;Vpq(fp，fq)表示同时为像素p分配标记fp与为其相邻像素q∈Np分配标记fq的惩罚，该惩罚通过相邻像素间的相似性来描述相邻像素间的相互作用关系。

最优标记f*通过最大化后验概率获得，等价于Gibbs能量函数的最小化。

由于本文仅考虑单一目标(目标/背景)的分割问题，标记集合取值为L={0，1}，其中:0对应背景;1对应待分割的目标。

2 融合边缘和形状先验的马尔科夫随机场目标分割模型

前面已经给出了基于MRF的目标分割理论框架，为了将边缘和形状先验信息引入，能量函数可定义为3部分:

其中EA(f)，EB(f)和ES(f)分别表示外观(appearance)先验能量项、边缘能量项以及形状先验能量项，分别采用一阶或二阶势函数或两者相结合的形式定义。

2.1 外观先验

式(5)中的EA(f)能量根据待分割目标的特征信息来建模，采用一阶与二阶势函数相结合的形式定义为如式(6)所示的形式。

式(7)中:Pr(dp|fp=i，θ)表示类概率密度函数，这里采用高斯混合模型来建模;dp表示像素p的特征向量;θ是高斯混合模型中的参数，通过极大似然法估计得到。

式(9)中:K(p，q)是一个非负权值，这里用它来惩罚相邻像素之间的不连续性;dp表示像素p处的特征向量;γ用来衡量二阶能量函数的相对重要性;σI可看作噪声的估计值。

2.2 边缘的引入

本文引入图像的已知特征边缘，通过对待分割目标的边界进行约束，达到指导图像目标正确分割的目的。需要将其转化为势函数，加入到能量函数中，通过能量最小化过程，使结果向目标边缘收敛，那么目标边缘处的能量应该是最小的。本研究先使用canny算子对图像进行边缘提取，再对该结果做距离变换，计算像素 p到距离其最近的边缘上点q的距离。除此之外，还将图像梯度转化为参数以调节该距离。对于图像边缘上的任意一个像素点p，其到自身的距离为0。因此，图像的边缘距离变换可以用符号B表示，如式(10)所示。

式(10)中:Bp表示图像中任意一个像素点p的边缘距离变换结果;μ用梯度幅值来调节像素点到距离其最近的边缘上点的距离大小，且gradp是像素p处的梯度幅值，c是图像中所有像素梯度幅值的均值。若像素p在边缘附近，则其梯度幅值越大，其倒数值越小。dist(p，q)为像素点p和点q间的欧式距离。对于图像中的任意一个像素点p，若其不在边缘上，则可计算出距其最近边缘上点之间的欧式距离。p距边缘越近，则该距离变换值也就越小，反之则越大;若其在边缘上，则该值为0。

边缘能量项EB(f)采用如下的形式定义:

权值g(p，q)用来计算出相邻像素点p和q的边缘距离变换结果，该值越小，表明它们距离边缘越近，属于不同类别的概率越大。参数γ与式(9)相同，用来权衡二阶势函数的相对重要性。与外观先验中的二阶势函数类似，这里也考虑相邻像素间的相互作用关系，若其标记相同，则惩罚为0;反之，惩罚也会越大。显然，越靠近目标边缘的点惩罚也会越小，反之越大。

边缘这一已知图像特征的利用增加了对目标边界的有效约束，能够在一定程度上帮助目标的准确分割。

2.3 形状先验的表示及形状对齐过程

从本文的论述可以看出:目标分割实际上是根据图像已知特征为像素分配标记的过程。需要建模给定图像 D时，标记 f的后验概率为Pr(f|D)。由贝叶斯定理可知:后验概率满足Pr(f|D)∝Pr(D|f)Pr(f)。其中，Pr(f)表示先验概率分布，可以让Pr(fp=1)和Pr(fp=0)分别表示像素p属于目标或背景的形状先验概率。形状先验在包含多个形状模版的训练集上定义，这里的形状模版采用二值的手工标记。对于一个已对齐的形状训练集 S={S1，S2，..Sn}，形状先验概率

形状先验能量函数可定义为其中一阶势函数VSp(fp)根据形状先验概率定义为

这里将形状先验引入，通过最小能量过程使分割结果向与形状相似处收敛，从而提高分割精度，达到改善分割效果的目的。实际上，该过程也相当于求解最大概率，式(15)中的形状先验对应增加了像素被分为目标的概率。

需要注意的是:形状先验的计算需要在一组已对齐的形状训练集上进行。本文实现形状对齐的过程如下:先通过SURF［15］算法找到待对齐形状间的特征点对;再采用RANSAC［16］算法去除匹配点对中错误匹配点对;最后利用剩余的匹配对计算变换矩阵，得到对齐后的形状。图1给出了对MSRC dataset［17］中人脸图像的形状模版进行对齐的过程。从图1中可以看出:当使用RANSAC方法以后，形状模版间的一些错误匹配点被消除。

图1 形状对齐过程示意图

2.4 Graph cuts能量最小化

Graph cuts［18］是常用的能量最小化方法之一。对于目标/背景分割问题，graph cuts可以有效地对E(f)进行最小化，但二阶势函数Vpq必须是一个sub-modular函数，即 Vpq(0，0)+Vpq(1，1)≤Vpq(0，1)+Vpq(1，0)。由前面的讨论可以明显看出:本文能量函数满足上述条件，可以通过graph cuts算法求出全局最优解。

3 算法流程

对于给定的图像集，本文算法过程可以描述为:

1)对待分割图像进行初始化，得到初始标记f，估计参数θ，设定参数σI和γ，根据式(6)～(9)计算得到EA(f)。

2)采用graph cuts算法对能量函数EA(f)进行最小化，得到分割结果f'，并将f'→f。

3)给定一个已对齐的形状训练集S，计算形状先验概率分布，然后将形状先验与当前的分割结果f对齐。根据式(15)～(16)计算，并将

4)提取图像边缘、梯度信息，根据式(10)～(13)计算 Bp，得到，将+，得到总能量函数 E(f)=EA(f)+ES(f)+EB(f)。

5)用graph cuts算法对E(f)进行最小化，得到最终分割结果f'。

4 实验结果分析

本文算法的程序文件是在Windows 7系统中的Matlab R2010b环境下编程实现的。硬件环境:处理器为 i52.67GHz，内存为4G。

本文算法分别在标准图像库Caltech leaves dataset［19］和 MSRC dataset上进行测试。Caltech leaves dataset包含不同背景下不同形状的叶子图像，从中选择66幅具有相似形状的图像进行实验，并对其进行手工标记。从中选择33幅图像的手工标记作为形状模版。由于本文考虑的情形较为简单，可以将训练集中的形状按照其质心进行平移来实现对齐，然后计算形状先验概率，其余33幅图像用于测试。从MSRC dataset中选择不同背景下具有相似形状的人脸图像进行实验。该类别中形状模版间在尺度、位置上均有不同，采用本文2.3节中的方法实现对齐。从该类别30幅图像中选择10幅图像的手工标记作为形状模版用于训练，其余20幅图像用于测试。图2给出了实验中所用到的部分形状模版及形状先验，其中每一行中的最后一幅图像为形状先验。可以看到，用于实验的形状模版虽然较为相似，但仍有明显的差异，增加了用形状指导分割的难度。

图2 形状模版及形状先验

在实验中，将式(9)中的参数σI设为相邻像素间颜色特征差异的均值，这样对于不同图像，该参数值也会不同。为简单起见，将参数γ的值固定为5。

图3给出了部分形状不同的叶子图像的分割结果，同时包含了遮挡的情形。在相同初始化的情况下，将本文算法与未包含边缘和形状先验的传统图割算法进行比较。图3(a)中，红色和蓝色的线分别表示目标和背景的初始化标记，图3(b)和(c)中绿色的轮廓表示最终分割结果。可以看出:待分割的图像中包含复杂的背景，且目标边缘处及背景中都有与目标颜色相近的部分，使得不添加先验信息得到精确的分割结果较为困难。不同图像中目标的形状也有较为明显的差异，也为形状先验的加入增加了难度。若采用单一形状模版，则不能适应目标形状间的较大变化，而这里采用多个形状模版能够适应更复杂的情形。

图3 叶子图像分割结果对比(图像大小:448×296)

从分割结果可以看出:当考虑边缘和形状先验时，相比于未加入该信息的情形，分割结果有了明显的改善。在边缘信息的约束下，形状先验可以较好地适应图像中目标形状上的差异，在复杂背景和遮挡的情况下仍然可以起到约束的作用，并驱使目标向理想的形状靠近。此时边缘信息和形状先验都起到了非常重要的作用。

图4(a)给出了人脸图像的原始图像及初始化标记。相比于前一种情形，待分割目标不仅在位置、尺度上有差异，有的还有一定倾斜角度的变化，且图像背景更为复杂，增加了目标正确分割的难度。图4(b)和(c)分别给出了传统图割算法和本文算法的分割结果。

从结果可以看出:相比于传统图割算法，本文算法同时考虑了边缘和形状信息，得到了较为完整的目标分割结果。目标颜色信息常与背景相似，导致背景中的部分被错分为目标。边缘和形状先验的引入有效地解决了这类问题，且边缘能够增加对目标边界的约束，更好地适应目标在形状上的变化。

图4 人脸图像分割结果对比(图像大小:320×213)

表1给出了不同图像库下算法性能的比较，包括未包含边缘和形状先验的传统图割算法与本文算法在分割错误率及运行时间上的比较。同时还比较了本文算法中参数μ对最终分割结果的影响。当参数时，相比于不考虑μ的情况，分割错误率仍有一定的减小，表明梯度幅值对边缘距离变换结果具有一定的调节作用。将边缘和形状先验相结合，在取得较好分割结果的同时，运行时间并没有大量增加，两类信息都起到了约束目标边界的作用。

表1 算法性能比较

5 结束语

本文提出一种融合边缘和形状先验的MRF目标分割方法。该方法在多个形状模版上计算形状先验概率，然后提取图像的边缘信息，分别将边缘信息和形状先验转化为能量函数的形式，最后通过图割算法进行能量最小化，得到最终分割结果。相比于未包含边缘信息和形状先验的传统图割算法，该方法通过边缘和形状先验约束目标，可以有效地减小复杂背景和遮挡问题的影响，取得了较好的分割结果。

［1］Li Xuchao，Zhu Shanan.A survey of the markov random field method for image segmentation［J］.Journal of Image and Graphics，2007，5(12):789 －798.

［2］单改仙，甘平，孙露，等.照度不均的皮肤图像分割方法的研究［J］.激光杂志，2013(3):23－25.

［3］郭锁利，辛栋，刘延飞.近代图像分割方法综述［J］.四川兵工学报，2012(7):93－96.

［4］丛超.医用心脏图像分割算法的量化评估框架［J］.重庆理工大学学报:自然科学版，2013(7):71－75，112.

［5］赵杰，祁永梅，潘正勇.结合边界和区域的水平集超声图像分割算法［J］.激光杂志，2013(6):46－48.

［6］董昌灏，闫镔，曾磊，等.融合背景能量项的Graph-CutsPCBCT 图像分割［J］.激光杂志，2013，34(4):25－27.

［7］李京娜，王国宏，王刚.基于光滑分割的局部脊波变换图像去噪算法研究［J］.激光杂志，2012，33(6):25－27.

［8］张微.基于概率图模型的图像分类研究［D］.西安:陕西师范大学，2013.

［9］SlabaughL G，Unal G.Graph cuts segmentation using an elliptical shape prior［C］//Image Processing，2005.ICIP 2005.IEEE International Conference on.USA:IEEE，2005:II－1222－5.

［10］Freedman D，Zhang T.Interactive graph cut based segmentation with shape priors［C］//Computer Vision and Pattern Recognition，2005.CVPR 2005.IEEE Computer Society Conference on.USA:IEEE，2005:755 －762.

［11］Chittajallu D R，Shah S K，Kakdiaris I A.A shape-driven MRF model for the segmentation of organs in medical images［C］//Computer Vision and Pattern Recognition(CVPR)，2010 IEEE Conference on.USA:IEEE，2010:3233－3240.

［12］Martin D R，Fowlkes C C，Malik J.Learning to detect natural image boundaries using local brightness，color，and texture cues［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2004，26(5):530 －549.

［13］Arbelaez P，Maire M，Fowlkes C，et al.Contour detection and hierarchical image segmentation［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2011，33(5):898－916.

［14］Li S Z.Markov random field modeling in computer vision［M］.New York:Springer-Verlag New York，Inc.，1995:11－12.

［15］Bay H，Ess A，Tuytelaars T，et al.Speeded-up robust features(SURF)［J］.Computer vision and image understanding，2008，110(3):346 －359.

［16］Fischler M A，Bolles R C.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24(6):381 －395.

［17］Shotton J，Winn J，Rother C，et al.Textonboost:Joint appearance，shape and context modeling for multi-class object recognition and segmentation［C］//Computer Vision-ECCV 2006.Austria:Springer Berlin Heidelberg，2006:1－15.

［18］Boykov Y Y，Jolly M P.Interactive graph cuts for optimal boundary＆region segmentation of objects in ND images［C］//Computer Vision，2001.ICCV 2001.Proceedings.Eighth IEEE International Conference on.USA:IEEE，2001:105－112.

［19］Overgaard N C，Fundana K，Heyden A.Pose Invariant Shape Prior Segmentation Using Continuous Cuts and Gradient Descent on Lie Groups［C］//Scale Space and Variational Methods in Computer Vision，SSVM 2009.Norway:Springer Berlin Heidelberg，2009:684 －695.