基于马尔可夫随机场模型的运动对象分割算法*

王 闪， 吴 秦

(江南大学 物联网工程学院，江苏 无锡 214122)

基于马尔可夫随机场模型的运动对象分割算法*

王 闪， 吴 秦

(江南大学 物联网工程学院，江苏 无锡 214122)

提出了一种基于马尔可夫随机场(MRF)模型的运动分割算法，仅使用了压缩流中的运动矢量和块编码模式信息，可以在复杂场景下对运动对象有很好的分割效果。利用运动矢量量化的方法来对运动矢量进行预处理，对运动矢量进行马尔可夫建模，利用能量最小函数进行优化得到运动对象分割的效果。实验表明:与现有的方法相比，该方法可从复杂场景中更准确地对运动对象进行分割。

运动对象分割； 马尔可夫随机场模型； 压缩域

0 引 言

运动对象分割在计算机视觉领域得到了广泛的研究和应用，分割的方法主要基于像素域和压缩像素域，但随着视频分辨率的逐渐提高，像素域的分割渐渐无法满足其实时性，分割速度到了瓶颈的状态，于是提出了压缩域的分割方法。在分割算法中，主要通过对提取目标的特征信息进行分割，在监控的压缩视频中，提取运动目标主要采用的是运动矢量(MV)和离散余弦变换(DCT)系数[1]。Ahmad A M A等人[2]提出了基于MPEG视频的级联滤波(cascade filtering)方法，该方法将高斯滤波和中值滤波联合来去除独立噪声从而产生运动场。2010年，Moura R C[3]提出了时空域的滤波(spatio-temporal filtering,STF)方法，该方法结合了MV空域和时域上的双重相关性来滤除噪声并保留运动对象MV，该方法也成为现在压缩域对象分割中主要的滤波算法。基于MPEG视频操作的有最大期望算法、区域生长方法以及多内核均值漂移分割等[4]。但这些方法都要同时具有MV场和DCT残差系数，其计算复杂度也很高。张文琪[5]对压缩码流中4×4块残差进行处理，提出一种基于熵能选取自适应阈值的时空域运动对象分割方法。除了这些还有一些新兴的方法，如Lu Y等人[6]提出的基于背景估计的算法，通过用帧间的编码模式来估计出背景区域从而降低全局运动补偿的时间。Sun L等人[7]利用宏块编码的模式来估计运动区域，快速高效，但是仅限于室内等外界环境不变的条件。

分析上述文献方法，在针对监控视频和具有刚性运动对象的分割具有较好的效果，但针对背景运动和非刚性物体的运动对象，不能正确的分割。本文在针对压缩域中运动矢量缺失的问题进行处理，并进行运动矢量的量化处理，通过运动估计和全局运动补偿来进行运动对象的分割。

1 马尔可夫随机场模型基本原理

1.1 马尔可夫随机场分析方法

马尔可夫随机场(Markovrandomfield,MRF)模型构造过程包含两个步骤：1)确定邻域和对应的基团(如图1示)，对规则位置集，点(i,j)的邻域表示为

ηi,j={(k,l)∶0<(k-i)2+(l-j)2}≤d

(1)

式中d决定邻域结构的大小和相应的基团。在目标识别等问题中，常借助图论的方法构造Markov图，由它表示和处理这些问题时所需的上下文关系，确定邻域结构及基团[8]。2)选择基团，再确定其势函数。

图1 邻域基团集合Fig 1 Neighborhood radical group set

1.2 马尔可夫随机场的基本思想

在计算机视觉领域，将马尔可夫随机场理论应用到运动对象分割方面已经取得一些成果，这个模型不仅仅优化图像的空间分布，还将优化图像序列沿着时间轴的分布。由于实际运动对象不可能以足够高的帧率被捕获到，包含运动对象的像素最典型的移动也不过在数十个像素以内[9]。因此，空间相邻的像素在相邻的图像之间可能不存在任何的联系。基于这种考虑，将图像分成块，将相邻图像间的块通过它们的矢量联系起来。在本文的方法中，来实现对运动对象的初始标号，然后基于马尔可夫随机场模型来解决运动目标分割的问题。

2 基于马尔可夫模型的压缩域运动对象分割

2.1 运动矢量预处理

将H．264压缩视频中的运动矢量场归一化为4×4的块，用矢量中值滤波能够消除孤立矢量噪声并且平滑相邻块之间运动矢量的差异。使用滑动窗方法进行中值滤波，首先定义N×N窗函数内各元素之间的差异度

(2)

式中 vi和vj为N×N窗内的运动矢量；L为欧几里德距离。将di升序排列映射到vi。最后根据式(3)，以排序后的vout作为最后的输出结果

(3)

式中cor(v(N+1)/2,v)=‖v(N+1)/2,v‖/(‖v(N+1)/2‖‖v‖)，v为平均矢量，p为预设的阈值。

2.2 全局运动补偿

在背景运动的视频序列中,对其累积运动场进行全局运动补偿获得残差运动场，然后通过运动模型对全局运动场建立模型[10]。本文中使用的是6参数仿射模型，虽然6参数仿射模型没有8参数透视模型灵活，但6参数仿射模型在去除全局运动的研究中应用更广泛。令6参数仿射模型参数为m，则

m=[m1,m2,m3,m4,m5,m6]

(4)

若在t帧中，一个块的坐标为(x,y)，那么被转换的参考帧的坐标为(x′,y′)，那么

x′=m1+m2x+m3x,y′=m4+m5y+m6y

(5)

所以，得到运动矢量v(x,y)为

v(x,y)=(x′-x,y′-y)

(6)

在求出初始运动模型之前，需要对加权系数w(n)定义

(7)

式中 φ为估计误差，μφ和σφ分别为平均值和标准方差。最后将运动模型运用到整个矢量场，求出最后的残差。

通过马尔可夫随机场建模，经过全局运动补偿之后，可以得到运动对象矢量块，最后利用Gibbs势能函数进行运动对象分割，具体流程如图2所示。

图2 方法流程图Fig 2 Flowchart of the proposed method

在基于压缩域分割的算法中，运动矢量信息起着非常大的作用，但在编码过程中，会存在帧内编码块缺失运动矢量信息，本文通过极向量中值来预测缺失的矢量信息，来提高分割的精度。在求解能量函数方面上，本文通过求解马尔可夫随机场模型的最大后验概率等同于求解Gibbs能量函数的最小值。解决该类问题最常用的算法有两种：模拟退火(simulated annealing，SA)算法和条件迭代模式(iterative conditional modes，ICM)算法。模拟退火算法由于其复杂性较大，本文采用的ICM算法。

3 实验与结果分析

在本文中采用标准测试视频序列进行评估实验，视频采用的是YUV4∶2∶0格式的序列，所有的帧速为30 fps和H.264/AVC JM V.18.0进行编码，平台采用AMD Athlon(tm)II X4 645处理器，主频3.1 GBZ。为了提现本文提出的算法的鲁棒性和稳定性，在整个实验中采用同样的参数序列，采用标准测试序列Coastguard,City,Stefan等序列进行了实验，分割效果分别为图3(a),(b),(c)所示。

图3 分割结果对比Fig 3 Comparison of segmentation results

图3中(a),(b),(c)中上面一栏为本文分割方法分割出来的效果，下面一栏为文献[11]的分割方法。其中(a)采用背景运动的视频序列Coastguard 来验证所提出的分割方法,从分割效果来看，文献[11]不能很好地去除噪点，并在边框出现分割错误，在第四列出现相机的突然下移，本文方法依然能正确分割。(b)为围绕大楼旋转的City序列，本文方法依然能准确的分割，文献[11]同样出现无法正常分割的现象。(c)视频为Stefan标准序列，该视频序列即存在背景的运动也存在，前景对象的非刚性运动，即使进行全局运动补偿，也会出现不能完全分割的效果。虽然本文方法没有将运动对象的下半身分割出来，但相对其他方法，本文方法能体现很佳的效果。

为了对算法进行比较，从精确度(p)、召回率(r)和f值r方面进行对比，其定义如下

(8)

(9)

(10)

式中 TP为被模型预测为正的正样本(truepositives)，FP为被模型预测为负的负样本(falsepositives)，FN为被模型预测为负的正样本(falsenegatives)。图4中可以看出，本文提出的方法相比文献[11]具有较高的分割效果。

图4 准确度、召回率和f值结果对比Fig 4 Comparison of results of accuracy rating,recall rate,value

4 结束语

通过实验的验证，本文在复杂背景下针对运动对象的局部运动、相机抖动、缓慢运动及快速运动等情况下具有较强的鲁棒性。而本文算法也体现出其不足，由于运动矢量分部的不均匀以及数量的不同，帧率的稳定性欠佳，导致其欠分割或过分割现象。但总的来说，本文方法是一个比较具有前景的方法，是从一个全新的视角来看待压缩域的分割。

[1] Avarur J.Survey on motion vector filtering and object segmentation methods in compressed domain[J].International Journal of Advancements in Technology,2011,2(2):199-205.

[2] Ahmad A M A,Chen D Y,Lee S Y.Robust object detection using cascade filter in MPEG videos[C]∥Proceedings of 2003 the Fifth International Symposium on Multimedia Software Engineering,IEEE,2003:196-203.

[3] Moura R C,Hemerly E M.A spatiotemporal motion-vector filter for object tracking on compressed video[C]∥2010 the Seventh IEEE International Conference on Advanced Video and Signal-Based Surveillance(AVSS),IEEE,2010:427-434.

[4] Porikli F,Bashir F,Sun H.Compressed domain video object segmentation[J].IEEE Transactions on Circuits and Systems for Video Technology,2010,20(1):2-14.

[5] 张文琪,张茂军,李 乐,等.基于熵能的 H.264压缩域运动对象分割[J].计算机应用,2010,30(12):3265-3268.

[6] Lu Y,Xu X.Efficient object segmentation using background estimation for H.264 video[C]∥2012 the 8th International Confe-rence on Wireless Communications,Networking and Mobile Computing(WiCOM),IEEE,2012:1-4.

[7] Sun L,Dai M,Chen X.A simple and fast moving object segmentation based on H.264 compressed domain information[C]∥2012 the Fourth International Conference on Computational and Information Sciences(ICCIS),IEEE,2012:481-484.

[8] 侯文生,蔡 全,吴小鹰,等.基于加速度计的手指运动姿态检测[J].传感器与微系统,2012,31(1):146-148.

[9] 谢 昕,王建宾,胡锋平.一种基于PSO与OSTU的改进絮体分割算法[J].传感器与微系统,2015,34(1):131-134.

[10] 贾克斌,谢 晶,方 晟.一种基于自相关法的H.264/AVC高效帧内预测算法[J].电子学报,2006,34(1):152-154.

[11]ChenYM,BajicIV.Ajointapproachtoglobalmotionestimationandmotionsegmentationfromacoarselysampledmotionvectorfield[J].IEEETransactionsonCircuits&SystemsforVideoTechnology,2011,21(9):1316-1328.

吴 秦,通讯作者,E—mail：qinwu@jiangnan.edu.cn。

Moving object segmentation algorithm based on Markov random field model*

WANG Shan， WU Qin

(College of IOT Engineering,Jiangnan University,Wuxi 214122,China)

Propose a motion segmentation algorithm based on Markov random model,it can has good segmentation effect in complex scenarios on moving objects only using motion vectors and block coding mode information in compressed stream.Preprocessing motion vector using motion vector quantization method,and Markov modeling is carried out on motion vector,the minimum energy function is used for optimization to obtain effect of moving object segmentation.Experiment shows that this method can segment moving object more accurately from complex scene compared with existing methods.

moving object segmentation; Markov random field(MRF)model; compressed domain

10.13873/J.1000—9787(2016)07—0113—03

2016—05—05

国家自然科学基金资助项目(61202312)；中央高校基本科研基金资助项目(JUSRP51510)

TP 391

A

1000—9787(2016)07—0113—03

王 闪(1990-)，男，安徽阜阳人，硕士研究生，主要研究领域为机器视觉与视频编解码。