基于光流场与EM算法的运动目标检测

王源金，何建农

(福州大学数学与计算机科学学院，福建 福州 350116)

0 引言

运动目标检测作为图像处理的重要部分，是指从复杂的背景中分离出正在运动的目标，即把前景和背景进行分离[1-2]. 若能把运动目标有效地从背景中分离出来，从而进一步分析所检测目标的后期行为，这将极大地促进图像处理的研究. 但是，由于复杂的背景以及背景的扰动因素，如阴影、光照、扰动的树叶等，这些不确定因素造成了目标检测成为一个难题. 因此，对运动目标检测算法开展研究是十分必要的.

目前，主要的检测技术有：差帧法、背景减除法和光流法等. 光流法，主要用两帧图像相减之后，通过给定阈值来筛选运动区域； 背景减除法的原理是在当前帧图像和背景图像相减后的基础上来实现背景和前景的分离； 光流法，就是根据两帧间图像中像素点的瞬时运动速度来确定运动目标[2]. 而随着目标检测理论的快速发展，模式识别也被引入目标检测，例如传统的Kmeans算法、近邻法等，这些理论的引入极大地丰富了目标检测技术，使得目标检测的成功率大大提高.

1 光流场简介

Gibson于1950年首次提出光流的概念，所谓光流是指时变图像中模式运动速度[3]，反映在图像中就是像素的瞬时速度. 图像所有像素点的瞬时速度就构成了图像的光流场. 而在空间中，图像上的运动目标可以通过运动场来刻画，图像上的像素点的不同分布即是运动场的体现[4]. 但是，通过图像，直接求运动目标的运动场比较困难，所以需要先用光流场对真实运动场进行近似估计. 根据视觉感知原理，空间上连续运动的目标投射到图像上，其显示结果也是连续变化的，这就是灰度不变性假设. 根据这一基本假设, 可以得到光流基本方程[5].

假设图像上的点(x,y)在时刻t的灰度为I(x,y,t), 设光流w=(u,v)在该点的水平和垂直移动分量u(x,y)和v(x,y)为：

经过间隔dt后对应的点为I(x+dx,y+dy,t+dt)，当dt→0，灰度I保持不变，得到：

对式(2)进行Taylor展开，忽略二阶无穷小，整理可得光流约束方程(optical flow constraint equation)为：

其物理意义是灰度对时间的变化率，等于灰度的空间梯度与光流速度的点积.

为了定解u(x,y)必须给式(3)附加其他的约束条件，Horn和Schunck引进全局平滑性约束[6]，即假定光流在整个图像上平滑变化，换句话说，速度的变化率为零.

由式(3)～(4)可得光流w=(u,v)应满足：

其中:λ的取值由图中的噪声情况来决定. 当噪声强时，则对光流约束的依赖性较强，这时λ取值较大； 当噪声弱时，λ取值则较小[6-7].

2 EM算法

EM算法(expectation maximization，EM)是一种用来求参数极大似然估计的算法，该算法使计算后验密度函数变得相对简单，其优势在于简单和稳定[8]. EM算法是一种无监督的算法，主要应用于资料不全时，由已知的数据填充未知的数据，发现数据当中的隐藏变量[9]. EM算法和Kmeans算法的相似度较大，但二者最主要的区别是Kmeans是一种硬聚类算法，即每个数据点唯一对应着一个类，而EM算法是依据后验概率软聚类的方法，利用对象与类之间所发生的概率来进行对象的分配[9-10].

设X是已知的观察数据，X由某个分布函数生成，但具体不清楚是哪个分布函数(该分布函数可以是高斯分布、卡方分布等等)，Y是缺失的潜在数据[10-11]. 进行EM算法迭代的目的是寻求最大似然函数L(θ|θn)，假设第n次迭代时估计所求得的最大值点为θ(n). 定义Q(θ|θ(n))是在观测数据X={x(1),x(2), …,x(n)}条件下，完全数据的联合对数函数的期望，即：

由式(6)知，当观测的样本点X={x(1),x(2)，…,x(n)}确定时，则Z的随机部分只有Y. 当对Y求条件期望时，Y就被消除，从而Q(θ|θ(n))就是关于θ的单变量函数，进一步可求得Q(θ|θ(n))最大的θ，记为θ(n+1)，为下一次迭代做准备[12]. 总之，EM算法从初始值θ(0)开始，通过E步骤和M步骤循环交替使用，对模型的参数逐步进行修改，从而逐步提高参数和训练样本的似然概率，最终趋于一个极大值点. 其中E表示期望，M表示最大化[12-14].

3 算法的改进

本研究实现目标检测是利用光流来作为前提，为此作为本研究检测的一个必要条件就是要先求得图像的光流场. 而关于求光流场的方法有微分光流技术、Horn & Schunck算法，等. 虽然光流场的信息量大，但其无法满足实时性要求，从而使得检测的目标噪声很大. 本研究采用EM算法对光流场进行聚类，减少噪声，从而实现对目标的精确检测.

算法的具体步骤如下：

Step1：输入两帧图像，计算t时刻的像素点的水平和垂直移动分量u(x,y)和v(x,y).

Step2：根据Horn & Schunck算法可求得图像的光流场w=(u,v)，其满足式子(5).

Step3：在光流场w=(u,v)随机产生m个独立的样本{x(1),x(2)，…,x(m)}.

Step4：利用样本集求一个分布Q(z)，对分布函数的参数θ进行初始化.

Step5：根据参数初值或前一次迭代所得的模型参数值θ(n)，求得分布Q(z)，从而使得L(Q,θ)最大化，其中：

Qi(zi)=p(x(i),z(i);θ)

Step6：固定q(z)，求一个θ，记为θ(n+1)，使得L(q,θ)最大. 该步骤完成了EM算法的M步骤，其中:

Step7：重复Step5和Step6直至收敛，即完成EM步骤直至收敛.

Step8：对光流场聚类结束，把运动的前景和背景加以类标签从而进行区分，进而显示聚类结果，完成目标的检测.

4 实验结果和分析

本研究算法是以Matlab7.1为仿真平台实现的，硬件环境是Intel(R) Core(TM) i3-2350M 2.3 GHz处理器，2 G内存. 选取三个不同场景的图片，分别用光流场检测法、Kmeans检测法、EM算法检测法、基于Kmeans的光流场聚类检测法以及本研究提出的改进算法进行仿真实验. 其中，实验1是检测单目标，实验2是检测多目标，实验3所检测的是被遮挡的运动车辆，三个实验的结果分别见图1～3.

图1 实验1Fig.1 Experiment 1

图2 实验2Fig.2 Experiment 2

图3 实验3Fig.3 Experiment 3

5种算法运行时间比较见表1，从表1可知, 本研究算法虽然比除了基于Kmeans的光流检测法以外的其他3种算法的运算时间长，但是检测效果是5种算法中最好的. 从3组不同的场景实验中不难发现, 本研究算法对检测的目标噪声大大降低，实验结果最好. 实验1是对单目标进行检测，从图1(d)、1(e)、1(g)的结果来看，其所对应的3种检测结果基本上无目标的轮廓. 图1(f)是EM算法检测结果，虽然有目标的轮廓，但从仿真结果可见本研究的算法检测结果最好，噪声最少. 实验2检测的是多目标，从仿真结果可见, 虽然光流场检测法、Kmeans检测法、EM算法检测法、基于Kmeans的光流场聚类检测法对目标检测的结果都呈现出目标的轮廓，但本研究算法噪声最少. 实验3是对遮挡的车辆进行检测，求该场景的光流场，其光流场的分布基本上是充满了整个图像，无法识别目标，而且像光流场检测法等其他几类算法的检测结果也是无法识别目标，而本研究的算法能够明显地检测到相应的目标. 通过以上几个仿真实验表明，该算法检测效果要明显优于其他算法.

表1 五种算法运行时间比较

5 结论

通过把光流目标检测法和EM聚类两种算法结合起来，提出一种改进的目标检测方法. 针对光流场抗噪能力不强，对目标检测不准确的特点，采用聚类的方法对于光流场进行聚类，使得目标更加清晰，减少噪声，且利用EM算法，根据概率来对对象进行不同的分配，从而获取比Kmeans更好的分类效果. 但本研究算法也存在不足之处，该算法是在光流场的基础之上进行聚类的，求光流场的过程中对于光噪声、阴影敏感，对后面的聚类有一定的影响. 实验结果表明，尽管改进的算法对于光噪声敏感，但是它能够提高图像目标检测质量，消除噪声，获得更好的检测结果.

[1] 袁伟才, 徐向民. 一种有效的动态背景提取及更新方法[J]. 计算机工程与应用, 2010, 46(4): 191-192.

[2] 曾宏亮. 视频图像中运动目标检测与跟踪技术的研究[D]. 北京: 北京邮电大学, 2010.

[3] ENKELMANN W. Investigationgs of multigrid algorithms for the estimatiom of optical flow fields in image sequences[J]. Computer Vision Graphics and Image Processing, 1998, 43(2): 155-177.

[4] 马颂德，张正友. 计算机视觉：计算机理论与算法基础[M]. 北京：科学出版社，1998.

[5] 宋爽, 杨健, 王涌天. 全局光流场估计技术及展望[J]. 计算机辅助设计与图形学学报, 2014, 26(5): 841-850.

[6] 裴巧娜． 基于光流场法的运动目标检测与跟踪技术[D]． 北京：北方工业大学, 2009.

[7] 马龙, 王鲁平, 陈小天, 等. 噪声环境下光流场估计方法[J]. 信号处理, 2012, 28(1): 87.

[8] 张宏东. EM算法及其应用[D]. 济南: 山东大学, 2014.

[9] 王安娜, 薛嗣麟, 俞跃, 等. 基于改进光流场模型的医学图像配准方法[J]. 中国图象图形学报, 2010, 15(2): 329-332.

[10] BIETTI A, BACH F, CONT A. An online EM algorithm in hidden (semi-) Markov models for audio segmentation and clustering[C]// IEEE International Conference on Acoustics, Speech and Signal Processing.[S.l.]: IEEE, 2015: 1 881-1 885.

[11] MUMTAZ A, COVIELLO E, LANCKRIET G R G,etal. Clustering dynamic textures with the hierarchical EM algorithm for modeling video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(7): 1 606-1 621.

[12] MARK B L, EPHRAIM Y. An EM algorithm for continuous-time bivariate Markov chains[J]. Computational Statistics and Data Analysis, 2013, 57(1): 504-517.

[13] DEMPSTER A P, LAIRD N M, RUBIN D B. Maximum likelihood from incomplete data via the EM algorithm[J]. Journal of the Royal Statistical Society, 1977, 39(1): 1-38.

[14] 王戈, 于宏毅, 沈智翔, 等. 一种基于EM算法的快速收敛参数估计方法[J]. 吉林大学学报(工学版), 2013, 43(2): 532-537.