一种改进的运动目标跟踪方法

鲁永杰，王思明

（兰州交通大学自动化与电气工程学院，甘肃 兰州 730070）

一种改进的运动目标跟踪方法

鲁永杰，王思明

（兰州交通大学自动化与电气工程学院，甘肃 兰州 730070）

为解决障碍物在三维目标跟踪中产生的遮挡问题，使用基于光流法和立体视觉的目标跟踪系统，同时结合自适应滤波方法来预测跟踪目标三维速度的期望值。采用模糊控制系统解决不同速度的耦合问题，通过计算跟踪算法与预测算法的速度差值来判断运动目标是否受到遮挡。实验结果表明：在确保91.2%识别率的前提下，该算法识别运动目标平均每帧耗时15ms。该跟踪算法具有较好的鲁棒性和实时性。

目标跟踪；光流法；立体视觉；自适应滤波；遮挡；模糊控制

0 引 言

目标跟踪是通过视频图像序列来处理运动目标的相关问题。目标跟踪技术广泛应用于交通监控、三维重构、人机交互和军事制导等领域。

目标跟踪的效果往往受到实际环境中物体遮挡的影响，这会增加正确跟踪目标的复杂性和挑战性。国内外学者提出了许多方法来解决这些问题，大体上可以分为4类，分别是基于区域的跟踪、基于特征的跟踪、基于变形模板的跟踪和基于模型的跟踪[1-2]。其中，基于特征的跟踪方法在运动目标被遮挡，但只要还有一部分特征可以看到时，仍能实现运动目标的跟踪。光流法是基于特征跟踪方法的典型代表[3-4]。

近年来，大量的研究以光流法为基础，同时结合相关的算法来提高运动目标的跟踪准确度和跟踪稳定性[5-7]。文献[5-7]所述方法在一般场合下具有较好的跟踪效果，但是在遮挡条件下，对运动目标的跟踪存在一定的困难，甚至会出现跟踪失败的现象。

本文在光流法和立体视觉的基础上，结合自适应滤波的方法来预测运动目标的期望速度，提出一种改进型的目标跟踪方法。解决遮挡问题的关键在于光流法和预测算法的耦合，本文采用模糊控制的思想来解决该问题。

1 运动目标速度预测

为实现对运动目标的跟踪，需要对运动目标的速度进行预测。基于选取的代表运动目标的的标志点，在左右图像序列中使用光流法和自适应滤波算法得到相应的速度值。

1.1 光流法

1.1.1 传统光流法

在一般情况下，光流是由场景中目标的运动、相机的运动或者两者产生的相对运动引起的。光流法大体可分为3类，包括基于匹配的方法、基于频域的方法以及基于梯度的方法。其中，基于梯度的方法应用最为普遍。

假设图像上的点m=（x，y）T在t时刻的灰度值为I（x，y，t），经过dt时间间隔，运动到新的位置，其灰度值为I（x+dx，y+dy，t+dt）。当dt→0时，可认为前后两点的灰度值相同，即：

如果图像的灰度值随着x，y，t的变化较为缓慢，式（1）左边按照泰勒级数展开，同时忽略二阶无穷小项，可得：

式（3）称为光流场的基本方程，其向量式为

式中：▽I=（Ix，Iy）——图像在点m处的梯度；

νm=（u，ν）——点m的光流。

1.1.2 Lucas-Kanade（LK）方法

LK光流法是基于局部约束的方法。假定以点m为中心的小区域里各个点的光流相同，并且给这个区域内的不同点赋予不同的权值，那么光流的计算就转换为求使下式最小化的条件：

式中：Ω——以点m为中心的一个小区域；

W（x，y）——各点的权重值。

式（5）的解可由下面的方程求解得到：

假设Ω区域内有n个mi点，那么可得到：

通过求解方程（6），最终得到的解如下式所示：

在采集到的视频图像序列中，通过式（10）在左右序列中可计算得到相应的运动目标速度

1.2 自适应滤波

对于运动目标跟踪，虽然光流法具有较好的效果，但是在背景复杂以及遮挡的条件下还存在一定的问题。因此，本文采用自适应滤波对运动目标的速度进行预测，同光流法结合，实现对运动目标的跟踪。

自适应滤波器主要包括非线性自适应滤波器和线性自适应滤波器两类，本文采用线性自适应滤波器，其原理图如图1所示。

图1 自适应滤波器原理图

图中，x（n）为输入信号，ν（n）为干扰信号，d（n）为期望输出，e（n）为误差信号。t时刻的输入信号可表示为

式中L为自适应滤波器的长度。

同时可以得到自适应滤波器估计误差的加权平方和J（n）：

式中λ为遗忘因子，且0＜λ≤1。

通过自适应滤波算法，在左右视频序列图像中可计算得到相应的速度

1.3 运动目标速度预测流程

1）采用Lucas-Kanade光流算法来计算每一图像序列中每一帧运动目标的速度，并用其对滤波系数进行初始化。

2）对于第N帧图像，采用下面方法来计算速度νLN和νRN：

3）使用计算得到的νL，RN以及前一时刻的采样值对滤波系数进行更新。

通过证明可得到最优公差值为

式中k为变量，且对本文所述跟踪方法的正确运行起着至关重要的作用。

2 模糊控制器

对于本文算法，公差值是其正确运行的关键因素。一方面，在不存在遮挡时，光流法与自适应滤波法分别得到的速度值相差不大，其差值较小，如果tol的值较小，甚至小于差值，那么就会造成误判断，认为存在遮挡；另一方面，在跟踪过程中存在遮挡时，光流法与自适应滤波法分别得到的速度值相差较大，其差值较大，如果tol的值较大，甚至大于差值，就会误判断为不存在遮挡。出于上述原因，参数k的选取至关重要。k值过大或者过小都会对运动目标的跟踪产生影响。如实际的速度差值较小，但是由于选取了较大的k值，会使系统误认为存在遮挡，造成误跟踪。因此，本文采用模糊系统对变值k的选取进行控制，而不是采用先验值k。

模糊控制系统是基于模糊逻辑的控制系统。模糊控制为陈述、操纵和执行人类的启发式知识以及如何控制一个系统提供了正式的方法论。模糊控制器框图如图2所示，可以看到模糊控制器嵌套在一个闭环控制系统中。

图2 模糊控制器框图

此系统有两个输入量Δε和qV，一个输出变量k。变量Δε是增量误差（EI）。如果将误差ε作为由光流法计算得到的速度与自适应滤波预测得到的速度之差的绝对值，那么可以得到：

变量qV是一个二值变量。这表明，要么使用在前一帧由光流法计算得到的速度（qV=1），要么使用由自适应滤波预测得到的速度（qV=0）。

输入量Δε模糊化的成员函数集如图3所示。Δε的模糊值可以是NB（negative big，负无穷大），M（medium，中值）或者PB（positive big，正无穷大）。NB值对应的是在光流法计算中较大误差引起的障碍物边缘的最终峰值，PB值对应于初始峰值，而M值对应其他情况。

图3 输入量Δε成员函数

在此系统中，当序列图像中不存在遮挡（EI=M，qV=1）以及运动目标在遮挡中（EI=M，qV=0）时，为了选择出由光流法计算得到的速度，变量k的值要较大（H）。在其余各种情况下，为了选择出由自适应滤波预测得到的速度，变量k的值应较小（L）。

在这种情况下，系统的模糊值如表1所示。

表1 系统模糊值

推理机构利用上述条件计算全局输出量μout（k），输出量k的成员函数如图4所示。在这种情况下，输出变量k的值介于0.5～1之间。

最后，利用中心求和方法，去模糊控制器可以从全局输出μout（k）中计算得到变量k的真值，从而获得最优的公差值tol。

3 三维跟踪系统

三维跟踪系统的整体结构如图5所示。

在运动目标速度预测流程中，左、右序列中均采用光流法与自适应滤波进行运动目标速度的计算与预测。然后通过光流法跟踪结果与滤波预测结果之间的差别来判断运动目标是否受到遮挡。由光流法计算得到的速度和自适应滤波器预测得到的速度作为两个完全相同的模糊控制器的输入量，模糊控制器根据是否存在遮挡来选择相应的速度。为实现下一帧图像中运动目标的预测，这些选择出来的速度值将作为自适应滤波器的输入量，同时自适应滤波器对其系数进行更新。一旦在左右序列中都跟踪到了目标，使用三角测量原理可以得到目标的三维速度。

图4 输出量k成员函数

图5 三维跟踪系统结构

4 实验结果及分析

为了验证本文方法的有效性，使用实际采集的数据进行试验。采用二阶滤波器，遗忘因子λ=0.99，变量k取0.6。采用实际采集的分辨率为640×480的视频序列，在Intel Core3 2.40GHz的CPU、2GB内存配置的电脑上，在Windows XP操作系统下用Matlab R2010a进行测试，并对跟踪结果进行分析。用Nall表示处理的视频帧数，Nr表示正确跟踪的视频帧数，Nw表示误跟踪的视频帧数，Nd表示漏跟踪的视频帧数。那么，从表2可以看出，跟踪准确率为91.2%，误跟踪率为6.0%，漏跟踪率为2.8%。

表2 运动目标跟踪结果

实验结果表明，本文算法可在整个视频序列中实现运动目标的跟踪。但是，在有些情况下也会出现跟踪失败的现象，其原因主要有：1）雨雪等恶劣天气造成的干扰；2）运动目标前景颜色与背景颜色接近等。因此，跟踪系统的鲁棒性需要进一步提高。

5 结束语

本文提出了一种基于光流法和立体视觉，同时结合自适应滤波算法的运动目标跟踪方法。它能够在障碍物遮挡的场合下对目标进行准确的跟踪。实验证明，使用模糊控制器将光流法计算得到的速度与自适应滤波器预测得到的速度相结合，可实现目标运动轨迹的准确预测。

此外，本文还研究了参数值对跟踪系统产生的影响，最终得到一个最优跟踪系统，从而实现系统中容错值的准确控制。本文提出的运动目标跟踪系统具有较高的跟踪效率与较低的计算复杂度。该算法在跟踪准确率为91.2%的前提下，每帧图像平均耗时15ms。

[1]宋伟，纳鹏宇，刘宁宁，等.基于双目视觉系统的运动目标跟踪算法研究[J].北京交通大学学报，2013，37（6）：13-17.

[2]余静，游志胜.自动目标识别与跟踪技术研究综述[J].计算机应用研究，2005，22（1）：12-15.

[3]吴阳，徐立鸿，李大威，等.一种改进的基于光流法的运动目标跟踪算法[J].机电一体化，2011，17（12）：18-25.

[4]Parrilla E，Torregrosa J R，Riera J，et al.Fuzzy control for obstacle detection in stereo video sequences[J]. Mathematicaland Computer Modelling，2011，54（7）：1813-1817.

[5]李剑峰，黄增喜，刘怡光.基于光流场估计的自适应Mean-Shift目标跟踪算法[J].光电子·激光，2012，23（10）：1996-2002.

[6]孙承志，熊田忠，吉顺平，等.基于差分的光流法在目标检测跟踪中的应用[J].机床与液压，2010，38（14）：59-62.

[7]许晓航，肖刚，云霄，等.复杂背景及遮挡条件下的运动目标跟踪[J].光电工程，2013，40（1）：23-30.

An improved moving object tracking method

LU Yongjie，WANG Siming
（School of Automation&Electrical Engineering，Lanzhou Jiaotong University，Lanzhou 730070，China）

An object tracking system based on optical flow and stereo vision is used in order to solve the occlusion effect produced by obstacles in 3D object tracking，combined with adaptive filters to predict the expected 3D velocities of objects.The critical point of the system is the coupling between tracking and predictive algorithms.A fuzzy control system is proposed to solve this coupling problem between the different velocities and judging whether the moving objects are blocked by calculating the speed difference between tracking algorithm and prediction algorithm. Experimental results show this algorithm costs average 15 ms per recognition of one frame with a recognition rate at 91.2%.This tracking algorithm has better robustness and real-time ability.

object tracking；optical flow；stereo vision；adaptive filters；occlusion；fuzzy control

A

：1674-5124（2015）07-0095-04

10.11857/j.issn.1674-5124.2015.07.022

2014-10-29；

：2014-12-25

鲁永杰（1989-），男，甘肃兰州市人，硕士研究生，专业方向为图像处理。