基于移动监控装置的实时运动目标跟踪算法

齐建冬，徐卫军，董宝良

（华北计算技术研究所 指挥控制系统部，北京100083）

0 引 言

目前移动监控装置对目标进行实时跟踪成为研究热点［1－5］，其中基于视频的目标跟踪算法是计算机视觉领域的关键技术问题，常见的目标跟踪算法有mean－shift算法［4］、粒子滤波算法［5］等。现有的目标跟踪算法大多数是基于静止的视觉平台展开的，而现实的监控环境中，很多监控相机处于运动的状态，比如：船载和车载的监控装置。文献［6－8］讨论了电子稳像技术，文献 ［9］提出基于电子稳像的跟踪算法，但是这些算法都将稳像和跟踪分开进行处理，这样做存在几个无法避免的缺点：首先，视频图像信息在稳相过程中会产生一定的损失，这种损失无法避免；其次，由于先达到稳相状态再跟踪信息会产生时间延迟，导致信息采集的实时性无法满足；最后，最重要的是这些算法无法获取原始视频的跟踪结果，导致信息的准确性和真实性不足。因此，基于上述分析，本文在综合了现有算法的缺点后，提出了一种在保持相机运动状态下，对运动目标进行实时跟踪的算法。对比传统算法发现，这种算法能有效弥补现有算法实时性和真实性差的缺点。依照建模要求，本文首先选取目标特征点，采用光流法对全局运动进行估计分析，在得到相机平移运动分量和旋转运动分量后，参考全局运动估计结果修正粒子滤波的运动模型；由于图像的不可分割性，本文选取颜色直方图作为目标的特征模型，计算在相机运动状态下对移动目标的实时跟踪。我们选取了多组测试视频的方法来验证本文算法的性能，结果显示，在相机运动的状态下，本文的算法能够准确快速地跟踪上运动目标，达到实时性要求，具有非常好的实用价值。

1 全局运动估计

1.1 选取特征点

选取图像的特征点不仅需要考虑精度的要求，还要参考实时性的需要。在传统的稳像算法中，经常选取每一帧图像的角点作为特征点。角点检测是计算机视觉系统中用来获得图像特征的一种方法，广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域中。角点通常被定义为两条边的交点，最普遍使用的角点的定义是由Harris［9］提出的，Harris定义角点的核心是计算图像二阶导数自相关矩阵的特征值。有2个最大特征值的像素点可认为是角点，只有一个较大而另一个较小的像素点则认为是边缘点。在实际操作中，经常将2个特征值进行混合运算得出单一强度值，并取局部强度值的最大点为特征点。Harris定义的角点在图像采集计算中得到了广泛的使用，但是这种检测算法仅适用于所需角点数较少的情况，当需要角点数大于300个时，对每一帧图像都查找角点便会出现与光流结合后实时性较差的问题，影响图像跟踪采集的需要。

实验结果表明，相比于特征点是否为角点，在稳像任务中使特征点均匀分散到整个图像中能更好的满足实时性的需要。研究块匹配的稳像算法发现，在每帧图像中每隔20个像素选取一个点作为特征点能非常好的实现对图像信息的实时跟踪；能较准确的采集数据，反映全局运动的特征。同时，这种算法还能够全面筛选局部运动向量，准确估计全局运动。

1.2 特征点的筛选和相机平移分量的估计

当物体在运动时，它在图像上对应的亮度模式也在运动。这种图像亮度模式的表观运动被称为光流。光流表达了图像的变化，包含了目标运动的信息。因此，在筛选特征点时，我们需要首先分析运动目标对光流的影响。假设相机保持静止状态，图像采集中t 时刻第i个特征点Pi（）t 在相机坐标系统中的坐标是［xi（t），yi（t），zi（t）］，则该特征点在像平面的坐标为

式中：λ——与相机分辨率和焦距有关的系数。若该特征点在相机坐标系中的位移是 ［dxi（）t ，dyi（）t ，dzi（）t ］，则在像平面中的光流为

从式 （2）可以看出，运动目标对光流的影响与运动目标的速度和景深有关，当间隔时间非常短时，我们可以认为速度是一定的，此时运动目标的景深越小，对光流的影响就越大。如图1中所示，景深较大的目标A 与背景的光流基本一致，景深较小的运动目标B与背景的光流不一致。因此，为了准确的估计全局运动特征，我们需要从所有特征点中除去与背景光流不一致的特征点，以即减少对光流的影响，再用统计的方法来估计全局运动。

图1 光流计算结果

1.3 相机旋转分量的估计

式中：R3＊3（t） 、T3＊1（t） ——t时刻相机的旋转矩阵和平移矩阵。将式 （1）带入式 （3）可得相机的3－D 仿射模型为

忽略相机在像平面以外的旋转，可得简化的2－D 仿射模型

假设相机在t时刻旋转的角度为θi（）t ，则旋转矩阵可以写为

代入式 （5）可得

2 基于粒子滤波的运动目标跟踪算法

2.1 问题建模

粒子滤波的基本思想就是通过一组具有不同权值系数的粒子表示后验概率，在粒子数目满足一定的数目后，这组粒子就能准确地表示后验概率。在目标跟踪任务中，运动目标的位置可以被看作是状态空间上的离散时间马尔可夫过程。跟踪目标就是要从带有噪声的观测序列yn中估计目标状态xn。

设y1：n＝ ｛yi，i＝1，…，n｝ 为 所 有 已 知 观 测 值，最 终需要求得p （）。设p （）＝p （x0），假设n－1时刻的分布p （）已知，则由系统模型可以得到n时刻的先验概率分布

得到n时刻新的观测值yn后，通过贝叶斯公式分心分布，即可得到后验概率

贝叶斯滤波求后验概率世界上很难实现，一般的工程应用中，采用蒙特卡洛方法，用一组具有权值的粒子｛来表示后验概率p （x），这种算法的核心是用一组具有权值的粒子来表示，其中｛，m ＝1，…，N｝表示粒子的权值

其中归一化权值ωnm的递推方程为

2.2 二次回归运动模型

在实际跟踪任务中，我们用上一节得到的视频全局运动信息改进粒子滤波跟踪算法。采用二次自回归模型作为运动模型，参考全局运动估计的结果对运动模型进行修正。我们选取运动目标在像平面中的位置作为状态变量，则n时刻的状态变量 x （n） ＝ ［ui（k） ，vi（k ）］T。首 先，将 所求得的全局运动估计转换成目标在像平面上位置的修正量Δk

修正后的运动模型为

式中：x——所有粒子的均值，Bw——系统的随机噪声。基于全局运动的结果修正运动模型，其中通过调整粒子的位置，去除相机运动对图像采集造成的影响，避免因为相机运动而导致的跟踪失败。

2.3 颜色直方图分布模型

通过用RGB色彩空间的颜色直方图来描述运动目标，首先，对R、G、B这3个通道量化成16 级，同时采用柱状图来描述运动向量，并将模型中的柱状图分格为16×16×16个bins。设u＝ ｛1，2，…，m｝，依照上述模型建立后，在图像初始帧中，给定包含目标的粒子，便可以得到目标的统计直方图分布模型为 ，其中位置的颜色概率密度为

应用此模型建立后，可能包含有目标的区域为候选区域，则在初始帧后的每一帧中，假定候选区域的心坐标为y，则候选目标区域即粒子的统计直方图分布模型为：（） （）y ＝（）｛ ｝yu＝1，…，m，其中位置的颜色概率密度为

我们利用建立观测似然模型

3 实验结果分析

为了验证本文提出算法的性能和可行性，我们采用实验视频进行实验。算法的计算是基于Windows 7 操作系统，软件系统采用Visual Studio 2010和opencv2.3作为平台，计算机配置为Intel（R）Core（TM）i3CPU M350针对实验视频的目标跟踪的结果如图2 所示，图中的黑色框为本文算法的跟踪结果，白色框为传统的粒子滤波算法的跟踪结果，灰色框为mean－shift算法的跟踪结果。从实验结果中，我们可以明显看出，在相机运动的状态下，本文提出的算法在准确性和鲁棒性方面占有非常明显的优势。

针对实验视频的目标跟踪位置误差曲线图，如图3所示，黑色线 （深色）为本文算法，深灰色线 （略浅色）是传统粒子滤波跟踪，灰色线 （浅色）是mean－shift算法。从跟踪位置误差曲线结果中可以明显看出，在相机运动的状态下，本文提出的算法的跟踪误差明显小于另外2 种跟踪算法。

图2 利用不同算法进行跟踪的结果对比

图3 利用不同算法的跟踪误差结果

4 结束语

本文提出了一种相机运动状态下的实时运动目标跟踪算法，该算法首先选取特征点，分析计算相机的平移运动分量和旋转运动分量；其次依照全局运动的估计结果修正粒子滤波的运动模型，以消除相机运动造成的影响；最后选取颜色直方图分布模型来反映目标的运动特征，从而实现在相机运动的状态下对移动目标的实时跟踪。相比于传统算法，本文提出的算法能较好地满足移动监控装置跟踪中实时性的需要，能较好地克服处理目标跟踪时稳像迟缓，图像采集中信息损失和处置延迟的缺点，具有较好的实用性和可行性。本文算法是基于相机运动状态下的实时跟踪，因此，其性能和可行性需要大量的实验测试来验证。我们选取了多组实验视频进行分析研究，研究结果表明，本文提出的算法能够快速准确的跟踪上运动目标，采集目标信息，达到实时性的要求，具有非常好的实用价值。

［1］Hu W M，Tan T N，Wang L，et al.A survey on visual surveillance of object motion and behaviors ［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part C：Applications and Reviews，2008，34 （3）：334－352.

［2］Yilmaz A，Javed O，Shah M.Object tracking：Asurvey ［J］.ACM Computing Surveys，2009，38 （4）：229－240.

［3］Jiang M X，Li M，Wang H Y.A robust combined algorithm of object tracking based on moving object detection ［C］／／Proceedings of the International Conference on Intelligent Control and Information Processing.Dalian，China：IEEE，2010：619－622.

［4］Comaniciu D，Ramesh V，Meer P.Kernel based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，25 （5）：564－575.

［5］Gordon N，Arulampalam M，Maskell S，et al.A tutorial on particle filters for online nonlinear／nongaussian Bayesian tracking ［J］.IEEE Trans on Signal Processing，2004，50 （2）：224－235.

［6］Litvin A，Konrad J，Karl W.Probabilistic videostabilization using kalman filtering and mosaicking ［C］／／Proc SPIE Image and Video Communications and Process，2007：663－674.

［7］Tico M，Vehvilainen M.Constraint motion filtering for video stabilisationsing ［C］／／Proc Int Conf on Image Processing，2007：569－572.

［8］Auberger S，Miro C.Digital video stabilization architecture for low cost devices ［C］／／Proceedings of the 4th International Symposium on Image and Signal Processing and Analysis，2005：474－479.

［9］WANG Bin，ZHAO Yuejin，YIN Desen.Digital image tracking algorithm based on electronic image stabilization ［J］.Infrared and Laser Engineering，2008，37 （4）：607－610 （in Chinese）.［王斌，赵跃进，尹德森.基于电子稳像的特征跟踪算法 ［J］.红外与激光工程，2008，37 （4）：607－610.］