空间信息码本和粒子滤波相结合目标跟踪算法

瞿 中 赵栋梁

1(重庆邮电大学计算机科学与技术学院 重庆 400065)2(重庆市软件质量保证与测评工程技术研究中心 重庆 400065)



空间信息码本和粒子滤波相结合目标跟踪算法

瞿 中1，2赵栋梁1

1(重庆邮电大学计算机科学与技术学院 重庆 400065)2(重庆市软件质量保证与测评工程技术研究中心 重庆 400065)

针对粒子滤波跟踪过程中容易积累误差引起跟踪失败的问题，提出一种基于空间信息码本背景建模的粒子滤波跟踪算法。首先，在码本背景建模过程中将目标像素码本和周围8邻域像素码本进行融合，克服背景噪声干扰得到精确的前景目标；然后提取前景区域的核函数加权颜色特征作为粒子滤波初始状态先验分布。同时在重采样过程中引入位置信息加权改进。实验结果表明，该算法减少了粒子发散引起的采样误差，且能够在复杂背景下对目标进行有效跟踪，在实时性和准确性上优于标准粒子滤波算法。

码本背景建模 目标跟踪 粒子滤波 空间信息

0 引 言

粒子滤波通过非参数化蒙特卡罗模拟方法实现递推贝叶斯滤波，被广泛应用于非线性模型和非高斯噪声的目标跟踪[1]。标准粒子滤波[2]需预先建立目标观测模型对跟踪系统进行初始化，在跟踪过程中该目标的观测模板通常是不变化的。随着跟踪的进行，由于目标形状尺度变化、交叉遮挡或背景复杂等干扰，预先建立的观测模型难以满足状态的变化，使跟踪过程产生误差。同时，由于粒子采样空间的随机性，大量粒子浪费在非目标区域采样，造成粒子发散并加速粒子退化，进而造成目标跟踪失败。为提高跟踪精度，目前有很多研究都是从观测模型检测基础上对粒子滤波进行改进。文献[3]采用改进的视觉显著性表示来对运动物体进行表征，将检测结果作为观测模型整合到粒子滤波跟踪器中，但视觉显著性特征易受复杂背景干扰，目标与背景特征相似时其跟踪效果较差；文献[4]提出了Tracking-by-Detection跟踪框架，利用连续可信检测器和粒子滤波对目标进行边检测边跟踪，精度虽有提高，但算法复杂度较高实时性差；文献[5]采用Adaboost对目标进行检测建模，将分类样本作为粒子滤波观测模型，实现运动目标的离线跟踪，但需要大量训练的样本为前提，不利于跟踪多样化目标；文献[6]采用多尺度二维离散小波描述可能的目标区域，通过对其主成分分析作为粒子滤波初始状态先验分布，但其初始状态建立耗时，且在交叉遮挡试验中效果较差。

为建立有效的先验状态模型，提升粒子滤波精度。本文采用空间信息融合对码本模型进行改进，克服光照和噪声干扰，得到运动目标精确的前景区域，提取目标前景区域特征，然后由改进过的粒子滤波实现对目标交叉遮挡、前背景相似等复杂环境下的有效跟踪。

1 空间信息码本背景建模算法

1.1 标准码本建模

标准码本模型由Kim[7]等提出，基本思想是对时间序列上的像素进行训练建立码字，得到每个像素的时间变化模型，形成一个码本，最后将像素与码本进行比对判断前景与背景。

其中，α(α<1)和β(β>1)是亮度变化范围的阈值，通常取0.4≤α≤0.7，1.1≤β≤1.5。同时定义颜色失真度为：

在前景检测阶段，视频帧中的像素点和码本模型中码字进行比对，匹配成功的像素则为背景，被学习到背景中去，匹配不成功的像素则为噪声或新的码字，被记录到新的码本模型中。

1.2 空间信息码本建模

标准码本模型[7]忽视了像素之间信息的相关性，没有很好地处理背景空间变化的不确定性，故不能准确反映当前像素的实际情况。为更好适应对光线变化和阴影等噪声干扰提取出精确的前景目标，本文提出了融合空间信息的码本模型，对Wu M[9]提出的马尔可夫局部信息码本建模算法进行简化改进，相关算法步骤如下：

Step1 初始化码本，令C→∅,L→0；

Step2 对视频中每个像素值序列进行训练：

在码本中需找满足以下条件，即与xt相匹配的码字ci：

colordist(xt,vi)≤ε1，其中ε1为设定采样阈值；

若C=φ或无匹配，则L=L+1，同时产生一个新码字cl，vl=(R,G,B)，auxl=(I,I,1,t-1,t,t)；否则更新码字ci：

Step3 消除冗余码字，在集合C={ci,1≤i≤L}中，令tempλi=max{λi,N-qi+pi-1}

前景检测阶段：

Step4 输入待检测像素xt=(R,G,B)。

Step5 在码本中需找满足以下条件，即与xt相匹配的码字ci：

colordist(xt,vi)≤ε2，其中ε2为检测阈值，通常情况下ε1<ε2；

Step6 若码字ci与xt匹配，则xt=background，并更新码字ci；否则，xt=foreground；同时对xt进行以下操作：

Step6.1 若在xt码本的8邻域相邻码本中，存在ci与之平匹配，则count++；

Step6.2 若count++≥K，K为设定阈值，则xt=background；否则，xt=foreground。

1.3 前景检测结果对比

采用PETS视频数据库中Camera和Lab两组视频进行实验，分别对室外和室内场景进行前景检测对比。如图1所示，Camera中左侧存在树枝晃动，以及车辆经过引起沿途车窗光线变化，这些干扰都引起了标准码本的误检。同样，Lab中人体经过引起室内光线突变更是引起了标准码本较大范围的误检噪声。而空间信息的码本在初步检测出前景之后又与背景码本进行融合比较，进一步精确判断前景像素，很好地适应了环境中的噪声和背景干扰。

图1 前景检测结果对比

2 基于前景检测的粒子滤波跟踪算法

2.1 核函数加权颜色特征提取

复杂背景、光照等干扰影响对目标的正确描述，本文采用核函数加权[10]颜色特征对检测出的前景目标提取HSV颜色特征作为粒子滤波观测模型，以减少复杂背景对观测值的影响，即目标中心区域分配较大权值，而目标边缘区域分配较小权值。其中H和S分量对光照不敏感各划分为16个量化级，而V分量对光照明感划分为4个量化级，直方图颜色共被划分为16×16×4个量化级。

首先通过码本前景检测得到准确目标前景并求得外接矩形H0=[x0,y0,w,h]，其中(x0,y0)为矩形框中心坐标，w、h为矩形框宽和高，可得以矩形区域(x0,y0)为中心归一化加权直方图：

u=1,2,…,m

(1)

(2)

2.2 结合空间信息码本的粒子滤波跟踪算法

文献[8]粒子滤波算法其粒子搜索空间为随机采样，由于噪声、背景等干扰引起跟踪误差，随着跟踪过程进行，大量粒子浪费在噪声计算上且发散越来越大，引起粒子枯竭退化等问题。本文在前景检测中得到目标区域(x0,y0,w,h)，可知该区域外的粒子采样是无意义的，以此区域为粒子采样区域，减少粒子无必要的采样，同时结合帧间位置信息加权对重采样算法进行改进，相关算法步骤如下：

Step1 前景检测。通过空间信息码本检测出精确的运动目标区域，以(x0,y0)为中心设粒子采样区域。

(3)

可得两个粒子特征与目标特征的巴氏距离：

(4)

Step5 权重归一化。定义粒子的权重ω(i)：

(5)

当巴氏距离d的值越小，粒子权重越大。对粒子进行权重归一化，使得所有粒子权重和为1。

(6)

Step6 位置预测。权重表示目标的所处位置的可能性大小，权重最大的粒子表示目标位置。

Step7 粒子重采样。随着粒子预测目标状态的运行，权重较大的粒子数量会骤减，此时需要进行重采样，计算能够有效描述系统状态的粒子数量Neff：

(7)

2.3 位置信息加权重采样算法改进

目标运动状态是一个连续的过程，目标当前位置与前N帧中位置变化不大且是相关联的。提出了位置信息加权的粒子重采样算法，着重选择目标下一帧可能所在位置进行重采样，相关过程如下：

Step1 目标位置的预测。设当前帧为第k帧，将前m帧划分为两部分，其中第n帧为中心划分点，分别计算该两部分目标所处的平均位置的重心，两个重心的连线矢量Vp即为下一帧目标可能所处位置，该矢量的方向为tanθ：

(8)

Step4 按照式(7)中所讲方法重采样。

Step5 读取下一帧，重新进行粒子初始化。

3 实验结果及分析

为验证本文算法前景约束下粒子采样的稳定性和跟踪效果的鲁棒性，与空间信息码本特征提取状态下复杂背景跟踪的有效性，分别进行了在交叉遮挡环境下同文献[8]算法对比，与复杂背景环境下同文献[2]标准粒子滤波算法对比。实验采用VS2010+OpenCV2.0，环境为i5(2.60 GHz)，内存2 GB的笔记本电脑。

(1) 实验一：文献[8]算法交叉遮挡实验对比

实验采用两个目标由接近、交叉到分开的视频(跟踪粒子数为100)，对比文献[8]和本文两种算法的跟踪效果与粒子采样状态。如图2(a)所示，由于文献[8]中粒子的采样空间是随机的，所以其粒子发散比较大，两目标交叉过程中发散尤为严重。图2(b)为本文算法的粒子采样状态，由于采用了检测出的前景区域为粒子滤波观测样本，且粒子围绕目标中心采样，故粒子状态较稳定。图2(c)为本文算法的最大权重粒子状态即最终的跟踪结果。

图2 跟踪效果对比

根据图2两目标交叉时的第188帧跟踪结果，设定粒子矩形框的中心与目标实际中心的像素距离表征粒子的采样状态即发散程度，两种算法粒子序号为1-100，采样状态统计如图3所示，整个跟踪过程数据对比如表1所示。

图3 第188帧粒子采样状态统计

表1 跟踪过程数据对比

由图3和表1可以看出，本文算法能在目标交叉遮挡下准确、鲁棒地跟踪目标。同时抑制粒子发散，克服粒子快速退化的问题。

(2) 实验二：复杂背景下目标跟踪对比

实验采用了一段有阴影扰动和前背景相似的视频分别对Rob Hess的标准粒子滤波[2]和本文两种算法的跟踪结果进行对比(粒子数为100)。如图4(a)所示在240～276帧，两种算法都可以进行有效跟踪，但由于地面枝叶晃动和明暗交错，标准粒子滤波算法对预先手动划定的目标颜色特征不能很好地适应，粒子波动较大。图4(b)中在第277帧目标与背景的颜色特征较为接近难以区分，此时标准粒子滤波出现较大偏差以至于在291帧之后彻底跟丢，而本文算法由于结合前景检测对目标区域进行颜色特征观测，虽有偏差但误差较小仍能稳定跟踪。实验中以目标跟踪框的中心与实际目标中心的像素距离表征跟踪误差，加入文献[8]算法对比。误差统计结果如图5所示，整个跟踪过程的数据对比如表2所示。

图4 跟踪结果对比

图5 240～290帧跟踪误差统计

表2 复杂背景实验结果对比

由图4、图5和表2可以看出，本文的改进算法可以在前背景相似情况下对目标进行准确稳定跟踪，同时准确性实时性优于文献[8]算法和标准粒子滤波算法。

4 结 语

本文提出了一种结合空间信息码本和粒子滤波的目标跟踪算法，通过码本前景检测结果与背景码本进行融合得到准确前景区域，提取该前景区域的核函数颜色特征作为粒子滤波观测模型，同时在跟踪过程中对观测模板进行实时更新，并对粒子重采样算法进行了改进。实验结果表明本文算法能够克服交叉遮挡和复杂背景等干扰，能稳定跟踪目标且粒子发散小，在精度、实时性和鲁棒性上优于标准粒子滤波算法。

[1] 夏利民, 张良春. 基于自适应粒子滤波器的物体跟踪[J]. 中国图象图形学报, 2009, 14(1): 112-117.

[2] Hess R. Particle filter object tracking[J/OL]. blog, May, 2013, http://blogs.oregonstate.edu/hess/code/particles.

[3] Su Y, Zhao Q, Zhao L, et al. Abrupt motion tracking using a visual saliency embedded particle filter[J]. Pattern Recognition, 2014, 47(5): 1826-1834.

[4] Breitenstein M D, Reichlin F, Leibe B, et al. Online Multiperson Tracking-by-Detection from a Single, Uncalibrated Camera[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(9):1820-1833.

[5] 瞿中, 张亢, 乔高元. MB-LBP 特征提取和粒子滤波相结合的运动目标检测与跟踪算法研究[J]. 计算机科学, 2013, 40(12): 304-307.

[6] Rui T, Zhang Q, Zhou Y, et al. Object tracking using particle filter in the wavelet subspace[J]. Neurocomputing, 2013, 119(16):125-130.

[7] Kim K, Chalidabhongse T H, Harwood D, et al. Real-time foreground-background segmentation using codebook model[J]. Real-time imaging, 2005, 11(3): 172-185.

[8] Sherrah J, Ristic B, Redding N J. Particle filter to track multiple people for visual surveillance[J]. IET computer vision, 2011, 5(4): 192-200.

[9] Wu M, Peng X. Spatio-temporal context for codebook-based dynamic background subtraction[J]. AEU-International Journal of Electronics and Communications, 2010, 64(8): 739-747.

[10] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564-577.

TARGETS TRACKING ALGORITHM COMBINING SPATIAL-INFORMATION CODEBOOK AND PARTICLE FILTER

Qu Zhong1，2Zhao Dongliang1

1(College of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)2(Chongqing Engineering Research Center of Software Quality Assurance,Testing and Assessment, Chongqing 400065, China)

In order to avoid tracking failure caused by the errors easily accumulated in particle filter tracking process, we proposed an algorithm particle filter tracking, it is based on spatial-information CodeBook background modelling. First, in the process of codebook background modelling, it combines the CodeBook of targets’ pixels and the CodeBook of its 8-neighborhood pixels to overcome the interference of background noise and to get precise foreground targets; Then, it extracts the weighted kernel function colour features of foreground regions as the prior distribution of initial state of particle filter, meanwhile imports the weighted improvement of position information to resampling progress. Experimental results show that this algorithm reduces the sampling errors caused by particle emission, and can effectively track targets under complex background as well, moreover, it is superior to the standard particle filter algorithm in real-time property and accuracy.

CodeBook background modelling Targets tracking Particle filter Spatial information

2015-09-17。重庆市教委科学技术研究项目(KJ1402 001)；重庆市科委基础与前沿项目(cstc2014jcyjA1347);重庆市高校优秀成果转化项目(KJZH14219)。瞿中，教授，主研领域：数字图像处理，普适计算，物联网技术等。赵栋梁，硕士生。

TP391.41

A

10.3969/j.issn.1000-386x.2016.11.054