多线索融合和区域划分的粒子滤波跟踪算法

姜华，范勇

1.绵阳市图书馆，四川绵阳 621000

2.西南科技大学计算机科学与技术学院，四川绵阳 621000

多线索融合和区域划分的粒子滤波跟踪算法

姜华1，范勇2

1.绵阳市图书馆，四川绵阳 621000

2.西南科技大学计算机科学与技术学院，四川绵阳 621000

1 引言

视频序列的目标跟踪是计算机视觉中经典的核心技术之一，要在目标快速移动、遮挡、变形、光照变化、背景噪声以及有实时性要求等条件下实现稳健的目标跟踪是研究人员关注的焦点，也是目前实际应用中一个急待解决的难题。

近年来，基于粒子滤波的跟踪算法成了视觉跟着领域的研究重点之一，为复杂背景和遮挡条件下的目标跟踪问题提供了一个可行的解决框架，使得目标跟踪更为可靠[1]。目标跟踪的关键是提取目标模板进行匹配和估计，目前使用较多的特征有颜色、纹理、边缘线索等，已有很多关于目标模板构建方法的研究。文献[2]提出用颜色和纹理信息描述目标特征，颜色线索具有对旋转和尺度不变性以及对目标姿态变化不敏感性；纹理描述了图像所对应景物的表面性质。但是仅仅采用颜色和纹理信息，当目标和背景颜色相似，或者光线变化时，往往导致跟踪失败。文献[3]提出用边缘线索描述目标的高频细节，反应图像的形状信息，但是检测的精度和抗噪声性能不是很好。为了更好地描述目标，融合目标的多种信息是非常必要的，其中，线索融合关系到能否自适应多种观测信息的变化。文献[4]采用简单的乘性融合策略，不能自适应融合多线索。

针对单线索和简单乘性融合算法的问题，本文在粒子滤波框架[1]基础上，采用自适应融合多线索、多区域的粒子滤波跟踪算法。在粒子滤波更新阶段，对特征模型进行改进，选取多特征（颜色、边缘、纹理）于粒子样本模型，自适应融合多个线索权重，实时更新样本模型。该方法有效地弥补了文献[2]选取目标模板的有限性，比文献[4]采用简单的乘性融合策略更能自适应目标模板的变化。粒子滤波初始化阶段，多区域划分方法初始化粒子，比传统的粒子滤波方法更能适应遮挡情况，同时降低了粒子滤波目标模型的计算量，提高了粒子滤波跟踪的鲁棒性和实时性。实验结果表明，在复杂的背景下，本文算法更能实时、可靠地跟踪与定位目标中心位置。

2 粒子滤波基本原理

粒子滤波核心思想是用一组加权随机样本（粒子）来近似表征后验概率密度函数，在测量的基础上，通过调节权值的大小和样本的位置获得服从实际分布的样本，并以样本均值作为系统状态的估计值。

粒子滤波是由序列观测值zt估计动态系统xt的状态[1]的。用{}表示带有权重的粒子，表示t时刻系统的可能状态，重要性权重，p(表示后验概率密度。

粒子滤波算法如下：

（1）初始化初始N个粒子，i=1，2，…，N，赋予相等的权重，

权重的和为1。（2）预测

（3）更新

（4）估计

（5）重采样

阈值小则重采样，丢弃权重小的粒子，复制权重大的粒子，从而避免粒子退化问题。

3 基于多线索融合粒子滤波

粒子滤波在测量的基础上，通过调节权值的大小和样本的位置获得服从实际分布的样本，因此目标似然函数的估计至关重要。对目标进行多特征描述时，首先选取独立的线索分别构建似然函数，在此基础上，引入加权直方图，对离目标相近的像素赋予更大的权重，然后采用自适应乘性融合策略构建多线索的粒子似然函数，最后根据新的观测值与粒子模型的距离以及相似性决定是否更新似然函数。多线索融合流程图如图1所示。

图1 多线索融合流程图

3.1 多线索选取

粒子滤波视频跟踪中如何选择合适的特征十分重要。不同的特征有不同的优点，其中颜色特征对非刚性、旋转和部分遮挡具有鲁棒性；纹理描述了图像所对应景物的表面性质；边缘方向直方图检测对于亮度变化不敏感。因此，目标颜色、纹理、边缘特征同时应用于本文研究中，用来确定样本的观测模型。

3.1.1 颜色线索

颜色线索对于目标旋转、遮挡以及形变等情况具有较强的适应性，因而被广泛使用。本文选择颜色直方图表示目标的颜色分布，采用基于HSV空间颜色直方图，比其他颜色空间更能抑制光线变化。颜色直方图块为Bc=h×s+ν（h、s、ν分别表示色调和饱和度、亮度）。颜色分布直方图如下[2]：

3.1.2 纹理线索

纹理是图像的重要信息和特征，它描述了图像景物的表面结构属性，是物体特性分析的良好工具。

局部二值模式[2]（1ocal Binary Pattern），LBP算子对图像局部纹理特征有卓越的描述能力，有很强的分类能力和较高的计算效率。本文引入LBP非参数纹理算子来分析图像纹理特征。为了刻画像素点在邻域内的灰度变化，LBP(i，j)表示图像在像素点I(i，j)处的纹理值：

其中，IP表示I(i，j)邻域内各像素点的灰度值。二值矩阵s(IP-I(i，j))作为一个二值纹理模式（纹理基元）来刻画邻域内像素点的灰度相对于中心点的变化情况，表示如下：

统计图像各像素点的纹理值LBP(i，j)的频数，得到图像的256级纹理直方图。表示如下：

3.1.3 边缘线索

为了滤除噪声，只有边缘强度大于阈值才用到边缘方向。

3.2 多线索的自适应融合策略

3.2.1 空间信息加权直方图

以上线索直方图都不包含图像的空间信息，因此，引入包含图像空间信息的加权直方图构建线索的似然函数，赋予图像中心位置像素更大的权重，该直方图由一个凸的单调递减的椭圆高斯核函数实现[5]：

其中σ是高斯噪声的标准方差。

3.2.2 似然函数融合策略

不同研究者对多线索关系的处理是不一样的，文献[4]采用简单的乘性融合策略，用特征的观察概率的乘积作为目标状态的观测似然概率，乘性融合使概率密度分布变得更加尖锐，它抑制了分布的多峰性，放大了噪声。当两个相似目标相互靠近甚至出现相互遮挡情况时，或背景出现强干扰时，乘性融合对目标位置的估计会发生很大的偏差，甚至跟踪错目标。

针对乘性融合中所出现的问题，本文采用以带权重的乘积形式实现线索的自适应融合。在假设多种线索是条件独立的情况下，对每种线索的观测概率值赋予自适应权重系数εl，利用特征的观测值与模型的距离计算自适应权重。因此，粒子滤波的似然函数定义为：

因此，本文的融合策略对噪声放大较小，没有抑制分布的多峰性，能更好地处理相似目标靠近甚至相互遮挡的情况，提高了后验概率密度的置信度，使跟踪结果更加可靠。

3.3 线索模型更新策略

建立粒子模型过程中，模型更新是一个关键问题。光线的变化，摄像头的抖动都会影响跟踪区域的颜色、纹理、边缘分布，需要实时更新线索来获得更加鲁棒的跟踪结果。各个线索的观测值分别更新模型pl。

参数α∈[0，1]表示观测值在更新模型过程中所占的比例。文献[6]的模型更新是设定固定参数α，为避免背景或者遮挡物更新模型，本文采用只更新与观测值p^l距离小于阈值θ的模型（实验中θ=0.15），定义α=1-ρ(pl，p^l)，根据模型与观测值p^l的距离以及相似性自动更新各个线索模型。

4 区域划分的遮挡增强处理

多线索动态融合粒子滤波算法比传统的粒子滤波算法更加鲁棒，但是依然不能解决长时间的目标遮挡[7]。传统的粒子滤波模型是将整个目标区域作为粒子的状态，在目标被完全遮挡的情况，会导致粒子跟踪失败。如图2（b）所示，由于目标被遮挡，跟踪结果（绿色窗口）向上漂移了，而目标本身（红色窗口）并没有向上移动。跟踪结果的移动是由于粒子滤波跟踪能最大化没被遮挡的目标和被遮挡的候选模型的相似性（巴氏距离），弊端在于整个目标区域表示样本。

为了改进粒子滤波跟踪的效果，本文采用多区域的方法，在初始粒子样本时，在目标位置随机的选择固定大小区域，分别表示粒子的初始状态，如图2（c）中黄色方块所示，N个粒子模型的状态随机的定位在目标区域。图2（c）选择局部区域（黄色方块）作为粒子，明显优于图2（b）中选择整个目标作为粒子的跟踪结果。粒子滤波的多模态处理能力，加上局部多区域划分有效地避免了遮挡问题，提高了跟踪的可靠性；同时，选择局部区域描述目标状态，减少了计算量。

图2 局部目标与整个运动目标作为粒子目标模型的跟踪结果比较

5 实验结果

依照本文算法对320×240（25帧/s）的视频图像帧进行跟踪，实验使用普通PC机（奔腾3 GHz的CPU），初始100个粒子样本，执行速度能达到15帧/s，实现了实时的应用。为了验证算法的有效性，对多段测试序列进行了跟踪实验，并将结果与其他算法作比较。

5.1 单线索与多线索融合的比较

为验证本文提出的自适应融合多线索跟踪算法的鲁棒性，首先对单线索与本文自适应融合多线索算法进行比较。图3比较了不同线索算法跟踪目标中心位置的误差。由图可以看出，单线索会受目标变化、目标遮挡、光照变化、背景噪声的影响，导致误差变化较大。而自适应融合多线索算法的误差值一直很稳定，不会受第48帧边缘线索误差值突然变小的影响，也不会受第59帧颜色线索误差值突然变大的影响，始终保持在平稳状态。

图3 单线索、简单乘性融合多线索和本文自适应融合多线索算法误差

图4分别采用颜色、纹理、边缘以及融合多线索算法跟踪汽车。第1行颜色线索跟踪，第2301帧，黑车和背景较接近，黑车跟踪的不完整。第2行纹理跟踪，第2301帧的黑车形状发生变化，导致跟踪结果不完整，而白车的跟踪已经完全失效。第3行的边缘跟踪能提供较准确的跟踪信息。第4行是本文的融合策略，多线索具有很好的互补性，不会受某一线索的影响而导致跟踪的失败，即使颜色特征随光照变化产生退化现象，边缘特征仍能发挥作用，从而实现鲁棒的跟踪。

图4 单线索与多线索融合算法的比较

5.2 简单乘性融合与自适应融合的比较

图3给出了简单乘性融合和本文的自适应融合算法跟踪目标中心位置的误差，实验显示本文的自适应融合方法误差值更小，自适应能力和稳定性更强。

图5是本文算法与文献[4]采用简单乘性融合算法分别跟踪视频中的白车。第1行是简单乘性融合算法，第1102帧白车车头离开场景，第1779帧又进入场景，尺寸发生较大变化，导致目标的中心位置发生偏离。图6也是采用以上两种算法分别跟踪视频中的人、车。第595、608帧的人、车相互遮挡后再分开，第1行的乘性融合算法，目标被遮挡后难以恢复跟踪，第2行是用本文算法能够准确分离遮挡后的目标。

图5 简单乘性融合算法和本文自适应融合算法比较一

图6 简单乘性融合算法和本文自适应融合算法比较二

实验证明，运动目标的特征选取直接影响跟踪效果的好坏，而且有效地融合目标的多种信息是非常必要的。

5.3 遮挡处理

鲁棒的粒子滤波跟踪要能处理长时间的遮挡问题。图7对比分析了传统粒子滤波和本文多区域划分遮挡处理。第1行是传统粒子滤波的跟踪结果，第576帧的人被汽车长时间遮挡，同时汽车和人靠近，干扰了车的跟踪，导致人、车跟踪结果发生偏差，第594帧的人、车跟踪都丢失了。第2行是本文的跟踪算法，第594帧人被车长时间遮挡后能够成功的恢复，保证遮挡时可靠的跟踪。这证明了第4章中描述的在目标范围内选择多个局部区域表示粒子，能够解决长时间的遮挡问题。

图7 本文算法与传统粒子滤波跟踪的比较结果

采用局部区域作为粒子样本模型，比起传统的用整个目标区域作为样本模型，计算量更小，每秒能处理15帧，因此能够满足实时的要求。实验中，样本的局部区域大小为c·min（目标长，目标宽），c的值为0.3～0.5。

6 总结

本文提出多线索融合和目标区域划分的粒子滤波跟踪算法。首先，多线索包含颜色、边缘、纹理，作为粒子滤波的似然函数；其次，线索模型的自适应融合和实时更新使得跟踪过程更具有灵活性；最后，利用合理的多区域划分解决了遮挡问题。实验结果证明，多线索动态融合的算法使得粒子滤波更能精确、鲁棒地跟踪运动目标。今后的研究方向是数据融合策略研究，以及算法的稳定性分析。

[1]Arulampalam M，Maskell S，Gordon N，et al.A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking[J]. IEEE Trans on Signal Process，2002，50（2）：174-188.

[2]Ying Hongwei，Qiu Xuena.Particle filtering object tracking based on texture and color[C]//Proceedings of IEEE Confence on Intelligence Information Processing and Trusted Computing，2010：626-630.

[3]Morwald T，Zillich M，Vincze M.Edge tracking of textured objects with a recursive particle filter[C]//Proceedings of Graphicom 2009，Moscow，Russia，2009.

[4]冯桂兰，田维坚，黄昌清.基于序贯蒙特卡罗的多线索目标跟踪算法[J].光电工程，2010，37（8）：5-11.

[5]Nummiaro K，Koller-Meier E，Gool L V.An adaptive colorbased particle filter[J].Image and Vision Computing，2003，21（1）：99-110.

[6]Giebel J，Gavrila D，Schnorr.A Bayesian framework for multicue 3D object tracking[C]//Proc of Europ Conf on Computer Vision，2004.

[7]Duan Z，Cai Z.Adaptive evolutionary particle filter based object tracking with occlusion handling[C]//Proceedings of the ICNC 2009，2009：358-361.

JIANG Hua1,FAN Yong2

1.Mianyang Library,Mianyang,Sichuan 621000,China
2.School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang,Sichuan 621000,China

This paper presents visual cues fusion and tracking local object properties for object tracking in video sequences using particle filtering.The visual cues,color,edge and texture,form the likelihood of the developed particle filter,a method for self-adaptively weighted product fusion strategy is proposed,and the cues real-time is updated.By using local object properties instead of the global ones,the performance of the tracker is greatly improved when the object undergoes partial occlusion.The results show that the proposal is more robust than simple cue fusing or conventional particle filter,and fast enough for real-time applications.

particle filter;multiple cues;fusion strategy;occlusion

提出一种多线索动态融合和目标区域划分的粒子滤波视觉跟踪算法。在粒子滤波框架基础上，选取颜色、纹理、边缘线索于目标模型中，采用带权重的乘性融合策略自适应计算粒子权重，并实时更新目标模型。为增强在遮挡时的跟踪能力，采用局部目标而非整个运动目标作为粒子目标模型。实验结果表明，改进后的算法比简单的线索融合、传统的粒子滤波模型选取方法更能鲁棒并实时地跟踪目标。

粒子滤波；多线索；融合策略；遮挡

A

TP391.4

10.3778/j.issn.1002-8331.1112-0551

JIANG Hua,FAN Yong.Particle filter tracking by fusing multiple cues and tracking local object properties.Computer Engineering and Applications,2013,49（19）：186-190.

姜华（1982—），女，硕士，主要研究领域为运动目标跟踪、检测，智能视觉监控；范勇（1972—），男，博士。E-mail：migrhua@qq.com

2012-01-07

2012-03-01

1002-8331（2013）19-0186-05

CNKI出版日期：2012-05-21http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1138.013.html