融合颜色与纹理特征的粒子滤波目标跟踪*

杨阳，陈淑荣

（上海海事大学信息工程学院，上海201306）

融合颜色与纹理特征的粒子滤波目标跟踪*

杨阳，陈淑荣

（上海海事大学信息工程学院，上海201306）

针对采用单一颜色特征的粒子滤波目标跟踪算法在背景相似、光照变化复杂的场景下会导致跟踪失败的问题，提出一种基于LBP纹理和颜色特征融合的粒子滤波跟踪目标算法。综合加权颜色直方图和LBP纹理直方图进行目标特征描述，建立目标观测模型；同时粒子滤波进行状态预测，利用Bhattacharyya系数进行相似度测量，作为目标区域参考模型更新准则，实现权值更新；最后对权值归一化处理，得到目标位置状态的最终估计。实验结果表明该算法不仅提高了跟踪方法的鲁棒性，而且在目标遮挡、光照变化等干扰下，具有较好的准确性。

目标跟踪；粒子滤波；加权颜色直方图、LBP纹理特征；Bhattacharyya系数

0 引言

目标跟踪是计算机视觉领域的重要课题之一，广泛应用于视频监控、智能交通和军事领域[1]。目标跟踪的实质是对目标的运动状态进行估计，而贝叶斯滤波是常用的运动状态估计方法，包括卡尔曼滤波（Kalman Filtering）和粒子滤波（Particle Filtering）以及各种KF和PF的改进方法。卡尔曼滤波[2]是线性、高斯模型的最优解算法，且具有运算速度快的优点。实际中目标运动状态往往是非线性、非高斯的，因此标准的卡尔曼滤波方法不再适用。针对非线性非高斯目标跟踪，上世纪90年代中后期提出了粒子滤波[3-4]算法。粒子滤波利用蒙特卡洛方法实现对目标状态的估计，基本思想是用一组带有权值的随机样本（粒子），观测粒子相似度（似然）来确定权值，并根据粒子和权值近似表示系统状态的后验概率密度。

跟踪目标的特征选择和建模方法对算法鲁棒性、准确性都有着重要的影响。颜色直方图是最常用的表达颜色特征模型的方法，其对非刚性目标的形变、遮挡、旋转等具有良好的鲁棒性[5]。但是对于复杂跟踪场景（如光照变化、背景与目标颜色相似），依靠单一的颜色特征常会出现跟踪不稳定甚至跟踪失败的现象。纹理特征描述了图像或图像区域所对应景物的表面性质。Ojala等[6]提出了局部二值模式（Local Binary Patterns，LBP）纹理算子描述分析纹理特征，对灰度图像中局部邻近区域的纹理信息进行度量和提取。LBP对灰度图像进行操作，光照条件下鲁棒性好，但具有受到目标形变影响的局限性。本文融合了颜色特征和LBP纹理特征，结合粒子滤波方法实现对动态目标的跟踪。颜色特征对彩色图像进行处理，具有遮挡、形变适应性；纹理特征对灰度图像进行处理，具有光照不变性。两种特征融合，具有一定的互补性。而且模型的更新机制能有效适应目标的遮挡、旋转。实验表明，本文方法能提高跟踪的精度，而且有较强的鲁棒性。

1 算法原理

融合颜色和纹理特征的粒子滤波算法的流程如图1所示。主要步骤如下：首先读取跟踪视频初始帧，手动选出跟踪区域，初始化粒子，提取目标区域的颜色特征分布pcolor（x）和纹理特征分布pLBP（x），建立颜色和纹理直方图；然后进行相似性测量，更新权值，对粒子颜色特征权值和纹理特征权值进行线性融合，再对融合后粒子权值进行归一化处理，从而得到目标位置状态的最终估计值；最后应用模型更新机制判断是否需要进行模型更新。

图1 算法流程框图

1.1 加权颜色直方图

颜色直方图是一种常用的区域颜色建模方法，常用的颜色模型有RGB和HSV模型。为了减少颜色分量相关性，增强跟踪方法对光照变化的适应性，采用了HSV颜色空间直方图[7]。将H和S分量量化为Nh和Ns级，V分量量化为Nv级，并使Nv＜Nhs以降低光照影响，则直方图量化级数M=Nh×Ns+Nv。考虑实时性和准确性要求，HSV颜色空间量化级数设为8×8+4。HSV颜色直方图特征提取如图2所示。

图2HSV模型颜色直方图特征提取

本文基于核函数方法建立颜色直方图。核函数实际上是一种加权颜色分布表示，权值由核函数k决定。同一区域中，像素点对目标描述的重要性不同，跟踪目标中心边缘的像素点更容易受到非跟踪目标的遮挡和相似背景干扰，赋予较小的权值，因此对颜色直方图的建立几乎不起作用。而越靠近中心的像素点赋予越大的权值。如公式（1）所示。

r表示粒子到区域中心的距离。设图像由n个M级的像素组成，用pcolor（x）表示中心位置在x的目标区域的颜色概率分布：

1.2 LBP纹理直方图

LBP是一种有效的纹理描述算子，能对灰度图像中的局部邻近区域的纹理信息进行有效度量和提取[8]。LBP将图像的纹理分布理解为在灰度级上该区域内像素的联合分布密度，记为：

其中，gc表示图像区域中心点的像素灰度值，gi（i=0，…，p-1）为在gc周围的P个半径为R的圆周上等距离分布的像素点的灰度值。P为像素点周围邻近点的个数，R是邻近点距离中心像素点的距离。

在不损失纹理特征的情况下，将每个像素点减去gc，使得周围像素点的灰度值趋于均匀，如式（5）所示。

假设给定中心点为（xc，yc）的图像为F（x，y），LBP算子编码如公式（7）所示：

图像内3×3邻域，LBP纹理算子模板及编码计算过程如图3所示。

图3LBP算子计算过程

经过LBP算子处理后图像记为FLBP（x，y），其纹理直方图表示为：

上式中，δ为狄克拉函数，用于判断坐标点为（xi，yi）的像素属于特征空间的第u个子空间，b（xi，yi）表示坐标点对应的像素特征值，S为归一化系数，使得

1.3 融合颜色、纹理特征的粒子滤波

粒子滤波是一种基于递推贝叶斯理论和蒙特卡罗模拟的滤波方法，适用于现实情况下非高斯、非线性场景的估计问题。贝叶斯递推处理过程分为状态预测和状态更新2个阶段。

预测阶段：利用系统模型预测状态的先验概率密度p（xk|z1：k-1）。

更新阶段：完成从先验概率密度p（xk|z1：k-1）到后验概率密度p（xk|z1：k）的推导。

考虑到贝叶斯滤波架构中，后验概率密度p（xk|z1：k）无法直接得到，需要进行积分复杂运算。粒子滤波利用蒙特卡洛方法，通过目标概率分布的采样样本来估计系统随机变量的后验概率分布（PDF）。根据大数定律，当样本数量N足够大时，这种估计将无限接近于后验概率密度。

本文先对目标区域的颜色和纹理特征进行提取，通过公式（2）和（8）获取该区域颜色直方图pcolor（x）和纹理直方图pLBP（x）。然后引入Bhattacharyya[8]系数分别计算出候选区域目标直方图与目标区域直方图相似度，得到颜色和纹理直方图的Bhattacharyya距离dcolor和dLBP。候选区域直方图模型q（x）和目标区域直方图模型p（x）之间的Bhattacharyya距离计算如下：

根据相似度距离得到粒子观测值p（z|xki）：

根据公式（12）更新权值，实现粒子更新。最后利用权值融合公式（15），实现颜色、纹理特征线性融合。

上式中，α+β=1，且α、β的值随着跟踪视频中场景复杂程度而改变。当跟踪场景中光线变化为主要影响因素时，将β值调高，设β值大于0.5；当跟踪场景中目标形变、遮挡为主要影响因素时，设α值大于0.5。

1.4 目标模型更新

现实中跟踪目标不可避免地会遇到部分甚至完全遮挡等复杂场景。粒子滤波跟踪算法缺乏目标模型自适应更新机制，导致在跟踪目标发生较大遮挡的情况下，目标颜色直方图模型不能满足准确跟踪的需要。本文采用的目标模型更新机制通过巴氏距离的计算，自适应地更改模板，从而提高跟踪的准确性和鲁棒性。更新模板公式为：

上式中，πE[xt]是平均状态的观测概率，πT表示阈值[9-10]，λ表示状态直方图pE[St]对目标模型qt-1的权重。这里阈值πT和参数λ设置为固定值，依据经验设置为πT=0.3，λ=0.5。

图4验证了目标模型更新机制提高了跟踪的准确性。在第1 650帧跟踪目标没有遮挡时，两幅图中均具有良好的跟踪效果。在第1 699帧跟踪球员被明显遮挡时，图（b）模型更新机制根据候选模型和参考模型相似度距离，判断出目标受到剧烈干扰，因此模型更新，避免适应到错误背景。在第1 723帧依然能够稳定跟踪到目标球员。图（a）模型没有更新，在第1699帧依然适应到前一时刻跟踪模型，因此错误地跟踪到了具有相似背景的己方球员，在第1 723帧时刻，虽然遮挡基本消除，跟踪效果却不理想。

图4 目标模型更新机制

2 本文算法描述

融合颜色与纹理特征的粒子滤波目标跟踪算法的具体步骤如下：

（1）粒子初始化。跟踪视频第一帧图像，手动选取跟踪区域，根据公式（2）和（8）提取目标颜色特征分布概率pcolor和纹理特征分布概率pLBP。假设有N个粒子，目标区域中心位置赋予权值W0=1/N，其中N=100。

（2）状态更新。读入下一帧图像，根据系统动态模型Xk=BXk-1+Vk-1得到新的粒子样本

（3）观测更新。计算预测粒子的颜色特征和纹理特征并根据颜色公式（13）计算候选模型与目标参考模型的相似度，得到颜色直方图Bhattacharyya距离dcolor和纹理直方图Bhattacharyya距离dLBP。根据相似度距离，得到粒子观测值p（z|xk），利用公式（12）更新粒子权值，分别得到权值。公式（15）实现了颜色和纹理特征的线性融合。最后通过公式（17）进行粒子权值归一化。

（4）目标状态估计值。通过公式（17）计算出每个粒子的归一化权值，采用加权准则确定目标的最终位置，即

（5）目标模型更新机制。根据公式（16）判断目标模型是否需要更新。

（6）粒子重采样。依据权值，复制权值高的粒子，摒弃权值低的粒子，得到N个新的粒子，设置权重为1/N。

（7）设置k=k+1，转到（2），直至跟踪视频结束。

3 实验结果与分析

本实验环境为Intel i3 CPU、内存2 GB的PC机，仿真软件为MATLAB R2010。结合基于颜色直方图的粒子滤波算法和本文应用的融合颜色和纹理特征的粒子滤波算法进行比较。

图5显示，在视频第385帧、398帧和410帧跟踪场景光照条件较差、跟踪目标与背景颜色分布非常相似，且存在目标的部分遮挡。实验结果表明，图5（a）算法在目标和背景颜色相似度非常高、光照条件复杂的情况下，跟踪效果不理想，甚至跟踪失败。图5（b）是本文融合颜色、纹理特征算法的跟踪结果，不仅具有颜色直方图对目标旋转、部分遮挡适应性的优点，同时具有纹理特征光照不变性的优点。对比图可以明显看出，本文跟踪方法具有更好的准确性和鲁棒性。

图5 两种算法的目标跟踪效果对比图

4 总结

本文采用了一种融合颜色和纹理特征的粒子滤波跟踪方法，对目标颜色、纹理特征进行线性融合。不仅具有适应目标部分遮挡、形变的特性，而且具有光照适应性好的优势。同时通过目标模型更新机制，根据模型的相似度来判断是否满足更新条件，提高了跟踪鲁棒性和准确性。

[1]MAGGIO E，CAVALLARO A.Video tracking：theory and practice[M].John Wiley and Sons，2011.

[2]KALMAN R E.A new approach to linear filtering and prediction problems[J].Transactions of the ASME-Journal of Basic Engineering，1960，82（Series D）：35-45.

[3]FEARNHEAD P.Sequential monte carlo methods in filter theory[R].Oxford：Merton College，1998.

[4]胡士强，敬忠良.粒子滤波算法综述[J].控制与决策，2005（4）：361-365.

[5]曾伟，朱桂斌，陈杰，等.多特征融合的鲁棒粒子滤波跟踪算法[J].计算机应用，2010（3）：643-645.

[6]OJALA T，PIETIKINEN M.Multiresolution Gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[7]BIRCHFIELD S T，RANGARAJAN S.Spatigrams versus histograms for region-based tracking[C].IEEE CVPR，San Diego，CA USA，2005：1158-1163.

[8]SMEATON A F，O′CONNOR N E.An improved spatiogram similarity measure for robust object localization[C]. Proceeding of ICASSP，Honolulu，2007：1067-1072.

[9]NUMMIARO K，KOLLER-MEIER E，GOOL L V.Object tracking with an adaptive color-based particle filter[C].In symposium for Pattern Recognition of the DAGM，2002：353-360.

[10]NUMMIARO K，KOLLER-MEIER E，GOOL L V.An adaptive color-based particle filter[J].Image and Vision Computing，2003，21（11）：99-110.

Object tracking based on combined feature of color and texture with the particle filter

Yang Yang，Chen Shurong
（Information Engineering College，Shanghai Maritime University，Shanghai 201306，China）

In some complex scene such as similar color distribution backgrounds and frequently light changing，color-based particle filter algorithm may easily cause the unstable tracking or even lost the target.To solve the problem，a combined feature of color and LBP texture based object tracking with the particle filter algorithm is proposed.Firstly，color and LBP texture histograms are used to describe the feature to build objective observation model.Secondly，the particle filter system goes the state prediction. We apply the Bhattacharyya coefficients to compute the similarity between the reference location distribution and the candidate location distribution.We get the Bhattacharyya distance to update the weights and judge whether the model should be update or not. Finally，we normalize the weights and get the final estimate of the state of the object location.Experimental results show that the proposed method is not only robust but also accurate in object occlusion and light changing environment.

object tracking；particle filter；color histogram；LBP texture；Bhattacharyya coefficients

TP391.4

A

1674-7720（2015）11-0047-04

2015-01-14）

杨阳（1990-），男，硕士研究生，主要研究方向：图像处理与模式识别。

国家自然科学基金（61404083）

陈淑荣（1972-），女，副教授，主要研究方向：视频分析与处理、现代通信网络及控制技术。