一种自适应融合颜色和梯度方向特征的粒子滤波跟踪算法

魏天舒，尹丽菊，高明亮，邹国锋,臧圆茹

(山东理工大学 电气与电子工程学院,山东 淄博 255049)

一种自适应融合颜色和梯度方向特征的粒子滤波跟踪算法

魏天舒，尹丽菊，高明亮，邹国锋,臧圆茹

(山东理工大学 电气与电子工程学院,山东 淄博 255049)

针对传统的粒子滤波通常采用单一的特征信息，会导致跟踪精度低、鲁棒性差等问题，提出一种自适应融合颜色特征和梯度方向特征的粒子滤波跟踪算法.首先提取出能够描述目标的颜色和梯度方向特征，并分别采用空间核函数加权颜色直方图和梯度方向直方图对特征进行描述，然后在跟踪过程采用民主融合策略，根据两个特征在跟踪时的可靠性，自适应的调节各自权重，最后采用融合后特征来对目标进行建模和跟踪. 实验结果表明，算法能够很好地处理目标尺度缩放、旋转、光照变化等复杂环境下的跟踪问题.

视觉跟踪;多特征融合;粒子滤波

近年来，目标跟踪在智能视频监控、人机交互、机器人导航等诸多领域得到了广泛应用[1-3]，成为计算机视觉领域中最热门的研究课题之一.粒子滤波与传统滤波方法相比，具有简单易行、适用于非线性及非高斯噪声环境的优点，在目标跟踪领域得到了广泛应用[4-5].

传统的粒子滤波跟踪算法大多采用单一的特征信息.例如：Perez等人[6]将颜色特征作为粒子滤波的观测模型，解决了目标发生遮挡情况下的跟踪.但是该算法的不足之处在于当背景中出现与目标颜色分布相似的干扰物时，容易造成粒子发散.为此，Birchfield等在粒子滤波框架下提出了空间颜色模型，利用像素点之间的空间关系改善了跟踪的性能[7].杨大为等[8]在粒子滤波框架内，提取出基于局部二值模式(LBP)的纹理特征，并采用稀疏表达实现目标跟踪，实验结果表明该方法对光照变化较为鲁棒，但对形状变化较大的目标，跟踪效果较差.

针对单信息进行目标跟踪的缺陷，许多学者提出利用目标的多种特征信息对目标进行跟踪.Spengler等[9]提出了一种融合多特征信息的跟踪算法，但该算法属于寻求局部最优的匹配算法，当目标发生遮挡时容易导致跟踪失败.张峰等[10]采用模糊逻辑的思想，将颜色和LBP特征融入到粒子滤波跟踪算法中，提高了目标跟踪算法在复杂环境下的鲁棒性和准确性，但算法较复杂. 本文提出了一种基于民主融合策略的多信息融合模型，将颜色和梯度方向信息自适应的融入到粒子滤波跟踪方法，根据当前跟踪结果自适应地调节每个特征信息的权值，增强了跟踪特征的可靠性，取得了良好的跟踪效果.

1 粒子滤波

xk=F(xk-1,uk)

(1)

zk=H(xk,vk)

(2)

式中：F为状态转移方程；uk为过程噪声;H是测量方程；vk为系统的测量噪声.

(3)

粒子滤波算法引入重要性采样的概念，即对另一个与p(xk|zk)非常接近的分布q(xk|zk)进行采样，从而有:

(4)

为便于迭代预测系统状态，q(xk|zk)满足:

q(xk|zk)=q(xk|xk-1,zk)q(xk-1|zk-1)

(5)

根据概率统计理论，有如下关系:

p(xk|zk)∝p(zk|xk)p(xk|xk-1)

p(xk-1|zk-1)

(6)

将式(5) 、( 6) 带入式( 4) ，得

(7)

实际操作中常有如下近似:

(8)

对于粒子滤波算法而言，一个重要缺陷是算法存在粒子退化现象[11]. 为了避免粒子退化问题，粒子滤波算法引入了重采样技术. 在重采样之前，应该首先确定粒子的退化程度，以确定是否进行重采样.Liu等人[12]给出了一种衡量粒子数匮乏程度的方法. 他们定义了“有效粒子数”Neff

(9)

当Neff

2 目标特征提取与融合

2.1 颜色特征

由于颜色特征具有平移、尺度不变性，且计算简单，因此在跟踪领域得到了广泛的应用. 现有的图像采集设备最初采集到的颜色信息是RGB值，但RGB颜色空间不符合人对颜色的感知心理.HSV颜色空间是一种面向视觉感知的颜色模型[13].HSV颜色空间有两个特点:(1)亮度分量与图像的彩色信息无关;(2)色调与饱和度分量与人感受颜色的方式紧密相连.这些特点使得HSV颜色空间非常适合以人的视觉系统来感知彩色特性的图像处理算法[13]. 因此，本文将目标的颜色空间从RGB转化为HSV空间.

为了使得到的颜色直方图更加准确，提取出目标的基于核函数加权空间颜色模型[14]:

(10)

(11)

式中‖r‖为像素距离目标中心的欧式距离.

得到目标区域和候选区域的颜色信息后，采用Bhattacharyya距离来度量两者的相似性. 颜色特征信息的观测似然函数为

(12)

2.2 梯度方向特征

通过提取图像中每一点的梯度值并按照不同梯度变化方向对这些点进行归类，生成该图像的梯度方向特征(HOG)[15].HOG特征提取过程如下：

(1)利用水平Sobel算子Kx和垂直的Sobel算子Ky计算感兴趣区域内所有像素点(x,y)的梯度：

(13)

(2)计算梯度的幅值大小和梯度方向：

(14)

θ= actan2(Gy(x,y)/Gx(x,y))

(15)

得到了候选位置的梯度方向直方图后，定义梯度方向特征信息的观测似然函数为

(16)

2.3 多特征自适应融合

融合颜色信息和梯度方向信息，总的似然模型可以表示为

(17)

其中wc和we分别表示颜色信息和梯度方向信息的权重，也称为信息的可靠性. 通过归一化保证wc+we=1. 图1显示了两种特征信息的获取.

图1 颜色信息和梯度信息的提取

在目标跟踪过程中，颜色信息权重wc和梯度方向信息权重we根据目标实际状态自适应的进行更新. 当颜色可靠时，则权重wc值变大，反之梯度方向信息权重we变大.

为了能够自适应的调整两种信息的权重，本文采用一种民主融合的策略对两种信息进行自适应的调整. 民主融合策略是Spengler等[9]提出的一种自适应融合各个特征信息的方法，它利用期望最大(EM)算法来在线调节每个特征信息的权重. 此融合方法根据各个信息在跟踪时的可靠性，给不同的信息赋予不同的加权值. 若一个信息在某个时刻的可靠性大，其加权值就大，则此信息跟踪的结果对最终的跟踪结果贡献就大.

在公式(17)的基础上，通过最大似然估计可得到最终的目标状态，即

(18)

(19)

式中：sign是一个符号，分别代表两种信息；a是一个常量，根据实际情况而定.

由于相邻两帧图像之间变化很小，因此各个信息的加权在下一帧中可以预测为

(20)

2.4 算法流程

算法的具体流程图如图2所示，包括以下几个步骤.

图2 算法流程图

步骤1 在初始帧中采用矩形框选定初始目标，记初始状态为X0=[x,y,s]，其中，(x,y)表示矩形框的中心位置，s表示矩形框的放缩比例. 分别统计目标模板的核函数加权空间颜色直方图和梯度方向直方图.

步骤6 判断是否有新图像输入，如果没有，程序结束. 否则，根据公式(9)判断是否满足重采样的条件，如果满足重采样条件，对粒子进行重采样，否则执行步骤3.

3 实验结果及分析

采用两组典型的测试视频序列对算法的有效性进行测试. 在第一组测试视频中，对室内女子头部进行跟踪，这组视频序列包括了目标的平动、转动、遮挡、相似物干扰，以及光照变化等一系列复杂的情况. 为了客观地描述算法的跟踪精度(误差)，分别计算出几种跟踪方法的跟踪结果(x,y)与真实目标位置(xtrue,ytrue)的欧氏距离：

(21)

在跟踪实验中，跟踪位置与真实目标位置之间的欧氏距离d称为跟踪的误差，用来客观地描述某种跟踪算法的准确度. 对比实验结果如图3所示.

图3 粒子滤波算法在不同的特征下跟踪室内女子头部结果比较

—单独采用颜色信息—单独采用梯度方向信息—融合信息图4 室内女子头部跟踪效果

从实验结果看，本算法在处理任意平动、转动、遮挡、相似物干扰，以及光照变化等较复杂的情况均有较好的效果. 部分跟踪实验结果如图4所示(彩分图见网络版). 其中，黄色框为单独利用颜色信息进行跟踪的结果. 这种方法在目标颜色发生很大变化时(如人体头部发生旋转)，会跟踪失败. 红色框是单独利用边缘信息进行跟踪的结果，该方法能对目标发生旋转的时候进行较准确地跟踪，但是该方法不够稳定，因此适合于在简单的背景下进行跟踪. 蓝色框为融合两个信息的跟踪结果，可以看出自适应融合特征的粒子滤波跟踪算法优于单特征的跟踪效果.

图5为室外场景的车辆跟踪结果. 在跟踪过程中，目标有较大的尺度变化，并且，车辆的尾灯的开关会改变目标的颜色特征. 部分对比跟踪实验结果如图6所示.

图5 粒子滤波算法在不同的特征下跟踪室外车辆结果比较

—单独采用颜色信息—单独采用梯度方向信息—融合信息图6 室外车辆跟踪效果

图中，黄色框为单独利用颜色信息进行跟踪的结果，颜色特征对于目标的缩放有一定的鲁棒性，但对于目标的颜色变化比较敏感. 红色框是单独利用边缘信息进行跟踪的结果，该方法对于颜色变化较为鲁棒，但对于目标的缩放比较敏感. 蓝色框为本章算法跟踪结果，从实验结果看，本文算法能够很好地处理目标尺度缩放、光照变化等复杂情况下的跟踪问题.

4 结束语

对于复杂背景下的目标跟踪，利用目标的单一特征信息往往很难实现鲁棒的跟踪. 本文算法自适应的融合颜色和梯度方向信息描述目标的观测信息，提高了跟踪的鲁棒性和准确性；在跟踪过程中，根据当前帧目标颜色和梯度方向信息的可靠性，利用民主融合策略在线调节下一帧观测信息中颜色和梯度方向信息的权重，实现了两个信息的自适应加权. 通过多组视频测试，算法对目标的相似性干扰、部分遮挡、不同方向的运动旋转、摄像机的移动和光照变化具有较高的精度和鲁棒性.

[1]MAQUEDAAI,DEL-BLANCOCR.Human-computerinteractionbasedonvisualhand-gesturerecognitionusingvolumetricspatiogramsoflocalbinarypatterns[J].ComputerVisionandImageUnderstanding, 2015, 141:126-137.

[2]SHARMAKD,CHATTERJEEA,RAKSHITA.APSO-Lyapunovhybridstableadaptivefuzzytrackingcontrolapproachforvision-basedrobotnavigation[J].IEEETransactionsonInstrumentationandMeasurement, 2012, 61(7):1 908-1 914.

[3]ARROYOR,YEBESJJ.Expertvideo-surveillancesystemforreal-timedetectionofsuspiciousbehaviorsinshoppingmalls[J].ExpertSystemswithApplications, 2015,42(21):7 991-8 005.

[4]NUMMIAROK,KOLLER-MEIERE,VANGOOLL.Anadaptivecolor-basedparticlefilter[J].ImageandVisionComputing, 2003,21(1):99-110.

[5]王法胜,鲁明羽,赵清杰,等. 粒子滤波算法[J],计算机学报, 2013, 37(8):1 679-1 694.

[6]PEREZP,HUEC,VERMAAKJ,etal.Color-basedprobabilistictracking[M]//BERLIN:Springer-verlagberlin, 2002:661-675.

[7]BIRCHFIELDST,RANGARAJANS.Spatialhistogramsforregion-basedtracking[J].ETRIJOURNAL, 2007,29(5):697-699.

[8]扬大为, 丛杨, 唐延东. 基于粒子滤波与稀疏表达的目标跟踪方法[J]．模式 识别与人工智能，2013, 26(7):680-687.

[9]SPENGLERM,SCHIELEB．Towardsrobustmulti-cueintegrationforvisualtracking[J]．MachineVisionandApplications, 2003,14(1): 50-58．[10] 张峰, 何小海, 杨晓敏, 等. 基于模糊逻辑的多特征融合的粒子滤波跟踪算法[J], 四川大学学报(工程科学版), 2013,45(S2):335-340.

[11]GAOML,LILL,SUNXM,etal.Fireyalgorithm(FA)basedparticlefiltermethodforvisualtracking[J],Optik, 2015, 26(18):1 705-1 711.

[12]LIUJS,CHENR.SequentialMonteCarlomethodsfordynamicsystems[J].Journaloftheamericanstatisticalassociation, 1998, 93(443):1 032-1 044.

[13]姜兰池, 沈国强, 张国煊. 基于HSV分块颜色直方图的图像检索算法[J], 机电工程, 2009,26(11):54-57.

[14]COMANICIUD,RAMESHV,MEERP.Kernel-basedobjecttracking[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2003, 25(5): 564-577.

[15]DALALN,TRIGGSB.HistogramsofOrientedGradientsforHumanDetection[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. (CVPR),2005,886-893.

(编辑：刘宝江)

Avisualtrackingmethodbasedonadaptivecolorandorientationgradientfeaturesfusioninparticlefilter

WEITian-shu,YINLi-ju,GAOMing-liang,ZOUGuo-feng,ZANGYuan-ru

(SchoolofElectricalandElectronicEngineering,ShandongUniversityofTechnology,Zibo, 255049,China)

Thetrackingresultsareoftendisappointingwithpooraccuracyandrobustnessbecauseonlysinglecueisadoptedinthetraditionalparticlefilteralgorithm．Tosolvethisproblem,aparticlefiltertrackingalgorithmwithadaptivecolorandorientedgradientfeaturesisproposed.Firstly,thecolorandorientedgradientfeaturesarecalculatedandaredescribedbyspatialkernel-weightedcolorhistogramandedgeorientationhistogram,respectively.Thenthetwofeaturesarefusedadaptivelyusingdemocraticintegrationmethodandtheweightsareadjustedbythetheirreliabilityinthetrackingprocess.Last,thetargetismodeledandlocatedusingthefusedfeatures.Experimentalresultsshowedthattheproposedtrackingmethodhasagoodtrackingperformanceinagooddealofchallengingenvironmentandtheresultsareaccurateandrobust．

visualtracking;multi-featurefusion;particlefilter

2016-03-29

国家自然科学基金项目(61601266);山东省自然科学基金项目(ZR2015FL034，ZR2015FL029);山东理工大学青年教师支持计划项目

魏天舒，女，weitianshu13@163.com; 通信作者：高明亮， 男，sdut_mlgao@163.com

1672-6197(2017)02-0017-05

TP

A