基于背景直方图的Staple 目标跟踪算法

孟令军，尚桠朝

(中北大学 电子测试技术国防科技重点实验室，山西 太原 030051)

0 引言

目标跟踪作为计算机视觉的重要组成部分，在视频监控、军事应用、人机交互、无人驾驶[1]等领域都有广泛的应用。目标跟踪算法利用首帧目标位置对目标进行建模，在后续帧实现目标位置的定位。由于在目标跟踪过程中会出现目标遮挡、尺度变化、形变等，使得目标跟踪的效果受到极大挑战[2]。

相关滤波作为目标跟踪领域的一大热点，受到广大学 者的广泛关注[3]。2010 年，Bolme 提出的MOSSE算法首次将相关滤波应用到目标跟踪领域，获得了每秒数百帧的运行速度和相当高的准确率[4]。Henriques 提出CSK算法将循环矩阵应用到相关滤波算法提升样本的多样性[5]。2014 年，Hebroiques 将单通道的灰度特征扩展到多通道的梯度直方图(HOG)，并通过核技巧将特征映射到高维空间提出KCF 算法[6]。Danelljan 提出DSST 算法引入尺度金字塔并训练一个一维相关滤波器来检测目标的尺度[7]。Li 等提出SAMF 算法将梯度直方图(HOG)和颜色名(CN)特征进行融合并实现多尺度检测，有效提升跟踪精度，在许多算法中均有应用[8]。Bertinetto 等人提出Staple 算法将颜色直方图分类器应用到相关滤波，提升了跟踪效果[9]。2019 年，戴伟聪等引入局部敏感直方图用于Staple 算法的分类器，提出一种改进的Staple算法[10]。

本文针对Staple 算法使用直方图分类器，忽略直方图特征的空间性和没有充分利用背景信息，提出基于背景权重直方图的Staple 算法，不同位置的相同RGB 值的像素给予不同的权重，同时利用背景区域的直方图生成抑制因子，抑制在目标直方图中的背景直方图部分，从而实现目标的准确跟踪。

1 跟踪算法

1.1 相关滤波器

相关滤波器可以使用一个岭回归方程[11]求解获得，对于一个d 维特征组成的样本x，可以通过最小化式(1)来获得一个d 维的相关滤波器f，即：

式中，g 表示相关滤波器需要的输出，是一个高斯函数；*表示循环相关；λ 是正则化系数，用于防止过拟合。

最小化式(1)，转换到频域计算可以得到滤波器f 在频域的表达式：

式中，η 是一个常数学习率。在第t 帧，将滤波器作用在样本Z 上可以得到确定目标位置的响应，其在频域的表达式为：

1.2 直方图特征

直方图分类器通过利用统计的方法实现分类目的。然而在目标跟踪中，距离目标中心越远，其作为目标的概率越小；同时在一些跟踪场景会出现目标和背景直方图相似的情况。针对这两点，通过引入权重背景直方图提升分类器的鲁棒性。

首先将目标区域图像根据距离中心位置的远近，给予不同的权重，如下式：

式中，Ho(b)表示目标区域图像X的权重直方图，C 为归一化系数，b 为通道数。

背景区域同样进行加权，越接近目标边界的部分成为目标一部分的概率也更大，对背景加权。

计算背景的权重直方图：

式中，HB(b)表示背景区域图像B的权重直方图，B 为归一化系数。

1.3 背景权重直方图

为了增强背景和目标区域的区分度，抑制背景中与目标相同颜色像素对跟踪效果的影响，使用背景区域的直方图对目标区域的直方图进行修正，HB={nb|b=1，…，bins}和Ho={nb|b=1，…，bins}分别表示目标和背景的权重直方图。提取背景直方图最小值n*，定义修正系数。

利用修正系数对目标权重直方图进行修正，可得背景权重直方图为：

原图、传统直方图和背景权重直方图训练分类器在原图上概率图如图1 所示。背景权重直方图对背景杂斑的抑制效果明显，同时目标区域和背景区域对比明显。

图1 原图、传统直方图和背景权重直方图获得的概率图

直方图分类器求解，直方图分类器β 可以通过最小化如下损失函数求得，即：

式中，p 表示标签目标区域为1，背景区域为0；Ψ 表示目标和背景图像中提取的颜色直方图特征；|O|和|B|分别表示目标区域和背景区域的像素总数。Ho′(j)和HB(j)分别表示在目标区域直方图和背景区域直方图第j 个直方柱的值。上式中问题的解为：

其中，ρj(O)=Ho′(j)/|O|表示目标直方图中第j 个直方柱的值与目标区域元素数目的比值。利用可以获得待检测区域图像中每个像素属于目标的概率，即像素级概率图P。对概率图进行积分图计算，积分图每个位置(x，y)处元素的意义表示输入图像所有该位置左上角元素之和，即：

可获得用于目标定位的直方图响应图Rhist，即：

式中，w、h 分别表示搜索框的长和宽，然后以固定的学习率ηhist对直方图模型进行更新：

最后将相关滤波模型和直方图模型得到的响应进行加权融合，得到确定目标位置的响应图，即：

其中，δ 为融合因子。响应图的最大值位置就是目标的位置。整个算法流程如下：

(1)训练阶段：在第t 帧图像的目标中心位置post提取目标区域的HOG 特征xt并计算相关滤波器H；然后更新相关滤波器的分子和分母Bt-1，得到t 时刻的和Bt；另外提取目标区域和背景区域的权重直方图Ho′和HB，利用式(12)求解直方图模型，并更新得到最终跟踪模型βt。

(2)跟踪阶段：在第t+1 帧图像中post位置提取目标区域HOG 特征，利用式(4)获得相关滤波的响应Rcf，再提取post位置处与上一帧目标大小一致的区域的直方图，将直方图与模型βt进行映射得到图像的像素概率图Pt，再利用式子(14)求得直方图的响应图Rhist，最后将两种响应根据式(16)融合，融合后响应值最大的位置就是目标的中心位置post。

2 实验结果与分析

本次算法的实验平台为MATLAB2016a，计算机参数为i5-2320cpu@3.00 GHz，8 GB RAM。实验参数和Staple算法一致，将本文算法(BWHSTAPLE)与Staple、KCC[12]、BACF[13]、ASMS[14]算法进行实验比较，实验的数据集为OTB2015[15]中的65 个视频序列，其中包含光照、运动模糊、遮挡和形变等属性。

2.1 定量分析

此次实验使用的评价指标为距离精度(Distance Precision，DP)和准确率(Overlap Score，OS)，距离精度指中心误差小于阈值的帧数占总帧数的比例，其中，(x，y)为算法跟踪到的目标的位置，(xg，yg)表示人工标注的目标的位置。准确率是重叠率op=(S∩Sg)/(S∪Sg)大于阈值的帧数占总帧数的比例，其中S 和Sg分别表示算法跟踪到的目标框和人工标注的目标框，在本次实验选用20 和0.5 分别作为距离精度和准确率的阈值。实验结果如图2 所示，图2 左右两边分别为算法对测试集的综合实验准确率曲线和距离精度曲线，可以看出BWHSTAPLE 在距离精度上为所有对比算法最高，准确率为第二高，相比Staple 算法分别提升3.7%和2%。图3～图5 则分别表示5种算法应对背景杂乱、运动模糊和快速运动挑战时跟踪的准确率和距离精度，实验曲线显示，BWHSTAPLE 算法在Staple 算法的基础上有所提升。

图2 5种算法综合距离精度和成功率曲线图

图3 5种算法背景杂波属性成功率和距离精度曲线图

图4 5种算法运动模糊属性成功率和距离精度曲线图

图5 5种算法快速移动属性成功率和距离精度曲线图

2.2 定性分析

为进一步显示算法的跟踪效果，提取在5种算法在测试集中的一些典型跟踪结果进行分析，如图6 所示。在序列Blurowl中，由于相机快速晃动，导致目标图像出现模糊，在166 帧、394 帧，BACF、Staple 和KCC 算法分别都出现跟踪丢失，只有BWHSTAPLE 和ASMS 算法可以持续跟踪，在629 帧仍然可以稳定跟踪；在序列Couple中，同样由于相机晃动，使得目标快速移动，导致ASMS 算法和Staple 算法出现跟踪丢失，BACF、KCC 和BWHSTAPLE可以稳定跟踪；在Deer 序列中，目标后面背景出现杂波，同时目标快速移动导致除BWHATSPLE 和ASMS 算法外其他算法都出现了目标跟踪丢失的现象；在Panda 序列中，目标翻转，背景杂波使得KCC、ASMS和Staple 算法先后丢失目标，只有BACF 和BWHSTAPLE 算法继续跟踪目标。在Shaking 出现目标背景杂，目标与背景相似以及局部遮挡，使得依赖颜色直方图的ASMS算法和没有背景抑制的Staple 算法出现目标丢失的现象。

图6 5种算法在5 个视频序列中跟踪效果对比图

3 结论

本文以Staple 目标跟踪算法为框架，针对传统直方图忽略特征的空间性和原算法对与背景区域直方图利用的不充分等问题，首先，对与目标区域加入位置权重，在位置权重的基础上再进行直方图的统计，然后利用背景区域的直方图计算抑制因子，抑制在目标直方图中和背景直方图相似性大的部分。该策略可以很好地应对目标跟踪过程出现背景杂波、运动模糊和快速移动。在OTB2015 数据集上实验表明，本文算法距离精度和成功率相较Staple 算法分别提升了3.7%和2%。