基于多互补特征融合的视频跟踪算法

张君昌, 张登, 万锦锦

(1.西北工业大学 电子信息学院, 陕西 西安 710072; 2.光电控制技术重点实验室, 河南 洛阳 471000)

近年来,基于相关滤波器的跟踪算法受到广泛关注,该类方法属于判别式跟踪,其实质是将跟踪问题转化成一个分类问题，通过在线训练的分类器将前景和背景进行分离,实现目标跟踪的任务。

文献[1]提出了一种基于相关滤波器最小输出均方误差和的视频跟踪算法。文献[2]设计了2个一致并且相对独立的相关滤波器, 分别实现了目标位置跟踪和尺度变换。文献[3]将检测建议框架与相关滤波跟踪器框架相结合,并采用了特征集成、鲁棒更新与建议拒绝等优化方法,保证了各部分的有效整合。通过全局搜索,文献[4]找出了利用轮廓特征标记出的建议候选样本,得到较优的正负样本和更强的检测器,来完成分类器测试和更新,有效减少了分类器搜索空间,降低虚假目标干扰。为了克服相关滤波器跟踪算法对于形变和旋转鲁棒性较差的问题,文献[5]通过融合特征响应图的形式,将相关滤波器框架和颜色模型框架进行融合,提高了跟踪算法的鲁棒性。但是在互补特征的选择以及响应图的融合方式上还有待进一步研究。

本文将物体性检测理论引入到相关滤波跟踪和颜色模型跟踪的框架中,多互补模型的分类器框架能够有效地对目标和背景进行分离,克服跟踪器易受光照、背景干扰的问题,降低跟踪虚假目标的概率。并且本文通过衡量不同模型预测响应图的置信度来推理该模型对目标和背景的分辨能力,从而确定合适的加权权重,提升跟踪性能。

1 融合多互补特征的跟踪算法

Staple[5-6]算法通过相关滤波模型和颜色模型同时对目标和背景进行分类,提高了跟踪器的泛化能力。然而,跟踪模型还是易受到环境、光照等因素的干扰。基于上述问题,本文在Staple算法的基础上融入了物体性检测模型[7],充分利用样本信息多样化的特点。物体性检测模型基于物体边缘轮廓特征,对光照、背景变换有良好的适应性。新算法通过结合3个互补模型分别对目标位置进行分类预测,最后将得到的各个模型的预测响应图进行自适应加权融合来进一步提高跟踪器鲁棒性。算法整体框架如图1所示。

图1 多互补特征融合跟踪器框架

(1)

1.1 平移滤波器模型与其响应图计算

(2)

式中，*表示循环相关,hl为第l维特征对应的滤波器系数,g为回归响应函数,本文选择高斯函数。第二项λ表示正则化项。通过在频域下利用帕塞瓦尔定理进行快速求解,得到滤波器的频域形式为:

(3)

(4)

式中，l=1,2,…d,η为学习因子。

(5)

1.2 物体性检测模型预测

a(si,sj)=|cos(θi-θij)cos(θj-θij)|γ

(6)

式中，γ用来调节相似度对方向的敏感程度。当2个边界群之间的距离大于2个像素时,则两者的相似度就为0。

(7)

式中,bw和bh分别为边界框Π的宽和高。bin代表边界框Π的中心区域,尺寸为(bw/2)×(bh/2);r表示边界框内的任意一个边界像素,mr为r的响应幅值,mi为边界群si中所有边界像素幅值之和,ζi为边界群si完全位于b的权重分数,边界像素响应幅值和ζi的计算方法可见文献[7],ζi越高表示si完全位于Π内的可能性就越大;k为对目标长、宽大小的惩罚系数。

1.3 颜色模型预测

(8)

(9)

(10)

1.4 基于响应图置信度的自适应融合算法

文献[5]对于2个响应图的融合采用了固定权重的融合方式,然而,目标跟踪过程中各个时刻跟踪器中各个模型受干扰程度往往不尽相同,固定权重不能准确有效地利用各个模型的预测信息,导致跟踪器对目标跟踪的鲁棒性不高。对于融合多通道的跟踪器来说,若不能对受不同程度干扰的模型动态加入合适的权重系数,跟踪的稳定性难以得到保证。为此,本文通过有效地计算不同模型预测响应图的置信度,进而自适应地对模型权重进行调整,进一步提高跟踪算法的鲁棒性。

文献[6]中用不同模板对正负样本的分别能力来表示跟踪的置信度,其计算过程需要一定数量有对应标签的目标样本。然而,目标样本标签的得到一般是通过跟踪器历时帧的跟踪结果来确定的,因此跟踪结果发生飘逸将会导致置信度的计算错误,跟踪器陷入循环的错误计算中。而文献[6]通过将上述问题转换为半监督的部分标签问题,首先计算一个可能的部分带有标签的图像块样本集合:

{(x1,z1),…(xi,zi)},i=1,…n。

(11)

(12)

最大似然概率L和损失熵H的计算公式分别为:

(13)

(14)

这里假设目标所在位置概率模型P(li|φi)为高斯分布函数。并且假设P(li|φi,xi;θ)=P(li|φi;θ)成立,则条件概率可以表示为

(15)

同时令

(16)

式中，S′∈z时δz(S′)取1,否则为0。详细过程可以参考文献[6]。得到复合特征响应图和滤波器响应图的置信度后,就可以计算各个响应图的加权权重。

(17)

(18)

(19)

1.5 尺度的计算和优化

当平移滤波器确定出目标中心坐标后,引用文献[5]的方法,用一维尺度滤波器计算目标当前尺度。尺度金字塔建立如下

ζnwt-1×ζnht-1,n∈{-(ρ-1)/2,…,(ρ-1)/2}

(20)

式中,wt-1,ht-1分别为目标在上一帧的宽和高。ζ为尺度放缩因子,本文选择1.02,ρ为尺度金字塔的层数,本文选择33。具体计算可参考文献[5]。

1.6 算法实现

本文算法可分为4个主要组成部分:初始化、位置估计、尺度估计和模型训练。具体步骤如下:

1) 初始化

初始设置算法的初始参数,以及第一帧序列中目标的位置和尺度状态。

2) 位置估计

3) 尺度估计

根据尺度金子塔对目标尺度进行估计。

4) 模型训练

2 实验结果

本文在计算机处理器为i7,主频为3.5GHz CPU,内存为 8G RAM的硬件配置下通过MATLAB2016b软件对算法在OTB2015提供的100个视频序列上进行了实验评估。测试视频序列包含的干扰特征包括特征有:遮挡,光照变化,尺度变化,运动模糊,快速运动,平面外旋转,变形等。实验中的参数设置如表1所示。

2.1 定性分析

如图2所示,本节选取了4个同时包含多种挑战因素的视频序列来对算法进行定性评估,并列出了包括双线性支持向量机(DLSSVM)、具有通道和空间可靠性的判别相关滤波器(CSR-DCF)以及融合相关滤波器模板和颜色特征模板跟踪算法(Staple)以及本文算法在内的4种跟踪算法的跟踪结果。

表1 本文算法参数设置

图2 各个算法在各测试序列上部分时刻的跟踪结果

Shaking序列中存在剧烈的光照变化,并存在一定目标形变。如图2a)所示,由于CSR-DCF依赖颜色信息,当第10帧时光照发生强烈变化时,CSR-DCF产生了严重的跟踪飘逸。在第64帧Staple算法已经跟踪失败, DLSSVM也已经产生了较大的跟踪误差。而本文算法能够较好地对目标进行跟踪。

Girl 2序列中存在着完全遮挡的干扰,本文算法当目标出现后能及时捕获到目标,同样在第1 384帧后目标又出现了完全遮挡的问题,在第1 399帧,本文算法依旧能够较准确地跟踪到目标。

Couple序列中存在着相似背景和运动模糊的干扰,在第92帧和107帧时,Staple 算法和CSR-DCF相继出现跟踪失败。而DLSSVM算法和本文算法能有效地提取正确的目标表观信息,较好地适应目标表观变化,完成目标跟踪的任务。

在Freeman 4序列中,目标分辨率较低同时存在着一定的目标遮挡。如第207帧DLSSVM、CSR-DCF以及Staple算法都出现了跟踪飘逸,在第271帧Staple和CSR-DCF算法甚至已经完全跟踪失败,而本文算法能够较好地对目标跟踪进行跟踪。

2.2 定量分析

本节采用中心位置误差(CLE)和重叠率(OR)进行性能评估。一般来说,较小的平均误差和较大的重叠率意味着更准确的跟踪结果。表2和表3分别表示不同算法在各个测试序列中的中心位置平均误差和边界框重叠率平均值的比较结果。表4给出了各个算法在OTB2015中100序列中的平均跟踪帧率。表2、表3以及表4中最优及次优的结果分别用1和2进行标注。

表2 不同算法在各个视频序列的平均中心位置误差

表3 不同算法在各个视频序列的平均边界框重叠率

表4 不同算法的平均帧率 帧/秒

2.3 基于可视基准的评估

本文采用一次性评估实验OPE通过OTB2015提供的100个视频序列对Staple、DLSSVM、CSR-DCF、基于循环特征映射的跟踪算法(LMCF)、空间正则化滤波跟踪器(SRDCF)、滤波网络跟踪器(DCFNet)、全卷积网络跟踪器(SiamFC)、卷积神经网络支持向量机跟踪器(CNN-SVM)和本文算法在内的9种跟踪器进行整体性能测试和对比。如图3所示,本文算法由于在Staple算法的基础上,融合了物体性检测模型,充分利用了样本信息的多样化的特性,并采用自适应权重的融合方式来调整各模型加权比重,有效提升了跟踪算法的鲁棒性。新算法在和OTB2015序列集下得到的精度和成功率相比较于其他跟踪算法均取得了最好的性能。其次,引入的置信度计算本身复杂度较低,所以保证新算法依然能够保持较高的跟踪实时性。通过表4可得,新算法和Staple算法相比,依然有着较高的跟踪实时性。

图3 跟踪器在OTB2015上的测试结果

3 结 论

为了提高跟踪算法适应复杂场景的能力,本文在Staple算法的基础上融入了基于轮廓特征的物体性检测模型,与原有基于HOG特征的滤波器模型和颜色模型结合形成一种融合多互补模型的跟踪算法。并针对该算法中对不同模型预测响应结果进行简单线性加权带来的跟踪性能不稳定的问题,提出一种以最大似然概率和损失熵作为响应图置信度的自适应预测响应图加权权重计算方法。实验结果表明,新算法在多种复杂场景中能有效地解决目标跟踪性能较低的问题,并且实时性较强。