多特征融合且抗遮挡的长时目标跟踪算法

吴 涛，袁 亮

(新疆大学 机械工程学院，新疆 乌鲁木齐 830047)

0 引 言

目标跟踪是计算机视觉领域的一个热点研究方向，涉及到目标特征提取、目标状态信息分析、目标运动信息的检测和识别等多种技术[1-4]。

其中基于相关滤波的目标跟踪算法以其优越的跟踪速度和跟踪效率，近些年得到广大研究者的关注。Bolme等在目标跟踪中运用了相关理论，设计出一个最小误差输出平方和滤波器(MOSSE)，通过提取图像灰度特征进行跟踪。Henriques等[5]提出核循环结构(CSK)跟踪算法，对相邻帧在频域上进行点乘操作，减少了运算量。之后，Henriques等[6]对CSK做了进一步改进引入多通道特征，提出了核相关滤波跟踪(KCF)算法，用梯度方向直方图(HOG)特征代替了灰度特征，使跟踪精度得以提高。针对尺度变换的问题，Danelljan等[7]提出判别尺度空间(DSST)跟踪算法，通过二维位置滤波器和一维尺度滤波器来实现尺度的自适应变换。Ma等[8]提出长时跟踪(LCT)算法，训练了随机蕨类重检测器，在长时跟踪上取得一定效果。研究发现，在遇到目标被遮挡、复杂背景、长时间跟踪时，这些基于传统相关滤波的算法所产生的误差会随着时间积累的越来越大，最终导致跟踪失效。

本文针对以上问题，提出一种融合特征的抗遮挡、长时间跟踪算法。该算法在DSST算法的基础上，在特征提取阶段融入颜色特征，提高了滤波器在复杂背景情况下的跟踪精度和鲁棒性。通过计算跟踪目标的置信度和样本响应值波动水平来判断目标的遮挡情况，在确认目标丢失之后触发随机蕨分类检测器进行重新检测、定位目标。同时，当样本响应值异常时，停止模板更新。

1 判别尺度空间(DSST)算法

在DSST算法中设计了两个相关滤波器,分别为位置滤波器和尺度滤波器,通过二者来实现目标的跟踪和尺度变换。且两个滤波器是相互独立的,在特征提取阶段可选择不同的特征进行融合,其中的尺度估计方法也可和不具备尺度估计的跟踪算法相结合。

1.1 位置相关滤波器

位置估计的方法基于MOSSE跟踪方法,通过学习和训练得到一个位置相关滤波器,用此滤波器来确定目标下一帧的位置。MOSSE跟踪算法的思想是构造一个滤波器模板h， 让该模板h与输入图像目标区域f做卷积运算如式(1)所示

g=f*h

(1)

用频域点乘来代替时域上的卷积运算，并运用快速傅里叶变换的方法提高运算的速度，计算方法如式(2)所示

(2)

DSST算法选择由灰度和HOG特征共同组成的多维特征l{1,…,d} 作为输入样本f, 相对于MOSSE算法增加的HOG特征能使DSST算法更好地适应复杂场景的跟踪。通过相关滤波运算之后得到对应的滤波器响应输出 {g1,g2,…,gt}, 在时间t时得到最优的滤波器ht, 且ht满足最小均方误差和

(3)

式中：f有d维,fl为其中的第l维,l的取值范围为 {1,…,d}，λ为正则项(为避免式子解的分母为0，故引入参数λ来消除输入样本频谱中的零频分量)，当训练样本只有一个时，对Hl进行求解得

(4)

对上式中A、B分别进行迭代更新得

(5)

(6)

式中：η代表学习率,对下一帧图像样本Z有响应值

(7)

最大响应值ymax的位置即为估计位置。

1.2 尺度相关滤波器

用于尺度估计的滤波器的设计是DSST算法中的亮点,算法中利用位置滤波器得到预测的目标二维位置信息,以所预测的位置为中心,选取33个梯度尺度的候选区域,再采用一维的尺度相关滤波器搜索最优尺度区域,即为目标的尺度估计结果。

选取梯度候选区域块大小的依据为

(8)

式中：q和r分别代表上一帧中目标框的宽度和高度；s表示各不相同的尺度个数；a为尺度因子。

2 改进算法

2.1 融合颜色空间特征

目标特征的选取环节特别重要，会直接影响到跟踪效果的好坏[9]。DSST算法所选的目标特征为单一HOG特征，HOG特征常用来描述形状和边缘，对平移、光照变化和旋转具有一定不变性，在捕捉样本区域的局部形状信息时表现较好。但在背景中存在多噪声时，目标区域的梯度特征不再明显，HOG特征的描述能力减弱,此时容易造成目标丢失。针对这一弊端，本文在特征提取中融合颜色(CN)特征来解决。

颜色空间特征(CN)把RGB图像的三维颜色映射为11通道的CN颜色特征,能更好描述目标的颜色信息,具备较强的目标分辨能力,对目标形变、漂移具有较好的鲁棒性，能提高跟踪算法在复杂背景下的目标跟踪性能。

当多个特征进行融合时,可看成样本中多个通道信息被整合到一个向量中x=(x1,x2,…,xc)， 本文提取的HOG和CN的特征向量分别记为：phog、pcn， 根据相关滤波的多通道特性将两种特征向量相结合，得到如下公式

P=λ1phog+λ2pcn

(9)

式中：λ1、λ2代表两个特征向量相融合的系数，由经验可得二者参数均为0.5。则P=[P1,P2,…Pn] 即为最终得到的融合特征向量。

2.2 目标遮挡检测

在实际目标跟踪应用中,目标容易受到遮挡物遮挡跟丢,或是受到长时间的误差积累以及复杂背景的影响而丢失跟踪目标。本文算法对跟踪目标的状态做检测和判断,当确定目标丢失后,停止继续跟踪和模板的更新,然后利用重检测器对目标的位置和尺度进行重新估计。

当目标被遮挡时一般分为3种情况：轻微遮挡、严重遮挡、完全遮挡。当目标受到轻微遮挡,可正常跟踪并进行模型更新,当目标被严重遮挡甚至丢失,此时停止模板更新并启动重检测器。传统算法中用最大响应值Fmax来判断跟踪状态,当Fmax大于一定阈值的时候即认为跟踪正常。但是如果目标被相似物遮挡产生跟踪漂移,此时的响应值依然很高,所以这一判据不可靠。针对这一问题,需要一种简单准确的目标遮挡检测机制来做出判断。

文中引入平均峰值相关能量APCE[10],该指标可用于分析响应图的峰值情况和波动程度,其公式为

(10)

式中：Fmax、Fmin分别表示响应图的最大、最小值；FW,H中的W表示响应图的宽度；H表示响应图的高度；mean[·] 表示取平均运算。

APCE值反映了响应图的峰值与各点响应值的关系,当出现遮挡、模糊、丢失等情况时,响应图会发生波动。响应峰值越突出,起伏越小,对应的APCE值就越大。当目标被遮挡或跟踪异常时,响应图峰值变低波动变大，APCE值大幅减小。因此,分析响应图的波动计算APCE值可以有效反映跟踪置信度,为判断遮挡程度提供了有力依据。

确认目标被遮挡之后,启用随机蕨分类器进行检测。随机蕨分类器常用于对多种目标进行分类识别,在用于视频目标检测时可分为两类,一类为要检测的目标,另一类为图像背景,进而计算两者在随机蕨中的似然概率分布。随机蕨分类器是在朴素贝叶斯分类器的基础上发展来的,由贝叶斯分类器的思想可知,分类器的训练过程就是把样本特征映射到样本类别的过程。定义具有类别属性的大量样本Dm=(fm,cm),m=1,2,…,M, 其中M代表样本数量,f代表样本特征值,一般为N维向量,表示为

f=(f1,f2,…,fN)

(11)

设C为样本的类别,类别数量用K表示为

C∈{c1，c2，…，cK}

(12)

分类器H表示为:f→C。

随机蕨分类器也可称作半朴素贝叶斯(Semi-NaiveBayes)分类器,半朴素贝叶斯分类器是从贝叶斯分类器演变过来的。根据其思想,即从由特征组成的集合中随机抽取l组大小相同的特征子集合,任一子集都代表一个随机蕨,设每个子集中都包含s个特征,则有

Fl={fl，1，fl，2，…,fl,s}

(13)

假设每个随机蕨都是属性条件独立的,则全部特征的联合似然估计为

(14)

对应的随机蕨分类器即为

(15)

由式(15)可知,随机蕨是通过随机蕨分类器随机提取多个特征所组成,因此可选择多个随机蕨进行联合近似计算。

2.3 模板更新策略

传统相关滤波算法中,模型的更新策略为

(16)

式(16)对模型前后帧进行线性插值,ai和X分别表示下一帧样本模型的参数和模板,ai-1和Xpre分别表示前一帧样本模型的参数和模板,Xn是由当前样本区域训练得到的值,α表示插值因子(模型更新率),传统相关滤波算法中模型更新率是固定值。当α取值过小时,针对快速运动的目标难以及时更新参数,当α取值过大时,导致模型更新过快记忆过多背景区域信息,两种情况都会造成跟踪效果差甚至跟踪失败,所以α的大小选取对跟踪的性能有着显著影响。

本文引入APCE参数,选用样本区域最大响应值Fmax和APCE值分别与文中定义阈值T1、T2作比较,当Fmax大于T1和APCE值大于T2时,更新滤波器模型,否则停止更新。

(17)

当u≥8时,模板更新率α取较大的值0.04；当3≤u≥8时,模板更新率α取适中值0.025；当u<3时,模板更新率α取较小值0.01。通过对模板更新率进行分段设定,可增强算法在遮挡、尺度变换等复杂场景下的稳定性。

改进的算法步骤如下：

(1)初始化图像,对目标区域第一帧循环采样得到样本集合；

(2)提取目标区域块中的HOG和CN特征,并由式(9)得到融合特征H, 对特征向量训练得到滤波器模型；

(3)计算置信度指标Fmax、APCE和当前目标响应值f, 进行遮挡判断；

(4)若遮挡,则停止模板更新,启动检测机制；

(5)未遮挡情况下,通过帧差法计算模板更新率,进行模板更新。

3 实验结果与分析

3.1 实验环境与参数

本文采用Matlab R2018a作为开发平台,在Intel(R) Core(TM) i5-4460CPU,主频3.20 GHz,内存8 GB配置的计算机上进行实验验证。选择CSK[5]、KCF[6]、DSST[7]、LCT[8]共4种算法与本文算法作对比。本文算法除模板更新率设置3个阶段值0.04、0.025、0.01外,其余参数与DSST算法参数保持一致,其它算法均保持原参数设置不变。

3.2 实验数据集与评估准则

为验证本文算法的可行性,采用OTB100[11]和UAV123[12]数据集作为实验数据,其中UAV123数据集里只选取50个长度在1000帧以上的图像序列用于评测算法的长时性能。在实验中采用中心误差和覆盖率两种评估指标来衡量。

(1)平均中心误差就是真实标定的中心位置与跟踪结果之间的平均欧式距离,平均中心误差越小,算法的跟踪精度就越高,体现了算法跟踪的精确程度

(18)

式中： (xt,yt) 和 (xe,ye) 分别代表图像序列中目标和被测试算法所跟踪目标的中心位置。

(2)覆盖率体现了跟踪结果中的目标区域与真实目标的重合度的情况,覆盖率越大,说明算法跟踪的成功率越高

(19)

式中：re和rt分别代表被测试算法和真实标注的目标边界框,S的值越大就表示成功率越高,反之就就越低。

3.3 定量分析

一次通过性评估OPE(one-pass evaluation)是跟踪算法常用的评估标准,但是不同起始帧初始化对跟踪算法的性能有影响,所以本文引入时间鲁棒性TRE(temporal robustness evaluation)准则来分析在不同起始帧初始化时跟踪算法的鲁棒性。图1为5种算法在OTB100测试数据集上进行TRE的测试结果。

由图1可看出Ours与其它算法相比排在第一位,跟踪性能更好。在图1(a)的精度评估中，Ours与LCT基本持平，在跟踪成功率上相比LCT跟踪算法提高了6.7%。

图1 OTB100跟踪TRE评估曲线

为评测本文算法的长时跟踪性能,从UAV123数据集中选取50个帧数在1000以上的图像序列进行实验验证。如图2所示是5种跟踪算法在TRE下的跟踪精度和成功率的评测结果。从中可以看出Ours算法的性能排在第一位,相比LCT跟踪算法在跟踪精度上提高了6.7%，在成功率上提高了17%。

图2 UAV123跟踪TRE评估曲线

表1内容为5种算法在OTB100上的运行速度,虽然Ours相比DSST增加了计算量,但其35.6 fps/s的速度仍可以满足实时跟踪的要求。

表1 5种跟踪算法运行速度对比

3.4 定性分析

为了更好体现改进算法在遮挡情况下的跟踪效果,对5种算法在图像序列上进行测试,6个图像序列上的实际跟踪结果对比分析如图3所示,图像序列的参数见表2。

表2 实验图像序列特点

在图3(a)jogging1图像序列中跟踪目标为左侧行人,可以看到在58帧时,各跟踪器都表现较好,然后开始进入电线杆的遮挡区域,到74帧时目标被完全遮挡,78帧时目标再次出现,此时Ours和LCT跟踪算法启动了目标检测器,在80帧时再次检测到目标,而DSST、KCF、CSK这3种算法则完全跟丢。

在图3(b)liquor图像序列中,在第510帧和734帧时目标分别被向右和向左移动的相似物遮挡时,CSK和DSST算法跟踪到遮挡物导致跟踪失败,在873帧时向右移动目标路过相似物时,LCT和KCF跟踪模板发生漂移也相继跟丢目标,到881帧可清晰看到只有Ours成功跟踪目标。

图3 5种算法的跟踪结果

在图3(c)Gym图像序列中跟踪目标是体操运动员,在开始帧到19帧时,目标运动幅度小,5种算法都能成功跟踪。在545帧附近时,目标运动幅度逐渐增大,KCF、CSK、DSST跟踪器开始出现偏差,到第767帧时可明显看出KCF、CSK跟踪器完全跟踪失败,DSST跟踪器跟踪效果较差,只有Ours和LCT跟踪器还能成功跟踪目标。由此可看出Ours跟踪算法融合了CN特征之后在跟踪目标发生形变的情况下具备良好的跟踪性能。

在图3(d)Tiger2图像序列中玩具狮子为跟踪目标,此图像序列具备着遮挡、快速运动、形变、旋转等多种属性,由图中可以看出从初始帧到第113帧时,只有Ours能完好跟踪目标,LCT也出现了偏差,KCF、CSK和DSST完全跟丢。在356帧时目标受到遮挡,到363帧时遮挡结束,此时LCT跟踪器也跟踪失败,只有Ours能成功跟踪目标。从中可看出本文算法进行特征融合的效果,在复杂场景下依然能保持较好的跟踪性能。

图3(e)、图3(f)均为长时跟踪序列,在图3(e)中第949帧时目标被完全遮挡,在974帧时目标部分脱离遮挡区域,Ours成功检测到目标并成功跟踪。在图3(f)中从389帧目标开始转向并开始跳跃翻转,在此过程中4种算法陆续跟踪失败,到419帧时只剩下Ours能保持跟踪。

4 结束语

为了使传统相关滤波能更好适应遮挡和长时下的跟踪,本文提出了一种特征融合结合目标检测的抗遮挡长时跟踪算法。在DSST算法基础上融合CN颜色特征,提高了位置滤波器的预测精确度,同时结合尺度滤波器实现了自适应尺度跟踪。针对遮挡等复杂场景下的跟踪失败情况,引入APCE进行目标遮挡程度的判断,确认受到遮挡之后停止模板更新,启动随机蕨分类器检测目标,重新获取目标位置,实现抗遮挡长时跟踪。实验结果表明,融合颜色特征使得该算法在目标形变和复杂场景下具备较好的跟踪性能,检测器使改进算法在抗遮挡和长时跟踪上取得了较好的效果,跟踪精度和鲁棒性相比其它几种经典算法均有提高。