自适应模型更新的长时目标跟踪算法

张 锐,王 军,杨 博,赵高鹏,薄煜明

(1.南京理工大学自动化学院,江苏 南京 210094；2.中国船舶工业综合技术经济研究院,北京 100081)

运动目标的跟踪长久以来都是广大科研人员非常青睐且十分热门的研究领域,许多研究成果早已被广泛地应用于军事、医疗、交通等多个方面。从最早的光流法、均值漂移[1]法、支持向量机[2]法、检测-跟踪(TLD[3])算法、相关滤波算法,到近年开始兴起的基于深度学习的方法。这些算法在跟踪的速度与精度、抗遮挡能力等方面各有所长,但应用在复杂场景时,容易受到例如光照、遮挡等因素的影响,无法进行鲁棒跟踪,所以需要针对长时跟踪进行进一步的研究。

相关滤波类算法凭借其在目标跟踪准确性和速度上的优秀表现,成为当下的一个研究热点。2010年,Bolme等人首先提出了MOSSE[4]滤波器,它是首个将相关滤波思想引入目标跟踪的算法,类似ASEF滤波器,其计算量小且速度较快。2012年,Henriques等人提出了CSK[5]跟踪器,提出将相关滤波引入核空间,训练在傅里叶域内进行,从而得到一个核化的分类器。随后在2014年将CSK算法思想与梯度方向直方图结合,设计得到了核相关滤波器KCF[6]。在特征提取方面,Danelljan等人在CSK的基础上,使用CN颜色空间对其进行拓展,并且在其模板更新机制上有所改进,提出了CN[7]算法。Staple算法[8]采用线性加权的方式将HOG特征模型与颜色直方图模型的响应结果进行融合,有效地提高了算法的鲁棒性。针对循环密集采样造成的边界效应,Danelljan等人提出了SRDCF[9]算法,引入空间正则并且使用高斯-赛德尔迭代来求解滤波器。Lukezic等人提出基于通道和空间置信度的判别式相关滤波(CSR-DCF)[10]算法,为了对滤波器的空域进行限制,基于前景和背景的颜色特征模型构建了掩模矩阵。

为解决尺度估计问题,Danelljan等人提出位置滤波器和尺度滤波器分别训练的判别尺度空间跟踪器(DSST)[11]算法。在此之后,Danelljan等提出快速尺度估计(fDSST)[12]算法通过主成分分析将目标特征的主要特征保留,将维度压缩至18维,在提高DSST算法运行速度的同时还提升了跟踪性能。

此外,针对目标遮挡问题,文献[4]采用经典的峰值旁瓣比(PSR)来衡量目标跟踪置信度,在置信度较低时暂停更新模型,从而抑制背景信息的干扰。针对目标偏移问题,Zhu等人提出协同相关跟踪算法(CCT)[13],在核相关滤波算法的基础上,引入CUR滤波模块,使算法具有良好的鲁棒性。

受以上算法启发,针对跟踪过程中出现的目标自身尺度变化,外界光照变化及目标受遮挡等问题,作者对快速尺度估计算法进行改进,提出一种新的长时目标跟踪算法,它结合置信度判别,自适应地更新模板,并且加入一个用于重检测的在线CUR滤波器,解决遮挡情况下的跟踪问题。

1 fDSST算法描述

fDSST算法通过维数压缩和滤波结果插值的方式对DSST算法进行加速,DSST算法又是在MOSSE的基础上改进而成的,下面介绍DSST算法的基本原理。

通过一维的尺度滤波器获得跟踪目标的新尺度信息。随后,在新的位置用原先得到的尺度来分别提取位置和尺度滤波器的样本并进行参数更新。

首先,设初始图像中选定的正样本为f,f由d维特征向量f(n)∈Rd,fl为其中的第l维,l的取值为1到d,每个通道对应的滤波器为hl,总的位置滤波器表示为h,g为理想高斯输出,那么最小化的代价函数如式(1)所示:

(1)

式(1)中，*表示卷积计算,λ表示权重系数,并将其转换到复频域，采用Parseval定理求解得Hl:

(2)

此时,在对滤波器的训练中加入了不同时间片的样本,这保证了滤波器hl具有鲁棒性,由离散傅里叶变换进行块对角化线性来解决最小二乘问题,滤波器Hl则是通过N个d×d的线性系统求解得到,参数的更新依照式(3)、(4)。

(3)

(4)

设zt为目标中心位置的图像,其经离散傅里叶变换得到变量Zt,为选定的正样本区域,此时输出yt的复频域表示为Yt,如式(5)所示:

(5)

DSST算法通过尺度相关滤波器和位置相关滤波器的共同运行来实现,首先将以上一帧图像所确定的位置为基准,来提取特征样本,如图1所示,再利用位置滤波器获取目标新的位置信息,依据它提取尺度特征样本。

图1 位置滤波器样本特征提取示意图

尺度相关滤波器样本特征提取如图2所示,采用一维高斯函数作为期望输出,并利用离散傅里叶变换加速,最后将新一帧的信息输入尺度相关滤波器从而得到跟踪目标结果的尺度输出。

图2 尺度滤波器样本特征提取示意图

fDSST算法是在DSST算法的基础上,主要针对流程中的学习与检测部分的运算进行加速,采取逐点进行的方式进行运算和推导并结合快速傅里叶变换(FFT),同时采用DFT快速计算使本算法快速高效。进行了计算的加速。另外,在fDSST算法当中,对HOG特征进行维数压缩处理,同时对滤波结果进行了插值来避免信息的丢失。插值方式采用三角多项式,从而获得精确定位尺度,有效地提高了FPS和有效优化了算法的跟踪精度和速度。

2 结合置信度更新的尺度估计长时目标跟踪算法

为了利用fDSST算法在跟踪精度和速度的优势,本文以其为基准算法,针对跟踪过程中的模板偏移问题对模板的更新机制进行改进,在目标丢失时,停止模型更新,防止模板被污染,以提高跟踪的准确率及鲁棒性。在长时跟踪框架中增加重检测模块,用CUR滤波器来处理遮挡或跟踪失败的问题,为能够在发现目标丢失时及时准确地找回目标。

2.1 算法整体框架

本文设计的算法框架如图3所示。

图3 本文算法整体框架

2.2 结合置信度的模板更新策略

在fDSST中,由于未考虑遮挡情况后的跟踪失败问题,所以没有讨论跟踪置信的评估问题。一般来说,选取响应图中的最高值Fmax,Fmax的值越大说明跟踪效果越好,但根据实际实验结果来看,这种评估方式并不够好。以OTB50的视频序列Lemming为例,图4展示了不同跟踪质量下响应峰值大小的情况。

图4 不同跟踪质量下目标对应峰值大小

左图跟踪情况良好,Fmax值也较大,中间图中目标处于严重遮挡状态,Fmax值也随之变小,但是因为遮挡判据单一及未采取自适应模板更新策略,导致出现了右图的跟踪失败情况,跟踪模板受到了污染,此时Fmax值大小处于跟踪良好情况下的水平。

以OTB50的视频序列Girl为例,图5的(a)、(b)分别展示了跟踪失败的图像序列帧与其对应的响应图情况,左图展示了当目标未发生遮挡情况,此时跟踪质量较高,存在响应图的最高值Fmax,此时相应图像上表现为有且只有单个主峰,中间图表示当跟踪质量低时,例如目标发生遮挡情况,响应图出现了剧烈波动,存在较为严重的次峰干扰,当目标周围存在有相似特征的区域时,也有可能出现最高峰为干扰的情况,此时如果继续按照固定学习率更新位置滤波器的参数并进行下一帧的跟踪,则很有可能出现跟踪漂移或失败的情况。右图是跟踪失败的情况。

图5 不同跟踪质量下图像与对应响应图

于是本文借鉴LMCF[14]算法,引入提出的判据APCE,计算方法如式(6)所示：

(6)

式(6)中,Fm,n表示每一个像素位置的响应值,Fmax、Fmin分别为最大、最小的响应值。APCE的大小能够反映响应图的震荡程度和尖锐程度,当目标明显出现在检测区域内,因为响应图中最高值Fmax较高而其余干扰噪声较小,APCE的值将会比较大,反之较小。

(7)

3)两个条件均不满足,判断目标被遮挡,转入重搜索模块,滤波器参数暂时不更新。

2.3 在线低秩滤波器重检测模块

为了实现长时有效跟踪,需要加入重检测机制,当目标一旦经历遮挡导致跟踪结果出现较大偏差时,应启动重检测模块,以便有效长期跟踪目标。为了使在线重检测效果好,稳定性高,同时计算量较低,本文选择使用CUR在线低秩滤波器。

给定一个矩阵A,A∈Rm×n,它的矩阵秩为ρ,以相同次优行、列选择的方式,如式(8)所示:

(8)

根据上述方法,对A进行随机采样,提取出c列,得到列矩阵C,然后对C的列取平均获得目标检测滤波器Dt。具体来说,在每一个稳定的帧中提取目标框内的目标表达,将其向量化为目标历史表达矩阵A中的一列at。在矩阵C随机产生之后,按照列对C取平均,获得在线滤波器hcur,如式(9)所示:

(9)

为了得到当前帧的CUR滤波器,以空间上的对应顺序为依据,把向量dt转换为矩阵Dt。最后使用Dt来计算与所检测图像中每个可能位置的相似程度。已经跟踪到的信息构成了正样本集,只要充分利用该正样本集,就可以训练出性能优越的重检测器。

根据位置滤波器的计算结果,利用非极大值抑制的方法提出前k个置信度高的区域,计算这些区域与位置滤波器所得结果的重合率α,如果重合率大于0.5,将当前区域加入对象池,用于更新CUR滤波器。

2.4 本文算法流程

本文算法流程如表1所示。

表1 本文跟踪算法流程设计

3 实验结果与分析

本文实验在 IntelCore i7-10875H CPU、主频 2.30 GHz、内存 16 GB 的计算机上进行,实验使用 Matlab R2018b平台调试运行。实验中参数设置：位置滤波器的Padding为 1.5,正则化因子λ设置为10-4,核带宽设置为0.075,固定学习率η0设置为0.02,调整因子β=0.1,置信度阈值c和λR则分别设定为2.85和0.5。尺度相关滤波器的尺度级数设置为33,尺度步长为1.02,CUR滤波模板池大小为20,峰值附近的响应抑制系数设为0.8,特征提取方面选用HOG特征。

3.1 实验数据集介绍

实验采用OTB50数据集,OTB作为视觉目标跟踪领域第一个基准库,解决了视觉跟踪领域无统一的衡量指标且无统一的测试视频的问题。OTB50基准库包含了长短不一、灰度和彩色视频序列用于评估算法性能。同时,为每帧的目标位置都提供了人工标注的真实坐标值,且每个视频均包含部分跟踪领域存在的困难因素。实验从OTB50基准库中选取了12个视频序列用于评估,每个序列的特点如表2所示。

表2 实验视频序列特点

3.2 实验评价指标

为了评估本文跟踪算法的性能,参考Wu等[15]提出的OTB 视频序列跟踪效果评价指标,采用了中心位置误差(CLE)、跟踪精度和跟踪成功率来评价算法性能。目标重叠率S定义为给定跟踪框Bt与实际跟踪框Ba,这两个区域面积的交集与并集比。当S大于给定阈值时认为跟踪成功(一般阈值取0.5),S由式(10)给出。

(10)

3.3 实验结果分析

3.3.1 定量分析

本文将提出的算法(Ours)与基准算法fDSST[12]和其他5种主流算法进行比较,包括Struck[16]、CT[17]、CSK[5]、SRDCF[9]、LCT[18]。

图6表示实验的7种跟踪算法在选取的12组测试视频下的表现,可以看出本文算法在跟踪精度与跟踪成功率方面来说,表现最为突出,跟踪精度相比于fDSST算法提高了2%,相比于LCT算法提高了6.8%。跟踪成功率相比于fDSST算法提高了13.6%,相比于SRDCF算法提高了4.7%。

图6 12个视频测试序列的跟踪精度曲线及跟踪成功率曲线

图7显示了7种跟踪算法在12个视频序列进行目标跟踪时生成的中心位置误差曲线,以图7c)为例,CarScale视频中的主要难点在于跟踪目标的尺度发生变换并且尺度变换较大、目标受到遮挡、目标快速运动以及其在平面内旋转,从图中可以看出,本文实验选取的算法在第150帧之后,中心位置误差较之前变大,原因是跟踪的目标在第150帧时发生了遮挡,此时,由于受到遮挡情况的影响,fDSST算法已经发生了跟踪漂移而导致跟踪失败,而本文所提出的算法,由于引入CUR滤波器对目标进行重检测,所以依然能成功跟踪目标。对12个视频序列进行逐一分析,可知本文算法保持了较低的中心误差,有效提高了跟踪精度。

图7 12个视频测试序列的中心位置误差曲线

3.3.2 定性分析

为了直观说明本文算法(Ours)跟踪的准确性，图8给出了本文算法与选取的其他6种代表算法在6个跟踪测试视频序列上的表现。

1)光照变化

图8a)David序列显示了本文算法抗光照变化的能力。314帧时，CSK和Struck算法在跟踪目标的过程中出现了偏移的问题，在429帧和637帧时，CT算法和SRDCF算法也相继发生目标漂移，但是，如图所示，本文提出的算法能够做到全程对目标进行质量较高的跟踪。

2)尺度变化

图8b)mhyang视频序列中尺度改变明显。在第1124帧时，目标快速移动且尺度增大，LCT算法跟踪失败，Struck算法发生了跟踪偏移，在第1396帧随着目标发生旋转并尺度变小，本文算法准确更新了目标尺度，跟踪准确性较高，综上，可以得出本文算法在应对尺度变化较大的情况时，具有较好的适应性。

3)运动模糊

图8c)bolt序列与d)deer序列显示了本文算法处理运动模糊情况的能力。在视频帧出现运动模糊的情况下，本文算法能够稳定地跟踪目标。Bolt序列在37帧和80帧时发生了运动模糊，fDSST、SRDCF、Struck算法跟踪失败，CSK算法发生了跟踪漂移，随着目标继续快速移动，同样LCT算法在225帧时也出现了跟踪漂移的问题，只有本文算法全程质量较高地跟踪了目标。

4)遮挡

图8e)skating1序列和f)subway序列的实验结果证明了本文算法在发生遮挡情况时的应对能力。

图8 各跟踪方法在不同测试视频上具体表现

skating1在第179帧时发生了局部遮挡，CSK 算法和Struck 算法无法准确更新模板导致跟踪失败，fDSST算法与CT算法发生了跟踪偏移。在375帧时发生了严重遮挡，SRDCF算法出现了跟踪偏移，由于本文算法加入了重检测模块，所以并未受影响，全程较好地跟踪了目标。

subway视频序列在44帧时发生局部遮挡，CSK算法与SRDCF算法跟踪失败，只有本文算法与LCT算法实现了对目标的全程跟踪。

4 结束语

本文提出的自适应模型更新的长时目标跟踪算法,在fDSST算法的基础上加入了基于置信度的模板更新与遮挡判别,在跟踪质量评估方面,结合了历史峰值均值和历史APCE置信度均值。当跟踪目标丢失时,重检测模块被激活,利用CUR近似的方法进行全局重检测,迅速地再次获得目标位置信息并继续进行稳定的长时跟踪。实验数据表明,本文算法应用时的跟踪成功率与跟踪精确度均优于其他主流的例如SRDCF、LCT等代表性相关滤波目标跟踪算法,具有较好的鲁棒性和实时性。