自动全局上下文感知相关滤波器跟踪算法

胡昭华 张倩

摘要在相关滤波器跟踪算法中引入正则化后可以有效提高跟踪效率，但需要花费大量精力调整预定义参数，此外还有目标响应发生在非目标区域会导致跟踪漂移等问题，因此提出一种自动全局上下文感知相关滤波器（Automatic Global Context Awareness Correlation Filter，AGCACF）跟踪算法.首先，在跟踪过程中利用目标局部响应变化实现自动空间正则化，将自动空间正则化模块加入目标函数，使滤波器专注于目标对象的学习；其次，跟踪器利用目标全局上下文信息，结合自动空间正则化，使滤波器能及时学习到更多与目标有关的信息，减少背景对跟踪性能的影响；接着，在滤波器中加入时间正则化项，来充分学习目标在相邻帧之间的变化，从而获得更准确的模型样本.实验结果表明，与其他跟踪算法相比，AGCACF跟踪算法在距离精度和成功率方面具备更好的跟踪效果.

关键词目标跟踪；相关滤波；自动空间正则化；全局上下文 ；时间感知

中图分类号

TP391.4

文献标志码

A

收稿日期

2021-07-30

资助项目

国家自然科学基金（61601230）

作者简介

胡昭华，女，博士，副教授，主要研究方向为视觉跟踪、模式识别.zhaohua_hu@163.com

0 引言

目标跟踪是机器视觉和大数据领域的重要研究任务之一.利用第1帧给出的目标对象的相关信息，在之后的连续视频帧定位跟踪对象的位置，主要涉足视频监控、交通巡逻、医学图像、无人机等领域[1-3].近10年来，对于该方向的研究取得了长足的进步，但是在实际应用中如目标的光照等外部条件的变化和形变等自身条件的变化方面，还面临很大的挑战，存在深入研究的空间.

近年来，使用判别相关滤波器对目标进行跟踪的方法层出不穷.从最早的基于判别相关滤波器（DCF）改进的跟踪算法MOSSE[4]将空间域中复杂的相关操作转换为频域中的元素乘法能够有效地提高跟踪性能后，DCF就被作为一种基础的跟踪算法进行研究.之后对DCF的改进有循环移位采样和核函数[5]、HOG特征[6]，以及对尺度变化跟踪较好的颜色特征[7]、自适应尺度[8]、限制或者利用背景信息[9-10]、空间和时间正则化[11-12]等.

对基于DCF的跟踪器进行改进，主要集中在三个方面：1）构建鲁棒的外观模型[10，12-13]；2）缓解滤波器衰退[11-12，14]；3）抑制边界效应[12，15].清晰的目标外观确实有助于提升跟踪效果，但是却需要大量的计算，而为了缓解滤波器衰减速度所提出的一些方法也没有真正地改进跟踪效果.因此，目前大多数的跟踪器选择从抑制边界效应方向提高性能.

相关滤波器训练时对训练样本进行循环移位操作，在样本框边界处假设样本周期性扩展，从而导致跟踪中出现边界效应.Danelljan等[11]针对边界效应提出在相关滤波器中引入一个空间正则化项，来惩罚DCF系数的空间位置，使滤波器得出的结果更集中于目标中心.然而，此方法导致滤波器无法完全学习经过循环移位后的样本，使得计算量增加，并且该算法使用的高斯-赛德尔算法进一步加重了计算量负担.Li等[12]基于SRDCF模型提出时间正则化项，加强相邻帧之间滤波器的联系，使得滤波器能够学习到更好的外观模型，并且此算法使用交替方向乘子算法（Alternating Direction Method of Multipliers，ADMM）对算法进行优化，大大提升了计算效率.上述算法都使用了不变的空间惩罚系数，不能灵活应对不同目标的各种变化，而Dai等[16]提出的自适应空间正则化，可以更准确地对目标区域进行惩罚.

文献[17]提出一种新的时空相关滤波器，同时使用空间和时间线索从背景中搜索对目标模糊的空间背景，将其集成到相关滤波模型中；文献[18]在ASRCF（Adaptive Spatially-Regularized Correlation Filters，自适应空间正则相关滤波器）基础上，提出一个新的自适应时空正则化模块，不仅具有自适应学习背景信息和空间信息以提高滤波器性能的能力，还能够利用上一帧与当前帧的相关滤波器联系来解决其他复杂状况；文献[19]提出了基于空间注意力机制的低分辨率判别相关跟踪算法，使用一个通用的可调窗口缓解边界效应，然后利用空间注意力机制在图像中突出目标；文献[20]通过在岭回归模型中添加卷积抑制项，结合所有全局背景样本对相关滤波器形成限制，从而缓解边界效应.

以上算法都是基于目标对象整体变化发生的全局响应进行跟踪，当目标局部发生变化时，算法跟踪效果明显降低.此外，由于循环移位对目标样本进行周期性扩展假设，边界处被余弦窗限制，导致滤波器在目标边界附近跟踪效果差，容易引发漂移现象.本文提出一种自动全局上下文感知相关滤波器（Automatic Global Context Awareness Correlation Filter，AGCACF）跟踪算法，主要工作如下：1）将隐藏在目标响应图中的局部变化与全局变化相结合，形成新的自动空间正则化项，有效抑制背景信息，获得更准确的目标动态信息； 2）在目标周围提取上下文区域，形成上下文感知模块并与自动空间正则化进行结合，帮助滤波器及时获取更多与目标有关的信息，加强全局响应的准确性；3）将自动空间正则项与时间正则项进行结合，使滤波器学习每一帧的目标局部-全局变化及上下文信息的同时加强相邻帧之间滤波器的关联，从而及时发现目标发生突变的情况，提高滤波器的跟踪效果；4）使用ADMM对滤波器跟踪算法进行迭代优化，简化计算过程；5）使用公開的数据集进行实验，验证了该算法能有效提高跟踪性能.

1 AGCACF跟踪算法总体框架

AGCACF跟踪算法的总体框架如图1所示.首先，用余弦窗在第t-1帧和第t帧分割出目标跟踪窗口，分别提取目标区域计算目标局部响应图，利用相邻两帧的局部响应计算局部响应变化；其次，在第t帧提取目标上下文区域，和目标区域一起计算目标空间全局响应；接着，结合局部-全局响应变化获得自动空间正则化权重w；最后，与前一帧滤波器响应图结合，更新得第t帧滤波器响应图，用于预测第t+1帧目标位置.

2 AGCACF跟踪算法

AGCACF跟踪算法充分利用局部-全局响应变化实现自动空间正则化，并通过时间正则化和全局上下文感知实现算法优化.

2.1 相关滤波器跟踪算法回顾

相关滤波跟踪器就是在图像第1帧学习一个滤波器，从而在下一帧中剪裁出包含目标对象的候选框，之后在当前候选区域提取需要的特征信息更新滤波器模型，将其用于跟踪下一帧中的目标.视频帧的目标区域被标记为正样本，样本通过循环移位操作生成更多样本组成样本集，相关滤波器使用这一样本集，用傅里叶变换将复杂的时域卷积运算转换到频域中进行乘法运算，从而提高计算效率.

相关滤波器模型：相关滤波器跟踪算法实质上就是从一组训练样本x t和目标响应y t中学习一个多通道卷积滤波器h t帧数t=1，2，…，M，xk t∈RDk=1，2，…，K是在第t帧提取的维度为D的特征，K为通道数.目标函数如下：

minh t∑Kk=1xk t*hk t-y t2 2+λ 1∑Kk=1hk t2 2， （1）

式（1）首先计算目标预期响应值与目标真实响应值差值使其最小化，再结合正则化系数λ 1训练滤波器h t，从而使滤波跟踪器能够更好地跟踪到目标.

SRDCF模型[11]：相关滤波器模型的样本进行循环移位操作时会导致目标边界处发生跟踪漂移，为了缓解此类现象，在式（1）的相关滤波器中引入全局空间正则化来惩罚与空间位置相对应的相关滤波器的系数，它的目标函数为

EH t=12∑Kk=1xk t*hk t-y t2 2+12λ 1∑Kk=1u☉hk t2 2， （2）

式（2）中：h t为当前帧滤波器；u∈RM表示正则化权重，能够使滤波器在跟踪目标中心部分具有较高的响应，越远离目标区域响应值越小；λ 1为空间正则化参数；☉是与向量相对应的元素乘法；*表示元素卷积.

CACF模型[9]：为了抑制边界效应使得滤波器学习的目标信息过少，从而导致无法应对复杂背景干扰的状况，提取目标区上下文区域的背景信息，经循环移位后获得包含更多与目标信息有关的矩阵样本，用来训练滤波跟踪器.目标函数为

minh t∑Kk=1xk t0*hk t-y t2 2+λ 1∑Kk=1hk t2 2+  λ 2∑Kk=1∑Nn=1xk tn*hk t2 2，（3）

式（3）中：x t0表示目標区域特征信息；x tn表示第n个区块的特征信息；N表示提取的上下文区块数目；参数λ 2用来控制上下文区块回归到零.

2.2 AGCACF跟踪算法模型

SRDCF算法使用了包含目标关键信息的响应图，但只使用空间全局响应变化，忽略了图像中不同位置发生的局部响应变化，某些情况下局部发生剧烈变化时会降低跟踪效果.此外，SRDCF算法虽然提升了跟踪效果，但是忽略了背景区域包含的部分与目标有关的信息，从而影响跟踪模型的质量.因此，本文从全局-局部响应和边界问题出发，提出一种自动全局上下文感知相关滤波器跟踪算法，巧妙结合空间局部-全局响应变化来训练滤波器，同时提取目标全局上下文信息，使滤波器能够捕获更细致的目标局部变化同时也能够获得目标及其周围更多与目标有关的信息，从而得到更准确的目标全局响应.并采用时间正则化加强相邻帧滤波器的关系，训练获得更好的跟踪器.相应的目标函数为

EH t=12∑Kk=1xk t0*hk t-y t2 2+12∑Kk=1λ 1☉hk t2 2+12λ 2∑Kk=1∑Nn=1xk tn*hk t2 2+θ2hk t-hk t-12 2，（4）

式（4）中：表示自动空间正则化权重；x t0和x tn分别为目标和目标上下文特征；h t和h t-1分别为第t帧和第t-1帧滤波器；∑Kk=1xk t0*hk t-y t2 2为基础判别相关滤波器；☉hk t2 2为自动空间正则项，由参数λ 1控制，全局-局部响应相结合形成自动空间正则化权重，获得更准确空间滤波器系数；∑Nn=1xk tn*hk t2 2为上下文项，选取目标周围4个上下文区块运用到算法中参与正则化过程，由参数λ 2控制，帮助滤波器更好学习目标动态变化；hk t-hk t-12 2是时间正则项，加强相邻帧滤波器之间联系，防止目标突变.

1）自动空间正则化

首先定义局部变化向量Π=Π1，Π2，…，ΠW，表示目标框的二维可视化的变化.它的第i个元素Πi为

Πi=R tψ Δi-Ri t-1Ri t-1，（5）

式（5）中：ψ Δ是移位算子，表示使连续两帧的响应图中的两个相同位置峰值重合起来所需要的移位距离；Ri表示响应图R的第i个元素.

自动空间正则化：局部响应变化可以衡量当前帧检测范围中的局部目标的可信度，所以在跟踪过程中应该降低可信度低的部分滤波器的比重.因此，在空间正则化参数中加入局部响应变化：

=ΡWδlogΠ+1+u， （6）

其中PW∈RW×W用来裁剪位于滤波器中心区域附近的目标，常数δ为局部响应变化权重，u为SRDCF中的空间正则化参数，用以缓解边界效应.加入此项后，当目标区域变化过程中局部发生异常，滤波器能够及时发现目标的异常变化，从而避免学习这部分的目标形态.

2）目标上下文感知模块

本文利用自动空间正则化权重来控制滤波器的学习，使得滤波器更专注于目标中心附近区域.为了让滤波器在上下文背景区域响应接近于零，AGCACF算法在训练滤波器过程中加入了上下文信息.参考CACF[9]模型，在每一帧围绕目标对象x t0的上下左右区域分别提取一个正方形区域，它们因包含与目标有关的不同背景信息而成为全局背景，这些上下文区域可以作为训练样本x tn.将样本x tn作为空间正则化过程添加到目标函数中，用来训练滤波器hk t，并分配一个较高的值来抑制滤波器的学习使滤波器在这部分的响应接近于零，值的大小由参数λ 2控制.这使得滤波器组能够学习到更全面的目标信息，获得更准确的目标全局响应，从而能够更专注于目标中心区域，减少由于目标对象变化引起的不必要的边界效应.

3）时间正则化模块

由于SRDCF是基于多幅图像训练滤波器，造成了较高的计算负担，且优化很困难.然而，时间正则项可以基于单个图像进行训练滤波器，然后利用相邻帧学习到的滤波器，经过对比两个滤波器获得的响应图中的变化部分，从而能够更好发现目标是否发生突变，增强了相邻帧之间的联系.当当前帧目标发生突变时，使滤波器学习更接近前一帧学习到的滤波器，从而缓解此类情况导致的问题.

2.3 AGCACF跟踪算法模型优化

受到STRCF[12]跟踪算法中优化方法的启发，为了有效地训练和测试，相关滤波器通常在频域中学习.AGCACF跟踪算法选用ADMM方法进行优化.为简化计算，引入一个辅助变量 t=DFh t.其中， t 是g t的离散傅里叶变换形式，F是一个D×D维的标准正交矩阵.然后，式（4）可以利用Parseval定理在频域中表示，即

EH t， t=12∑Kk=1k t0☉k t- t2 2+

12∑Kk=1λ 1☉hk t2 2+

12λ 2∑Kk=1∑Nn=1k tn☉k t2 2+θ2k t-k t-12 2，（7）

式（7）中，=［1 t，2 t，…，K t]∈RKD为辅助变量矩阵.通过最小化等式来获得最优解，使用ADMM方法求解最优解问题，每个子问题，Η，都具有封闭解.将式（7）表述为增广拉格朗日等式：

L tH t， t， t=EH t， t+γ2∑Kk=1k t-DFhk t2 2+

∑Kk=1（k t-DFhk t）Tk t，（8）

式（8）中： t= 1， 2，…， K∈RKD表示拉格朗日乘子的傅里叶形式；γ为步长正则化参数.引入辅助变量vk t，令vk t=mk tγ（ t=［1 t，2 t，…，K t］），k t为vk t的傅里叶变换形式，式（8）可以重新简化成：

L tH t， t， t=EH t， t+  γ2∑Kk=1k t-DFhk t+k t2 2.（9）

子问题：结合给定的变量H t， t，获得最优的*的表达式为

*=arg min12∑Kk=1k t0☉k t- t2 2+  12λ 2∑Kk=1∑Nn=1k tn☉k t2 2+  γ2∑Kk=1k t-DFhk t+k t2 2，（10）

可以看出式（10）计算较复杂，想要求出最优解是比较困难的.因为每个像素上的标签由每个像素的所有K通道上的变量决定，因此，对每个像素所有通道进行处理，最优化问题变为

Γ* j t=arg minΓ j（ t）Γ j t0TΓ j t- tj2 2+  λ 2∑Nn=1Γ j tnTΓ j t2 2+  γΓ j t-Γ jDFH t+Γ j t2 2+  θΓ j t-Γ j t-12 2，（11）

式（11）中：Γ j∈CK×1表示像素j上包含所有K通道值； tj表示像素j上的预期目标响应值.取式（11）导数为零，用Sherman-Morrison公式[21]推导后，可获得等式解：

Γ* j t=1γ+θ（I-ηγ+θ+η）ρ，（12）

其中，

η=Γ j t0Γ j t0T+λ 2∑Nn=1Γ j tnΓ j tnT，

ρ=Γ j t0 tj+θΓ j t-1-γΓ j t+γΓ j（DFh t）.

子问题Η：结合给定的变量 t， t，获得最优的hk的表达式为

hk*=arg minhk12λ 1☉hk t2 2+  γ2k t-DFhk t+k t2 2，（13）

则hk的封闭解可以表示为

hk*=T+γD-1γDvk t+gk t=  γDvk t+gk tλ 1☉+γD，（14）

式（14）中，对角矩阵=diag∈RM×M.

子问题：以上分别计算出和Η，从而可以用来计算拉格朗日乘子：

i+1=i++γi+1-i+1，（15）

式（15）中：i+1，i分別表示拉格朗日乘子第i+1次和第i次迭代后的值的傅里叶变换；i+1，i+1是前两个步骤得出的第i+1次的迭代结果；这里参数γ（i+1）=minγ max，βγi.

2.4 目标定位

通过将当前帧输入k t和前一帧获得的滤波器k t-1作相关运算，搜索响应的最大值，对跟踪目标进行定位：

R t=F-1∑Kk=1k t☉k t-1，（16）

这里R t是第t帧的响应图，F-1表示逆傅里叶变换操作，k t为第t帧提取的特征映射的傅里叶形式.

3 实验结果与分析

3.1 实验环境及参数

实验所用操作系统为Win10，硬件配置为Intel（R） Core（TM） @ i3-2100CPU @ 3.10 GHz，6 GB内存的主机，软件版本为MATLAB R2015a.采用ADMM算法进行优化，其中的一些参数设置为：局部变化响应权重δ=0.2，参数λ 1=e-4，参数λ 2=1，算法中尺度滤波器尺度数为33，采样上下文区域数为4.本实验目标候选区域选用矩形框，样本框最小值和最大值分别为150和200，时间正则化参数θ=13.ADMM优化过程中，迭代次数为4，步长参数γ=1.

3.2 数据集和评估指标

为了验证AGCACF跟踪算法的有效性，本文选用一次通过评估指标（One-Pass Evaluation， OPE  ）对算法进行评估， OPE包括成功率和精度.

1）成功率：根据算法得到预测的目标区域为a，而目标真实区域为b，则重合率（OS）为a∩ba∪b，·表示所属区域像素数，当OS的值达到甚至超过12，则认为滤波跟踪器成功跟踪目标，因此成功率为成功跟踪帧数占总视频帧数的百分比.

2）精度：精确度量跟踪器跟踪到的目标边界框与真值边界框之间的中心位置误差，当这个误差值小于给定的20像素时表示算法模型精度较高.

本文选取了7个基于滤波器的对比跟踪器AutoTrack[22]、C-COT[14]、STRCF[12]、SRDCF[11]、DeepSRDCF[23]、staple[24]、CNN-SVM[25]，使用上面定义的精度和成功率对几个跟踪器和AGCACF算法跟踪器进行评估，选用流行的OTB2013和OTB2015数据集中的视频序列.

3.3 定量分析

图2和图3为所有对比跟踪器和本文中具有自动空间正则化和上下文感知的跟踪器分别在OTB2013和OTB2015数据集上的跟踪曲线，在总体跟踪精度和成功率两个方面，AGCACF跟踪算法都取得了较好的结果.由图2可知，AGCACF算法精度为86.2%，成功率为64.4%；由图3可知，AGCACF算法精度为89.3%，成功率为68.6%.可以看出，相比其他对比算法，AGCACF算法在结合空间局部-全局响应变化和上下文感知信息后，获得了明显的性能提升.

为了验证算法效果，实验研究了不同属性场景下算法的跟踪性能，图4和图5分别展示了AGCACF算法在OTB2013和OTB2015数据集中效果较为显著的一些类型场景.可以看出AGCACF算法在背景模糊（图4a、d和图5a、d）、非刚性形变（图4b、e）、平面外旋转（图4c、f和图5c、f）以及遮挡（图5b、e）情况下，都获得了较为明显的性能提升.

综合观察到的实验结果，AGCACF跟踪算法从OTB数据集序列的基础属性进行比较，验证了AGCACF算法的优势.通过将目标局部响应和全局响应相结合，AGCACF算法能够较好地应对目标发生如图4中非刚性形变和图5中遮挡这类部分变化的状况；当目标在目标区域之外发生了较大变化或者当目标背景对目标影响较大时，如图5中的背景模糊和平面外旋转情况，结合目标及上下文区域算法也可以很好改善这些问题.

3.4 定性分析

将本文AGCACF跟踪算法和4个先进算法STRCF、Auto-Track[22]、C-COT[14]、TADT[26]在视频序列中进行定性分析，分别选取快速运动、背景杂乱、目标遮挡、平面内旋转、尺度变化这几种情况进行比较.

1）快速运动.图6a序列中，目标对象快速移动.在第70帧目标开始横向移动时，STRCF和C-COT首先发生漂移，接着，Auto-Track、TADT也先后丢失

了目标位置，只有AGCACF算法还能够跟踪到目标.因此，AGCACF算法结合了目标及上下文信息，使得跟踪器在目标快速移动时能准确跟踪到目标.

2）背景杂乱.图6b序列的目标对象在移动过程中，周围区域有许多与目标类似的干扰项.可以看到，在第61帧处SRDCF就开始丢失了目标，在随后的第67帧，Auto-Track、TADT也发生漂移，随后在第74帧C-COT也发生了漂移.因此，AGCACF跟踪算法由于学习了局部响应变化在背景杂乱视频中能够取得很好的性能.

3）目标遮挡.图6c序列的目标女孩在第111帧被遮挡，C-COT、Auto-Track算法發生部分漂移，而当目标重新出现时，只剩下AGCACF跟踪算法重新回到目标上，其他算法都跟踪失败.AGCACF算法结合了时间正则化模块和上下文感知模块，提升了算法在目标遮挡时的稳健性.

4）平面内旋转.图6d序列中，当目标发生平面内旋转时，Auto-Track就失去了目标位置，随着目标变化幅度变大，SRDCF和STRCF都跟踪失败.由于AGCACF跟踪算法充分利用了目标上下文信息，所以在跟踪旋转的目标时具有较好的效果.

5）尺度变化.图6e序列具有尺度变化特性，当目标尺度变小时，只有AGCACF跟踪算法和STRCF还能够完全跟踪到目标，其余算法发生漂移.当目标尺度变大时，只有AGCACF算法跟踪效果最好.因为AGCACF算法结合了空间局部-全局响应变化和上下文感知信息，所以很好地跟踪了目标发生尺度变化的情况.

4 结论

相关滤波跟踪算法中，边界效应和目标周围环境对跟踪算法的性能产生决定性的影响.因此本文基于原有的SRDCF算法，提出一种自动全局上下文感知相关滤波器（AGCACF）算法.通过充分利用目标区域和上下文区域的特征信息，加强了滤波器对目标的学习能力；在全局空间正则化中加入目标局部响应变化形成局部-全局空间正则化项，从而有效辨别目标是否发生局部异常变化，通过结合目标细致的局部变化和更多的与目标有关的信息，使空间正则项高效学习目标区域变化，缓解跟踪过程中的边界效应；最后加入时间正则化项，不仅能够加强相邻帧之间的联系，而且一定程度上缓解了滤波器衰退的问题.从在数据集上的实验结果可知，AGCACF跟踪算法在精度和成功率上都取得了较好的鲁棒性.未来工作中，将尝试结合深度特征进行学习和改进固定时间正则化参数来提高跟踪性能.

参考文献

References

［1］ 张微，康宝生.相关滤波目标跟踪进展综述[J].中国图象图形学报，2017，22（8）：1017-1033

ZHANG Wei，KANG Baosheng.Recent advances in correlation filter-based object tracking：a review[J].Journal of Image and Graphics，2017，22（8）：1017-1033

[2] Karaduman M，nar A，Eren H.UAV traffic patrolling via road detection and tracking in anonymous aerial video frames[J].Journal of Intelligent & Robotic Systems，2019，95（2）：675-690

[3] 趙宇晴，陈广胜，景维鹏.对简单线性迭代聚类算法改进的遥感影像超像素分割方法[J].东北林业大学学报，2020，48（11）：66-71

ZHAO Yuqing，CHEN Guangsheng，JING Weipeng.Improved SLIC clustering superpixels segmentation method on remote sensing image[J].Journal of Northeast Forestry University，2020，48（11）：66-71

[4] Bolme D S，Beveridge J R，Draper B A，et al.Visual object tracking using adaptive correlation filters[C]∥2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.June 13-18，2010，San Francisco，CA，USA.IEEE，2010：2544-2550

[5] Henriques J F，Caseiro R，Martins P，et al.Exploiting the circulant structure of tracking-by-detection with kernels[M]∥Computer Vision.Berlin，Heidelberg：Springer Berlin Heidelberg，2012：702-715

[6] Henriques J F，Caseiro R，Martins P，et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：583-596

[7] Danelljan M，Khan F S，Felsberg M，et al.Adaptive color attributes for real-time visual tracking[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition.June 23-28，2014，Columbus，OH，USA.IEEE，2014：1090-1097

[8] Danelljan M，Hger G，Shahbaz Khan F，et al.Accurate scale estimation for robust visual tracking[C]∥Proceedings of the British Machine Vision Conference 2014.Nottingham.British Machine Vision Association，2014：1-11

[9] Mueller M，Smith N，Ghanem B.Context-aware correlation filter tracking[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：1387-1395

[10] Galoogahi H K，Fagg A，Lucey S.Learning background-aware correlation filters for visual tracking[C]∥2017 IEEE International Conference on Computer Vision （ICCV）.October 22-29，2017，Venice，Italy.IEEE，2017：1144-1152

[11] Danelljan M，Hger G，Khan F S，et al.Learning spatially regularized correlation filters for visual tracking[C]∥2015 IEEE International Conference on Computer Vision.December 7-13，2015，Santiago，Chile.IEEE，2015：4310-4318

[12] Li F，Tian C，Zuo W M，et al.Learning spatial-temporal regularized correlation filters for visual tracking[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：4904-4913

[13] Danelljan M，Bhat G，Khan F S，et al.ECO：efficient convolution operators for tracking[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：6931-6939

[14] Danelljan M，Robinson A，Shahbaz Khan F S，et al.Beyond correlation filters：learning continuous convolution operators for visual tracking[M]∥Computer Vision-ECCV 2016.Cham：Springer International Publishing，2016：472-488

[15] Li Y M，Fu C H，Huang Z Y，et al.Keyfilter-aware real-time UAV object tracking[C]∥2020 IEEE International Conference on Robotics and Automation （ICRA）.May 31-August 31，2020，Paris，France.IEEE，2020：193-199

[16] Dai K N，Wang D，Lu H C，et al.Visual tracking via adaptive spatially-regularized correlation filters[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA.IEEE，2019：4665-4674

[17] Yan Y M，Guo X X，Tang J，et al.Learning spatio-temporal correlation filter for visual tracking[J].Neurocomputing，2021，436：273-282

[18] Zhao J W，Li Y X，Zhou Z H.Learning adaptive spatial-temporal regularized correlation filters for visual tracking[J].IET Image Processing，2021，15（8）：1773-1785

[19] Huang Y P，Lu R T，Li X F，et al.Discriminative correlation tracking based on spatial attention mechanism for low-resolution imaging systems[J].The Visual Computer，2021：1-14

[20] Huang B，Xu T F，Shen Z Y，et al.BSCF：learning background suppressed correlation filter tracker for wireless multimedia sensor networks[J].Ad Hoc Networks，2021，111：102340

[21] Sherman J，Morrison W J.Adjustment of an inverse matrix corresponding to a change in one element of a given matrix[J].The Annals of Mathematical Statistics，1950，21（1）：124-127

[22] Li Y M，Fu C H，Ding F Q，et al.AutoTrack：towards high-performance visual tracking for UAV with automatic spatio-temporal regularization[C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：11920-11929

[23] Danelljan M，Hger G，Khan F S，et al.Convolutional features for correlation filter based visual tracking[C]∥2015 IEEE International Conference on Computer Vision Workshop （ICCVW）.December 7-13，2015，Santiago，Chile.IEEE，2015：621-629

[24] Bertinetto L，Valmadre J，Golodetz S，et al.Staple：complementary learners for real-time tracking[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：1401-1409

[25] Hong S，You T，Kwak S，et al.Online tracking by learning discriminative saliency map with convolutional neural network[C]∥Proceedings of the 32nd International Conference on Machine Learning.July 6-11，2015，Like，France，USA.IEEE，2015：597-606

[26] Li X，Ma C，Wu B Y，et al.Target-aware deep tracking[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA.IEEE，2019：1369-1378

Correlation filter tracking algorithm based on

automatic global context awareness

HU Zhaohua1，2 ZHANG Qian1，2

1School of Electronics & Information Engineering，Nanjing University of Information Science & Technology，Nanjing 210044

2Collaborative Innovation Center of Atmospheric Environment and Equipment Technology，

Nanjing University of Information Science & Technology，Nanjing 210044

Abstract Introducing regularization into the correlation filter tracking algorithm can effectively improve the tracking efficiency，but it takes a lot of effort to adjust the predefined parameters.In addition，the target response occurring  in non-target areas will lead to tracking drift.Therefore，an Automatic Global Context Awareness Correlation Filter （AGCACF） tracking algorithm is proposed.First，during the tracking process，the automatic spatial regularization is realized using the target local response change，then its module is added into the target function to enable the filter to focus on the learning of the target object.Second，the tracker utilizes the global context information of the target，which can avail the filter learn more information related to the target and reduce the impact of background on tracking performance. Then a temporal regularization term is added to the filter to fully learn the change of targets between adjacent frames to obtain more accurate model samples.Experimental results show that the proposed AGCACF tracking algorithm has better tracking effect in distance accuracy and success rate compared with other tracking algorithms.

Key words target tracking;correlation filtering;automatic spatial regularization;global context;temporal awareness