畸变感知相关滤波目标跟踪算法

姜文涛，任金瑞

1.辽宁工程技术大学 软件学院，辽宁 葫芦岛 125105

2.辽宁工程技术大学 研究生院，辽宁 葫芦岛 125105

目标跟踪作为计算机视觉领域的研究热点之一，其凭借人工智能、图像处理、模式识别等诸多前沿理论，在自动驾驶、虚拟现实等应用方向具有广阔而光明的发展前景[1-3]。但在跟踪期间，由于旋转、形变、运动模糊等内部因素和背景杂乱、遮挡、光照变化等外部因素的影响，目标会产生畸变，如何在多因素干扰的复杂环境中实现高效、精准且鲁棒的目标跟踪仍面临着巨大挑战。

根据建模思路的不同，已有的目标跟踪方法主要划分为生成式方法和鉴别式方法两类[4]。生成式方法提取目标特征建模，在后续帧中以搜索特征相似性误差最小为基准，实现目标定位。多数跟踪场景都是非线性、非高斯的，而粒子滤波算法具有代表性，其通过逼近目标状态的概率密度函数，实现对下一阶段内目标位置的预测[5]。但该算法计算量大、实时性差，而且在长时跟踪中，由于粒子退化使其难以保证结果有效性。

近年来，凭借较高的跟踪精度和良好的实时性能，鉴别式相关滤波（discriminative correlation filter，DCF）算法在主流目标跟踪算法中备受青睐[6]。Henriques 等[7]对选用单通道灰度特征的相关滤波算法[8]进行革新，提出核相关滤波（kernelized correlation filters，KCF）算法，采用能够更好地刻画目标的纹理、边缘信息的多通道方向梯度直方图（histogram of oriented gradient，HOG）特征描述目标，提高算法跟踪精度。考虑到跟踪时目标或摄像机运动而引起的尺度变化问题，多特征尺度适应性跟踪器（scale adaptive with multiple features tracker，SAMF）算法[9]和判别性尺度空间跟踪器（discriminative scale space tracker，DSST）算法[10]被提出，这两种算法均采用尺度穷举法来估计目标尺度，缓解尺度变化引起的跟踪漂移情况。

当通过循环移位获取训练样本时，图像满足周期性扩展假设会产生边界效应。上述大多数算法仅通过对图像施加余弦窗，以减弱边界效应的影响。但加余弦窗后图像背景信息被屏蔽，降低了模型的判别力。Danelljan 等[11]在相关滤波框架中引入空间正则项，提出空间正则化判别相关滤波（spatially regularized discriminative correlation filters，SRDCF）算法，通过空间正则化权值约束滤波器系数，权值从目标中心区域到边缘区域平滑增加，缓解边界效应。但该权值未与目标变化相关联，当目标处于频繁、长时遮挡或较大程度形变等跟踪场景中时，将大幅度降低滤波器的鲁棒性。Dai等[12]提出自适应空间正则化相关滤波（adaptive spatially regularized correlation filters，ASRCF）算法，根据帧间目标变化调节空间正则化权值。但该算法忽略滤波器时序上的变化，在复杂跟踪场景下易使滤波器退化。Li 等[13]在SRDCF 的基础上引入时间正则项，提出时间正则化相关滤波（spatial-temporal regularized correlation filters，STRCF）算法，保证模型在时间上的连续性，有效地解决了滤波器退化的问题，然而该算法并未考虑目标畸变时的自适应性，当畸变程度较为明显时，跟踪误差较大。

不同的跟踪算法有其独有优势，近期有学者在多种算法集成上进行了合理的尝试，以达到更好的跟踪效果[14-15]。蒲磊等[16]在深度学习框架下对不同VGG 网络（visual geometry group network，VGGNet）的深、浅层特征进行提取，将相关滤波器和深度特征融合在一起以完成目标定位和模型训练，改善跟踪性能，但实时性不强。Feng等[17]在相关滤波框架中加入卡尔曼滤波器，将每帧相关滤波器的输出状态提供给卡尔曼滤波器作为其输入状态，矫正相关滤波器的目标定位误差，克服目标快速运动导致的目标丢失问题。但该算法无论相关滤波器定位结果是否可靠都启用卡尔曼滤波器进行修正，提高计算复杂度。

上述算法研究表明，引入空间、时间正则项可以有效地克服目标跟踪过程中边界效应和滤波器退化带来的影响，但仍有改进空间。此外，滤波器采用固定学习率更新模型，易导致误差累积跟踪失败，且对现实复杂场景中目标畸变的应对能力不足。针对上述问题，本文在STRCF 基础上融合相关滤波器和粒子滤波算法，提出畸变感知相关滤波目标跟踪算法。本文工作可归纳如下：

（1）利用粒子滤波在起始帧内构建强化目标信息的空间参考权值，并在后续跟踪过程中获得与目标相关的粒子强化空间正则项，增强模型的判别力。

（2）在STRCF 基础上加入粒子强化空间正则项来构建本文算法的目标函数，并采用交替方向乘子法（alternating direction method of multipliers，ADMM）以较少的迭代次数实现对目标函数的优化求解，降低计算复杂度，提高滤波器效率。

（3）提出一种基于异常决策函数的目标畸变感知策略，采用粒子滤波对目标进行选择性的重检测，自适应地更新样本模型和相关滤波器，减少背景信息对模型的污染，增强跟踪稳健性。

（4）本文算法在OTB50、OTB100 和DTB70 公开数据集上进行性能测试，取得较优跟踪效果，可以满足实时性的要求。

1 时间正则化相关滤波算法

为了缓解滤波器退化，避免跟踪漂移，Li等受在线被动攻击（online passive-aggressive，PA）算法[18]的启发，在SRDCF的基础上引入时间正则项，约束滤波器在时序上的变化。STRCF整合空间和时间正则项后，仅使用当前帧的样本和上一帧学习到的滤波器训练当前帧的滤波器，可近似于具有多个训练样本的SRDCF。

STRCF目标函数如下：

STRCF是近年来跟踪精度及准确率皆较优的相关滤波算法，但在复杂跟踪场景下，其跟踪性能会明显下降。这是由于传统的相关滤波算法忽略当前帧定位结果的可靠性，以固定学习率更新滤波器模型，当定位存在误差，则逐帧累积背景中的噪声信息，导致目标丢失，且难以再次追回，这时需要人工重新捕捉目标，从而极大地影响了算法的整体成功率，很难将其应用到实际工程中。

2 畸变感知相关滤波目标跟踪算法

2.1 空间适应和时序平滑的滤波器模型

在缺乏目标先验信息时，引入空间正则项可以有效地保留更多的目标真实信息，提高模型易识别性。但STRCF的空间正则化权值始终作为一个固定参数独立于目标函数，并未随着滤波器同步更新，当目标产生畸变时，可能导致所求滤波器并非当前最佳。

在实际应用场景中，目标的无序运动与系统模型并不满足线性关系，无法直接获取目标真实值。此外，系统在跟踪时会受到随机噪声的干扰，如成像设备本身具有的测量噪声、系统随时间变化而产生的过程噪声等。而无论系统线性与否，噪声是否服从高斯分布，粒子滤波均可以较好地估计目标当前状态[19]。为此，本文采取粒子滤波算法在每帧内构建空间参考权值，获得与目标相关的自适应空间正则项，当目标产生畸变时，仍可以使滤波器专注于学习目标的可信赖部分。

通过粒子滤波在最近一次目标可靠位置周围采样生成一组粒子，利用最新时刻观测值更新粒子权值，并对权值归一化，得到该组每个粒子的权值位置信息W(x,y)，即W(x,y)∈[0,1]。在目标范围区域内，与目标越相似的粒子权值越大，周围非目标区域W(x,y)接近为0。由此，建立粒子强化参考权值wr表达式为：

式中，W为STRCF 中固定的空间正则化权值；σ为固定参数。令λ1、λ2为空间正则项系数，得到粒子强化空间正则项，即：

在得到粒子强化参考权值wr后，通过SAdapt获取与目标存在联系的空间正则化权值w。该权值可以根据每帧内目标畸变情况对背景信息加以惩罚约束。当粒子权值越小时，说明该像素点为背景杂乱信息，对该像素点的约束越大。反之，当粒子权值越大时，对该像素点的惩罚约束越小，增强滤波器空间惩罚系数的可靠性，使滤波器加强学习目标真实信息。

在式（1）中融合式（4），本文算法构建的目标函数为：

2.2 滤波器模型的优化求解

式（5）是一个最小二乘正则化的凸函数问题，引入松弛变量g，将其转变为含有约束条件的目标函数最优化问题，即：

利用增广拉格朗日乘子法，令s和γ分别为拉格朗日乘子和步进参数，构造增广拉格朗日函数为：

由于式（8）无闭式解，增广拉格朗日函数可以通过ADMM 优化算法迭代求解，更快收敛到最优目标函数值。通过交替求解f、g、w、h子问题来实现本文算法目标函数的求解：

（1）子问题f。为简化计算步骤，根据帕塞瓦尔定理，将其转化至傅里叶域，即：

观察式（10）可知，理想的高斯型目标响应输出的第j个元素只依赖于整体通道中相关滤波器和特征样本的第j个元素。为此，将式（10）向量化处理并令其导数为0，进一步化简求解为：

式中，Vj(∙)为所有通道中第j个元素的向量化；I为单位矩阵。式（11）中含有矩阵的逆运算且()∙Vj()的秩为1，根据Sherman-Morrison 公式可将其简化为：

（2）子问题g。子问题g内并不包含时域中的卷积运算，可直接求导并令导数为0，得其闭式解为：

式中，W为空间正则化权重对角化后的矩阵。

（3）步进参数γ更新：

式中，γmax为γ的最大取值，α1为固定参数。

2.3 空间正则化权值的优化求解

求得子问题g后，可求解式（9）中的第3 个子问题w。对自适应空间正则化权重w求解满足ADMM 优化算法的前置条件，可以将其划分为3 个子问题，通过迭代两个变量求闭式解。引入辅助变量w=q，令m和φ分别为拉格朗日乘子和步进参数，构造增广拉格朗日函数为：

将式（15）分为如下3个子问题，求解得到最终的自适应空间正则化权重：

（1）子问题W。假设q、g已知，W解为：

（2）子问题q。假设w和m已知，可求出：

（3）步进参数φ更新：

式中，φmax为φ的最大取值，α2为固定参数。

2.4 目标畸变感知策略

传统的相关滤波算法在跟踪时，对每帧图像都更新样本模型，并没有判别跟踪结果的可靠性。以STRCF 为例，图1 分别展示了目标在无畸变、轻微畸变和剧烈畸变状态下的响应图。正常情况下，目标的响应分布曲线类似于高斯型的单峰分布。当目标产生畸变时，理想响应映射偏离单峰分布，图1（b）中的视频序列Girl2 在115 帧左右，目标由于短时遮挡造成剧烈畸变，在120 帧左右目标再次出现时，响应图出现伪峰，这时STRCF 判定左上方响应峰值点为跟踪目标中心，判断失误。与未畸变目标的响应峰值相比，目标产生畸变时的响应峰值较小，且该峰值和平均值十分接近，算法利用式（2）进行目标定位时很难分清前景和背景，从而造成跟踪漂移，甚至丢失目标，此时直接进行更新会污染学习到的样本模型，累积误差将导致相关滤波器跟踪失败。为此，本文提出一种基于异常决策函数的目标畸变感知策略，该策略将影响算法跟踪结果的多种干扰因素合并处理，通过衡量目标受干扰因素影响的畸变程度，判别当前跟踪结果是否可靠，对目标进行选择性的重检测，以防在跟踪结果置信度低的情况下错误更新滤波器模型，导致跟踪失败。

图1 不同畸变程度下的目标响应图Fig.1 Response maps with different levels of distortion

2.4.1 异常决策函数

响应图的峰值波动从某种意义上反映出当前跟踪结果的置信水平。Wang等[20]提出平均峰值相关能量（average peak correlation energy，APCE），通过响应图峰值分布情况判别滤波器跟踪状态，即：

其中，Fmax、Fmin、Fx,y分别表示响应最高、响应最低和(x,y)位置上的响应值。当目标变化缓慢，跟踪正常时，其APCE值和Fmax值以一定比例大于历史均值；在目标被遮挡、丢失等情况下，其APCE值会骤减，视为无效跟踪。

APCE反映响应图的震荡程度，但无法判断检测目标置信度低时目标的畸变程度。此外，由于APCE的确切阈值不能确定，容易将某些跟踪结果可靠的场景误判为无效，反而降低跟踪精度。

相关滤波器在目标正常状态下训练得到的响应图峰值起伏平缓，通过衡量响应图峰值在时序上的变化程度，可有效评估目标当前状态。据此，本文提出响应图峰值时序约束（response map peak temporal constrain，RPTC），计算当前帧的响应图峰值与历史响应图峰值的变化程度，即：

以OTB100 数据集中Girl2 视频序列为例，绘制APCE 和RPTC 随帧变化情况，如图2 所示。在Girl2序列中，目标受到两段较为明显的完全遮挡，由图可看出，当目标剧烈畸变时，APCE 值骤降，RPTC 值骤升。

图2 Girl2序列的APCE和RPTC逐帧变化Fig.2 Frame-by-frame variation curves of APCE and RPTC for Girl2 sequence

表1 为APCE、RPTC 和Ot的意义及其取值范围。由此表可看出，APCE 和RPTC 取值范围相差较大，二者采用指数组合方式相较于线性组合方式更能扩大不同目标畸变程度的评分差幅。

表1 APCE、RPTC和Ot 的取值分析Table 1 Value analysis of APCE、RPTC and Ot

因此，本文在式（20）的基础上以指数形式加入式（21），构建异常决策函数Ot，即：

为便于比较，以OTB100中Jogging1视频序列为例，绘制跟踪过程中目标响应图峰值、APCE 值及Ot值的随帧变化情况，如图3 和图4 所示。从图3 可以看出，APCE值对目标畸变的敏感性较低，用APCE值判断当前跟踪结果置信度无法满足对跟踪稳健性的精确描述。由图4可以看出：当目标被遮挡而产生剧烈畸变时，目标响应图峰值骤降，而Ot数值明显增大；当目标处于平稳状态时，Ot数值稳定，可以较好地描述当前目标的畸变程度。

图3 Jogging1序列的最大响应值和APCE值逐帧变化Fig.3 Maximum response value and APCE of Jogging1 sequence change frame-by-frame

图4 Jogging1序列的最大响应值和Ot 值逐帧变化Fig.4 Maximum response value and Ot of Jogging1 sequence change frame-by-frame

本文算法设置两个重要阈值，分别为剧烈畸变判断阈值ϑ和快速运动判断阈值ρ。由于异常决策评分在[2,20]区间中波动程度剧烈，通过逐次实验对比发现，当ϑ=10、ρ=3.5 时，可以较好地区分不同目标畸变状态。对跟踪过程中判别目标畸变程度进行可视化处理，如图5所示。当Ot大于ϑ时，异常决策评分判定跟踪目标受多因素干扰影响显著，目标产生剧烈畸变，跟踪结果置信度低，进行目标重检测；反之，当Ot小于ρ时，跟踪目标不受干扰因素影响或受较小影响，未发生畸变或产生轻微畸变。

图5 跟踪过程中各因素导致目标畸变的判别示意图Fig.5 Various factors lead to distorting diagram of target during tracking process

2.4.2 目标重检测

2.4.1 小节中所介绍方法可有效评估当前目标畸变程度，当目标畸变剧烈时，跟踪定位可靠性较低，滤波器需要在整幅图像上对目标进行重新搜索、匹配。由此，当目标定位精度不高时，本文结合粒子滤波动态拟合下一帧中目标状态，这样不仅避免了粒子滤波长时跟踪时产生的粒子退化问题，还将全局搜索转换为局部搜索，缩减搜索空间，加快跟踪速度。重检测过程如下：

（1）初始化。用包含噪声的目标观测方程zt对目标状态方程xt递推估测，这一过程可表示为：

（2）更新权值。分别提取粒子模板、目标模板的概率分布特征和qk，将Bhattacharyya距离dn作为两者之间的相似度度量，即：

基于式（24），引入概率密度分布函数，更新粒子权值为：

并对权值进行归一化处理：

（3）估测当前目标。预测估计目标状态为：

将当前目标的估计位置迭代到本文算法中。

为验证本文算法加入重检测机制后跟踪结果是否有效，以包含旋转、遮挡、光照变化、背景杂乱场景的Soccer 序列为例，绘制本文算法与基准算法STRCF的目标中心位置误差曲线图，如图6所示。本文算法的中心位置误差整体小于STRCF。

图6 Soccer序列上目标中心位置误差曲线Fig.6 Target center position error curves on Soccer sequence

2.5 模型更新

在目标跟踪过程中，应依据当前跟踪结果置信度设计一个恰当的模型更新策略，以适应目标外观变化。因此，本文借鉴有效卷积跟踪（efficient convolution operators for tracking，ECO）算法的稀疏更新策略[21]，同时结合异常决策函数，在跟踪结果置信度较高且畸变程度剧烈时，放松相关滤波器在时序上的限制，提高学习速率；当跟踪结果置信度低于某一阈值时，则不更新滤波器模型参数(fmodel,Emodel)。更新方式如下：

相比以固定学习率更新滤波器模型参数，本文通过感知跟踪期间目标外观变化情况，对学习率进行自适应调整，以得到更理想的目标模型，降低干扰信息对跟踪结果的影响，从而增强滤波器的判别能力。

2.6 算法步骤

本文算法流程图如图7所示，算法步骤如下：

图7 畸变感知相关滤波算法流程图Fig.7 Flow chart of distortion-aware correlation filter object tracking

（1）初始化：输入图像序列总帧数，读取首帧图像中目标的位置和尺寸信息。

（2）模型训练：在学习本文算法模型过程中，读取第t帧图像序列信息，提取目标特征，根据式（3）求出自适应空间正则化权重，训练滤波器模型参数。

（3）目标定位：根据式（2）将当前帧搜索区域提取的目标特征与上一帧训练得到的滤波器进行相关运算，生成响应图，响应图峰值位置为目标中心。

（4）畸变感知：根据每一帧采用式（22）得到的异常决策评分Ot，判断目标畸变程度。若大于阈值，判定目标产生剧烈畸变，跟踪结果不可信，根据历史目标状态进行粒子滤波重检测，将估测目标位置迭代至本文模型中。

（5）模型更新：基于上一步判定的目标畸变程度，使用式（28）对滤波器模型参数自适应更新。

（6）输出跟踪结果：转至（2），训练下一帧图像的滤波器模型参数，直至当前帧数大于图像序列总帧数则跟踪结束。

3 实验结果及性能评估

3.1 实验平台及参数设置

实验所用操作系统为Windows 10，编程软件为GNU Octave，处理器为AMD Ryzen 7 4800H with Radeon Graphics 2.90 GHz，16 GB内存。

在实验中，畸变感知相关滤波目标跟踪算法相关参数设置参考STRCF、ASRCF、SRDCF算法，如表2所示，选取3组不同的参数对比跟踪性能，取最优参数组合，最终目标函数中正则项系数λ1=1.000、λ2=0.980、µ=16 ；自适应空间正则项中σ=1 ；ADMM 求解迭代次数为2。学习参数αinit=0.015、b=1.5。粒子滤波粒子数设置为500。

表2 不同正则项参数在OTB100数据集中实验结果Table 2 Experimental results of different regularization term parameters in OTB100 dataset

3.2 数据集和评估指标

为了验证本文算法有效性，采用OTB50[22]、OTB100[23]和DTB70[24]数据集对算法进行性能评估。OTB50 和OTB100 数据集根据目标外观变化情况把视频序列划分为11 种不同属性的场景分类，即尺度变化（scale variation，SV）、快速运动（fast motion，FM）、遮挡（occlusion，OCC）、低分辨率（low resolution，LR）、超出视野（out-of-view，OV）、运动模糊（motion blur，MB）、平面内旋转（in-plane rotation，IPR）、平面外旋转（out-of-plane rotation，OPR）、光照变化（illumination variation，IV）、背景杂乱（background clutters，BC）和非刚性形变（Deformation，DEF）。DTB70数据集由70个高空无人机视角拍摄的图像序列组成，其中包含多种纵横比的杂乱场景。

实验中选择一次性通过评估标准（one-pass evaluation，OPE）的成功率曲线线下面积（area under the ROC curve，AUC）和距离精度（distance precision，DP）、运算速度三个指标来评估算法跟踪效果[20]。

AUC计算公式为：

式中，AT表示真实目标框覆盖区域；AP表示预测目标框覆盖区域。成功率是指预测目标框与真实目标框两者区域的重叠率大于0.5 的帧数占总帧数的百分比。

DP计算公式为：

式中，OT表示真实目标框中心位置；OP表示预测目标框中心位置。距离精度是指真实目标框与预测目标框两者中心位置的平均欧式距离小于20 pixel 的帧数占总帧数的百分比。

3.3 实验及结果分析

3.3.1 与相关滤波类跟踪算法的定量比较

本文从特征表示、尺度估计、特征融合、边界效应等方面，选择9个具有代表性的相关滤波跟踪算法进行对比实验，分别为DSST、SRDCF、Staple[25]、BACF（background-aware correlation filters）[26]、STRCF、异常抑制相关滤波算法（aberrance repressed correlation filters，ARCF）[27]、AutoTrack[28]、环境突变不敏感相关滤波算法（environmental mutation-insensitive correlation filters，EMCF）[29]、自适应通道选择相关滤波算法（adaptive channel selection with discriminative correlation filters，ACS-DCF）[30]。

DSST 采用33 个尺度训练尺度滤波器应对尺度变化；SRDCF 引入空间正则项缓解边界效应；Staple融合HOG 特征和全局颜色直方图训练滤波器模板；BACF利用掩码矩阵扩大采样区域；STRCF引入空间与时间正则化项；ARCF通过限制响应图变化来抑制异常；AutoTrack利用局部、全局响应变量自适应学习时间正则权重；EMCF引入正则化项学习相邻帧之间的环境残差适应环境变化；ACS-DCF 自适应选择特征通道学习滤波器模型。

通过在OTB50、OTB100 和DTB70 数据集上分别对各算法进行实验评估，得到相应的距离精度曲线与成功率曲线，如图8、图9所示。

图8 10种算法在OTB50、OTB100数据集上的OPE结果Fig.8 OPE results of 10 algorithms on OTB50 and OTB100 datasets

从图8可以看出，本文算法跟踪成功率和距离精度皆在OTB50 和OTB100 数据集上取得最优效果。在OTB50 数据集上进行定量分析，本文算法的DP、AUC 分数分别达到89.1%、86.5%，相比基准算法STRCF 分别提高了0.023、0.025；在OTB100 数据集上进行定量分析，本文算法的DP、AUC 分数分别达到87.1%、81.3%，相比基准算法STRCF 分别提高了0.021、0.015。EMCF、AutoTrack、ARCF 为针对无人机跟踪场景提出的相关滤波目标跟踪算法。从图9可以看出，本文算法在无人机领域DTB70 数据集上取得的DP分数为次优。实验证明，本文算法跟踪成功率和距离精度在OTB50、OTB100 和DTB70 数据集上皆优于基准算法STRCF。

本文在OTB50 和OTB100 数据集中分析了各个算法在11 种属性场景下的跟踪性能，结果如表3、表4、图10、图11所示。

表3 OTB50数据集中各属性视频序列的AUC得分Table 3 AUC scores of each attribute video sequence in OTB50 dataset

表4 OTB50数据集中各属性视频序列的DP得分Table 4 DP scores of each attribute video sequence in OTB50 dataset

图10 OTB100数据集中各属性视频序列的AUC得分Fig.10 AUC scores of each attribute video sequence in OTB100 dataset

图11 OTB100数据集中各属性视频序列的DP得分Fig.11 DP scores of each attribute video sequence in OTB100 dataset

表3、表4 分别定量展示了本文算法与目前9 种具有代表性的相关滤波算法在OTB50数据集中各属性跟踪场景视频序列的AUC、DP 得分。由表3、表4可以看出，在OTB50数据集上，与其他9种代表性相关滤波算法相比，本文算法的跟踪成功率、精确率排名最优或次优，明显优于其他相关滤波跟踪算法，这说明本文算法在现实复杂场景下跟踪具有一定鲁棒性。

图10、图11 分别展示10 个算法在OTB100 数据集中各属性跟踪场景视频序列的成功率、精确率曲线图，以及对应的AUC、DP值。从图10、图11可以看出，在OTB100 数据集上，本文算法的跟踪成功率及跟踪精确率在各属性跟踪场景中均为最优或次优。

由于本文算法具有目标畸变感知策略，能根据当前目标定位情况受多干扰因素的影响程度选择目标重检测，在遮挡、超出视野等属性场景中可保证跟踪结果的准确性。同时根据跟踪结果可信度及目标畸变程度调整滤波器模型参数学习率，在尺度变化、形变、旋转、复杂背景等属性场景下可保证滤波器模型较少地被污染，达到长时跟踪的效果。

10 个算法在OTB100 数据集上的平均运算速度是以视频序列总帧数除以在此视频序列上运行的总时间来计算的，对比如表5 所示。由此表可以看出，本文算法运行速度比基准算法STRCF 略慢，这是由于该算法中加入判断跟踪结果不可信的粒子滤波重检测环节，但将粒子看作像素会加快粒子滤波运算速度，从而达到实时跟踪的需求。

表5 各算法平均运算速度Table 5 Average tracking speed of each algorithm

总体而言，与其他算法相比，本文算法能够在不同属性场景下保持实时稳健的跟踪，并且具有良好的跟踪性能。

3.3.2 与深度学习类跟踪算法的定量比较

为进一步验证本文算法的鲁棒性及有效性，从深度特征、连续卷积、孪生网络等方面，选取5个具有代表性的深度学习跟踪算法进行对比实验，分别为DeepSRDCF[31]、DeepSTRCF[13]、ECO、CNN-SVM[32]、TADT[33]。

通过在OTB100 数据集上对各算法进行实验评估，得到相应的距离精度曲线与成功率曲线，如图12所示。利用深度特征会提高跟踪精度，但同时也会导致算法计算复杂度急剧增加，算法实时性较差。本文算法未采用深度特征，仅采用手工特征作对比实验，即仅采用灰度、HOG 和颜色（color name，CN）特征。由图12 可以看出，本文算法的跟踪性能优于部分深度学习类跟踪算法。

图12 与深度学习类跟踪算法的定量比较Fig.12 Quantitative comparison with deep learning tracking algorithms

3.3.3 定性分析

为验证本文算法在目标畸变情况下的跟踪效果，在OTB100 数据集中，选取7 个具有挑战性的视频序列进行对比，它们包含的属性如表6所示。图13展示了7 个视频序列上10 种算法的跟踪结果，如图所示，本文算法对目标进行了较为精准的定位，其结果明显优于基准算法STRCF。接下来将从不同的视频序列场景属性上来分析本文算法的精确性和鲁棒性。

表6 视频序列名称及其包含的场景属性Table 6 Name of video sequence and its contained scene attributes

（1）图13（a）为Soccer 视频序列截图，视频中有一支球队高举奖杯庆祝。在25 帧前，目标还未受快速运动、运动模糊、遮挡、背景杂乱等属性干扰，10种算法皆能精确定位目标位置；一般情况下，快速运动通常伴随着运动模糊。从26帧开始，目标快速跳动，图像模糊，此时STRCF 和DSST 跟踪框开始抖动，跟踪框内错误融入背景信息，随后跟踪框漂移；从90帧开始，目标受到背景杂乱、旋转等影响，除了本文算法、EMCF、BACF、ARCF 和SRDCF 外，其余算法目标跟踪框均有较大偏差。本文算法通过引入自适应空间正则项来抑制背景信息干扰，增强了复杂背景情况下模型辨别力，仍可准确跟踪；在此之后，由于目标持续受到相似物部分或完全遮挡，在128 帧时，只有本文算法、Staple、SRDCF和ACS-DCF能准确定位目标位置，而本文算法估计的目标中心与真实目标中心距离最近；在204 帧后，目标旋转发生尺度变化，但本文算法仍能较准确地估计目标尺度大小，并且稳健地跟踪目标；从380帧开始目标受到长时完全遮挡，所有算法跟踪失败。

（2）图13（b）为Girl2 视频序列截图，视频中有一位正在玩滑板车的小女孩。在1 500帧视频序列中，目标两次被完全遮挡，其中最大难点是从106 帧至117 帧的长时完全遮挡。在106 帧前，10 种算法均可克服目标旋转和非刚性形变的影响，精确定位目标位置；在117 帧长时完全遮挡结束后，除本文算法和ACS-DCF 精确定位外，其余8 个算法跟踪框均漂移到混淆遮挡物上。本文算法判定目标畸变剧烈，利用粒子滤波根据状态和观测噪声协方差矩阵预测估计目标位置，并将估计的目标位置迭代至本文模型中，成功跟踪遮挡情况下发生剧烈畸变的目标；233帧后混淆遮挡物移出视野，除STRCF外，其余7种算法跟踪框漂移至序列结束；在312 帧时，目标移动至STRCF 跟踪框附近，STRCF 在丢失目标195 帧后重新跟回；在1 386 帧至1 393 帧，目标再次被遮挡，遮挡结束后本文算法、STRCF和ACS-DCF皆能跟踪上目标，但本文算法定位的目标中心与真实目标中心更为接近。

（3）图13（c）为Jogging1视频序列截图，视频中有两位女生慢跑。从67帧开始，目标被电线杆遮挡，在未发生遮挡前，10 种算法都能很好地跟踪到目标。在79 帧遮挡结束后，仅有本文算法、BACF、SRDCF和ACS-DCF 跟准目标，但本文算法在尺度估计上更为精准，其余算法跟踪框漂移至整个序列结束。

（4）图13（d）为Bird1视频序列截图，视频中有一群鸟穿过云团飞行。该视频序列中目标较小，目标成像区域小导致特征提取较粗糙，在跟踪时各算法跟踪框存在不同程度的漂移。在69 帧时，由于目标在运动过程中一直发生非刚性形变，除本文算法外，其余算法跟踪框皆产生不同程度的偏移，其中SRDCF跟踪框漂移至背景上；120帧至186帧目标飞入云团超出视野，在目标飞出云团后又由于相似物干扰，仅有本文算法、STRCF、AutoTrack 和Staple 重新跟回目标；在240 帧之后，目标快速运动发生明显形变，STRCF、AutoTrack 和Staple 丢失跟踪目标，本文算法仍可稳健跟踪。由于固定的更新学习率不能很好地适应快速运动的物体，跟踪框内融入背景信息导致跟踪失败，而本文自适应更新学习率可以在目标快速运动时得到更加优化的滤波器模型，从而改善跟踪的鲁棒性。

（5）图13（e）为Lemming 视频序列截图，视频中有一个人为操纵不断运动的玩具。在310 帧前，10种算法均能精确定位目标位置；从313帧开始目标逐渐被遮挡，到347帧时只能利用未被遮挡的部分目标区域进行跟踪，在375 帧目标脱离遮挡时，仅有本文算法、EMCF、BACF和ACS-DCF仍可继续跟踪目标；在880 帧时，目标移动至停留的跟踪框附近，除ARCF、Staple外其余算法重新跟回，但SRDCF、DSST和AutoTrack无法适应目标的尺度变化，跟踪框内目标信息不全；在1 047 帧时，SRDCF 跟踪框漂移至背景，其余算法的跟踪情况与第880帧时一致。

（6）图13（f）为Skating2-1视频序列截图，视频中有一对选手在表演双人滑。在24 帧时，目标快速旋转导致目标尺度发生变化，所有算法跟踪框都发生微小偏移，但本文算法估计的目标中心与真实目标中心距离最近；从80帧起，目标被混淆遮挡物暂时完全遮挡，遮挡结束后Staple、ARCF、AutoTrack 和DSST 跟踪框漂移至混淆遮挡物上；与其他算法相比，在后续帧中快速运动、旋转等属性的干扰下，本文算法仍能对目标进行鲁棒、精确的跟踪。

（7）图13（g）为Panda视频序列截图，视频中有一只熊猫在园区内散步。该视频序列分辨率较低，使得滤波器学习到的特征不足，跟踪过程中各算法跟踪框均存在不同程度的偏移。在123帧前，所有算法均能克服目标尺度变化，准确跟踪目标；从124 帧开始到815帧，目标先后经历3次平面外旋转、1次平面内旋转，每次旋转都会改变目标外观。在此期间，DSST、SRDCF、AutoTrack、Staple、ARCF 和BACF 依次出现跟踪漂移；在980 帧时，只有本文算法、STRCF、EMCF和ACS-DCF能准确跟踪目标，但本文算法跟踪到的目标区域最大。

通过对上述实验结果的分析，可以看出本文算法相比主流跟踪算法具有一定优越性。本文算法在多因素干扰的复杂环境中表现出较高的适应性和实用性，能实现精准且鲁棒的目标跟踪。

3.3.4 消融实验

为验证本文算法所提出各模块的合理性与有效性，实验设计对比采用粒子强化空间正则项（见式（5））、APCE 评分策略（见式（20））、APCE 引入RPTC的评分策略（见式（22））、重检测（见式（27））的跟踪效果。表7 展示了多个模块组合的实验结果，其中“×”代表未采用，“√”代表已采用。由表7可知，算法1为基准算法STRCF，算法2为目标函数中加入粒子强化正则项的跟踪算法，与算法1 相比，DP 与AUC分数分别提高0.009 和0.007，但实时性降低；算法3、算法4是仅采用APCE评分策略重检测与APCE结合RPTC评分策略重检测的跟踪算法，其中本文采用的APCE结合RPTC的异常决策函数能更精确地评估目标畸变状态，相较算法3，该算法在DP 和AUC 上具有明显提升；算法5 以算法4 为基础，在目标函数中加入粒子强化空间正则项，与算法4相比，DP分数提升了0.041，AUC 分数提升了0.002，由于构建目标函数和重检测模块都采用粒子滤波算法，算法5的实时性相较于其他模块结合算法最低。从上述实验数据可知，本文算法各个改进模块都能提升跟踪性能，说明本文算法改进方向合理，切实有效。

表7 在OTB100数据集上的消融实验结果Table 7 Results of ablation experiment on OTB100 dataset

4 结束语

针对目标畸变情况下现有相关滤波算法易跟踪失败的问题，基于STRCF算法，提出畸变感知相关滤波目标跟踪算法。构建融合粒子采样信息的粒子强化空间正则项，使滤波器在学习时专注于目标可信赖部分，在训练模型时抑制干扰信息的影响；采用ADMM优化算法以较少的迭代次数求解和更新滤波器目标函数，加快算法运行速率；在APCE 基础上提出能精确描述目标畸变程度的异常决策函数，当判断目标畸变程度剧烈时，启用粒子滤波重新检测目标位置，并且自适应更新滤波器模型。通过在OTB50、OTB100和DTB70数据集上进行对比实验，实验结果优于基准算法和当前流行算法，充分验证了本文算法在多因素干扰复杂环境下应对目标畸变情况更具准确性及鲁棒性。然而，本文算法无法有效跟踪超出视野的目标，因此下一步研究工作将尝试结合根据需求设计的手工外观特征及无监督学习得到的深度特征训练滤波器模型，增强跟踪性能。