基于背景感知与自适应特征融合的相关滤波跟踪算法

白鑫宇，黄 俊，罗建华

(重庆邮电大学 通信与信息工程学院，重庆 400065)

(信号与信息处理重庆市重点实验室，重庆 400065)

E-mail：928460706@qq.com

1 引 言

Wax于1995年首次提出目标跟踪的基本理论[1]，之后随着计算机视觉研究的不断深入，涌现了大量的目标跟踪算法，在智能视频监控、无人驾驶、军事、医学等领域广泛应用.目前，目标跟踪算法根据外观模型的不同分为两类，生成式方法和判别式方法.其中，以相关滤波为代表的判别式方法同时考虑目标和背景信息，将目标从图像背景中有效分离，取得令人满意的跟踪效果，成为如今目标跟踪算法的主流.2010年，Bolme等人提出的MOSSE算法[2]，首次将相关滤波应用到目标跟踪中，利用最小二乘法训练滤波器，并且通过快速傅里叶变换将时域的复杂卷积计算变换为频域简单的点乘，实现了快速稳定的目标跟踪.针对MOSSE算法采用稀疏采样策略和线性滤波器从而导致的训练样本不足、分类效果不佳等问题，Henriques等人提出CSK算法[3]利用核矩阵的循环性质实现密集采样，同时核函数可以将最小二乘法映射到非线性空间，解决了低维线性不可分问题.但是CSK与MOSSE同样使用单通道的灰度特征，无法较好的表征目标外观.于是在2015年，Henriques等人又提出KCF算法[4]，将单通道特征扩展到多通道，使用HOG特征更好的描述目标外观.训练相关滤波器时，对训练样本进行的循环滑动窗口操作是基于对样本的周期性假设，这会带来严重的边界效应.对此，Danelljan等人提出SRDCF算法[5]，引入空间正则化概念，惩罚距离目标中心较远的样本，在这种前提下可以选用尺寸更大的样本，更多的保留目标的真实信息，降低边界效应的影响.传统的相关滤波舍弃背景块，在滤波器的训练过程中缺乏真实负样本，影响滤波器的鲁棒性.Galoogahi等人提出的BACF算法[6]，在循环采样的基础上进行裁剪，既扩大了搜索域又提供了真实的负样本，还有效降低了扩大搜索域所带来的巨大计算量.

虽然BACF已经取得了很好的跟踪效果，但在面对尺度变化、遮挡、目标形变、背景干扰等情况时，容易跟踪失败.因此，本文算法在BACF算法基础上进行改进，引入多特征的自适应融合、特征的PCA降维、与位置估计分离的尺度估计滤波器以及高置信度的模型更新策略，以解决上述复杂问题.

2 BACF跟踪算法

传统空间域多通道相关滤波器训练的目标函数为：

(1)

其中，D表示训练样本的单通道维度(像素个数)，y∈RD,y(i)表示在第j个维度的期望输出，K表示目标特征通道数，hk∈RD表示第k个特征通道的滤波器模板，xk∈RD是第k个特征通道上的目标表示，上标T表示共轭转置，xk[Δτj]表示xk的第j次循环移位，λ表示正则化系数.

传统的相关滤波器的训练只涉及到前景块以及通过对前景块进行循环位移产生的D-1个训练样本，这样可能导致训练出一个过拟合滤波器，无法适应目标的快速视觉形变，而且由于训练过程中缺乏真实的负样本，跟踪器面对杂乱背景时容易出现漂移，鲁棒性低.丢弃背景信息，也会降低跟踪器区分目标和遮挡块的能力，限制了跟踪器在遮挡和出画后重新找回目标的可能性.为了引入真实的负样本，BACF算法先是扩大样本的搜索区域保留更多的背景信息，然后对循环样本进行裁剪，以此实现从背景中密集提取真实的负样本.因此，BACF将训练的目标函数改为：

(2)

其中，S表示整个输入样本的单通道维度，D表示裁剪块的单通道维度，这里的y∈RS,xk∈RS,h∈RD且D≪S，P表示从xk中截取个元素的一个D×S的矩阵.为了提高计算效率，将式(2)转换到频域求解：

(3)

为了求解式(3)，应用增广拉格朗日方法(Augmented Largrangian Method， ALM)，将式(3)变换为：

(4)

由于式(4)中引入了裁剪矩阵P，所以无法求得封闭解， 因此把问题转化为两个有封闭解的子问题，再采用交替方向乘子法(Alternating Direction Method of Multipliers， ADMM)迭代求解：

(5a)

(5b)

(6)

(7)

3 本文算法

3.1 自适应特征融合

BACF采用HOG特征来描述目标，HOG特征能够很好的表征边缘信息，对于光照变化具有很好的鲁棒性，但对目标形变和快速运动较为敏感，但Danelljan等人在文献[7]中采用的CN特征能很好的弥补HOG特征的上述不足.利用HOG特征与CN特征联合描述目标可以提升目标外观模型的鲁棒性.然而，在不同的跟踪场景下，HOG特征和CN特征的表现好坏不一，如果以固定的权值加权融合反而会污染目标外观模型.因此可以在响应层面进行特征融合，并且根据响应效果自适应的分配不同的权值，给表现更好的特征分配更高的权值.

响应图越是单峰越是形状尖锐且不存在明显波动代表跟踪结果越是可靠.文献[8]中采用主波峰峰值与次波峰峰值的比值作为参考指标，比值越大代表跟踪结果越可靠.但当响应图出现曲率较小曲率半径较大的接近平面的波峰时，跟踪结果不再可靠，但此时主波峰峰值与次波峰峰值的比值非常大，这显然与自适应特征融合的原则相悖.为了避免这种情况，我们采用文献[9]中提出的波峰面积比(Area Ratio of Peak)为参考指标，并引入根据经验设置的初始权重进行特征融合.利用大津法对响应图实现二值分类，二值分类后图像中值为1的点即是存在波动、容易造成干扰的地方，对响应图进行二值分类的结果如图1所示.波峰面积比表示为：

图1 响应图二值化Fig.1 Response graph binarization

(8)

其中，r为波峰面积比，ostu(y)表示经过二值化后的响应图，n(·)表示像素个数.波峰面积比越小代表响应图越是单峰尖锐，跟踪结果越是可靠，波峰面积比越大则代表响应图波动明显，目标周围的干扰越多，跟踪结果可靠性越低.

以跟踪结果为参考得出的特征自适应融合权值为：

(9)

其中，rhog和rcn分别表示HOG特征和CN特征响应的波峰面积比，αhog和βcn分别表示HOG特征和CN特征自适应融合的权值.对两个特征响应图加权融合，融合后的响应图最大值处即为预测的目标位置.

ymix=αhoglyhog+βcn(1-l)ycn

(10)

其中ymix，yhog，ycn分别代表最终响应，HOG特征响应，CN特征响应，l表示初始权重.

文献[10]中采用的特征融合方法仅仅以响应的最大峰值为参考指标来评价响应的置信度是不够全面的，最大峰值只能反应响应峰值的尖锐程度，不能体现响应的波动情况.比如当出现相似背景干扰时，响应图中会出现两个明显峰值，显然此时的跟踪结果是不可靠的，响应置信度低，应该为此特征分配很低的权重.但由于在确定权重时仅仅只考虑了最大峰值，则会错误的给此特征分配较高的权重.相较于文献[10]的特征融合方法，本文的自适应特征融合方法，能很好的反应响应的波动情况，当响应图因为相似背景出现剧烈波动时，响应图的波峰面积比会增大，此时根据式(9)可以正确的为此特征分配较低的权重.特征融合前后的效果对比如图2所示.

图2 特征融合前后响应图与跟踪结果对比Fig.2 Comparison of response graphs and tracking results before and after feature fusion

3.2 特征降维

BACF算法的主要计算开销在于FFT，而FFT的计算量又与特征维数呈线性相关.文献[7]中采用一种自适应降维技术，在大幅减少CN特征维数的同时，尽量保留有用的信息.由于本文采用了互补的HOG特征和CN特征，因此31维的 HOG特征与11维的CN特征可以分别通过PCA(Principal Component Analysis)降维，减小特征向量的维度，提高跟踪速度.

(11)

Ut=Ptut

(12)

3.3 尺度估计

(13)

其中，f代表训练样本，★代表循环相关，hs代表尺度滤波器，gs代表期望的一维高斯输出，k代表第k个特征通道，λs代表尺度滤波器的正则化系数，同样将式(13)变换到频域求解得：

(14)

其中，Hs,Gs,F分别代表尺度滤波器hs，期望一维高斯输出g，训练样本f的傅里叶变换.式(14)给出了只考虑单一训练样本的滤波器训练方法，但在实际中，还需要考虑之前的帧的外观模型，以增强相关滤波器的稳定性，因此我们需要更新我们的尺度滤波器，更新策略如下：

(15)

其中，At和Bt分别代表式(14)的分子、分母，ηScale代表尺度滤波器的学习率，t代表第t帧图像.运用式(16)计算尺度滤波器频域响应的相关分数：

(16)

其中，Zt表示在位置滤波器预测的目标位置中心以anP×anR截取的目标区域zt的傅里叶变换，再利用傅里叶反变换求出响应输出ys=F(Ys).找到ys最大值对应的n即为尺度滤波器预测的当前帧的目标尺度.

文献[11]中划分为N=17个尺度，在面对剧烈尺度变化时仅选用17个尺度存在局限，为了克服这个问题并且不增加算法的计算量，本文采用一种尺度扩充策略，利用三角插值法，在高频填充0，将尺度扩充到N=33.

3.4 模型更新策略

目前大多数算法采用在每一帧中以固定的学习率更新滤波器模型[12]，这种更新策略实现简单且计算方便，但是对每一帧都进行模型更新的话会大大增加跟踪算法的计算量，而且如果不评估跟踪结果的可信度，就将其作为样本平等的用于模型更新，可能会错误的引入背景信息，随着误差的不断积累，最终导致模型漂移.因此，本文以滤波器输出的最大响应值和平均峰值相关能量(APCE)[13]为参考指标评估跟踪结果的可靠性，即样本的置信度.

(17)

最大响应值反应最大峰值的尖锐程度，最大响应值Fmax越大最大峰值越尖锐.平均峰值相关能量可以很好的体现响应图的震荡程度，APCE值越大代表主峰周围越平缓，波动越小.而我们知道响应图越是单峰越是形状尖锐且不存在明显波动代表跟踪结果越是可靠.因此，当输出响应的最大值与APCE均以一定比例大于其各自历史平均值时，认为该跟踪结果可靠，将当前帧的跟踪结果作为样本用于模型更新.具体更新策略如下：

(18)

3.5 算法实现

具体算法步骤如下：

输入：视频序列及初始目标位置及大小；

输出：预测目标位置及大小；

初始化：根据输入的初始目标位置及目标大小，初始化位置滤波器和尺度滤波器；

位置估计：

第1步.根据上一帧的目标位置和大小截取当前帧的样本Zi；

第2步.提取样本Zi的HOG特征和CN特征；

第3步.将上一帧得出的HOG特征和CN特征的滤波器gi-1与提取的样本特征卷积，分别求得HOG特征响应和CN特征响应；

第4步.利用式(10)求得融合后的最终响应，找到最终响应图的最大响应位置，即为此帧中预测的目标位置；

尺度估计：

第5步.以上一步预测的目标位置为中心，截取多个尺寸的样本.

第6步.提取上述多个样本的HOG特征；

第7步.根据式(16)，得到尺度滤波器的响应，确定此帧中预测的目标大小；

模型更新：

第8步.根据式(3)、式(18)更新位置滤波器模型；

第9步.根据式(13)、式(15)更新尺度滤波器模型.

4 实验结果及分析

为了验证本算法的鲁棒性和准确性，选择OTB100数据集[14]为本文的测试序列.此数据集涵盖了以下11个方面的挑战，包括光照变化(Illumination Variation， IV)，尺度变化(Scale Variation， SV)，遮挡(Occlusion， OCC)，形变(Deformation， DEF)，运动模糊(Motion Blur， MB)，快速运动(Fast Motion， FM)，平面内旋转(In-Plane Rotation， IPR)，平面外旋转(Out-of-Plane Rotation， OPR)，目标消失 (Out-of-View， OV)，背景干扰(Background Clutters， BC)，低分辨率(Low Resolution， LR).在OTB100数据集上与KCF、DSST[15]、SRDCF、Staple[16]、BACF等目前跟踪效果较好的6种相关滤波跟踪算法进行对比.

4.1 实验环境及参数设置

本文中实验环境配置为Intel i5-9400f CPU，主屏2.9GHz，内存16G的台式电脑，实验采用的仿真平台为MATLAB R2018b.正则化系数λ=0.001，惩罚因子μ=1，ADMM的迭代次数为2，为特征融合的初始权重l=0.7，压缩后的HOG特征和CN特征维数分别为MHOG=18,MCN=2，划分的尺度个数N=17，扩充后的尺度个数N=33，步长a=1.02，尺度滤波器的学习率ηScale=0.025，位置滤波器的学习率ηLocation=0.014，比例阈值θ1=0.4,θ2=0.8.

4.2 定量分析

选取精确度和成功率作为评价指标，其中精确度代表视频序列中中心位置误差(CLE)小于特定阈值的相对帧数，成功率代表视频序列中跟踪框重叠率高于特定阈值的相对帧数[17].使用一次性通过评估(OPE)评价准则对精确度和成功率进行计算，评估各个算法的跟踪性能，画出评估曲线图.并分别以中心位置误差阈值为20px时的精确度值、边界框重叠率阈值为0.5时的成功率值对6种跟踪算法进行排序，结果如图3所示.

由图3可看出根据OPE测评结果表示，本文算法在OTB100数据集中的跟踪精确度为0.842，跟踪成功率为0.769，相较于排名第2的BACF算法0.818的精确度和0.767的成功率，本文算法在跟踪精确度上提高了2.9%，在跟踪成功率上提高了0.3%.同时，本文算法在跟踪精确度和跟踪成功率上均优于KCF、DSST、SRDCF、Staple、BACF等目前主流的跟踪算法，表现出很好的跟踪性能.

图3 各算法在OTB100数据集上的测试结果Fig.3 Experimental results of each algorithm on OTB100

6种算法在面对不同挑战因素时的跟踪精确度和跟踪成功率如表1和表2所示.

表1 各算法在不同挑战因素下的跟踪精确度Table 1 Precision of each algorithm under different tracking challenge factors

表2 各算法在不同挑战因素下的跟踪成功率Table 2 Success of each algorithm under different tracking challenge factors

由表1和表2可知，本文算法在光照变化、尺度变化、遮挡、形变、运动模糊、平面内旋转、平面外旋转、目标消失、背景干扰等挑战下跟踪精确度均排名第1，尤其在背景干扰挑战下表现突出相较于排名第2的BACF算法提高了13.75%.跟踪成功率也都保持在前3，在光照变化、遮挡、形变、运动模糊、平面内旋转、平面外旋转、目标消失、背景干扰等挑战下获得最高的跟踪成功率.在OTB100数据集上的测试结果，有效验证了本文算法的鲁棒性和准确性，在各个典型挑战视频序列中均表现优异.

表3为6种算法在OTB100上的平均运行速度，本文算法的速度为46.81fps相较于BACF算法36.33fps的速度提高了28.85%.虽然本文算法速度低于Staple、KCF算法，但跟踪精确度和成功率却远远高于二者，并且本文算法速度远高于人眼视觉暂留要求的每秒24帧，能够保持较好的实时性.

表3 各算法跟踪速度对比Table 3 Tracking speed comparison of each algorithm

表4为特征降维对本文算法跟踪速度影响的对比，可以明显看出特征降维有效提升了本文算法的跟踪速度.

表4 特征降维对跟踪速度的影响Table 4 Effect of feature dimensionality reduction on tracking speed

本文算法的优势在于：在响应层自适应的融合HOG特征与CN特征，有效增强特征的表达能力和鲁棒性；分别对HOG特征和CN特征进行PCA降维，有效提升算法速度；引入与位置估计分离的尺度估计，提升跟踪的准确性和速度；引入模型更新策略，有效评估样本的可靠性，降低模型漂移风险.

4.3 定性分析

为了更直观的分析各个算法的跟踪性能，我们将6种算法应用于5组不同的视频序列，对比不同算法的跟踪效果.

图4(a)Basketball中，跟踪主要面临遮挡、形变、背景干扰等挑战.在第490帧，目标快速运动，存在形变和相似背景干扰，BACF出现严重漂移.而引入了自适应特征融合和模型更新策略的本文算法，有效区分了颜色不同的相似物与目标，准确跟踪目标.在第643帧，出现颜色相同的相似物遮挡，Staple因为采用固定加权的方式融合颜色直方图特征和HOG特征，较为依赖颜色特征，出现误跟.BACF完全丢失目标，跟踪失败.同时SRDCF、DSST、KCF均出现了不同程度的跟踪误差，只有本文算法实现了精确的跟踪.在第694帧，Staple、BACF完全丢失目标，跟踪失败，本文算法持续稳定的精确跟踪，其余算法均出现轻微跟踪漂移.

图4(b)Skating1中，主要存在光照变化、遮挡、平面外旋转、背景干扰等问题.在第76帧，目标出现平面外旋转，BACF严重漂移.第178帧，出现相似物遮挡，BACF完全丢失目标，Staple出现误跟，SRDCF存在较大跟踪误差，几乎丢失目标，本文算法和KCF、DSST保持稳定跟踪.第316帧，出现剧烈光照变化，DSST也跟丢目标，只有本文算法和KCF持续稳定跟踪，但本文算法的跟踪效果更为精准.

图4(c)Box中，存在严重遮挡、运动模糊以及平面外旋转.在第461帧，目标被大面积遮挡，本文算法跟丢目标，DSST出现跟踪漂移.在第497帧，目标重新完整出现.由于本文采用了有效的模型更新策略，避免了将遮挡物信息引入模型，保证模型不被污染，所以当目标重新出现时，本文算法能准确的找回目标并稳定跟踪.而其余算法，均由于错误的将提取到的遮挡物信息用于模型更新，出导致模型漂移，跟踪失败.第921帧，出现目标平面外旋转和运动模糊，但本文算法依然保持稳定的跟踪.

图4 各算法在5组视频序列中的跟踪效果Fig.4 Tracking results of each algorithm in 5 sets of video sequences

图4(d)Soccer中，面临快速运动、运动模糊、遮挡、背景干扰和目标形变等挑战.在第69帧，由于快速运动和运动模糊，DSST与KCF出现跟踪漂移.第113帧，出现严重的遮挡和背景干扰，此时Staple完全跟丢，除本文算法外其余算法在目标位置和目标尺度上都存在较大的跟踪误差.第330帧，目标出现剧烈形变，只有本文算法与SRDCF跟踪成功，但都存在一定跟踪误差.

图4(e)Girl2中，存在典型的遮挡和尺度变化.在第121帧，由于遮挡6种算法均丢失目标.在第291帧，得益于可靠的模型更新策略，本文算法成功找回目标并持续稳定跟踪，其余算法未能找回目标，均跟踪失败.到第868帧时，目标逐渐远离镜头，越来越小，有明显的尺度变化.本文算法中与位置估计分离的尺度滤波器，灵活适应目标的尺度变化，准确估计目标大小，实现精准跟踪.

根据上述分析，可知本文算法在光照变化、尺度变化、形变、遮挡、快速运动、运动模糊、平面外旋转、背景干扰等复杂情况下，依然能够稳定跟踪目标，保持很好的稳定性和鲁棒性.

5 结 论

考虑到BACF算法能有效利用背景信息，在解决相关滤波跟踪算法中普遍存在的边界效应问题的同时保持较高的跟踪速度.本文在BACF的基础上提出一种改进算法，为了建立鲁棒的特征模型将HOG特征与CN特征在响应层进行自适应融合，有效提高了特征的表达能力.同时为了保证算法的实时性，利用主成分分析法分别对HOG特征和CN特征进行降维，显著提高跟踪速度.为了适应目标的尺度变化，采用一种独立于位置估计的尺度滤波器，将尺度个数扩充到33，使目标尺度预测更为精确.为了应对模型漂移问题，以最大响应值和平均峰值相关能量值作为评估指标，联合评估样本的可靠性，仅将可靠的样本用于模型更新，很大程度上提升了跟踪模型性能.实验表明，本文提出的算法相比于BACF算法在跟踪精确度和成功率上均有明显提升，在光照变化、尺度变化、遮挡、形变、运动模糊、平面内旋转、平面外旋转、目标消失、背景干扰等复杂情况下，依然能具备较好的鲁棒性和稳定性，实现持续的准确跟踪.实验结果同时表明，本文算法在面对快速运动和低分辩等干扰因素时表现不佳.因此，下一步工作的重点将放在研究表达能力更好的特征以提高算法在这两种复杂情况下的准确性上.