自适应模型更新相关滤波目标跟踪方法*

2019-12-20王科平武帅帅王红旗

传感器与微系统 2019年1期

王科平，武帅帅，王红旗

(河南理工大学电气工程与自动化学院，河南焦作 454000)

0 引言

目标跟踪在人机交互、机器人等领域得到广泛应用。近年来,学者们将相关滤波[1～8]方法引入目标跟踪框架之中，并取得很好的跟踪效果。Bolme D S等人[1]提出了最小输出平方误差和(minimum output sum of squared error,MOSSE)跟踪方法，首次采用目标的循环移位作为训练样本，并利用循环矩阵的性质在频域中进行分类器的求解，使得目标跟踪的速度达到超速。Henriques J F等人[2]将核函数引入相关滤波目标跟踪，采用目标的灰度值作为目标特征，使用目标的循环移位作为训练样本，并将其映射到核函数空间进行分类。但灰度特征受光照变化等影响较大，为此Henriques J F等人[7]提出了KCF(kernelized correlation filters)跟踪方法，采用梯度方向直方图(histogram of oriented gradient,HOG)特征作为目标特征，提高了跟踪的稳定性。Danelljan M等人[4]采用CN(color name)特征作为目标特征，由于CN特征将11维颜色特征缩到2维，有效降低了外界环境变化对目标的干扰。Galoogahi H K等人[6]有限边界相关滤波跟踪方法，通过减少循环移位造成的合成样本和对样本进行仿射变换的方法来训练分类器，提高了跟踪的稳定性。但当目标被遮挡或者跟踪框发生漂移时，上述跟踪方法仍持续更新目标模型和滤波器模型，导致背景信息更新到目标模型和滤波器模型中。为了解决这个问题，Asha C S等人[9]提出自适应学习率相关滤波视觉跟踪，根据目标运动的速度来确定目标模型和滤波器模型的更新率，使跟踪的稳定性得到一定提高。Wang M等人[10]采用多峰检测的方法来决定是否更新目标模型和滤波器模型，虽然能够判断目标遮挡和漂移，但当目标因姿态变化或者旋转时滤波器响应同样会出现多峰情况，导致模型不能及时更新。

针对目标因姿态变化、旋转等情况被误判为目标被遮挡、漂移的情况，使滤波器模型和目标模型能够实时有效更新，本文提出一种基于协方差特征的目标跟踪质量评估方法。首先，利用相关滤波方法找到目标的估计位置；其次，通过获取目标估计位置的协方差特征；最后通过比较估计位置的协方差特征与模型的协方差特征的相似性决定是否更新目标模型和滤波器模型。

1 CSK跟踪

CSK跟踪算法具有很高的跟踪速度，其使用目标图像块的周期循环移位作为训练样本，通过核化分类响应与期望响应的最小平方误差和训练一个分类器，并通过线性差分方式更新分类器和目标模型。

1.1 分类器训练

在第t帧视频中，以获取目标为中心获取包含目标的图像块x，大小为M×N，M,N分别为图像块的高和宽。以x为基样本，所有循环移位得到图像块xm,n(m,n)∈{0,…,M-1}×{0,…,N-1}作为训练样本。分类期望响应为一个高斯函数Y，ym,n为对应于训练样本xm,n的训练标签。通过找到一个w使得分类响应f(x)=wTx与期望响应Y的平方误差和最小，即

‖Xw-Y‖2+λ‖w‖2

(1)

(2)

1.2 目标检测

在新的一帧视频中，以上一帧目标位置为中心截取大小为M×N的图像块z，以z的循环移位作为候选样本，线性分类器在频域可表示为

(3)

(4)

式中p为视频帧的索引，γ为学习率。

2 基于协方差特征模型更新

提出的采用区域协方差特征旨在解决两个问题：目标发生旋转、姿态变化时模型更新和目标被遮挡、跟踪框发生漂移时模型更新。

2.1 区域协方差特征

区域协方差特征[11]能够描述不同特征之间的相关性。I为一维灰度图像或三维彩色图像，F为从I中提取的W×H×d维特征图像，满足F(x,y)=φ(I,x,y)。对一个给定区域R⊂F用{fk}k=1，…，n表示区域R内的d维特征点，用d×d的协方差矩阵表示区域R为

(5)

式中μ为区域内特征点的均值向量。

两个协方差矩阵C1，C2的相似性[11]表示为

(6)

式中 {λi(C1,C2)}i=1,…,d为C1,C2的广义特征值。ρ的值越小，C1,C2越相似。

2.2 模型更新策略

在目标跟踪过程中，由于目标以及背景均为动态变化，因此，目标模型和滤波器模型需要进行实时更新。CSK跟踪算法采用式(4)更新目标模型和分类器模型，没有对目标遮挡和跟踪框漂移情况进行判断，容易将背景信息引入滤波器模型和目标模型。文献[10]采用多峰检测方式进行目标遮挡判断，但目标姿态变化和旋转同样会使滤波响应出现多峰情况。

本文提出新的模型更新方法：首先在视频初始帧的目标位置，以目标区域Rt的协方差特征作为协方差特征模型Cmod，在新的一帧视频中采用相关滤波跟踪方法获取新的目标位置，在新的目标位置计算目标区域Rn的协方差Cnew；然后通过式(6)计算Cmod与Cnew的相似；最后根据协方差的相似性更新模型。模型更新方法如下

(7)

式中T1,T2为协方差相似性阈值，ρupd为协方差矩阵Cmod与Cnew的相似性，γ1,γ2,γ3为对应阈值下的学习率。为了能够更好地适应目标变化，本文对协方差模型进行更新，当ρupd

2.3 算法步骤

1)以t-1帧视频中目标的位置为中心，在第t帧中截取1+p倍目标大小的图像块并提取图像块CN特征；

2)利用式(3)计算滤波响应f(z)，f(z)的最大值位置即为第t帧视频中目标位置；

3)在第t帧目标位置计算目标的协方差特征，根据式(6)计算相似性，并通过式(7)计算模型学习率；

4)在第t帧中以步骤(2)中获取的目标位置为中心截取1+p倍目标大小的图像块并根据式(4)更新目标模型；

5)提取步骤(4)中截取图像块的CN特征，根据式(2)计算分类器，并根据式(4)更新分类器模型；

6)记录第t帧目标位置，并重复步骤(1)～步骤(6)。

3 实验分析

3.1 实验环境与参数设置

实验的软件平台为MATLAB 2014a，硬件平台为笔记本电脑，性能参数：Intel(R) Core(TM) i7-4710MQ CPU @ 2.50 GHz，运行内存为8 GB(RAM)。实验参数设置如表1。

表1 实验参数

3.2 性能评估方法

为了验证本文所提算法的有效性，使用OTB—2013[12]中给出的数据集，对视频的11种属性进行评估。实验中将所提算法与CN，KCF，CSK，CT[13]，Struck[14]，TLD[15]6种主流算法进行比较,并采用精度和成功率作为评价标准。11种属性分别为尺度变化(SV)、光照变化(IV)、遮挡(OCC)、运动模糊(MB)、形变(DEF)、快速运动(FM)、平面外旋转(OPR)、平面内旋转(IPR)、复杂背景(BC)、出视野(OV)、低分辨率(LR)。结果如表2、表3所示。

表2 7种算法在11种属性上的平均精度

表3 7种算法在11种属性上的平均成功率

3.3 实验结果分析

3.3.1 整体分析

如表2所示为在11种属性上7种跟踪算法的精度，精度是指跟踪位置与目标真实位置的欧氏距离小于某个阈值的视频帧数占视频总帧数的比值，本文取阈值为20个像素。从表中可以看出本文所提算法在目标DEF和目标OCC方面均优于其他算法。表3给出了7中算法在11种属性上的成功率，成功率是指目标框与人工标定目标框的重叠率大于某个阈值的视频帧数占总视频帧数的比率，阈值设为0.5。从表中可以得出与上述同样的结论。由整体精度图和成功率图，可以看出本文所提算法较KCF的精度和成功率分别提高了1.5 %和1.5 %，较CN算法的精度和成功率分别提高了3.6 %和5 %。

3.3.2 遮挡与形变分析

如图 1所示，图中Jogging序列在第70帧发生，在第85帧离开遮挡物，在第97帧时只有本文算法和TLD算法在跟踪目标。图中Girl序列在第87，302，469帧分别发生转身、摇头和遮挡情况，所提算法能够很好辨别遮挡，同时在转身、遮挡情况下不更新模型，跟踪效果良好。