判别相关滤波融合深度信息的目标跟踪算法

杨海清，唐怡豪，许倩倩，孙道洋

(浙江工业大学 信息工程学院，杭州 310023)

1 引 言

在计算机视觉领域，目标跟踪在最近几年已经成为重要的课题和研究热点.面临着多种挑战，例如，尺度变换、遮挡、形变和旋转等.在本文中，考虑短时单目标无模型的跟踪[1]，在第一帧中用矩形框表示被跟踪的目标，跟踪过程中没有目标形状和类别等先验信息.

在过去的几十年里，已经提出许多跟踪方法，主要分为生成类和判别类方法[2，3].生成类方法是根据初始视频帧中的目标建立模型，然后在后续帧中寻找相似度最高的区域.判别类方法是根据初始视频帧中的目标和背景训练分类器，通过在后续帧中的搜索和判别实现目标和背景的区分.近年来，基于判别相关滤波的跟踪方法在标准的数据集中速度和精度方面均表现出良好的性能.

但是，对于RGB图像，具有相似纹理特征的图像块难以区分.在另一方面，深度传感器近来已经成功应用到许多计算机视觉应用中.可以根据深度传感器采集的深度信息提高RGB跟踪算法的性能.

Song等人[4]为RGBD跟踪提出第一个公开的数据集，普林斯顿跟踪数据集.作者提出将深度信息作为额外的维度加入到梯度方向直方图特征空间中和基于3D点云进行跟踪.对支持向量机进行训练，用来区分目标和背景.由目标的深度直方图进行遮挡检测，遮挡期间用光流法对遮挡物进行跟踪直到目标重新出现.它们的方法计算量较大，难以达到实时(0.26 FPS).Hannuna等人[5]提出一种在核相关滤波器框架中结合深度和颜色特征的跟踪算法，深度信息用来处理遮挡、尺度和形状变化，同样对遮挡区域进行了跟踪.Leng等人[6]提出一种基于核相关滤波的实时RGBD目标跟踪算法.利用深度信息的空间连续性和相机的成像原理进行尺度估计，通过将目标划分为区域并结合核相关滤波器在每个区域的最大响应来处理遮挡.An等人[7]提出检测学习分割(Detection-Learning-Segmentation)跟踪框架，RGBD跟踪任务被DLS分解为检测、学习和分割，同时构建目标2D外观模型和3D分布模型.大多数的跟踪方法在训练相关滤波器时将深度信息作为颜色通道，构建更加鲁棒的外观模型.

传统判别相关滤波由于对输入样本进行循环假设和所有像素对于滤波器学习同样可靠而遭受边界效应.可通过为相关滤波器提出有效的空间可靠性图来解决这个问题[8].

Kart等人[9]提出DM-DCF(Depth Masked Discriminative Correlation Filter)将2D的空间可靠性图运用到3D的跟踪中，在深度图中根据前景和背景的概率表示构建可靠性图.在本文中，引入深度图分割进行可靠性图计算、遮挡检测和尺度估计.首先，对通道检测响应值进行可靠性加权，得到目标的位置，根据目标区域的深度分布和相关滤波器无通道加权的最大响应检测遮挡，在遮挡期间不更新滤波器模型，减少模型漂移问题.其次，通过深度图分割获得比颜色分割更精确的可靠性图，计算约束滤波器避免传统相关滤波的边界效应.最后，根据相机模型计算连续的尺度因子，提高尺度估计准确性，同时降低计算量.在普林斯顿数据集中进行实验验证了本文算法的有效性.

2 基于判别相关滤波的目标跟踪

相关滤波将跟踪转化为岭回归问题，通过最小化通道相关输出与期望输出之差的平方和计算，在学习阶段获得多通道的相关滤波器.

(1)

(2)

检测阶段:

(3)

(4)

在学习阶段，判别相关滤波器训练样本通过循环移位获得，利用循环矩阵的性质在频域进行高效计算，但是也带来了边界效应的问题[11].

3 本文算法

CSR-DCF[8](Discriminative Correlation Filter with Channel and Spatial Reliability)利用2D先验和颜色分割获得空间可靠性图，减少边界效应.但是，当目标出现遮挡或前景和背景颜色相似时，CSR-DCF算法学习的相关滤波器会偏离目标而发生漂移.在另一方面，深度信息可以用于区分相似纹理的前景和背景以及检测遮挡.为了获得更准确的二值掩膜，对深度图进行分割得到可靠性图，利用可靠性图计算约束滤波器.同时，利用深度分布进行遮挡和尺度处理.本文算法的流程如图1所示，目标跟踪算法如表1所示.

图1 算法流程Fig.1 Algorithm pipeline

表1 目标跟踪算法Table 1 Object tracking algorithm

3.1 获得空间可靠性图

第一阶段用K均值聚类方法在深度图目标图像块的一维深度直方图上进行处理.深度直方图由图像块内的深度分布计算.在目标未被遮挡时，目标是最近的对象，K均值聚类算法收敛后，目标区域对应具有最小平均深度的簇，如图2所

示.第二阶段是在相同的深度平面区分物体，去除对应小区域的簇.

图2 深度图分割Fig.2 Depth image segmentation

目标的空间分布由对应目标区域深度值的均值μobj和σobj标准差表征.一旦新的目标位置被估计，用两步深度分割算法重新估计目标物体的深度，得到目标的深度分布信息.选择深度值在目标区域范围内的所有点作为目标二值掩膜的候选点，目标和背景分别为1和0.

3.2 计算约束滤波器

空间可靠性图用于减少循环位移假设带来的边界效应问题，由于通道间滤波器的学习相互独立，考虑单个通道.m∈[0,1]标识滤波器在学习中被忽略的像素，可以表示为h≡m⊙h，⊙表示元素点乘.引入变量hd，定义约束:

hd-m⊙h≡0

(5)

根据目标函数(2)，以及augmented Lagrangian方法构建Lagrange表达式:

(6)

ξ表示Lagrange乘数，hm=m⊙h，字母上—表示共轭矩阵，＾表示傅里叶变换，μ>0.Lagrange表达式可以通过ADMM(alternating direction method ofmultipliers)迭代求解，将目标转化为在每次迭代中依次求解两个子问题.

(7)

(8)

Lagrange乘数更新:

(9)

公式(7)中的最小化具有封闭解:

(10)

(11)

3.3 通道可靠性估计

假设特征通道是相互独立，响应是所有特征通道之和.DCF跟踪中加入通道可靠性权重wk，最终响应由加权后的特征通道和计算.

(12)

fk*hk表示特征通道响应，wk表示对应权重,wk由通道学习可靠权重和通道检测可靠权重计算.通道学习可靠权重在滤波器学习阶段由通道滤波器最大响应计算.

(13)

通道检测可靠权重在检测阶段由响应图中两个最大峰值比值计算.当相似物体出现在目标附近时，会出现多峰，在这种情况下将比率约束为0.5.

(14)

ρmax1,ρmax2表示响应图中两个最大的峰值.

3.4 尺度估计

3.5 遮挡检测处理

(15)

(16)

如果发生遮挡则不进行尺度和模型更新，在后续帧中继续搜索.当目标重新出现在跟踪框内时，遮挡消失，满足公式(17).

(17)

4 实 验

为了评价跟踪器的性能，在具有RGB和深度数据的普林斯顿数据集(Princeton RGBD Tracking Benchmark)中进行实验.普林斯顿数据集包含5个验证序列和95个测试序列，其中验证序列中包含标注好的信息.使用成功率图和精度图来评估跟踪器的总体表现[14].

中心位置误差是跟踪目标的中心位置与标注位置之间的平均欧氏距离.精度图显示了估计位置在标注位置给定阈值距离内的帧数所占的百分比.使用阈值等于20像素(P20)作为跟踪器的代表精度分数.为了测量帧序列的性能，我们计算重叠大于给定的阈值的成功帧数所占的百分比，并计算成功率曲线与坐标轴围成的面积(AUC)，表示成功分数.通过每秒处理帧的数量(FPS)来评价跟踪器的计算量.

实验在64位Win7操作系统，Matlab 2016a上进行，电脑配置参数为Intel(R)i7-4510U(2.60GHz)，内存配置4GB.正则化参数λ=0.01，滤波器更新率η=0.02，augmented Lagrangian优化参数β=3，μ0=5，与文献[8]设置相同.λ1=0.65，λ2=0.35，根据经验值进行设定，参数在实验中保持固定.

表2 本文方法与基准算法对比
Table 2 Comparision of our proposed method with the baseline

方法基准方法深度图掩膜深度图掩膜和尺度估计深度图掩膜和遮挡检测深度图掩膜、遮挡检测和尺度估计P2070.982.682.696.696.1AUC56.363.266.774.477.1FPS5.811.37.310.111.4

表2是深度图分割计算掩膜、尺度估计和遮挡检测对结果的影响.CSR-DCF为基准方法，尺度估计用DSST中的尺度滤波器.深度图分割计算掩膜比基准方法中RGB图颜色分割更准确，在精度上提升11.7%，AUC提升6.9%.深度图掩膜和尺度估计，AUC提升3.5%.深度图掩膜和遮挡检测，减少遮挡时更新模型导致的模型漂移，精度提升14.0%，AUC提升11.2%.深度图掩膜、遮挡检测和尺度估计组合与基准方法相比，总体的精度和AUC都有较大提升，精度提升25.2%,AUC提升20.8%.FPS是在普林斯顿数据集中较长的跟踪序列bear_front上进行估计的，其中遮挡占25%左右.在具有尺度估计没有遮挡检测的组合中，每一帧都更新滤波器模型，因此跟踪过程中速度下降较大.同时具有遮挡检测和尺度估计时，虽然尺度估计增加一些计算时间，但是遮挡检测在模型更新方面减少计算量.

表3 本文算法与其他算法的对比
Table 3 Comparision between our and other trackers

算法CSR-DCFKCFCNSAMFOURP2070.981.067.181.796.1AUC56.362.250.866.777.1FPS5.874.716.513.411.4

进一步验证算法的有效性，将提出的方法与其他算法CSR-DCF，KCF[11]，CN[15]，SAMF[16]进行对比.表3是不同跟踪算法在普林斯顿数据集中的结果.CSR-DCF算法使用Hog[17]和ColorNames[18]特征.SAMF算法(Scale Adaptive Kernel Correlation Filter Tracker)，特征采用矢量相加的原始像素、Hog和ColorNames，尺度池方法进行尺度估计.本文算法使用的特征与CSR-DCF特征相同，在精度方面，AUC和P20均高于其他算法.速度方面，利用深度信息计算尺度与基准算法相比，计算量更小，能基本达到实时处理.图3表示了成功率图和精度图，从成功率图和精度图可以看到本文方法高于其他算法.

图3 成功率图和精度图 Fig.3 Precision plot and success plot

图4 定性评估Fig.4 Qualitative evaluation

图4对本文所提的算法进行效果演示，bear_front(a)和new_ex_occ4(b)两个视频序列具有遮挡.在bear_front序列中，本文算法能够在目标面临短时间的遮挡后重新跟踪到目标，其他算法丢失跟踪目标.在new_ex_occ4序列中，在出现遮挡后，SAMF和OUR算法能继续跟踪目标.zcup_move_1(c)和child_no1(d)两个视频序列具有尺度变化.SAMF和CSR-DCF在面临较长时间跟踪和目标尺度快速变化时，跟踪精度有所降低.本文算法能够较精确的估计目标的位置和尺寸.

5 结 论

本文提出了一种在判别相关滤波框架中融合深度信息对目标进行深度图分割、遮挡检测和尺度估计的跟踪算法.对深度图进行分割构建空间可靠性图，利用可靠性图计算约束滤波器，避免传统判别相关滤波器的边界效应.提高判别相关滤波跟踪的鲁棒性.同时结合深度信息进行遮挡检测和尺度估计.利用深度图的距离信息估计目标的尺寸，减少计算量.根据目标区域的深度分布和无通道加权的滤波器最大响应检测遮挡.在遮挡期间，不更新滤波器模型.在训练阶段，根据通道响应值计算可靠权重.在定位阶段，对通道检测响应值进行可靠加权后得到目标的位置，提高跟踪精度.算法的自身对比实验表明，与基准算法相比速度和精度均有提升.与其他算法进行定性与定量的对比，本文提出的算法，在遮挡和尺度变化等挑战中能表现较好的跟踪效果.