结合学习速率调整的尺度自适应核相关滤波跟踪算法*

2019-11-18吴涤,彭力

传感器与微系统 2019年11期

吴涤, 彭力

(1.江南大学物联网工程学院,江苏无锡 214122;2.江苏省物联网应用技术重点实验室无锡太湖学院,江苏无锡 214122)

0 引言

目标跟踪技术是计算机视觉重要的组成部分,已经广泛的应用于人机交互[1,2]、智能交通[3]、无人驾驶等领域。但目标尺度变化、遮挡和光照变化等复杂环境导致目标跟踪失败。为此基于相关滤波[9～13]的方法由于具有较好的跟踪性能和计算效率而备受关注。

RUI C等人[9]提出了基于循环结构(circulant structure with kernels,CSK)的核相关滤波跟踪算法,并取得了较好的效果。Danelljan M等人[10]设计了以CSK为基础的融入颜色属性特征(color name,CN)的跟踪算法,提升了目标跟踪的准确率。Henriques J F等人[11]设计了核相关滤波(kernelized correlation filtering,KCF)跟踪算法,扩展了特征通道,提升了跟踪性能。但上述算法[9～11]采用的是固定尺度的训练样本,当目标的尺度发生变化时,容易产生跟踪漂移。为解决目标尺度变化所带来的问题,Danelljan M等人[12]和Li Y等人[13]分别提出了均以KCF为基础的融合尺度金字塔的强判别性尺度空间跟踪(discriminative scale space tracking,DSST)算法和尺度自适应与多特征融合跟踪(scale-adaptive and multi feature integration tracking,SAMF)算法,但采用的都是穷举尺度的估计方法,计算复杂度较高,跟踪速度受限。同时,由于现有的大多数相关滤波跟踪算法[9～13]均采用固定的学习速率,在目标遮挡后会导致误差积累,从而引起较大的跟踪偏差甚至跟踪失败。

本文在KCF模型的基础上,提出了一种结合学习速率调整的尺度自适应相关滤波跟踪算法。

1 KCF目标跟踪算法

在KCF跟踪算法中,以当前帧检测到的目标中心点为中心,选取中心点周围大小为M×N的矩形区域图像块x来训练线性分类器f(x)=〈ω,φ(x)〉。和传统的移动窗口[4～8]获取样本方法不同,KCF跟踪算法通过循环移位的方式对x进行密集采样,并将所有采样获得的图像块xi(i)∈{0,…,M-1)}×{0,…,N-1}作为分类器的训练样本,通过对训练样本提取特征得到对应的标签数据yi,同时采用高斯函数来描述yi。首先,建立最小化目标函数模型

(1)

(2)

利用循环矩阵的性质,以及离散傅里叶变换,得到分类器权重ω的系数α最优解[14]

(3)

式中F为离散傅里叶变换,kxx=κ(x,x)为核函数。KCF采用高斯核函数进行计算,有

(4)

在新的一帧中,通过获取候选图像块z来检测目标的位置,分类器的输出响应为[14]

(5)

(6)

2 学习速率调整的尺度自适应KCF跟踪算法

2.1 低复杂度的尺度估计方法

通过将第i个尺度上目标的最大核相关输出响应ri与其对应的权重δi相乘来估计目标的真实尺度

近年来，我国原油剩余可采储量的变化可分为两个阶段：2006～2014年从200069万吨上升到251988万吨，年增率为2.9%。其后缓慢下降，到2017年为246587万吨，年增率为-0.7%。这使2017年大致与2012年相当。笔者着重指出，2014年国际油价仍达98美元/桶，油价下半年开始下跌也未能直接导致该年国内勘探开发投资及相关政策变化。剩余可采储量拐点的出现主要原因应为新增可采储量走低而产量却还处于升势致使储量补充系数小于1。

Ri=ri×δi,i={1,2,3,4,5}

(7)

式中Ri为第i个尺度的最终响应。具有最大Ri的尺度将被确定为当前帧中的真实尺度。

首先假设初始目标大小为s0=(w,h),在尺度变化的过程中,目标可能会变大、变小或保持不变。为了减少由大量的尺度估计引起的计算复杂度,这里共选取5个尺度,在放大方向上选择2个尺度,在缩小方向上选择2个尺度,以及在原始目标尺度中选择一个尺度s={s-2,s-1,s0,s1,s2},其中,s-2

对于s中每个尺度,通过密集采样获得大量候选样本。为便于计算,将这些候选样本通过双线性插值的方法变换到同初始目标同样的大小；然后通过从候选样本中提取HOG特征[15]来获得目标的表观模型；最后将这些表观模型通过核相关滤波器以获得输出响应,从而可以得到第i个尺度的最大输出响应Ri。

2.2 在线学习速率调整算法

相关滤波跟踪算法的目标表观模型和分类器通过式(6)进行更新,其中在线学习速率η通常取固定的经验值,无法实时反映视频中场景的变化。

在线学习速率η表示对于目标外观变化的学习能力,η值越小,说明学习速率越慢,对于由周围环境变化引起的目标表观模型变化较小的场景跟踪效果较好；否则,相反。

本文提出采用相邻2帧图像的平均差来分段调整在线学习速率η的方法,具体步骤如下：

1)相邻2帧图像平均差的计算:对M×N的图像W,像素值用Wij来表示,第f帧与前一帧的平均差为

(8)

2)在线学习速率的调整:当eemax时,表示相邻2帧图像的平均差大于设定的阈值上限,此时目标表观模型变化较大,在线学习速率应该设置较大的数值。通过实验测试,本文中emin和emax的取值分别为emin=2.5,emax=8。采用分段策略来调整在线学习速率

(9)

2.3 结合学习速率调整的尺度估计方法

初始化：根据第一帧视频选取要跟踪目标,确定相关参数。

输出：当前帧中目标的位置Pf和尺度sf。

3 实验结果与分析

选取6组具有代表性的视频序列(Car4,Basketball,Girl,Jogging,Lemming,Subway)进行测试,这些视频涵盖了尺度变化、遮挡、形变、背景干扰、快速移动、光照变化和旋转[16]等干扰因素。同时,将本文算法与CSK[9]、CN[10]、KCF[11]、SAMF[12]、DSST[13]等5种经典跟踪算法进行对比。

3.1 实验环境与评价指标

本文实验均在MATLAB R2013b,Windows 10系统,Intel Core i7—4790 CPU,主频4 GHz,4 GB内存配置的电脑上完成。选取的每个测试视频,只能确定初始帧中目标的位置和大小,其他信息未知。对于本文算法,正则化参数λ=10-4,在位置检测中,搜索窗口的大小是ws=2.5ts,ts为目标大小；在尺度估计中,s={0.92s0,0.96s0,s0,1.04s0,1.08s0},σ={0.92,0.96,1,0.96,0.92}。其他算法均采用相应作者所提供的参数。本文采用了3个性能评价指标：中心位置误差(center location error,CLE),距离精度[17](distance precision,DP)和重叠精度(overlap precision,OP)。其中,CLE表示检测到的目标中心位置与目标真实中心位置之间的平均欧氏距离；DP为CLE小于某一阈值(实验中均取20 pixel)的帧数与视频总帧数的比值[17]；OP为跟踪框的重叠度超过一个阈值(实验中均取0.5)的帧数与视频总帧数的比值。测试结果如表1,对最优算法结果加粗。

表1 不同算法的测试结果

3.2 算法性能对比实验

从表1可以看出,本文算法在6组视频上得到的平均CLE为7.7像素,平均DP为94.0 %,平均OP为82.7 %。其他5种算法中SAMF表现最优,本文算法与SAMF相比,平均CLE降低了22.3像素,平均DP增加了14.9 %,平均OP增加了15.1 %。便于直观比较,画出DP曲线如图1。

图1 6种算法在3个视频中的DP曲线

从表2可以看出,本文算法同采用尺度金字塔的DSST和SAMF跟踪算法相比,跟踪速度有了较大的提升。

图2(a)Car4视频中存在光照变化、目标尺度变化和背景干扰等问题,在第238帧中当光照和目标尺度发生变化时,其他5种算法均出现了一定的跟踪偏差,只有本文算法对整个视频列都能进行较好的跟踪。图2(b)Basketball视频中存在目标尺度变化、形变和快速移动等干扰因素,在第54帧中目标发生形变时,和第73帧中目标发生快速移动时,其他几种算法出现了较大的跟踪偏差甚至跟踪失败,只有本文算法能够准确地跟踪整个视频序列。图2(c)Girl视频中存在目标尺度变化、旋转、姿态变化以及部分遮挡等干扰因素,在第437帧中当目标发生部分遮挡时,其他几种算法均出现了跟踪失败的情况,只有本文算法对整个视频列都能进行较好的跟踪。

表2 6种跟踪算法的速度对比

图2 6种算法跟踪结果比较

3.3 目标发生严重遮挡时的跟踪实验

图3所示为3组视频的DP曲线。可以看出,与另外5种算法相比,本文算法在目标发生严重遮挡的情况下能够获得更高精度和更稳定的跟踪结果。

图3 3组严重遮挡视频的DP曲线

图4所示为3组视频从遮挡开始到遮挡结束时的跟踪结果。可以看出,在Jogging视频和Lemming视频中当目标遇到严重遮挡时,只有本文算法依然能够有效地跟踪目标,而其他5种算法均出现了跟踪失败的情况；在Subway视频中第41帧目标发生了严重遮挡,到第51帧遮挡结束时,本文算法和KCF,SAMF算法依然可以准确地跟踪目标,其他3种算法都出现了目标跟踪失败的情况,本文算法的CLE,DP,OP均优于KCF和SAMF。