基于ELM和核相关滤波器的自适应目标跟踪算法*

2019-06-25潘迪夫李耀通

传感器与微系统 2019年7期

潘迪夫，李耀通，韩锟

(中南大学交通运输工程学院，湖南长沙 410075)

0 引言

视觉跟踪在许多计算机视觉应用领域中都扮演着重要的角色[1～3]，例如视频监控、人机交互、机器人技术和增强现实等。目前，基于相关滤波(correlation filtering,CF)的跟踪算法因其高精度、高鲁棒性、速度快的特点[4]，引起了相关学者们的广泛关注和研究。针对目标表征建模的相关滤波跟踪算法主要分为两类：单模型和多模型，单模型是指采用单特征来训练分类器的相关滤波跟踪算法，主要包括核循环结构检测[4](circulant structure of tracking-by-detection with kernels,CSK)跟踪器、颜色名[5](color name,CN)跟踪器、核相关滤波器[6](kernelized correlation filter,KCF)、判别性尺度空间跟踪器[7](discriminative scale space tracker,DSST)；多模型是指采用多特征来训练分类器的相关滤波跟踪算法，主要包括尺度自适应与多特征融合跟踪器[8](scale-adaptive and multi feature integration tracker,SAMF)、模板与像素学习器叠加的跟踪器[9](sum of template and pixel-wise learners,STAPLe)、特征融合和模型自适应更新相关滤波跟踪[10](feature fusing and model adaptive updating tracking,FAUT)算法、快速多特征金字塔的尺度目标跟踪[11](fast multi-feature pyramids for scale-adaptive object tracking,MFPSA)方法、自适应特征融合的核相关滤波跟踪[12](kernelized correlation filtering tracking based on adaptive feature fusion,FAKCF)算法。

尽管上述的跟踪算法已取得较好的跟踪效果，但现实环境中依然存在很多需要被解决的挑战性问题，主要包括目标遮挡、快速运动和尺度变化等情况导致的目标跟踪失败，尤其是在目标快速运动情况下，传统的相关滤波算法都是以上一帧的目标位置来确定当前帧的目标搜索区域，但是当目标的运动速度过快而超出了搜索区域，就会导致跟踪失败。

基于上述分析，本文提出基于极限学习机(extreme learning machine,ELM)和KCF的自适应目标跟踪方法，本文所提方法具有更好的跟踪性能，能够有效处理目标跟踪过程中目标遮挡、快速运动和尺度变化等问题，且具有较快的跟踪速率。

1 ELM位置坐标预测

在传统的KCF跟踪算法中，第t帧图像的目标搜索区域是以第t-1帧图像的目标位置来确定的，对于缓慢运动的目标来说，前后两帧的目标位置变化不大，按照上述方法依然能够正确跟踪目标。当目标是快速运动时，若仍然按上述方法来确定目标搜索范围，那么目标可能已经不在搜索范围内，此时就会发生跟踪失败。为此需要对运动目标的位置进行预测，预测的位置只要在目标真实位置的附近即可，这样就可以根据预测的位置确定目标搜索范围，从而正确定位目标。基于历史的目标位置信息，本文采用了一种学习速度快、泛化性能好的ELM[14]方法来预测目标位置。

假设有N个任意样本(xj,tj)，j=1,2,…，N，其中xj=[xj1,xj2,…,xjn]T∈Rn，tj=[tj1,tj2,…,tjm]T∈Rm，那么对于一个有L个隐层节点的单隐含层神经网络可以表示为

(1)

(2)

式(6)即为ELM模型，用矩阵表示为

H·β=T

(3)

式中H为隐含层节点的输出，β为输出权重，T为期望输出，三者的表达式如下

H(w1,…,wL,b1,…,bL,x1,…,xN)=

在ELM算法中，输入权重wi和隐含层的偏置bi由系统随机确定，当前两者确定后，则隐含层的输出矩阵H就被唯一确定。由Moore-Penrose广义逆定理可求得H+，则输出权重

β=H+·T

(4)

2 ELM与KCF相结合的目标跟踪方法

2.1 基于ELM的目标位置预测

2.2 基于KCF的目标位置和尺度确定

2.3 模型自适应更新

在目标跟踪过程中，由于跟踪环境的多样性和复杂性，常常会遇到一些挑战性问题，如光照剧烈变化、背景复杂和目标遮挡等，特别是在发生目标遮挡时，若此时还是继续以式(4)固定的更新速率对滤波器的参数和目标模板进行更新，则会将错误的目标表征信息引入到目标模板中，同时滤波器参数会出现偏差，最终导致后续的跟踪失败。因此必须制定一个更新策略，让跟踪算法能够判断当前环境而进行模型自适应更新。经过实验分析可知，滤波器输出的响应图分布能够有效反映目标当前的环境状态，如发生遮挡等，见图1。

图1 不同环境下滤波器输出响应图的分布情况

图1(a)显示在初始背景下滤波器输出的响应图是单峰的，且峰值很大，分布情况与理想高斯函数输出响应接近；图1(b)显示在复杂背景下滤波器输出的响应图虽然还是单峰的，但是峰值已经明显减小；图1(c)显示当目标发生部分遮挡时，滤波器输出的响应图是多峰的，且峰值已经降到很低，但依然能够成功定位目标；图1(d)显示当目标发生完全遮挡时，滤波器输出的响应图是多峰的，峰值很低，此时最大峰值位置可能并不是目标位置，即出现伪峰值，导致后续的跟踪失败。

由图1分析可知，在目标跟踪过程中，可以根据滤波器输出响应图的分布情况来判断目标是否发生遮挡等情况。为了将响应图的分布情况转化为一个量化指标，本文参考文献[16]，引入平均峰值相关(average peak-to correlation,APCE)能量对响应图的分布情况进行统计，APCE反映了响应图的振荡程度和目标检测的置信水平，计算方法如下

(5)

式中Fi,Fmax和Fmin分别为响应图的响应值、最大响应值和最小响应值，为了更好衡量APCE的变化，定义

(6)

那么式(4)中模型更新速率η变为η′，η′由下式确定

(7)

3 实验结果与分析

本文的仿真实验均在CPU为Intel Corei5—6400、主频为2.70 GHz、8 GB内存的计算机环境下通过MATLAB 2016a软件平台进行实现。算法的参数设置具体如下：目标特征提取区域的大小设置为目标区域的1.5倍，7个尺度因子分别为0.985,0.990,0.995,1.000,1.005,1.010和1.015，更新速率η=0.02，参数β=0.3，正则λ=10-4，在实验过程中所有的参数固定不变。

从OTB2013[17]测试数据集中选取 36个视频序列，其中包括快速运动的16组视频和目标遮挡的30组视频，并与KCF、CN、SAMF、DSST、Staple算法相比。将根据实验结果从定性和定量两方面分析6种算法的跟踪性能。

3.1 定性分析

图2展示的是实验中6种跟踪算法的部分跟踪结果。

1)快速运动：以“Couple”和“Jumping”为例。由图2(a)和图2(b)可知，当目标是快速运动时，其它算法很快就丢失跟踪目标，仅本文算法能够一直成功跟踪目标。

2)目标遮挡：以“Jogging1”和“Lemming”为例。在视频序列中，当运动目标发生完全遮挡时，只有本文算法和samf算法能够继续跟踪目标，其余算法均发生了跟踪漂移。

3)尺度变化：以“Girl”和“Walking 2”为例。在Girl和Walking 2序列中，大部分算法都能较好地跟踪目标，但本文跟踪算法更加准确地实现目标尺度的自适应变化。

图2 6种跟踪算法部分跟踪结果显示

3.2 定量分析

本文将采用以下几个评价指标[17]对跟踪算法进行定量分析。1)中心位置误差(center location error,CLE)：跟踪算法检测的目标中心位置与标定的目标中心位置之间的平均欧氏距离；2)距离精度(distance precision,DP)：视频中CLE小于某一设定距离阈值的帧数与总帧数的百分比；3)重叠精度(overlap precision,OP)：跟踪算法预测的目标框与标定的目标框之间的重叠面积与总面积的比值超过某一设定重叠阈值的视频帧数与总帧数的百分比；4)精度曲线：横轴为给定的距离阈值，纵轴为对应的DP，通常取阈值为20个像素时精度曲线值(P20)为典型值；5)成功率曲线：横轴为给定的重叠阈值，纵轴为对应的OP，将曲线下方的面积(area under curve,AUC)作为该曲线的典型值。

本文共设置了2组实验，第一组是6种算法的单个视频跟踪性能的定量分析；第二组是6种算法的综合性能的定量分析。

3.2.1 单个视频跟踪性能的定量分析

针对上述的6组视频序列，采用CLE、DP和OP 3个评价指标对6种算法的跟踪性能进行对比分析。表1为6种跟踪算法在每组视频中的平均CLE、DP(距离阈值为20像素)和OP(重叠阈值为0.5)结果。取每个评价指标的平均值作为算法跟踪性能的判断依据，表中双下划线加粗数据表示最优结果，下划线加粗数据为次优结果。在这3个评价指标中，本文算法均取得最优结果，表明本文算法能够很好地适应不同的跟踪环境，具有较好的跟踪性能。