基于字典学习改进的时空上下文算法

张 尧,才 华,2,曹 露,王冰雪,陈广秋

(1.长春理工大学 电子信息工程学院,长春 130022；2.长春中国光学科学技术馆,长春 130117)

目标跟踪技术在公共安全、智能交通等领域应用广泛[1].在实际应用中,通常由于光照明暗变化、外部遮挡等因素的干扰,影响视频跟踪的鲁棒性.利用目标周围的上下文环境进行辅助跟踪定位,不仅可使用前后相关帧的时间上下文,还可利用目标自身及周围的背景条件作为空间上下文达到鲁棒跟踪的目的.Zhang等[2]提出了一种效果优良的时空上下文(spatio-temporal context,STC)算法,充分考虑了目标附近稠密的上下文环境,其性能超过了大部分当前主流算法.此外,加权时空上下文算法[3]和基于稀疏表示的时空上下文算法[4],也极大提高了时空上下文的跟踪效果.

字典学习包括稀疏编码和字典更新两个阶段,先更新迭代稀疏系数矩阵,然后在迭代字典矩阵和稀疏系数矩阵时更新字典,以得到符合优化目的的字典,对数量巨大的数据集进行降维,从中得到最能表现样本的特征,达到运算量最小的目的.目前较成熟的字典学习算法有正交匹配追踪(orthogonal matching pursuit,OMP)算法[5]、最优方向法(method of directions,MOD)算法[6]等.利用构建图像特征集合字典对目标特征信息进行分析对比,可解决目标长期静止时的跟踪问题,并利用实时更新目标模板,最大限度保证模板实时表征目标的各种特性[7].潘晴等[8]提出了在跟踪过程中构建字典,其中背景字典由每帧图像重新构造,并通过特征选择避免在更新过程中引入干扰,该算法可有效解决视角变化、光照变化带来的跟踪失败问题.时空上下文算法可挖掘连续帧间目标周围局部场景中的时空关系信息,将其与字典学习相结合,可将时空信息融合到字典构建与模板更新中,能有效对抗强遮挡导致的跟踪失败问题.

1 时空上下文算法

在目标跟踪过程中,目标和所在场景在相邻帧内有较强的时空对应关系,这种关系可被应用在精准定位目标上.时空上下文算法利用Bayes框架计算置信图,其中最大似然概率的位置即为目标中心[9].目标规模通常会随着时间而改变.因此,权函数ωσ中的规模参数σ应相应更新.权重函数的尺度参数更新公式为

(1)

图1 STC算法流程Fig.1 Flow chart of STC algorithm

图2 前景字典的构造Fig.2 Construction of foreground dictionary

2 改进算法

2.1 构造前景字典

2.2 构造上下文字典

在目标跟踪过程中,目标很少与全部场景分割开,因为总存在一些与目标运动有短时间或长时间关联的部分.本文将该部分称为空间背景上下文[10],目标与上下文的相关性可以被利用.

图3为跟踪目标区域卷积时空上下文模型得到的置信图.由图3可见,目标存在严重障碍,导致目标的外观发生很大变化.黄色跟踪框中为跟踪的目标,被严重遮挡,但红色框中的上下文区域却仅有小部分被阻挡.图中黄色点表示目标中心,周围红色点表示上下文区域中的特征点,因为黄色点与红色点的空间关系并未发生变化,连续两帧整体的上下文区域还存在较高的相似度,因此目标局部上下文未出现较大变化,此帧的局部上下文也可较好地估计下一帧的目标位置.

图3 上下文信息与目标时空关系分析Fig.3 Analysis of context information and target spatio-temporal relation

图4 上下文字典的构造Fig.4 Construction of context dictionary

2.3 基于稀疏表示的特征选择

先进行尺度上的归一化,再观察跟踪结果,从而有效地克服尺寸变化.本文使用一个d维的归一化尺度模板T∈d×1,描述目标的外观,其中d为模板的特征维数[11].在除首帧外的每一帧中,通过跟踪器定位目标状态后,先要归一化目标到模板尺度,再按照m×n的大小采样子块pi∈l×1,i=1,2,…,N,利用

(2)

(3)

(4)

(5)

按概率权重的大小对子块进行排序,从中选取权重最高的前k个子块更新前景字典,为保证字典的规模不变,将特征信息量少的k个子块进行剔除.同时,选择以前维度中具有最高概率权重的特征更新到模板[14].这种更新方法可有效保持目标外观,避免增加干扰导致跟踪失败.

2.4 基于稀疏表示的时空上下文算法

径向函数hsc(x-z)编码了目标与其空间上下文间的空间关系,ηi表示子块特征的概率权重,将目标与其空间上下文的联系进行权重分配,有效区分了各空间上下文的重要性,所以本文将条件概率公式P(x|c(z),o)改写为

P(x|c(z),o)=ηihsc(x-z).

(6)

置信图通过空间上下文模型和先验概率模型进行图求解,可得

其中:I(z)表示点的灰度；ωσ(z-x*)表示一个加权函数,z距离x*越近,权值越大；b为归一化参数；α为尺度参数；β为一个形状参数.进行快速Fourier变换(FFT),得

(8)

利用FFT学习改进的空间上下文模型为

(9)

(10)

计算第(t+1)帧置信图：

(11)

置信图函数值最大的一点即为目标位置：

(12)

利用补充特征权重的方法,使STC算法能在受强遮挡干扰的情况下,保持稳定、准确的跟踪效果.

2.5 算法描述

步骤1) 输入视频,利用Python视频分帧,将视频的每一帧提取并保存,从而得到视频帧序列；

步骤2) 初始化,在首帧手动圈出目标,对目标进行均匀采样一系列子块,构造前景字典Φtar,在空间上下文区域随机采样一系列局部子块构造上下文字典Φtar；

步骤3) 应用稀疏表示,计算模板中每一维特征的概率权重；

步骤4) 利用计算出的概率权重,重新排序特征,选取排名前k的特征及其对应子块,用于更新前景字典Φtar和模板T；

步骤6) 重复步骤3)～5),实现对视频中运动目标的跟踪.

改进算法跟踪过程结构流程如图5所示.

图5 改进算法跟踪流程Fig.5 Tracking flow chart of improved algorithm

3 实 验

本文实验平台为MATLAB R2016a,PC机配置为Inter(R) Core(TM) i3-2120 CPU@ 3.30 GHz.实验中部分测试视频数据集来自于VOT2018数据集.针对遮挡程度的差异,选择Shelter1,Faceocc,Jogging这3个数据集进行实验,并采用经典跟踪算法DSST(discriminative scale space tracking)算法[15]和KCF(kernelized correlation filters)算法[16]进行对比实验,实验结果如图6所示.

图6 测试序列跟踪结果Fig.6 Tracking results of test sequence

通过计算实际目标位置与跟踪到目标位置之间的欧氏距离定义中心误差,计算公式为

(13)

其中:xi和yi分别表示跟踪算法得到目标中心的横纵坐标;xg和yg分别表示实际中心的横纵坐标.Shelter1和Faceocc两个数据集中遮挡程度逐渐严重.图7为4种算法在Shelter1(A)和Faceocc(B)数据集中进行跟踪实验的中心位置误差变化曲线.

利用实际框与跟踪到的目标框之间的重叠度判断跟踪成功率,重叠度计算公式为

(14)

改进算法在目标准确度上明显优于原算法,在Jogging数据集测试中,原算法从58帧开始丢失目标,中心误差骤增,而改进算法仍能稳健跟踪.表1为各算法在数据集中的中心误差平均值及成功率对比结果.

图7 4种算法在Shelter1(A)和Faceocc(B)数据集中进行跟踪实验的中心位置误差变化曲线Fig.7 Error curves of center position of tracking experiment of four algorithms in data sets of Shelter1 (A) and Faceocc (B)

数据集总帧数中心误差平均值/像素原算法改进算法文献[15]算法文献[16]算法Shelter13269.724.877.348.25Faceocc411125.516.717.117.85Jogging307120.77.89150.15140.2数据集总帧数各算法成功率/%原算法改进算法文献[15]算法文献[16]算法Shelter132694.898.296.795.6Faceocc41116.5494.894.593.1Jogging30719.594.527.223.1

由表1可见,在存在不同遮挡情况的3组数据集中,改进后的时空上下文算法都能保持良好的成功率,平均中心位置误差在3个序列中表现最佳.在出现强遮挡的Jogging数据集中,原算法与文献[15]算法和文献[16]算法均出现了不同程度的跟踪漂移现象,而本文改进算法成功率为94.5%,能有效对抗强遮挡导致的跟踪失败问题.

综上所述,本文提出了一种基于字典学习改进的时空上下文算法,构建了前景字典和上下文字典.利用稀疏解的特性,判断哪些特征受遮挡或干扰,将子块特征的概率权重参与到构建条件概率中.通过3组对比实验定性、定量分析了实验结果.实验结果表明,改进算法能较好地克服强遮挡导致的跟踪失败问题,具有较强的鲁棒性.