卷积神经网络与核相关滤波相结合的跟踪算法

王明雪,杨海清,徐勇军

(浙江工业大学 信息工程学院,杭州 310023)

1 引 言

目标跟踪是计算机视觉中的一个重要的分支,被广泛的应用于交通、医疗、军事、领域.近几年,深度学习[1]得到了广泛的应用,卷积神经网络[2](Convolutional neural network,CNN)也开始应用于视觉跟踪算法中,与传统的手工特征提取方法相比较,其跟踪效果得到明显提升.传统的特征提取方法如最小二乘法[3]、尺度不变特征变换(Scale-invariant feature transform,SIFT)算法[4]等,难以提取目标的语义信息,对于目标的遮挡、形变等问题不能体现很好的鲁棒性.而深度网络可以从原始的图像数据中学习特征而无需手动调整,并在模式识别[5]等任务中体现出其优异性,同时,基于卷积神经网络的目标跟踪算法也有着惊人的竞争力:Ma Chao等人[6]提出利用卷积神经网络不同层包含图像不同语义特征的特性,提取多层网络层进行视觉跟踪;Wang Li-jun等人[7]对海量CNN特征进行离线预处理,提出一种全卷积神经网络的通用目标跟踪方法;Wang Nai-yan等人[8]提出使用堆叠去噪自动编码器从大量的辅助样本(100万张图像)中学习通用特征,从而进行视觉跟踪;同时,Li Han-xi等人[9]提出一种无需预先训练的CNN网络模型,并成功进行视觉跟踪.

大部分的神经网络都需要大量的辅助数据和长时间的离线训练,且学习到的通用表示可能不适用于特定的对象表示,例如,孙佳男利用卷积神经网络离线训练提取不同层次的特征并结合似物性采样来对目标进行跟踪[17],然而,Zhang Kai-hua等人[10]提出了一种利用两层简单CNN网络提取目标模型特征,并在粒子滤波框架上对目标进行跟踪的方法,这种方法可以在线的有效提取目标的特征,从而对目标进行跟踪,但还是存在目标丢失、漂移等问题.所以,本文提出一种在线的CNN训练模型,通过K均值聚类的方法提取目标特征,并与核相关滤波算法(KCF)[11]相结合的方法来对目标进行跟踪.核相关滤波算法主要是通过轮转矩阵采集样本,并通过快速傅里叶变换(FFT)对算法进行加速,通过核相关滤波算法进行计算,其计算的复杂度可以仅为O(n·log(n)).

本文算法的整体过程如图1所示:首先,用具有两层简单卷积层的神经网络在线的提取跟踪目标的特征,然后在核相关滤波框架上对目标进行跟踪.同时,通过在目标跟踪基准(Object Tracking Benchmark,OTB100)[12]对多个视频序列进行实验测试,实验结果充分证明了本文算法的优越性.

2 基于卷积神经网络的特征提取

一般传统的卷积神经网络通过离线训练来得到一个通用的模型或通用的卷积核,但在目标跟踪上由于目标的多样性和不确定性,这种方法并不可取.于是本文采用了在线卷积神经网络提取图像特征,其中,通过K均值聚类算法来提取网络的卷积核,如图2所示.本文所使用的特征提取器是一个完全前馈的卷积神经网络,通过一层卷积层和一层池化层来提取目标特征.同时在提取卷积核时,充分利用了含有目标上下文信息的特征,以便使得到信息具有较强的鲁棒性,能够保证在跟踪机制框架中进行有效的跟踪.

图1 算法流程Fig.1 Algorithm pipeline

图2 特征提取Fig.2 Feature extraction

在提取目标特征时,首先对输入图像进行预处理,将输入图像进行标准化处理,即将目标模型转换为大小为32*32像素的标准灰度图的子窗口.然后,通过6*6像素大小的感受野对子窗口进行步长为1的滑动取样,从而得到(32-6+1)*(32-6+1)个大小为6*6的图像块.随后,对27*27个图像块用K均值聚类算法进行适量的迭代,从而得到50个卷积核,记为Pi,i=1,2,…,50,尽管目标的变化很大,但大部分的特征是相似的,在文献[10]中,表明此方法可以在整幅图像上有效提取有用的信息.

(1)

(2)

3 基于核相关滤波的目标跟踪

核相关滤波器(KCF)可以看作是一种鉴别式的跟踪方法,通过训练一个目标检测器,来判断下一帧的预测位置是否为目标,然后通过更新训练集合来更新目标检测器.本部分的相关滤波采用的是高斯核和卷积神经网络提取的目标特征,通过最大相关响应来判断目标的位置.

(3)

其中,ζi=Xiω-yi,ω表示权重系数,λ为正则化参数,且λ≥0.在线性条件下,利用循环矩阵,可以得到关于ω的解为:

(4)

其中,F(·)表示离散傅里叶变换,*表示复共轭,⊙表示元素的点乘.在跟踪过程中,目标的位置通过相关响应来计算,其相关响应可以表示为:

(5)

然后得到其最大相关响应表示目标出现的位置,表示为:

(6)

(7)

其中,ρ为学习参数.

4 实验结果与分析

在本部分,通过在目标跟踪基准(Object Tracking Benchmark,OTB100)中的多个视频进行本算法的性能评估,在OTB跟踪基准中的每个测试序列均被标记了11个不同的属性,这些属性在跟踪测试中具有不同方面的挑战性,分别为低分辨率,遮挡,尺度变化,光照变化,运动模糊,变形,遮挡,平面旋转,平面内旋转,背景混乱和突然运动,实验中针对其中的部分方面做出了性能测试.同时,在OTB跟踪基准中,测试的结果只显示算法中的前10名,测试的算法除了本文所提出的算法外,还增加了KCF[11],ECO[13],SiamFC[14],FCNT[15]以及SCM[16]等近几年提出的优秀的算法.在本部分,主要从一次性通过评估(one-pass evaluation,OPE)方面对本文算法进行测评.

首先对算法进行准确率和成功率的绘图,本文算法在曲线图中的名称为OUR,程序中的rankingType参数设置为threshold,如图3所示,本文所提出的算法在成功率和准确率与其他算法相比较都得到了优异的结果,在图3(a)中,本文所提出的算法达到了0.751,随后分别为ECO算法和SiamFC算法都为0.684,同时,在图3(a)中可以明显看到本文算法在高于KCF算法.在图3(b)中本文所提算法也领先于其他算法,达到了0.834的效果,略高于0.786的CNN-SVM算法,同时也比KCF算法提高了30%,显而易见,在OPE的成功率和准确率上可以证明本文算法的优越性.然而,在表1中可以看出本文在跟踪效果上得到了提高,但由于需要在线训练卷积核从而提取目标特征,故跟踪的速度低于其他算法.

表1 本文算法与其他算法的性能对比图
Table 1 Comparisons between OUR and other trackers

图3 跟踪测试基准的成功图和精确图Fig.3 Success and precision plots according to the online tracking benchmark

此外,如图4所示中对本文所提算法进行效果演示,通过girl(a),suv(b),boy(c)以及Jogging2(d)四个视频序列为例进行测试,可以看到在面临图4(a)中女孩进行旋转、遮挡等动作,图4(b)中背景模糊、大范围遮挡,图4(c)中男孩进行跳跃、镜头晃动以及图4(d)中短时间内的遮挡快速运动等挑战后,本文所提算法依然能够准确的跟踪到目标,从而进一步说明了本文算法的稳定性.最后,在图5中以光照变化、尺度变化、快速运动和平面旋转为例对其精度图(图5(a))和成功图(图5(b))做出了展示,从图中可以明显看出本文算法的优越性:在精度图中可以看到本文算法针对光照变化、尺度变化、快速运动以及平面旋转分别达到了0.739、0.755、0.634和0.779,均优异于其他的算法,在成功图中本文所提算法也领先于其他算法,分别达到了0.597、0.682、0.581和0.671.同时,从图中可以看出本文算法的成功率远远高于KCF算法,从而证明了本文所提算法的优越性.

图4 定性评估Fig.4 Qualitative evaluation

图5 跟踪测试基准的成功图和精确图Fig.5 Success and precision plots according to the online tracking benchmark

5 结 论

在本文中,提出了一种完全前馈的卷积神经网络作为特征提取器,它具有卷积层和池化层两层神经网络层,对目标特征和背景信息进行简单的卷积处理,然后采用K均值聚类算法可以成功有效的提取目标上下文的特征,提取的特征具有很强鲁棒性,并以此作为多通道特征在相关滤波框架中进行视频中的目标跟踪,大大简化了跟踪算法中的计算复杂度,并通过实验对算法进行检测验证,试验表明,本文提出的算法具有鲁棒性,并且在背景模糊、遮挡、快速运动等挑战中,也能对目标进行良好的跟踪.如何进一步加强跟踪的速度和多目标跟踪是后续的研究问题,可以通过改进卷积神经网络以及在GPU上运算的方法对算法进行改进从而提高算法的性能.