基于多策略融合的快速核相关滤波目标跟踪算法*

张 晗 康国华 张 琪 邱钰桓 张 雷

1.南京航空航天大学航天学院，南京 210016 2.西安卫星测控中心，西安 710043

0 引言

在实际应用场景[1-5]的目标跟踪任务[6-7]中，复杂的应用环境、背景相似干扰、遮挡[8]等外界因素以及目标姿态变化和运动模糊等都对目标的精准与实时跟踪造成不同程度的影响。在很长一段时间内，相关滤波(Correlation Filters，CF)被用来检测场景中特定的模式，它具有对于图像中感兴趣的特定模式响应很大，而对其他背景模式响应很小的特性[9]。使用该特性进行目标定位时需要大量的训练样本，很难应用到在线目标跟踪。对此，Bolme等[10]于2010年提出最小输出均方误差(Minimum Output Sum of Squared Error, MOSSE)滤波算法，使跟踪器对目标外观有较强的适应性。MOSSE算法使用了一种自适应的训练策略，满足在线目标跟踪的实时性要求。此后，基于MOSSE基本框架的许多改进算法相继提出。文献[11]提出一种核化循环结构(CSK)跟踪算法，该算法引入核函数并使用灰度特征，使得目标跟踪速度有很大的提升。在CSK的基础上，文献[12]首次提出核相关滤波器(Kernelized Correlation Filter，KCF) 跟踪算法，此算法在MOSSE中将单通道灰度特征扩展到具有31维方向梯度的HOG特征，具有较强的鲁棒性，但此算法需要事先对初始跟踪窗口进行人为标定，同时当目标发生形变旋转时跟踪效果会有所下降。

近年来，国内外学者针对运动目标如何精确、有效并且快速响应的跟踪，对KCF算法进行了不同的改进。文献[13]通过卷积神经网络提取待跟踪目标的各卷积层深度特征替代传统HOG特征，获得特征图，确定目标在视频中的位置，提高了算法在复杂干扰背景下的鲁棒性；王媛媛等[14]提出对KCF响应峰值进行判断，结合均值偏移算法对目标的尺度与位置进行修正，增强了目标尺度自适应能力，提升了跟踪的精度；文献[15]通过结合PCA主成分分析算法与KCF算法，由PCA完成特征匹配，KCF执行跟踪，实验表明其在室外无人机跟踪系统下稳定可靠，满足跟踪要求。刘芳等[16]提出对自适应深度网络提取的特征分为HSI三通道进行主成分分析学习，将学习后的深度特征输入KCF算法进行目标跟踪，有效解决了目标遮挡问题。

综上所述，传统跟踪算法存在需人工标定初始化参数、跟踪窗口尺寸恒定造成的跟踪精度下降和分类器训练量过大等问题，无法满足空间任务对自主实时跟踪的性能要求。在此基础上，本文对传统KCF算法提出基于多策略融合的改进算法，利用Faster Rcnn卷积神经网络实现对目标航天器的自主检测识别，完成初始窗口参数的自适应标定；针对初始化窗口存在的过大、过小以及偏移的问题，利用数字图像处理的方法对其进行校正优化；最后在KCF算法基础上完成了单一尺度向多尺度滤波转变，实现了对目标的自主、自适应快速跟踪。

1 KCF算法原理

KCF是一种以岭回归为核心，在线进行机器学习训练的典型判别类算法[17]。算法原理如图1所示，通过在第t帧(通常选第1帧)中框选出待跟踪目标，并初始化目标区域为正样本，根据左乘、右乘置换矩阵得到负样本区域集合；利用高斯二维函数生成和样本大小一致的训练标签矩阵，通过机器学习训练岭回归分类器；输入待检测样本图像，分类器快速检测输出响应，下一帧中的目标即为分类器输出的最大响应对应位置的区域[18]。

图1 常规核相关滤波算法流程图

将目标区域循环移位采集训练图像，针对回归判别函数f(z)=wTz，通过训练样本xi找到与其对应的回归目标yi最小的平方误差的权值ωi，最小代价函数如式(1)：

(1)

F(α)=(F[κ(x,x′)]+λ)-1F(y)

(2)

(3)

因此，根据分类器训练结果，对下一帧新输入图像块z求分类器响应为：

(4)

最大响应对应位置即为下一帧目标的位置中心。

2 改进的MSKCF算法

常规KCF由于算法局限性，存在需人工标定初始化参数、跟踪窗口尺寸恒定造成跟踪精度下降和分类器训练量过大等问题，本文对传统算法提出改进，如图2所示，图中背景深色的即为改进部分，用字母区分不同的改进路径。

图2 多策略融合核相关滤波算法

具体策略如图3所示。其中(a)为2.1节自主跟踪窗口标定，对应图2中的 (a1)～(a2)；(b)为2.2初始跟踪窗口优化部分，对应图2中的(b)；(c)为融合自适应尺度策略部分，即图2中的(c1)～(c6)。

2.1 初始跟踪窗口自适应标定

通过大量携带航天器的图片数据集在Faster Rcnn网络结构中进行训练。根据航天器结构的特殊性，设置学习类别为4类：(a)航天器；(b)太阳能帆板；(c)天线；(d)本体。

Faster Rcnn对目标的检测存在误检测，应当对输出的检测结果进行综合判定，减少误检测，提高检测精度，如图4所示。

根据图4所示步骤，对总体类别与细节综合判定进行说明：

1)总体类别判定

设置航天器标签阈值εs，当该图像中的航天器标签分数大于该阈值时，进入下一步；

2)细节综合判定

2.2 初始跟踪窗口优化

对目标航天器采用目标检测实现初始窗口自适应提取，其窗口时常存在过大、过小与偏移的情况，且目标跟踪算法较依赖第一帧学习的样本质量。所以本算法添加了初始窗口校正器，对初始的跟踪框尺寸进行优化，如图5所示。

图3 多策略融合的MSKCF流程

图4 初始跟踪窗口提取判定

图5 初始窗口校正与优化

(5)

2.3 滤波尺度因子

传统的KCF算法中，仅对待跟踪目标的中心位置进行更新，未考虑目标相对视觉传感器相对距离变化导致的目标放大或缩小。所以本算法引入尺度池技术，对目标模板的窗口大小进行更新，过程如图6所示。

图6 快速尺度窗口检测原理

针对含有N个尺度因子的尺度池，提出以下定义进行描述：

定义1 尺度池窗口集合为JN={Jn,Jn*,1}，包含缩小窗口Jn={J1,J2,…,Jn}与放大窗口Jn*={J1*,J2*,…,Jn*}，其中J1J1*=1，互为倒数，共计窗口数量为N=2n+1。

由图3可知，进入滤波尺度池前，已获得当前帧响应最大中心位置Pt(xt,yt)与上一帧目标的窗口大小Ct-1(Mt-1,Nt-1)，以Pt为中心，Ct-1为样本窗口，设置测试窗口集合为JN={Jn,Jn*,1}(本文取n=10，step=0.02)，通过高斯核变换提取最大响应窗口，此时的尺度即为最佳目标尺度ai。

3 标准库测试与实图测试

3.1 仿真实验环境

为了对所提出方法进行实验分析验证，利用python的Tensorflow框架构建基于Faster Rcnn的目标检测模型；利用MATLAB构建MSFCK核相关滤波跟踪器算法，整个仿真运行环境如表1，实验数据如表2所示。

表1 实验软硬件环境参数

表2 仿真与实验数据

其中，表2中的Spacecraft的S/M/B指导轨参考线相对于相机参考线的夹角在0°、45°和90°左右。夹角定义如图7(a)所示，图7(b)为实验所用北斗卫星模型。

图7 实图数据采集

3.2 标准库测试结果与分析

为了验证MSKCF算法的有效性和优化结果，采用表2中的仿真验证部分的数据对改进前后的KCF算法进行中心位置误差(CLE)、距离精度(DP)与重叠精度(OP)的验证[19-20]，DP阈值为20pixel，OP阈值为50%)，如表3所示。

表3 改进前后的KCF算法CLE、DP、OP验证

根据表3，其中加黑的数据为更优的结果，经过改进的MSKCF算法在CLE、DP与OP的精度上均有所提高，其中，CLE精度提高了14%，DP精度提高了19%，OP精度提高了48.3%。该数据验证了MSKCF算法的有效性，改进后的MSKCF算法对OP精度影响最大。

3.3 实图测试结果与分析

3.3.1 跟踪窗口提取验证

为了验证初始跟踪窗口提取算法的有效性，本文使用表2中包含与不包含航天器共100张图片进行验证，图8为增加初始窗口输出判定器的Faster Rcnn输出结果(本文通过实验设置航天器标签打分阈值为εs=0.6，εp=0.8，εσ=0.7)。

由图8分析可知，Faster Rcnn模型的学习，通过初始窗口输出判定器，对不包含航天器的图片能够进行有效分辨；对包含航天器的图片，准确输出的精度达到平均95.28%，精度的差异性与测试图像的数量存在一定对应关系，验证了该判定器的有效性。

图8 初始跟踪窗口提取验证

同时，为了验证MSKCF算法的有效性，本文基于表2中的Spacecraft-S、M、B实验数据进行了验证，如表4，其中X和Y表示初始框左上角点的像素坐标，W表示框的宽度，H表示框的高度，S表示实际窗口的面积，SS为实际标准面积。

表4 初始跟踪框参数

根据表4的数据进行分析我们可以得到：

1)经优化后的跟踪框，尺寸误差从10-1到10-2量级，贴合待跟踪目标边缘；

同时，为了验证尺度变化因子与跟踪框优化算法的添加对KCF算法的影响，在相对角度为0°时，验证了4种算法的跟踪效果，如图9所示，(取ε=5，下边界未调整)。

图9 不同算法跟踪窗口效果对比

根据图9，可以看出，

1)图9(a)，传统KCF算法下跟踪框与目标重叠；

2)图9(b)，传统KCF+跟踪窗口优化算法，仍存在重叠的情况；

3)图9(c)，传统KCF+滤波尺度因子优化算法，虽然消除了跟踪框与目标重叠的情况，但跟踪框仍大于待跟踪目标；

4)图9(d)，本文的MSKCF算法，跟踪框贴近待跟踪目标本身，效果最优。

3.3.2 跟踪窗口尺度和速度验证

使用传统KCF算法、传统KCF+跟踪窗口优化、传统KCF+滤波尺度因子以及MSKCF算法分别对3种相对角度下的连续帧图像进行测试，验证不同算法下跟踪尺度和速度，跟踪尺度变化如图10所示，跟踪速度结果如表5所示。

图10 尺度因子变化对比图(虚线为Spacecraft-S尺度变化；粗实线为Spacecraft-M尺度变化；细实线为Spacecraft-B尺度变化)

根据图10的曲线分析可知：

1)传统的KCF算法和传统KCF+跟踪框优化算法中不包含尺度因子，尺度变化输出始终为1，如图10(a)所示；

2)传统KCF+滤波尺度因子算法的跟踪尺度变化如图10(b)所示，跟踪尺度随待跟踪目标在图像中的变小而变小；

3)本文的MSKCF算法跟踪尺度变化如图10(c)所示，其跟踪尺度变化趋势与图13(b)一致，但其效果相比(b)起伏变化较缓，稳定性高。

表5 跟踪速度对比

根据表5，可以得到如下结论：在跟踪速度方面，本文MSKCF算法，弥补了单一添加滤波尺度因子优化算法导致的跟踪速度减慢的问题。

经过对上述图表的分析得出，通过对KCF算法同时进行尺度变化因子和跟踪框优化的MSKCF算法，具有良好的有效性、实时性。

4 结论

通过对基于Faster Rcnn初始目标跟踪窗口的自动提取，能够较为准确地检测目标并标定目标窗口。考虑到传统KCF跟踪算法的性能与首帧学习样本质量相关，本文通过对检测目标进行二值化处理提取边界坐标，利用特征极差对初始窗口进行优化，通过实验验证，跟踪窗口有效地缩小。使用本文MSKCF的跟踪结果与传统KCF、单一跟踪窗口优化的KCF、单一滤波尺度因子的KCF算法对比分析，添加尺度变换导致跟踪速度的减慢能够被改进的MSKCF算法所弥补，验证了算法在跟踪精度、速度和尺度的变化小，稳定性高。MSKCF能为在轨航天器识别跟踪领域提供支撑。