机场环境下的特定目标跟踪算法

2018-11-29赵康王正勇何小海熊杰郑新波

现代计算机 2018年31期

赵康，王正勇，何小海，熊杰，郑新波

（1.四川大学电子信息学院，成都 610065；2.东莞前沿技术研究院，东莞 523000）

0 引言

机场环境下的特定目标跟踪采用视频分析技术监视目标，也即在视频的初始帧中指定某个特定目标，然后在连续的视频帧中找到该目标出现的位置。本文主要对机场场面进行监视，对场面上的飞机和车辆进行跟踪，以预防碰撞事件的发生，能很好地推进航空事业的快速发展。

近年来，国内外学者对特定目标跟踪算法进行了大量研究，也提出了很多新的方法[1-3]，但是针对机场环境下需要克服的困难很多，如光照变化、目标尺度变化、目标与背景相似度较高等，还没有算法能够直接适用于机场环境。近几年由于机器学习算法的快速发展，基于判决模型的算法取得了很好的效果，实质是将目标跟踪看成一个目标和背景的二分类问题。

鉴于此，本文在核相关滤波算法框架下，融合多种特征，设计尺度自适应策略以及模型更新机制，提出一种改进的核相关滤波目标跟踪算法，能够很好适应机场环境，克服光照变化、目标尺度变化、目标旋转变化。实验结果显示，本文提出的算法在机场场景视频序列上，跟踪精度较好。

1 核相关滤波算法原理

KCF（Kernelized Correlation Filters）算法[4]是 Joao F.Henriques等人在2014年提出的一种目标跟踪方法，其可以在变换域快速地学习和检测目标。KCF算法使用核函数将输入特征映射到高维空间，并利用循环矩阵的循环移位进行稠密采样，同时结合了核岭回归模型，提高了算法在非线性情况下的分类能力。由于KCF采用循环矩阵采样，因此大大降低了算法的时间复杂度。本节主要介绍核相关滤波目标跟踪算法的主要原理，其中包括：核岭回归、构建训练样本和快速核相关。

1.1 核岭回归

岭回归是在最小二乘估计思想上改进的，使之比后者回归的系数更接近实际。本文采用核岭回归是由于岭回归在解决非线性问题时具有局限性，引入了核函数[5]。对给定的最小化样本xi和它的岭回归目标yi所组成的训练集，通过一个线性分类器其中wTx表示变量的内积，b为真实值与所预测值之间的偏差，找到最优的参数w使得如下平方误差最小：

其中，λ是正则化参数，w是线性分类器的系数，文献[6]通过对式（1）中参数w求偏导可得到封闭式解：

将式（2）扩展到复数形式可表示为：

其中,X为循环矩阵，矩阵中的行代表训练分类器的样本，y表示对应样本的标签,I表示单位矩阵,XH是X的共轭转置，对于实数来讲式（2）和式（3）是等价的。

1.2 构建训练样本

大多数跟踪方法是基于判别式的，均需要构建样本来训练分类器，传统的基于粒子滤波的跟踪方法采用随机扩散粒子来获取样本，这种方式获取的样本效率很低。在诸如机场实际环境下会考虑分类器的实时性，不会用太多样本来训练分类器。核相关滤波算法使用循环矩阵中的循环移位来获得目标周围的所有样本，将目标图像的外观记为正样本，利用正样本的循环移位得到负样本。其中所得的样本的循环矩阵X如下：

式（4）矩阵中所有数据都由第一行来唯一确定。对于循环矩阵不管生成向量是哪种形式都可以通过离散傅里叶变换将所有的循环矩阵对角化。相比于其他解决回归问题的方法，该方法具有更高的计算效率。

1.3 快速核相关

核相关的计算均会涉及到两个输入向量，而这两个输入向量通过循环移位得到的全部向量也是一个比较大的数字。这样也会带来很大的计算量，并成为计算的瓶颈。但是，运用循环移位模型，能够充分利用数据的冗余性来有效地减少核相关的计算量，提升算法效率。为了能处理多个通道的情况（如HOG特征的31个方向箱[7]），只需要在频域对每个通道进行相加处理。简化成多通道相关滤波器[8],假设向量x连接了C个通道向量：

在快速核相关中所用到的全部核函数都是基于模或参数的点积。可以将每个通道的点积进行简单求和来计算。又因为傅里叶变换是线性的，因此可以对频域中的每个通道进行求和。通过将此推理到高斯核情况。

2 改进基于核相关滤波的目标跟踪算法

在机场场面上，由于天气常有薄雾，导致运动小车和飞机外观与背景相似度较大，当运动目标在距离摄像头较远的一端时更为明显，KCF算法采用单一的HOG特征来提取表观模型，因此不能很好地区分运动目标与背景，影响后续跟踪鲁棒性。当小车和飞机由远到近、由近到远运动时以及转弯时，运动目标尺度都会发生较大的变化，KCF算法不能尺度自适应变化。KCF算法中模型更新因子一直是固定不变的，当运动目标发生较大姿态变化或出现遮挡时，如果模型更新因子一直保持固定不变，就会导致模型学习到错误的信息，带来误差。

针对上述问题，本节在核相关滤波目标跟踪算法的基础上，提出了一种基于多特征融合的尺度自适应相关滤波目标跟踪算法。首先，在特征提取方面，主要提取了HOG特征和区分性的色彩描述子（Discrimina⁃tive Color Descriptor，DCD）特征来更好地区分运动目标和背景；其次，引入了一种尺度自适应变化方法，解决KCF算法的固定模板尺寸问题；最后提出一种自适应模型更新方法。实验证明，本文提出的算法效果较好。

2.1 多特征融合

本文采用将一种用来表征目标局部梯度方向和强度的HOG特征和DCD[9]进行融合，得到一个融合的特征向量后作为相关滤波器的输入。

2.2 尺度自适应策略

在目标跟踪中，目标尺度变化是一个具有挑战的问题，其会影响目标跟踪的精度。KCF算法模板尺寸是固定的，无法解决目标尺度变化问题，本文采用一种基于特征点检测的尺度自适应方法。具体尺度更新策略如下：在前一帧的运动目标矩形框中用Shi-Tomasi算法提取可靠角点特征。设置检测特征的最大值Maxcount，特征质量系数qLevel，特征之间的最小距离minDist。最后将检测到的可靠特征数目记为N，表示为，用Lucas-Kanade光流法来跟踪这些角点，找到前一帧中的特征点在当前帧中的位置，记为{}，再将得到的特征点反向跟踪到前一帧，将得到的特征点记为{,,…,}。将每一个特征点的前向和后向跟踪误差记为，如果ei的值小于某一阈值，则认为该特征点是可信赖的跟踪点。设有M个可信赖特征点保留下来，则将这些特征点用来进行尺度估计，特征点对距离变化集合可表示为：

得到特征点对距离变化集合后，对集合s(i,j)求平均值得到尺度伸缩系数s。此处尺度变化的计算是假设目标没有被遮挡的情况下，如果目标被遮挡，应停止尺度更新，判断目标是否遮挡的方法将会在2.3小节详细介绍。

2.3 分类器更新

在目标跟踪期间，运动目标常常会因为目标的尺度变化、姿态变化以及旋转等情况，而发生外观变化。为了使得用于目标跟踪的分类器性能更加鲁棒，在每一帧跟踪结束后，我们需要对分类器系数和外观模型进行更新。更新系数aˉ和外观模型xˉ的更新公式如下：

其中，η为固定的更新率，一般设为0.012。

2.4 模型更新策略

在目标跟踪的过程中，目标的外观模型经常在改变，因此对目标的外观模型进行实时更新很有必要。由于外观的变化，需要通过在线追踪器收集所跟踪目标的训练样本来更新跟踪模型。但是当运动目标出现遮挡时，会使得分类器学习到错误的目标信息，从而导致目标跟丢。在大多数相关滤波跟踪算法中，学习率都是固定的。固定的学习率限制了跟踪器适应外观快速变化的能力，当目标处于遮挡下的时候表现更为明显。本文提出一种新的模型在线更新方案来跟踪目标。

根据用训练好的分类器去检测目标与模板的匹配得到目标的最大匹配分数 fmax（用欧氏距离度量），当fmax大于某一阈值thr时，说明运动目标与模板匹配较好，运动目标没有发生较大姿态变化或遮挡，此时以正常的更新率进行更新；当 fmax小于阈值thr时，判断目标是否发生遮挡，如果没有发生遮挡，则以较大的更新率进行更新，如果运动目标被遮挡时，外观模型不应该被改变，学习率应该设置为0。学习率更新公式如下：

判断目标是否遮挡策略：首先根据最大匹配分数fmax，如果 fmax大于阈值thr，则说明当前运动目标与模板匹配很好，没有遮挡发生。若 fmax小于阈值thr，则说明当前可能发生了遮挡，由2.2小节中可知，在前一帧中提取到的可靠角点特征数为N，通过Lucas-Kanade光流法进行前向和后向跟踪后得到的可信赖特征点数为M。如果发生了遮挡，那么M的值将会变得很小，因此根据M与初始帧中N的比值来确定当前目标是否被遮挡，即：

其中，O等于1时表示目标被遮挡，等于0时表示未被遮挡，θ为遮挡阈值，经过大量实验验证，θ取值0.4较为合适。

3 实验结果及分析

为了验证本文所提出算法的有效性，把本文所提出的算法与CSK算法、KCF算法、DSST[10]算法和sKCF算法[11]进行比较，其中CSK算法是经典的基于核相关滤波的跟踪算法，KCF算法是在CSK算法的基础上融合了多通道HOG特征，并引入“核技巧”，加快了算法的运行速度，DSST算法则是在KCF算法的基础之上增加了尺度滤波器，解决了目标运动过程中发生的尺度变化,sKCF算法在KCF算法的基础之上添加了自适应高斯窗口函数和基于关键点的尺度估计，能够自适应目标尺度的变化。并对KCF算法进行了速度优化。

在如下图1（a）中，主要是对停机坪的运动小车进行跟踪的实验结果图，在第10帧时，由于小车没有发生较大姿态变化，对比算法和本文算法都能很好地跟踪运动的小车。在第220帧时，运动小车转弯时发生了较大的姿态变化，且小车明显变小，由于CSK算法和KCF算法不能自适应尺度变化，因此CSK算法和KCF算法的跟踪框有一点偏离运动小车，DSST算法、sKCF算法和本文算法此时均能很好地跟踪上小车。在第330帧时，小车再次转弯，发生较大姿态变化和形变，此时CSK算法和KCF算法均发生明显漂移，DSST算法和sKCF算法均稍许偏离目标，而本文算法能稳定跟踪。在450帧时，小车伴随着轻微的遮挡，此时CSK算法和KCF算法均跟丢小车，DSST算法和sKCF算法也出现了明显的漂移，本文算法依然能很好地跟踪上小车。

在如下图1（b）中，主要是对机场场面远处跑道的飞机进行跟踪的实验结果图，在第10帧时，飞机没有出现遮挡，也没有出现明显的尺度变化，对比算法和本文算法都能很好地跟踪运动的飞机。在第132帧时，被跟踪的飞机被另外一辆正缓慢驶向滑行跑道的飞机所遮挡，CSK算法跟丢目标，KCF算法出现明显漂移，DSST算法、sKCF算法和本文算法此时均能很好地跟踪飞机。在第185帧时，运动飞机再次被停在停机坪的飞机遮挡，且飞机尺寸明显变小，KCF算法、DSST算法和sKCF算法均跟丢目标，本文算法能稳定地跟踪上飞机。在第235帧时，飞机再次出现遮挡，本文算法依然能稳定跟踪，直到飞机驶出视频画面。由上述分析可知，本文提出的算法与对比算法相比，在目标发生较大姿态变化和遮挡时，跟踪效果更好。

图1 机场视频序列跟踪结果图

为了定量分析各个跟踪算法的性能，实验中主要采用中心位置误差（Center Location Error，CLE）、距离精度（Distance Precision，DP）和重叠成功率（Overlap Success rate，OS）这3个参数来对跟踪的结果进行定量分析。其中：CLE表示跟踪到的目标中心位置和目标中心的真实之间的欧氏距离（数值越小说明目标的跟踪越精确）；DP表示中心位置误差小于某一阈值的帧数与总视频帧数的比值，比值越大说明跟踪过程中符合条件的帧数越多，也就表明跟踪效果越好；OS表示目标跟踪矩形框和目标真实矩形框交集的面积和两矩形框并集的面积的比值超过一个阈值时的帧数与总视频帧数的比值，比值越大说明跟踪过程中符合条件的帧数越多，也就表明跟踪效果越好。表1为各个目标跟算法的中心位置误差，单位为像素（pixels），该值越小跟踪的精度就越高。