无人机地面目标跟踪相关理论与技术研究

2019-11-11

无人机 2019年9期

首先归纳了实现无人机地面目标跟踪的基本要求和干扰因素，针对跟踪过程中出现的问题总结了前辈的解决思路，通过分析无人机航拍视频的特点，阐述常用的无人机地面目标跟踪的方法，分析比较不同算方法的优缺点及场景适应性。

无人机通过目标跟踪算法，实时准确的估计视频序列内目标的状态信息来完成对目标的跟踪任务。目前已经涌现出非常多的目标跟踪算法，并划分了一些类别，这些算法都有各自的优势和缺陷，但并不都适用于无人机航拍视频图像的目标跟踪，且大多数算法是针对某一特定的场景或应对某一干扰因素的影响，无法满足实际复杂场景的需求。本章根据无人机航拍视频图像的特点，分析影响目标跟踪的关键因素，最后阐述常见的无人机地面目标跟踪方法，总结其适用范围及场合并分析其优缺点，为本文算法奠定了理论基础。

无人机目标跟踪的特点

无人机由于体积小、灵活性强、研发成本低等特点，广泛应用于军事领域并逐渐在民用领域快速延展，将目标跟踪算法运用于无人机上，实现对感兴趣目标的实时跟踪具有实际意义和应用价值。一个鲁棒的跟踪算法应该满足以下四个基本要求：

(1)实时性。跟踪算法必须能够高速处理机载相机捕获的实况图像帧，这样才能满足现实需求；

(2)鲁棒性。跟踪算法可以有效地抵御实际环境中出现的多种干扰因素的影响，正确跟踪目标；

(3)准确性。目标跟踪算法对目标中心位置、尺度和旋转角度的准确估计；

(4)目标再确认性。当目标消失再出现时，跟踪算法仍然可以及时捕获目标，继续进行跟踪。

无人机航拍视频图像中，目标尺寸较小，视野范围较大，常常存在目标尺度变化，地面环境复杂，相似目标出现等复杂的背景信息。虽然目标跟踪技术日益成熟，但是由于实际环境中仍然存在众多干扰因素，实现复杂环境下准确稳定跟踪目标对象，且要保证实时性，依然是一个极大的挑战。无人机视频目标跟踪主要存以下五类干扰因素：

(1)复杂的背景。复杂的背景指的是图像中存在阴影、光照变化或相似目标，阴影不属于运动目标区域，却会随着目标一起运动，光照变化导致目标区域亮度不均匀，相似目标的存在会诱导算法收敛到相似目标的位置，造成跟踪漂移。

(2)目标外观变化。目标外观变化主要是指目标旋转角度和尺度的改变，跟踪的目标主要有刚性和非刚性两种类型，刚性目标是指物体不会发生形状上的改变，如汽车、水杯、玩偶等；非刚性目标是指物体外形出现变化，目标外观的变化会造成初始模板或特征失效的后果，进而造成跟踪器发生漂移现象，最终导致跟踪失败。

(3)局部遮挡变化。视频序列中，由于新物体的出现导致目标被部分遮挡，引起目标特征信息变化，严重影响跟踪器的性能，使跟踪不稳定。

(4)目标消失再出现。目标消失之后，无法获取当前帧图像目标的任何信息，只能根据目标的先验知识来预测目标的位置，当目标再出现，且其运动状态发生较大变化时，会使跟踪结果出现较大的偏差。

(5)相似目标干扰。在跟踪的画面当中，含有与跟踪目标的颜色、外形、尺寸等相似的目标出现，由于目标和相似目标之间具有相似的特征，导致相似目标被当作目标，造成追踪失败。

上述的干扰因素成为阻挡无人机目标跟踪技术走向工程应用的拦路虎，为此，全球各地的研究人员提出了许多解决办法，如在线性、非线性有着较好应用的卡尔曼滤波和粒子滤波；基于分类思想的目标跟踪算法，标记正负训练样本，送入分类器进行学习，能够有效的解决目标本身变化的问题。但是这些算法都只是针对特定的一种或几种干扰因素，无法满足实际复杂场景的跟踪需求。

目标跟踪问题的解决思路

总体来说，针对目标跟踪问题的解决思路主要分为两类：(1)自底向上。该方法无需依赖目标的先验知识，直接利用图像中的相关信息跟踪目标；(2)自顶向下。该方法通过计算后验概率或者置信值进行跟踪，通常依赖目标的先验知识。

(1)自底向上。自底向上思路解决目标跟踪的代表思想是David Marr的视觉计算理论，通过恢复3D图像得到目标的空间位置。而目标跟踪就是从场景中得到目标相关信息，这与Marr视觉计算理论不谋而合。自底向上跟踪方法通常总结为四步：首先进行预处理，主要去除噪声，获得质量较高的图像以便后续使用；其次检测活动目标，获得只包含活动目标的相关运动信息；再次判别目标，运用分类器识别运动目标，判断是否为跟踪的目标，最后达到目标跟踪的目的。采用自底向上方法可以对目标快速检测并进行跟踪，因此该方法通常用于实际项目中。但是当摄像机处于运动状态时，该方法难以检测和跟踪运动目标，使得该方法在应用方面受到极大限制。

(2)自顶向下。Bar-Shalom的目标跟踪与关联思想是解决目标追踪问题最典型的方法，运用贝叶斯理论框架时，通常以状态空间法对运动目标进行跟踪，假设运动目标的状态向量由{Xk}k=0,1,2,...描述，k表示离散时间序列，状态方程为：

其中，Fk为状态转移矩阵；Vk是状态噪声。

其次是观测确定向量{Zk}k=0,1，k代表离散时间序列，观测方程如式(2)：

其中，Hk为测量矩阵；Wk为测量噪声。

在式(1)和式(2)中，假设{Vk}k=0,1,2,...和{Wk}k=0,1,2,...噪声变量都服从于独立的同分布。

在k时刻，假设状态的先验概率是p(Xk|Z1：k)，其中，Z1：k={Z0,Z1,...Zk}表示从一开始到k时刻的所有观测量。将目标追踪过程可由以下两个步骤得到：

第一步预测：

第二步更新：

至此，获得k+1时刻的后验概率p(Xk+1|Z1：k+1)。其中，p(Xk+1|Xk)用来描述目标状态转移几率，用来呈现系统的动态特性。当系统噪声服从于高斯分布，且Fk和Hk符合线性关系时，可以采用卡尔曼滤波获得后验概率，同时p(Xk|Z1：k)和p(Xk+1|Z1：k+1)都必须服从高斯分布。当Fk和Hk之间是非线性关系时，可以使用扩展的卡尔曼滤波获取后验概率，同时此后验概率仍服从高斯分布。卡尔曼滤波常用于处理线性、高斯的单一情况，而实际场景中后验概率的分布通常是非线性、非高斯的复杂情况，这种情况下通常使用粒子滤波方法跟踪目标。

当使用自顶向下的思路进行目标跟踪时，使用数学模型来描述目标的先验知识难度很大，而采用模型匹配方法却消耗大量的时间，实时性较差。

无人机地面目标跟踪方法方

与一般摄像机拍摄的视频相比而言，无人机航拍视频的特点是无人机距离目标更远，视野范围更大，视频帧中存在大量道路、树木和城市建筑等背景信息，目标占视频帧的比例相对较小，通常适合处理一般视频的跟踪算法不一定适合于无人机视频的跟踪。例如目前的基于深度神经网络的目标跟踪算法，由于处理速度慢，不能满足无人机目标跟踪的实时性要求，TLD算法针对含有相似目标出现干扰因素的视频跟踪，跟踪容易漂移且实时性较差。

近年来，众多科研人员提出较多的目标跟踪算法，常用于无人机视频的目标跟踪方法的分类情况如图1所示。

基于光流的目标跟踪方法

光流可以描述连续视频帧之间的变化，该方法实现目标跟踪的思想是首先从视频序列中计算得到光流场，然后通过光流矢量信息确定下一帧目标大概位置。

目标跟踪过程中，当连续视频帧之间存在目标位移时，目标与背景之间就会存在相对位移，光流法就是根据这种相对运动来检测出运动目标。基于光流法目标跟踪以三个假设为前提：

(1)目标区域像素亮度恒定；

(2)目标在视频相邻帧间的运动较为“微小”；

(3)相邻像素点具有相似的运动。

在不借助目标的先验知识的条件下光流法在动态背景中可以估计目标的运动状态，但其对光照和噪声变化比较敏感。

基于滤波的目标跟踪方法

基于滤波的目标跟踪方法主要包括CamShift目标跟踪方法，卡尔曼滤波和粒子滤波方法。以下分别对其简述。

(1)MeanShift目标跟踪方法

1975年，Fukuang等提出Meanshift目标跟踪方法，Meanshift目标跟踪是一种基于核密度估计的非参数特征匹配跟踪方法，只对数据本身进行特征提取，因此该算法在实际应用中有较强的适应性。

图1 目标跟踪算法分类

(2)CamShift目标跟踪方法

1998年，Bradski提出Camshift目标跟踪方法。由于该方法中的模板不能进行实时更新，而且跟踪过程中核函数的带宽固定不变，当目标尺度变化或者受到外界干扰时，跟踪器性能明显下降。而CamShift方法进行逐帧MeanShift运算，这样既可以实现对目标模板实时更新，也可以使跟踪窗口自适应变化。

(3)卡尔曼滤波方法

卡尔曼滤波方法为一种小方差最佳线性递推方法，通过预测能够获取下一帧目标的位置。卡尔曼滤波方法可根据状态方程和预测方程来实现，状态方程可对系统状态进行客观描述，预测方程用来预测下一时刻的状态。

(4)粒子滤波方法