多特征融合尺度自适应无人机跟踪方法

涂 婷,周志峰,周 围,庞正雅

(1.上海工程技术大学 机械与汽车工程学院,上海 201620；2.陆军装备部驻湘潭地区军事代表室,湖南 湘潭 411100)

0 引 言

四旋翼无人机因外观小巧,易于隐蔽等特点被广泛应用于测绘、监测等领域。在一些特定场景中,需要时刻关注无人机飞行状况,因此对无人机进行视觉跟踪显得尤为重要,而实现高效率的视觉跟踪的挑战在于对目标进行合理的表观表达以及选择合适的跟踪策略。文献[1]中已经验证了多特征融合技术能够有效地提高目标跟踪性能。文献[2]提出通过融合底层颜色、纹理和边缘特征信息来提高算法的鲁棒性。官洪运等人提出了一种特征融合的LCT算法,在梯度方向直方图特征的基础上提取颜色直方图特征,得到目标预测位置,随后根据置信度确定特征融合权重,综合考虑多特征的跟踪结果[3]。文献[4]提出了一种基于视觉显著性的均值漂移跟踪算法,可以在相机晃动的场景下准确跟踪目标。文献[5]提出一种改进的基于多通道记忆模型的核相关滤波(kernel correlation filtering,KCF)跟踪算法,在遮挡、形变和背景复杂的情况下能够较好地跟踪。朱明敏等人结合了KCF跟踪器和光流法的检测器提出了一种长时核相关滤波器(long time kernel correlation filter,LKCF),对快速运动目标具有较强的适应能力[6],但无法适用于背景与目标相似的场景。文献[7]通过融合KCF和时空上下文(STC)跟踪器,提高跟踪性能,能够较好地跟踪运动模糊和快速运动的目标。

四旋翼无人机外观小巧,运动速度快,在运动过程中极易出现旋转、遮挡、光照变化等问题,若要较好地跟踪该目标需要一种快速稳定的跟踪算法。

本文针对无人机的运动特点,提出了一种多特征融合尺度自适应的无人机跟踪方法,选用互补的颜色直方图特征与方向梯度直方图(histogram of oriented gradients,HOG)特征,采用KCF进行多特征融合以及跟踪,针对KCF跟踪器无法调节跟踪框大小的问题,引入多尺度搜索策略,自适应调整目标跟踪框大小。

1 KCF跟踪器

KCF跟踪器是通过图像块训练一个相关滤波器进行模型表达,其本质是解决简单的岭回归问题。假设目标样本为向量x=[x1,x2,…,xn-1,xn],则循环移位训练样本X如式(1)所示,对应的高斯函数标签y作为训练输出

(1)

引入最小二乘法与核函数,通过式(2)训练分类器模型

(2)

式中φ为核函数空间的映射函数,λ为正则化参数。使用傅里叶变换求解公式(2)可得

(3)

(4)

其中,F和F-1分别为傅里叶变换与逆变换

给定训练好的α与目标表观模型Z,在图像块z上进行搜索并计算其相关滤波响应,如式(5)所示,根据最大相应值定位目标位置

Y=F-1(F(α)×F(φ(z),φ(Z)))

(5)

定义核函数K(X,X′)=φ(X),φ(X′),则循环移位矩阵的高维空间内积如式(6)所示

2F-1(×′*))

(6)

2 多特征融合

2.1 颜色直方图特征

颜色直方图特征是视觉跟踪算法中最为常用的表观模型,其计算便捷,对目标的尺度变化、旋转变化和形变都较为鲁棒。颜色直方图表示图像中各种色彩的比例分布,与颜色空间的选取有着密切的关联,为了提升跟踪算法的鲁棒性,选用HSV颜色空间进行颜色直方图计算。

为了克服全局颜色直方图未能考虑图像的空间分布,减少直方图的矢量维数,对HSV颜色空间进行均匀量化,其中色调H分量等间隔划分为8个区间,饱和度S分量和明度V分量分别划分3个区间,通过G=9H+3S+V将颜色直方图特征量化为一个72维的特征,量化过程如式(7)所示

(7)

2.2 HOG特征

HOG特征是通过图像局部区域的梯度强度和梯度方向来描述物体的轮廓和形状,在光照变化下具有良好的不变性。HOG特征提取流程:首先对检测窗口进行Gamma标准化减少局部阴影的光照变化影响；随后将检测窗口切割成多个单元格Cell,通过计算每个Cell中个像素的梯度,并将其投影至Cell的梯度方向；然后把多个单元格组合成块Block,根据每个Cell在Block中占有的密度来进行归一化处理；最后收集检测窗口中的所有Block的HOG特征。设检测窗口大小为m×n,一个单元格Cell大小为8×8,一个Block包含4个Cell,由此可以计算出整个检测窗口会生成维数为(m/8-1)×(n/8-1)×4×9的特征。

2.3 多尺度特征

考虑到图像的特征会随着尺度的变化而变化[8],因此引入图像金字塔来解决目标尺度变化问题,提高跟踪精度。图像金字塔是一种图像多尺度表达的集合,最底层为原始图像,通过连续降采样获得图像多分辨率。常用的图像金字塔有高斯金字塔和拉普拉斯金字塔。其中高斯金字塔用于降采样图像；拉普拉斯金字塔用于上采样图像,上采样是将图像进行最大程度的还原。利用高斯和拉普拉斯图像金字塔模型对目标区域进行上采样和下采样,获得目标的多尺度模型,如计算目标的31种尺度,其中包括原有尺度、15种上采样尺度和15种降采样尺度,随后使用相似性进行尺度匹配,寻找合适的尺度大小。

2.4 融合策略

在目标发生尺度变化、旋转、形变的情况下,颜色直方图特征依旧能够保持良好的跟踪性能,但是忽略了颜色的空间分布,无法将颜色组成成分相似但空间分布相差较大的目标区分开来,并且在发生光照变化时容易丢失目标。HOG特征虽然能够较好地解决光照变化问题,但是当物体发生形变时效果不佳。因此,提出一种基于颜色直方图特征和HOG特征的尺度自适应融合策略,提高跟踪性能。

KCF跟踪器能够通过相关滤波将特征扩展到多维,假设目标表观模型X=[X1,X2,…,Xm]为m个特征进行级联所得,通过改写式(6)将特征进行融合,如下所示

(8)

3 实验设计与分析

为了验证算法的有效性,拍摄一组无人机飞行的图像序列进行实验评估,并人工标注无人机位置作为标准库数据。实验执行程序为Visual Studio 2017,硬件为Intel i5—4200M,2.50 GHz处理器、8 GB 内存,相机分辨率为1080P,跟踪算法的平均速度约为18FPS。

图1是无人机图像序列的跟踪中心位置误差曲线,采用4种跟踪算法进行实验分析。从跟踪的误差曲线可以看出,在130帧左右发生了光照变化,相关滤波算法之误差最小平方和(MOSSE)跟踪算法、KCF算法存在目标丢失问题,Multi-Instance Learning(MIL)跟踪算法虽然能够较好克服光照变化,但是在240帧左右出现运动模糊时丢失了目标,而引入多特征融合的尺度自适应KCF跟踪算法不仅克服了光照变化,而且整段序列中并未出现丢失情况。

图1 中心位置误差曲线

为了具体分析跟踪结果,部分跟踪结果如图2所示,其中点框为标准框,虚线框为基于多特征融合的KCF跟踪结果,圆角框为MIL跟踪结果,点线框为MOSSE跟踪结果,实线框为传统KCF跟踪结果。从部分跟踪结果显示图中可以看出,MIL跟踪算法虽然能够有效克服光照问题,但跟踪框尺度不变,并且存在漂移现象；KCF跟踪算法在130帧之前跟踪效果良好,当会发生光照变化时,KCF丢失目标；MOSSE跟踪算法在发生光照变化时目标丢失,虽然恢复后再次找回目标,但漂移情况严重,并出现再次丢失情况；本文提出的算法很好地解决了光照变化,跟踪效果良好,虽然后续序列中出现尺度无法适应,但跟踪框依旧位于无人机目标中,未发生漂移情况。

图2 部分跟踪结果显示

各跟踪算法成功率和精准度曲线如图3所示,可以看出本文提出的算法具有最大曲线下面积,数值分别达到了0.561和0.707,KCF跟踪算法的数值分别为0.388和0.441,MIL跟踪算法的结果为0.478和0.564,MOSSE跟踪算法的结果则为0.503和0.450。这些结果表明本文提出的算法在无人机目标跟踪的场景下具有较好的整体性能,这是由于引入多特征融合机制,使得跟踪效果更加鲁棒。

图3 多算法跟踪效果

4 结 论

本文提出一种多特征融合尺度自适应的无人机跟踪方法,在KCF跟踪方法中引入多特征融合策略,将互补的HOG特征与颜色特征进行融合,使得跟踪效果更加稳定。为解决KCF无法改变跟踪尺度问题,提出引入图像金字塔,向上、下采样,提供31种尺度进行匹配。实验结果表明：本文方法能够有效跟踪无人机目标,在光照、运动模糊以及翻转变化场景下依旧适用。