基于ECO-HC的无人机指定行人稳定实时跟踪

2018-09-11翁静文李磊民黄玉清

传感器与微系统 2018年9期

翁静文，李磊民，黄玉清

(1.西南科技大学信息工程学院，四川绵阳 621010； 2.西南科技大学国防科技学院，四川绵阳 621010)

0 引言

在线视觉跟踪是计算机视觉的一个热门问题，在许多应用中起到至关重要的作用，比如自动驾驶、智能交通控制和无人机监控等[1～3]，其中无人机监控具有地理阻碍小，数据采集快，视距范围广等优势，使得无人机能够持续对目标进行观测。

经典的行人跟踪算法是通过给定行人初始帧信息并在后续帧中评估行人状态的过程。但由于实际跟踪场景中存在目标遮挡、尺度变化的问题会影响目标跟踪结果，同时无人机实时跟踪也对算法的效率提出了较高要求，而现有的跟踪算法难以做到两者兼顾。判别相关滤波(discriminative correlation filtering，DCF)的目标跟踪算法具有良好的鲁棒性和明显的速度优势，改进了跟踪基准[4,5]。目前，基于DCF的跟踪算法的最新进展是使用多维特征[6]、鲁棒性尺度估计[7]、长期记忆组件[8]、复杂学习模型[9]等来提高跟踪精度，然而，这些算法都是以牺牲大量的跟踪速度为代价。为此，2016年，Danelljan M等人[10]在DCF跟踪框架上提出了一种用于训练连续卷积滤波器的新方法，即连续卷积算子的视觉跟踪(learning continuous convolution operators for visual tracking，C-COT)，采用内插模型来构造连续空间学习问题，使其能够有效集成多分辨深度特征图，并获得视觉跟踪算法测试(visual object tracking challenge，VOT)2016冠军，但C-COT计算复杂度高，对于高维度参数空间极易过拟合导致跟踪失败。同年，Danelljan M等人[11]又在C-COT基础上提出了高效卷积算子跟踪算法(efficient convolution operators for tracking，ECO)，通过引入分解卷积算子，提出紧凑训练样本分布的生成模型和稀疏模型更新策略这三个方法解决了C-COT计算复杂和过度拟合的问题，并且速度比C-COT提高了20倍。

近年来，随着卷积神经网络(convolutional neural network，CNN)的发展，CNN展现出明显的目标跟踪优势[12]，其深层卷积层包含高层语义信息，浅层卷积层具有目标的位置信息，ECO采用的就是CNN的卷积特征图，但CNN自身的复杂度无法满足无人机实时性需求且成本较高，不利于嵌入到无人机系统中。

为此，针对目标遮挡严重、尺度变化大的问题，提出一种基于无人机指定行人稳定实时跟踪算法，即ECO-HC，采用Felzenszwalb P F等人[13]改进的方向梯度直方图(fHOG)和颜色(CN)特征替换CNN并与ECO跟踪算法的连续卷积滤波进行融合，并引入快速判别尺度空间跟踪算法[14](fDSST)中快速尺度滤波器的方法，将搜索区域限制在较小部分，实现快速尺度自适应跟踪目标。

1 本文算法介绍

1.1 总框架

如图1所示，首先，提取初始帧标定框的fHOG和CN特征训练相应滤波器模型，并提取新帧感兴趣区域的fHOG和CN特征，利用训练样本的内插模型，使其特征图从离散域转换为连续域，并利用分解卷积算子、紧凑训练样本模型和稀疏模型更新策略，减少算法复杂度。随后通过连续学习方式得到的所有响应图加权求和，最大值位置即为当前帧目标中心位置，最后，引入快速尺度滤波器的方法自适应得到目标尺寸最佳估计，训练所有滤波器模型，实现模型在线训练与目标实时跟踪。本文算法优势在于响应分数在连续域中定义，用于融合多个不同空间分辨率的特征图，而不需要显式重新采样；自适应目标的尺度变化具有更高的跟踪精度和亚像素定位精度，并且本文采用的连续学习方式的理论框架具有普遍性，可以应用于监督学习任务中，特别是在目标跟踪检测和动作识别方面。

图1 本文算法流程

1.2 ECO跟踪算法

1.2.1 分解卷积算子

ECO引入分解卷积方法，目的是减少模型中的参数数量。ECO不为每个特征通道学习单独的滤波器，只使用一组贡献大的C个基础滤波器f1…fC。卷积算子如下

(1)

1.2.2 紧凑样本空间生成模型

为了解决由连续样本组成的训练集外观变化缓慢引起的大量冗余而导致的最近样本过拟合的问题。ECO通过将训练数据建模为高斯分量的混合使用样本集的概率生成模型消除冗余，增强多样性，降低了过拟合风险。如图2。

图2 传统方法和ECO算法在样本集的可视化表示

采用高斯平均值μl和先验权重πl分别代替权重xj和αj，并将C-COT中采用的M个样本替换为L个(L=M/8)，得到目标函数为

(2)

式中期望值E为在联合样本分布p(x,y)上评估，p(x,y)与分解卷积算子结合，使用联合样本估计p(x,y)的一个紧凑模型可以更有效地贴近预期损失。

(3)

1.2.3 模型更新策略

为了降低连续模型更新对滤波器的负载影响，提高跟踪速度，ECO将DCF跟踪器中连续模型更新优化为稀疏模型更新，通过每个第N帧更新滤波器，参数Ns为滤波器更新的频率，利用执行固定数量的CG迭代次数NCG来改进模型，这种稀疏更新模型可以使每帧CG迭代的平均数量减少到NCG/Ns，使得对学习的整体计算复杂度具有实质性影响。值得注意的是模型更新不会影响样本更新。

1.3 fHOG和CN特征融合

ECO采用CNN特征，但速度相对手工特征较慢[16]，满足不了实时性。因此，本文利用DCF框架的可兼容特征的优势，用fHOG和CN特征替换CNN并与ECO的连续卷积滤波进行融合，能够稳定快速地对目标遮挡严重的指定行人进行跟踪。其原因在于：fHOG(算法参考文献[13])是以HOG特征为基础，在具有一定的平移、旋转和光照不变性，并在不引起性能损失的前提下对特征降维至31维，减少模型参数降低特征提取时间；CN特征是一种有效的显著颜色特征，将RGB空间转换为11维颜色特征空间，能够很好表示目标的颜色信息。两者互补，已成为近年跟踪算法中手工特征标配。

通过首帧视频序列的人工标定目标框初始化滤波器，以目标位置为中心的感兴趣区域提取fHOG和CN特征，获得特征块的数量和总体维度，特征图分为两个部分，分别存放fHOG和CN特征。为了防止训练参数过多，加大算法复杂度，利用前述分解卷积算子会降低fHOG和CN特征所对应的滤波器数量，本文提取的fHOG和CN特征对应滤波器数量从相应的传统方法的31，11个分别减少至10，3个。

(4)

1.4 尺度估计与更新

在视频序列中运动的行人目标会出现由于摄像机的运动或目标外观的变化引起的目标尺寸的变化，目标尺寸的变化易导致跟踪出现漂移现象，故本文引人fDSST(具体算法见文献[14])中的快速尺度滤波器的方法来进行最优的尺度估计。针对尺度变化大的问题，能够做到尺度自适应跟踪，提高跟踪精度。由于在目标运动过程中，连续两帧目标的位置的变化往往大于尺度的变化，因此，本文先由前文方法确定位置信息，再在目标中心位置的基础上使用尺度滤波器确定尺度信息。

(5)

尺度滤波器的输出响应为

(6)

式中Zl为z的离散傅里叶变换，λs为正则参数，找到y最大的尺度即为最终尺度估计结果。

2 实验与结果分析

2.1 实验环境与超参数设定

实验室硬件环境为Inter Core i7—4810 CPU，主频2.80 GHz，测试序列来源于最具权威性目标跟踪算法评估平台之一的OTB，该测试序列包含了尺度变化大、目标遮挡严重，快速运动等跟踪难点。本文采用一次通过评估(OPE)模式，通过平均距离精度曲线和成功率曲线来进行算法性能评估，其中距离精度曲线计算中心位置误差(CLE)低于某个阈值的帧数占所有帧的百分比，本文设置像素阈值为20。CLE指预跟踪的目标中心(xT,yT)与目标真实中心(xG,yG)之间的平均欧氏距离。成功率曲线则计算跟踪重叠率大于某个阈值的帧数占所有帧数的百分比，其中重叠率是指目标跟踪框与真实目标框的重叠面积与总面积之比，本文设定重叠率阈值为0.5。以每秒平均帧数(FPS)来代表跟踪算法速度。

设置fHOG和CN特征的胞元大小分别为6和4，正则参数λ=2×10-7，样本空间模型学习速率γ=0.012，模型数量L=50，更新滤波器帧数Ns=6，共轭梯度迭代次数NCG=5。尺度滤波器中尺寸个数为S=17，尺度因子为a=1.002，学习率η=0.025，正则参数λs=0.01。

2.2 不同算法性能对比

本文采用ECO-HC与近年4种先进算法(SAMF，CTT[16]，RPT[17]，Struck[18])在OTB2015中60段行人跟踪序列的跟踪上整体性能对比，5种算法均在相同配置的计算机上进行实验，通过跟踪算法评价标准评估对比各算法。

图3为ECO-HC在实验中的部分跟踪结果(图中矩形框跟踪标识)，每段视频序列选取其中2帧跟踪结果展示。3段视频序列包含了常见的行人跟踪问题，如目标遮挡、尺度变化，从跟踪结果可以看出，ECO-HC针对行人跟踪中出现的目标遮挡、尺度变化具有很强的鲁棒性。

表1记录了5种跟踪算法在60段行人跟踪序列下的平均FPS(mean FPS)，平均距离精度(mean DP)和平均重叠率精度(mean OP)，相比其他4种跟踪算法，本文算法在相同实验条件下3个指标均取得最优的结果，并取得了56.3 帧/s的平均跟踪速度，可以满足实时性需求。相应的距离精度曲线和成功率曲线如图4所示。

图3 ECO-HC行人跟踪结果

指标ECO-HCCCTSAMFRPTStuckmean DP/%83.274.373.966.457.6mean OP/%87.380.378.975.267.5mean FPS/(帧·s-1)56.335.615.8 6.720.1

图4 5种跟踪算法的评估曲线(60段行人序列)

2.3 ECO-HC算法应用于无人机行人跟踪

在上述实验基础上，将ECO-HC算法应用于无人机拍摄的行人视频，利用大疆无人机(精灵4专业版)拍摄3组行人视频，记录本文算法与其他4种算法的平均跟踪结果。

由于传统的评估跟踪算法方式是根据第一帧标定的目标标准位置进行跟踪器初始化，然后在后续测试序列中运行算法，最后得出距离精度曲线或成功率曲线。但跟踪器可能对初始化非常敏感，且在不同的初始帧给予不同的初始化会使其性能发生变化。因此，此实验除OPE模式外还采用评估跟踪器鲁棒性的另2种方法：时域鲁棒性评估(TRE)和空间鲁棒性评估(SRE)，即在不同帧和不同的边界框开始跟踪扰乱初始化。

针对无人机行人视频序列的5种算法速度对比，结果为：ECO-HC 51.7帧/s,CCT 30.4帧/s,SAMF 13.8帧/s,RPT 5.8帧/s,Struck 23.2帧/s。本文算法速度最快，且符合实时性标准。

图5为针对3组无人机行人视频的跟踪结果，可以看出:当目标出现背景复杂并且明显遮挡、尺度变化时ECO-HC跟踪算法具有稳健的跟踪效果。图6为针对3组无人机行人视频跟踪评估结果。图中的数值代表每种跟踪算法对应的成功率曲线与坐标轴围成的区域面积(area under the curve，AUC)，其值越高越反映算法的跟踪精度的好。且从OPE，TRE，SRE 3条曲线可以看出，ECO-HC相对其他算法均取得最好的跟踪性能。