显著性能量目标跟踪轨迹修正算法

解云娇，杨大伟，毛 琳

(大连民族大学 机电工程学院，辽宁 大连 116605)

基于深度学习的目标跟踪算法无法适应视频图像中目标外观的剧烈变化，导致神经网络难以捕获目标区域的卷积特征，进而产生跟踪漂移问题。随着计算机视觉在无人驾驶领域的应用，很多学者正致力于目标跟踪相关算法的改进，在这期间涌现出大量优秀的跟踪算法[1]。文献[2]提出采用VAE方法生成多样化正样本SINT++算法，使用强化学习丰富训练数据从而提高跟踪的准确率，但该算法实现复杂，当跟踪目标未知时，需要利用随机梯度下降法在线微调网络权重，使得跟踪效率下降，难以达到实时跟踪；Siamese-FC是一种端到端的全卷积孪生网络算法[3]，该算法按照运动学模型提取目标，生成两个互相关特征图，比较搜索区域与目标模板的相似度，将相似性最高的区域输出为跟踪结果，该算法网络结构简单，跟踪速度达到58 fps，但网络深层缺少细节特征，导致跟踪容易受到特征干扰而出现错误；文献[4]基于Siamese-FC，提出SiamRPN算法，引入Faster RCNN区域候选网络模块[5]，跟踪器可同时计算目标的位置、形状，避免多尺度测试，进一步提高算法性能，跟踪速度达到160 fps，但该算法鲁棒性较差，无法对目标实现长时间视觉跟踪。针对这些问题，文献[6]提出SiamMask算法，在Siamese-FC和SiamRPN的基础上引入全卷积孪生网络的离线训练过程，可同时应用于目标跟踪和半监督视频对象的分割任务，但该算法在运动模糊发生时无法获取目标显著特征，导致跟踪漂移。

本文针对运动模糊场景下发生的跟踪漂移问题，提出一种显著性能量目标跟踪轨迹修正算法(Saliency Energy Target Tracking Trajectory Correction Algorithm，SEC)，通过分析目标区域的显著性能量特征对跟踪结果进行漂移判定。该算法引入漂移判定模块来辨识跟踪结果目标区域是否发生漂移，当确定偏移发生时，利用轨迹预测模块对不准确的跟踪结果进行修正，从而改善运动模糊情况下的跟踪漂移问题，有效提升跟踪精度。

1 SEC算法

为解决模糊运动场景下全卷积孪生网络跟踪算法存在的跟踪漂移问题，本文提出SEC算法，将显著性能量特征与轨迹预测结合。首先分析跟踪结果区域中目标特征的能量偏差，判定跟踪结果是否失效；使用轨迹预测模块对判定跟踪失败的输出结果进行目标跟踪位置校正，以此改善算法跟踪效果。

1.1 漂移判定模块

SiamMask算法虽具有较好的跟踪效果，但在运动模糊场景下，跟踪器无法获取目标特征且难以区分目标与背景，出现跟踪漂移问题。导致目标与背景难以区分的原因是运动模糊场景中的目标特征发生剧烈变化，在这种情况下仅仅使用普通的图像卷积特征不能进行有效跟踪。图像显著性分析方法[7-8]通过提取感兴趣目标区域作为显著性区域，使得目标可以很好地适应动态背景场合。分析图像能量分布的方法可以有效整合跟踪目标的纹理、颜色、HOG以及深度特征等单一特征，经过能量统计后可保留跟踪目标区域中的有效特征[9-10]。本文采用图像显著性结合能量统计的方法计算目标区域能量特征，判别跟踪结果中目标特征的有效性。

(1)

(2)

(3)

Rn+1=Dn+1-Drn。

(4)

式(4)中Rn+1表示第n+1帧跟踪结果的欧式距离Dn+1与距离上限值Dr波动差值，超出距离上限则判定该跟踪结果出现漂移。否则，判定该跟踪结果没有出现漂移。显著性能量特征漂移判定算法工作流程如图1。

图1 漂移判定模块工作流程

1.2 轨迹预测模块

针对运动模糊场景下跟踪算法搜索目标的局限性，本文引入LSTM网络结构解决轨迹预测问题。跟踪器实时在线跟踪的同时，使用LSTM轨迹预测算法同步获取并保存跟踪目标的位置信息，当卷积神经网络显著性能量特征漂移判定模块判定第n+1帧图像因运动模糊发生漂移时，调用LSTM预测模型预测漂移帧中目标的位置，用预测结果校正目标跟踪结果。

(5)

图2 SEC算法工作流程图

2 仿真分析

仿真实验使用GeForce 1080Ti显卡，操作系统为64位Ubuntu 16.04，编程环境为Python 3.6，Pytorch 0.4.1，CUDA 9.0，ILSVRC2015-VID训练集、VOT2018和OTB-50基准测试集。SEC算法相关参数设置见表1。

表1 SEC算法相关参数设置

仿真结果表明，SEC在OTB-50测试集上丢失帧数为36，SiamMask的丢失帧数为74，SEC算法有效抑制了跟踪漂移造成的跟踪失效。选取OTB-50数据集部分视频序列，进一步对比SEC与SiamMask的性能差异，如图3。

图3 SiamMask与SEC算法跟踪结果对比

通过Matrix、Soccer、Blurcar1、MotorRolling视频序列进行算法性能分析，SiamMask算法由于使用单一的卷积特征进行跟踪，无法捕捉模糊图像中的目标特征，从而发生跟踪漂移，在原跟踪网络中加入SEC算法后，跟踪器可以较好地应对跟踪漂移问题，成功修正跟踪结果。

在第(1)组对比图中可以看出，由于目标所在图像的背景复杂，SiamMask无法捕获全部的目标特征区域，而SEC能够跟踪到大部分目标特征区域；在第(2)组对比图中，存在大量相似的跟踪目标，SiamMask容易混淆存在相似特征的区域(第241帧)，进而发生跟踪漂移(第382帧)，由于SEC能够区分目标区域的显著性能量特征，从而提高了这种复杂环境下的跟踪精度；在第(3)组对比图中，针对SiamMask在运动模糊场景下发生的漂移问题，SEC成功修正了跟踪结果；在第(4)组对比图中，当目标在相邻帧中发生大幅度形变时，SiamMask的分割掩码无法准确计算出下一帧目标的所在区域，进而目标框无法及时收缩，SEC能够发现这一缺点，并精确框定了发生形变的目标所在区域。

SEC算法选取VID数据集视频序列的轨迹信息作为轨迹预测模块的训练样本。在VOT2018的仿真测试结果见表2。与SiamMask进行仿真对比，SEC算法将SiamMask算法的跟踪精度提高了0.2%。SEC算法虽然对模糊序列的目标跟踪准确率提升明显，但是当目标跟踪轨迹中出现连续跟踪漂移时，由于算法的轨迹预测模块依赖于历史位置信息，所以相比SiamMask算法，其鲁棒性降低了1.8%。因VOT2018中运动目标较为清晰，跟OTB数据集相比，视频序列较少存在目标模糊和抖动现象，所以本算法在此数据集上提高幅度较小。

表2 VOT2018仿真测试结果

3 结 语

本文针对SiamMask算法出现的跟踪漂移现象，提出显著性能量目标跟踪轨迹修正算法SEC。SEC算法通过分析目标区域的显著性能量特征，筛选出错误的跟踪结果，利用轨迹修正模块对错误结果进行校正，进一步提高跟踪精度。与SiamMask算法相比，SEC算法进一步改善了复杂情况下目标跟踪的精度，适用于智能监控和无人自主驾驶等系统。