响应差异约束的相关滤波无人机目标跟踪算法

王海军，张圣燕，杜玉杰

(滨州学院 山东省高校航空信息与控制重点实验室，山东 滨州 256603)

无人机目标跟踪是计算机视觉领域一项重要的研究课题，在智能安防、森林防火、航空摄影等领域得到了广泛的应用。尽管国内外学者对无人机目标跟踪进行了大量研究[1-3]，取得了一系列研究成果，但是由于基于无人机高空平台对地面小目标跟踪存在角度变化、外观变化、遮挡、尺度变化等严重影响跟踪性能的因素，使得设计一种鲁棒的无人机目标跟踪算法仍然是一项充满挑战的课题。

近年来，相关滤波在目标跟踪领域得到了广泛的应用[4-5]，取得了较高的跟踪速度和较好的跟踪性能。文献[6]首先把相关滤波应用到目标跟踪领域，将时域的卷积运算变换为频域的点积运算，大大提升了跟踪速度；但是由于该算法采用循环移位产生的非真实样本代替实际抽取的样本，使得算法存在边界效应，导致跟踪性能不高。为了缓解边界效应的不良影响，文献[7]提出基于背景感知的相关滤波跟踪算法，在扩大的搜索区域中采用真实的候选样本来训练滤波器；但是该方法同时引入了背景噪声，在场景杂乱时，容易引起跟踪漂移。为了解决跟踪过程目标外观变化等问题，文献[8]利用历史帧滤波器作用于当前帧训练样本；但是该方法没有考虑前后帧之间的响应差异，当跟踪目标形变较大时，容易跟丢目标。为了解决上述问题，笔者提出了一种基于响应差异约束的相关滤波无人机目标跟踪算法，根据滤波器在帧间变化的一致性，构造基于前后帧滤波器作用同一训练样本的响应差异约束机制，学习跟踪目标的外观变化，有效提升了滤波器的鲁棒性。同时引入辅助因子，采用交替求解算法进行滤波器和辅助因子最优解的快速计算。在多个无人机跟踪视频库上仿真实验表明，新算法能够有效提升传统相关滤波算法在目标外观变化、角度变化等方面的无人机跟踪性能。

1 传统相关滤波跟踪算法

传统相关滤波跟踪算法中，通过建模相关响应与样本标签y的均方差，并转换到频域进行快速计算，可以学习得到滤波器，从而能够将跟踪目标从背景中分离出来。目标函数为

(1)

当第t+1帧视频到来时，跟踪目标位置可以通过寻找响应最大值确定：

(2)

其中，Xt+1表示第t+1帧训练样本，是以第t帧跟踪结果在第t+1帧视频图像上选取。

2 响应差异约束的相关滤波跟踪算法

虽然传统相关滤波跟踪算法在跟踪速度上具有较大的优势，但是由于无人机跟踪场景中存在高空视角的遮挡、背景杂乱等严重影响跟踪性能因素，使得传统相关滤波算法跟踪性能一般。为了有效提升无人机跟踪算法的性能，文中提出考虑响应差异约束的相关滤波跟踪算法。图1给出文中算法的流程图。基于大多数视频跟踪场景前后连续帧目标的外观以及位置变化不大，导致前后帧滤波器具有较大的相似性，因此，可以用前后帧滤波器作用于同一训练样本产生的响应差异对跟踪目标的外观变化进行学习。文中算法在传统相关滤波跟踪算法的基础上引入响应差约束项，目标函数为

图1 文中算法的流程图

(3)

(4)

其中，S=diag(s)，为对角矩阵。为了提高计算效率，根据帕塞瓦尔定理，式(4)可以变换到频域进行计算：

(5)

其中，⊙表示两矩阵对应元素相乘，F为傅里叶变换矩阵。通过增广拉格朗日乘子法，式(5)可进一步改写为

(6)

(7)

(8)

(9)

其中，上标i和i+1分别表示第i次和第i+1次循环。

3 实验结果

采用Matlab软件进行编程仿真，实验平台配置为Window 10操作系统、Intel(R)Xeon(R)CPU E5-2680@2.4 GHz、128 GB内存。为了验证所提算法的优越性，在3个无人机视频库：DTB70[9]、UAV123@10 fps[10]和UAVDT[11]上与当前比较流行的11种算法进行对比。11种算法分别为AMCF[12]、BACF[7]、ECO-HC[13]、CSR-DCF[14]、MCCT_H[15]、fDSST[16]、Staple[17]、SRDCF[18]、SAMF[19]、KCF[20]、SAMF_CA[21]。

DTB70数据集上含有从无人机平台上获取的15 777张图片组成的70个短视频。UAV123@10 fps数据集中包含123个速度为10 fps的无人机视频。由于进行了人为降速，跟踪目标具有相对较大的形变，实现准确跟踪更加困难。UAVDT数据集含有50个高空无人机视角的短视频，特别是夜晚和大雾场景下视频较多，严重影响算法的跟踪性能。无人机视频通常具有以下几种不同挑战性因素：宽高比变化(Aspect Ratio Variation，ARV)、背景杂乱(Background Clutter，BC)、形变(DEFormation，DEF)、相机快速运动(Fast Camera Motion，FCM)、平面内旋转(In Plane Rotation，IPR)、运动模糊(Motion Blur，MB)、遮挡(OCClusion，OCC)、平面外旋转(Out of Plane Rotation，OPR)、视野外(Out of View，OV)、尺度变化(Scale Variation，SV)、相似物体干扰(Similar Objects Around，SOA)、完全遮挡(Full OCclusion，FOC)、部分遮挡(Partial OCclusion，POC)、快速运动(Fast Motion，FM)、光照变化(Illumination Variation，IV)、视角变化(Viewpoint Change，VC)、长程跟踪(Long Term Tracking，LTT)等。实验采用准确度和跟踪成功率两个指标对跟踪结果进行评价。准确度表示所有视频中采用算法估计的跟踪目标位置与人工标注的位置之间的差值小于20个像素的比值。跟踪成功率表示所有视频中计算得到的覆盖率大于0.5的比率，其中覆盖率为G0∩G1/G0∪G1，G0为人工标注的跟踪目标覆盖框的范围，G1为采用算法估计的跟踪目标覆盖框的范围。

3.1 定量对比

图2给出文中算法与11种当前比较流行的算法分别在DTB70、UAV123@10 fps、UAVDT等无人机数据库上的跟踪性能对比。

图2 不同算法分别DTB70、UAV123@10 fps、UAVDT无人机数据库上跟踪准确度和成功率对比

从图中可以看出，在跟踪准确度和跟踪成功率两个指标上，文中所提算法在所有3个无人机视频库上都取得了第一名的成绩。在DTB70数据库上，相比基础相关滤波算法KCF，文中算法在跟踪准确度和跟踪覆盖率上分别改善了19.4%和18.3%。在UAV123@10 fps数据库上，由于降采样导致部分中间图像缺失，前后帧目标外观变化相对较大，给无人机对地目标跟踪带来了极大的挑战。但是文中算法由于采用前后帧滤波器作用于同一样本产生的响应差异对模型进行约束，能够较好地学习到目标形变，因此在UAV123@10 fps数据库上的跟踪性能在对比算法中仍然是最优的。在UAVDT数据库中，由于包含较多的能见度不高的视频，给算法进行准确跟踪带来了较大的困难。文中算法分别以0.734和0.467在跟踪准确度和跟踪成功率两个指标上取得了最佳的跟踪效果。CSR-DCF虽然在DTB70和UAV123@10 fps两个数据库跟踪准确度指标上取得了第二名的成绩，但是在UAVDT数据库上只取得了第五名。相比文中算法在所有3个数据库两个不同指标上的成绩，表明文中算法具有较好的泛化性。

图3为跟踪性能较好的5种算法分别在DTB70、UAV123@10 fps、UAVDT无人机数据库上不同属性上跟踪成功率对比。从中可以看出，几乎在所有的挑战性属性上，文中算法都取得了相对较好的成绩。

图3 不同算法分别在DTB70、UAV123@10 fps、UAVDT无人机数据库上不同属性上跟踪成功率对比

3.2 定性对比

图4为不同算法分别在DTB70、UAV123@10 fps、UAVDT等无人机数据库上代表性视频跟踪结果对比。

图4(a)和4(b)分别为DTB70数据库中gull和soccer1视频的跟踪结果。gull视频中，海鸥在深蓝色大海上空飞行，目标海鸥颜色与蓝天和海水颜色非常接近，同时海鸥不断改变飞行姿态，具有较大的形变。从第235帧图像中可以看出，对比的其他4种跟踪算法都偏离目标，只有文中算法能够较好学习目标变化，从而实现准确的跟踪。soccer1视频中，远处目标人物旁边存在一位外观非常接近的人物干扰，从跟踪结果上看，除CSR-DCF偏移到干扰人物上，其他算法都能排除干扰，实现鲁棒跟踪。

图4(c)和4(d)分别为UAV123@10 fps数据库中wakeboard 7和group2_2视频的跟踪结果。wakeboard 7视频中，冲浪运动员在游艇的牵引下快速移动，同时由于视角变化，存在较大的形变。从第67帧视频可以看出，SRDCF、MCCT_H、CSR-DCF和ECO-HC 4种算法都偏离目标，文中算法能够通过学习响应变化，从而实现准确定位目标人物。group2_2视频中，目标人物与沙滩颜色比较接近，同时在第472帧视频中存在严重的遮挡，从第582帧视频中可以看出，SRDCF和MCCT_H都跟丢了目标。

图4(e)和4(f)分别为UAVDT数据库中S1001和S1301跟踪结果对比。S1001视频中不但有背景树木杂乱干扰，也有其他相似车辆的干扰。从结果上来看，只有笔者提出的算法能够同时不受背景杂乱、相似物体的干扰，准确地获得目标特征，从而实现稳定的目标位置定位。S1301视频中，目标车辆是黑色的，同时由于是在晚上，比较难获得目标车辆的外观特征，所以CSR-DCF算法跟丢了目标车辆，其他4种算法都实现了稳定的跟踪。

(a)gull

4 结束语

笔者提出了一种基于响应差异约束的相关滤波无人机平台对地目标跟踪算法。根据大多数场景中，前后帧间目标位置变化较小，导致滤波器在帧间变化存在一致性，从而使前后帧滤波器作用同一训练样本的响应差异不大，因此能够建立约束机制学习跟踪目标的外观变化，大大提升了算法的鲁棒性。同时通过引入辅助变量，对滤波器和辅助变量采用交替求解算法进行最优解的快速计算。在3个无人机视频库(DTB70、UAV123@10 fps和UAVDT)仿真实验表明，与其他主流算法相比，新算法在无人机视频存在的目标外观变化、背景杂乱等干扰属性方面具有较好的跟踪性能。