一种基于前后向误差比较的检测跟踪遮挡方法

吕高杰，毛 鑫，胡银记，贾聪乐



一种基于前后向误差比较的检测跟踪遮挡方法

吕高杰，毛 鑫，胡银记，贾聪乐

（中航工业洛阳电光设备研究所，河南 洛阳 471009）

目标跟踪中准确的遮挡检测对于跟踪算法适应性的提高至关重要。针对传统的遮挡检测方法对局部遮挡等情况判断准确度低、适应性差的问题，提出一种基于前后向误差比较并辅以区域标准差比较的方法的跟踪遮挡检测方法。该方法对目标在时序上进行前向和后向跟踪，通过比较前向跟踪和后向跟踪的轨迹误差并结合最佳匹配区域标准差的进行特征性检验确定是否发生了跟踪遮挡。相对于传统的跟踪遮挡检测方法，其优越之处在于克服了相似性阈值选择不当引起的目标跟踪遮挡判断不准确及适应性不强的问题。实验证明，本文提出的方法能够实现对目标跟踪遮挡的有效检测。

目标跟踪；前后向误差；跟踪遮挡

0 引言

成像目标跟踪[1]通过对传感器拍摄到的图像序列进行分析，计算出目标在每帧图像上的位置，是光电系统实现自动跟踪的核心技术和重要组成部分。由于场景的复杂性，跟踪中经常会出现目标遮挡，此时需要利用以前时刻的目标轨迹进行预测，实现对目标的“记忆跟踪”[2-3]。因此，对目标是否遮挡进行适时准确的判断尤为重要，叶斌等[4]定义一个目标区域和图像区域的交叠系数，当交叠系数大于一定的阈值时，判定目标被遮挡，赵健伟等[5]针对目标跟踪常出现的遮挡问题，引入基于遮挡的网络模型概念，通过比较当前帧图像和上一帧图像在某一网格区域覆盖/暴露的像素大小确定该区域的跟踪是否遮挡，刘扬等[6]提出采用一个中心模板4个非重叠模板共5个模板的策略判断模板是否遮挡或完全遮挡。相对于常用的单模板区域相似度量判断是否遮挡，上述方法都从策略上对判断目标遮挡进行了改进。但由于其判断目标模板区域是否遮挡的主要原理是基于公式(1)和(2)所示的相似性度量阈值判断，因此若阈值选取不合理则造成跟踪状态的误判。单一的固定阈值难以适应不同的跟踪场景，对于目标本身特征信息不明显、对比度差的跟踪场景，相似性度量会出现不明显的相似峰值，此时最小灰度绝对值差以及归一化积相关等相似性度量无法准确判断目标跟踪的状态。

相似性度量阈值判断公式[2]如式(1)和式(2)：

式中：(,)为模板图像；(＋,＋)为当前图像；[,]为当前图像和模板图像MAD(,)最小时的匹配位置，对应的MAD(,)称为相关度量值；NC(,)为归一化相似度量；,为模板图像大小。

针对上述问题，提出了一种基于前向后向误差比较检测跟踪遮挡的方法，通过比较前向跟踪和后向确认两条轨迹的差异，确认当前跟踪的轨迹是否可靠，同时考虑了该方法判断跟踪遮挡失效的一些特殊情况，形成了比较可靠的目标遮挡丢失判断方法，便于指导进一步的跟踪结果处理。

1 基于前向-后向误差比较的跟踪遮挡检测

1.1 前向-后向误差和标准差特征

标准差[8]是对一组数值自平均值分散程度的一种测量，表征改组数值整体均匀程度。对于图像，标准差是像素灰度分布均匀性的一种量度，标准差越大，说明均匀性越差，和背景越有区别，该部分图像越有特征。针对大小为×的图像(,)，其标准差的数学表示公式为：

1.2 前向-后向运动一致性假设

前向-后向运动轨迹一致性假设[7]：目标跟踪时，其轨迹应不取决于时间流动的方向，目标前向轨迹和后向轨迹运动一致，其产生的前向-后向误差较小。如图1(a)，在正常跟踪时目标前向轨迹和后向轨迹一致；如图1(b)，在目标跟踪不正常时，前向轨迹和后向轨迹有很大的偏离，其产生的前向-后向误差较大。在实际环境中，形变、光照等因素对目标跟踪的精度都会有影响[9]，因此正常跟踪的前后向轨迹大致如图1(c)所示，时间越短，形变、光照等因素对目标跟踪的影响越小，对目标跟踪产生影响的主要因素为他物遮挡，据此可作为目标跟踪是否遮挡的判据。

图1 正常和不正常跟踪时目标前后向跟踪轨迹对比

1.3 基于前向-后向误差比较的跟踪遮挡检测算法

以前向-后向一致性假设为基础，本文提出了基于前向后向误差比较的跟踪遮挡检测方法，该方法利用序列多帧的目标信息，主要思路为：首先跟踪前向的一点而产生一条轨迹，然后该点通过最后一帧到第一帧的后向跟踪产生一条后向轨迹，最后对这两条轨迹进行比较，如果它们之前的差异很大，那么前向轨迹就被认为是不正确的。如图2所示，时刻跟踪的目标为蓝框内汽车，在＋1时刻汽车运行到树丛后面，目标前向跟踪的结果为图2(b)的白十字位置，后向跟踪的结果为图2(a)所示时刻的虚十字线位置，前后向跟踪的位置具有很大的偏差，可以确定目标的前向跟踪轨迹和后向跟踪轨迹明显不一致，据此可有效检测跟踪目标被遮挡。

进一步研究发现，在跟踪过程中，当遮挡物体没有特征[9]时，目标很可能停留在遮挡物某一位置或在较小的一个区域内跳动，这样也会出现后向确认轨迹和前向跟踪轨迹误差较小的情况。针对此种情况，需要先检查当前目标最佳匹配区域图像是否具有特征，可以通过检查其标准差大小确定是否有特征[10]，若无特征，便可继续确认目标跟踪被遮挡。基于前向-后向误差比较检测跟踪遮挡算法流程如图3所示。

2 算法仿真结果和分析

根据提出的基于前向后向误差比较的跟踪遮挡检测方法，进行了算法仿真实验，采用的仿真环境是：

1）MATLAB 7.1；

2）Pentium(R)4 CPU 3.0GHz；Memory 4GB。

图4是对复杂背景下目标跟踪的算法仿真结果图，其中归一化相关值判断遮挡阈值为0.5，前后向误差比较检测遮挡阈值为5，当检测到遮挡时采用卡尔曼滤波法预测目标位置进行“记忆跟踪”。图5是跟踪中归一化相关值和前后向误差值变化示意图，表1是采用传统目标遮挡检测方法和本文方法得到的跟踪结果信息。可以看到，在第363帧截获车辆目标后，在第364～380帧、第387～396帧目标不存在遮挡，所求最佳匹配位置的归一化相关值较大（≥0.75），前后向误差值较小（≤2），目标为正常跟踪状态。第412～433帧和第473～483帧目标不存在遮挡，但由于目标在遮挡时无法准确检测到遮挡，目标有时误匹配到桥梁，有时检测到遮挡丢失。第381～386帧目标被一电线杆部分遮挡，所求目标最佳匹配位置的归一化相关值仍然较大（≥0.75），采用NC比较法当阈值为0.5时未检测到跟踪遮挡，而前后向轨迹误差值较大（9），前向后向运动不一致，成功检测目标跟踪遮挡。第397～411帧目标被一较大的广告牌部分遮挡，归一化相关值跳动较大（0.4～0.7），有时可检测目标遮挡，有时则检测不到，而前后向轨迹误差值较大（10），前向后向运动不一致，检测到目标跟踪遮挡；第434～472帧目标被树丛部分遮挡，前后向轨迹误差值有时较大（≥9），有时较小（≤4），而此时结合归一化互相关量较小（≤0.5）的情况，便可准确检测目标跟踪遮挡。

图2 前向-后向轨迹一致性检测跟踪遮挡示意图

图3 前向-后向误差比较检测跟踪遮挡流程图

(a) 基于归一化互相关值检测遮挡跟踪效果（遮挡阈值0.5） (b) 基于前后向误差比较检测遮挡跟踪效果（遮挡阈值5）

图5 跟踪中相关性能参数变化示意图

需要说明的是，通常目标在遮挡中和遮挡前都具有一致的成像运动模型，其跟踪结果可以利用前些时刻对目标正常跟踪的结果预测出来，实现“记忆跟踪”，而对于那种遮挡中出现目标运动机动（突然变速）的情况，则不符合我们的认知规律。由于本文的算法只是对目标跟踪过程中是否存在遮挡进行了检测，因此在不遮挡时目标的跟踪精度和所采用的跟踪算法精度有关，而在遮挡时，由于是利用前些时刻对目标正常跟踪的结果预测出来，其跟踪精度将和预测的目标运动模型是否和观测的运动模型相一致或者所采用的模型参数是否合适有关。我们采用E. Maggio和A. Cavallaro[11]提出的跟踪丢失率、欧式中心坐标误差D、归一化中心坐标误差等作为评价指标对以上跟踪仿真过程进行了算法精度分析。从表1中可以看出，在第364～380帧、第387～396帧、第412～433帧和第473～483帧不存在遮挡，跟踪丢失率的标准差、欧式中心坐标误差D的标准差和归一化中心坐标误差的标准差都很小。而第381～386帧和第397～411帧目标被部分遮挡，但此时跟踪算法仍未失效，目标的跟踪信息仍然是跟踪算法的计算结果，目标的跟踪丢失率的标准差、欧式中心坐标误差D的标准差和归一化中心坐标误差的标准差比较大。第434～472帧目标被树丛全部遮挡目标的跟踪信息仍然是卡尔曼滤波算法的计算结果，虽然跟踪丢失率的标准差很大，但欧式中心坐标误差D的标准差和归一化中心坐标误差的标准差却和部分遮挡时相差不大，说明其和部分遮挡时的精度相当，可知目标在遮挡中和遮挡前的运动状态一致，短时间内可以预测数据作为跟踪结果实现“记忆跟踪”。

3 结论

本文提出的基于前向-后向误差比较检测跟踪遮挡方法，有效解决了复杂环境下传统目标跟踪算法遮挡检测不准确的问题，克服了相似性阈值选择不当引起的目标跟踪状态判断不准确及适应性不强的问题。同时针对目标本身特征信息不明显时的跟踪情况，采用最佳匹配区域标准差比较的方法进一步确认，有效的提高了跟踪遮挡判断的可靠性，可有效指导进一步的跟踪结果处理，促进该项技术的进一步发展。

表1 NC比较法和前向后向误差比较法检测跟踪遮挡结果比较

[1] 张然, 吕高杰, 张国华. 光电目标图像自动跟踪技术研究[J]. 电光与控制, 2008(9): 65-68.

ZHANG Ran, LYU Gaojie, ZHANG Guohua. Study on automatic tracking technologies of target image[J]., 2008(9): 65-68.

[2] 任仙怡, 周晓, 张桂林, 等. 基于仿射变换与模板更新策略的目标跟踪方法[J]. 华中科技大学学报, 2001, 29(12): 50-52.

REN Xianyi, ZHOU Xiao, ZHANG Guilin, et al. Study on automatic tracking algorithm based on combination of affine transform and the strategy of changing template[J]., 2001, 29(12): 50-52.

[3] 杨晓峰. 基于仿射变换模型的图像目标定位跟踪方法[D]. 武汉: 华中科技大学, 2005: 45-48.

YANG Xiaofeng. Image Target location and tracking based on affine transform model[D]. WuHan: Huazhong University of Science & Technology, 2005: 45-48.

4] 叶斌, 徐毓. 强跟踪滤波器与卡尔曼滤波器对目标跟踪的比较[J]. 空军雷达学院学报, 2002, 16(2): 17-19.

YE Bin, XU Yu. Comparison between a strong tracking filter and kalman filter for target tracking[J]., 2002, 16(2): 17-19.

[5] 赵建伟, 王朋, 刘重庆. 适用于遮挡的网格跟踪算法[J]. 上海交通大学学报, 2003, 37(3): 440-443.

ZHAO Jianwei, WANG Peng, LIU Chongqing. Mesh tracking algorithm applied for occlusion[J]., 2003, 37(3): 440-443.

[6] 刘扬, 张云峰, 董月芳. 复杂背景下抗遮挡的运动目标跟踪算法[J]. 液晶与显示, 2010, 25(6): 890-895.

LIU Yang, ZHANG YunFeng, DONG Yuefang. Anti-Occlusion algorithm of tracking moving object in clutter background[J]., 2010, 25(6): 890-895.

[7] Zdenek Kalal, Krystian Mikolajczyk. Forward-Backward Error:Automatic Detection of Tracking Failures[J]., 2010: 23-26.

[8] 万磊, 白洪亮, 戴军. 扩展的Otsu最优阈值图像分割的实现方法[J]. 哈尔滨工程大学学报, 2003, 24(3): 326-329.

WAN Lei, BAI Hongliang, Dai Jun. Extended optimal Otsu thresholding method of image segmention[J]., 2003, 24(3): 326-329.

[9] 向卫军, 韩根甲. 基于模板匹配的目标跟踪算法在红外热成像跟踪技术上的应用[J].电子技术应用, 2003(5): 12-14.

XIANG Weijun, HAN Genjia. An algorithm for the infra-red image target tracking based on the matching of template[J]., 2003(5): 12-14.

[10] 史泽林, 王俊卿, 黄莎白. 复杂场景下的变形目标跟踪[J]. 光电工程, 2005, 32(1): 33-35.

SHI Zelin, WANG Junqing, HUANG Shabai. Trackingh of deformable objects in complex scene[J]., 2005, 32(1): 33-35.

[11] E.Maggio, A.Cavallaro. Accurate appearance-based Bayesian tracking for maneuvering targets[J]., 2009, 113: 544-555.

One Method to Detect Tracking OcclusionsBased on Evaluation Forward and Backward Errors

LYU Gaojie，MAO Xin，HU Yinji，JIA Congle

(,,471009,)

In target tracking, the accuracy of occlusion detection plays a very important role in improving the adaptivity of tracking algorithms. The paper studies traditional occlusion detection methods on target tracking, and proposes one novel method aiming at low accuracy and adaptive problems, which is based on the hypothesis of forward and backward motion consistency and auxiliary area standard deviation comparation. Targets are tracked in both forward and backward time directions, and the differences between them is compared to find out whether the current track is occluded. The superiority of this method is to overcome the inaccuracy and low adaptability by threshold comparation. Experimental results indicate that the proposed method can effectively detect the occlusion of tracked targets.

target track，forward and backward error，tracking occlusions

TP391

A

1001-8891(2016)04-0337-05

2015-09-10；

2016-03-22.

吕高杰（1976-），男，高级工程师，研究方向为目标跟踪、电子稳像等。E-mail：lgjmq@126.com。