一种基于多特征融合的自适应目标跟踪策略

刘 杰（广西经济管理干部学院，广西 南宁 530007）

一种基于多特征融合的自适应目标跟踪策略

刘 杰
（广西经济管理干部学院，广西 南宁 530007）

为了提升目标物体的跟踪性能，分析了跟踪系统的不足之处，针对多变场景中跟踪目标特征弱化问题，采用了多特征融合的跟踪模式，并设计了场景识别、多特征融合策略和特征学习模块以改善目标跟踪系统的跟踪性能，实验表明该方法对多变场景的跟踪性能具有一定的改善作用。

目标跟踪；特征融合

随着视觉监控场景的日趋多样化，智能视觉检测系统需要应对越来越复杂和实时变化的跟踪场景，这对目标跟踪系统的实时性需求、跟踪效果的设计和实现提出了巨大的挑战。目标跟踪系统是智能视觉处理系统中至关重要的一环，其效果的好坏直接影响到最后的目标物体位置的判定结果。随着软硬件水平和嵌入式芯片的处理能力的不断攀升，目标跟踪系统的研究和设计也从单目标的跟踪过渡到多目标的跟踪，从稳定单一场景的研究转向多变复杂场景的研究。

但在多变的复杂场景下，要获得较好的跟踪效果存在一定的困难。其中的困难有：a.场景变化条件下，目标特征呈现出不稳定性，这将极大的影响了跟踪的效果；b.场景变化条件下，多个目标有可能会形成相互干扰，比如目标重叠遮挡等。对于A类问题，多数研究人员采用多特征的融合策略来解决，而对于B类问题，研究人员普遍采用具有预估性能的跟踪框架。但这些方法都只针对特定的场景和特定的跟踪目标，解决的问题域相对较狭小。因此，如何针对多变场景的目标跟踪问题，在视觉跟踪系统的设计上加入自适应修正补偿与场景适应能力，对目标跟踪领域的相关问题的解决具有重要意义。

1 场景识别

足够稳定的跟踪系统在设计上一定不会避开场景的识别问题，在常规的标准场景下的某些跟踪算法设计能够取得非常好的效果，但到了非常规的多变场景有时候会糟糕的一塌糊涂。根据产生跟踪差错的原因，可将的变化场景归结为由于外部原因所造成的（非跟踪物体和干扰物）变化场景和跟踪物体或干扰物造成的变化场景两类。跟踪系统应能根据场景的变化适时的调节自身的跟踪策略来跟踪物体，因此稳定的跟踪系统应具有场景识别能力。

1.1 非跟踪物体或干扰物造成的变化场景

一般这样的场景属于外部的因素干扰居多，比如天气变化造成的光照变化，如白天进入黑夜，雨雪天气等干扰。图1描述了全天候车辆跟踪系统从白天到黑夜一段时间的灰度变化曲线。

图1 车辆跟踪系统白天到傍晚的灰度变化图

对于此类具有较为平稳性质的光照变化，可采用投票策略来识别场景的光照变化情况。以平均一定数量的帧数统计其平均灰度值，如果达到某个限定值，就在系统中切换到对应的场景，以此来实现场景的识别问题。

图2 投票策略实现场景识别

对于雨雪天气，要考虑如何识别形成干扰特征，比如通过检测一定数量的问题帧数画面，投票统计前景运动小斑块的数量值，如高于一定的阈值则可以场景转换为问题场景，在问题场景的跟踪策略要对图像进行若干预处理来进行降噪处理。

图3 全天候跟踪系统白天到傍晚的前景斑块数量变化图

1.2 遮挡场景

遮挡场景的识别是目前较难解决的问题之一，由于遮挡事件具有一定的偶然性，且会贯穿入整个全天候跟踪时段，因此投票策略难以对偶尔出现的单个物体被遮挡的事件进行识别。但对于特定的遮挡场景，比如高峰车流量的拥堵，投票策略依然可以对这样的场景进行针对性的甄别。首先要对产生的遮挡事件进行标记，在对目标物体跟踪过程，如果产生特征跟踪丢失的事件，在进行跟踪补偿和跟踪特征框架内切换后，显示出目标物体难以继续跟踪或弱化的现象，投票系统将对这样的特殊事件进行标记，此时可认为跟踪物体的跟踪显著度下降，当大量的类似事件在同一时段发生且排除其他的光照场景，那么投票系统可将其甄别为拥堵事件造成了大规模的遮挡，进入遮挡场景的跟踪模式。

2 多变场景下的跟踪特征融合策略

2.1 全天候多变环境下的多特征提取

全天候场景下的跟踪系统应能在系统实时时间的允许下尽可能的提取被跟踪物体的特征来跟踪物体。常见的特征有：点特征、颜色、轮廓、小波、边缘、不变矩等。点特征跟踪是从目标区域中提取出一些个特征点，这些特征点在目标的运动过程中具有不变性。对这些点集进行跟踪从而达到能对整个目标进行跟踪。特征点的提取方法有:susan算子、harris算子等。跟踪的方法主要是对相邻的两帧的特征点做相似度匹配，比较常用的是KLT算法，利用多尺度图像进行光流运算达到快速匹配的目的。颜色特征的提取要采用块划分的思想，通常配合直方图工具来描述颜色特征，在光照多变场合，颜色特征的会随光照的变化而具有不稳定性。边缘与轮廓特征跟踪主要是通过检测物体的外部边缘轮廓与背景的差异来定位物体的有效位置，例如水平集法和snake模型等。目标物体的小波特征对于几何变形、亮度变化以及噪声不敏感。这种特征属于目标的高层特征，具有很强的语义性质，并符合人眼的特性。文献[5]使用sobel边缘检测算子和Gabor小波特征检测算子对运动目标进行跟踪，让跟踪器能够适应尺度和角度上的变化。文献[11]使用一种小波目标网络(GWN)来描述运动物体的小波特征，配合使用粒子滤波跟踪器来对运动物体进行跟踪。

多变场景下，跟踪特征的提取应根据场景的特定性，去尽量提取抗干扰能力强，易于提取的跟踪特征。表1列举了各个常用特征的算法特性以及抗干扰特性的比较。

表1 不同特征的跟踪特性比较

2.2 跟踪框架算法选择

在确定跟踪特征后，还需要确定采用哪一种跟踪框架对提取的特征进行跟踪。目前常用的跟踪框架方法有模板匹配法、MeanShift/CamShift、卡尔曼滤波、粒子滤波等。模板匹配法具有运算简单直观的优点，但固定的模板使得抗干扰能力较差，对于刚体的旋转、光照变化、物体尺寸变化适应力较差，目标自身的特征发生变化后使得该法不稳定，不具备抗遮挡能力。适应于目标运动形式比较简单、摄像机运动范围不大、目标特征不存在较大变化的情况。MeanShift/CamShift算法主要依赖目标本身成像外观特征统计，比如(颜色直方图等)，不需要前景检测器的支持，算法具有一定的鲁棒性，一定程度上能适应目标形变和部分遮挡问题。Kalman Filter(卡尔曼滤波)算法作为运动预估器一般要配合某种跟踪算法(比如均值漂移)来做运动估计，能够减少特征匹配的搜索空间，能够对线性系统作出正确估测，其缺点是对于非线性估计或非高斯估计会失效。Partical Filter(粒子滤波)算法的跟踪性能依赖目标的特征统计，具有较好的跟踪鲁棒性，能够适用于非线性系统的估计问题，在抗遮挡性能上具有良好的表现。但粒子贫化的问题必须使用重采样方法来解决。

表2 不同跟踪框架特性比较

2.3 特征融合策略

由于某些特殊的场景处在不断变化中，要获得更好的跟踪性能，只采用单一的跟踪特征难以对目标形成稳定的跟踪。因此采取的做法是将跟踪特征有机结合起来。

假设在 t时刻，特征检测模块检测到目标物体特征向量V=[v1v2v3L]，在跟踪初始化时给定各个特征值赋予一定的权重Q=[q1q2q3L]，其中Q已经归一化，跟踪过程通过特征显著度的检测来控制跟踪特征的比重融合权值，对于在目前场景跟踪性能好的特征，给其赋予较高的权重，对于在当前场景跟踪性能差的特征，则给其赋予较低的权重。跟踪框架将在未来数帧通过特征权重来确定最终目标物体的估计位置，并采取一定的补偿策略来修正目标物体的跟踪位置实现稳健的跟踪。

图4 特征权重分配

因此，多特征融合自适应目标跟踪策略可描述为以下几个步骤：（1）前景检测系统在图像初始帧检测到目标物体，然后跟踪系统调用各个特征检测子对目标物体进行特征提取，获得目标物体的特征向量V；（2）对下一帧图像进行特征跟踪匹配，同时获得新的特征向量描述 V'，计算特征显著度T= φ(V, V ')=[φ(v, v' )φ(v, v ') L ]=[t tt L]，根据11 22 123特征显著度向量来确定新的融合权值向量Q；（3）在第2步进行的同时，投票系统也在运作，对若干帧数的情况进行投票，通过投票结果获取当前的场景，如果场景发生变化，那么将更新融合权值向量 Q = Q'；（4）目标轨迹分析模块将重新对目标物体的融合跟踪结果进行分析，并进行反馈修正。具体步骤流程如图5。

图5 特征跟踪融合修正策略

2.4 特征跟踪学习策略

一个足够稳健的跟踪系统，应该具有一个能够自学习的模块以增强对环境的适应能力。

目前大部分跟踪系统采用监督学习的方式对目标物体进行跟踪，监督学习主要通过对大量的离线样本集进行反复训练，来获得较好的经验模型，具有速度快，收敛性好的特点。

由于在多变场景的跟踪过程中，对目标特征的提取和甄别会存在分类难度大的问题，因此，应在跟踪系统中加入对特征的学习模块，以增强目标特征的分类、甄别能力。跟踪的同时，可对目标物体获取大量的样本，使用神经网络或adaboost方法通过对特征样本反复的离线训练，建立样本模型，该模型可为跟踪系统的场景特征分类、目标特征分类和特征显著度量化描述提供更为精确的知识描述。具体框架如图6所示：

图6 离线学习为特征分类提供依据

3 实验分析

为分析出跟踪融合策略的实施效果，从车辆全天候场景中挑选出过渡场景（白天-夜晚过渡），采用多特征融合策略对车辆进行跟踪。视频帧尺寸为300×200。在各个时段的对车辆特征进行提取，白天在正常光照的能见度下，可提取车身轮廓和点特征，在傍晚时段，能见度开始下降，难以提取到较好的跟踪点，而以此同时有部分车辆开始打开车灯，因此系统自动将特征权重及时调整转而对车灯进行跟踪，到夜晚时段能见度达到最低值，此时车身轮廓与背景混淆不清，系统通过特征显著度判断将轮廓特征权重设置到最低值。

表3 过渡时段车辆样本的特征提取选取

表 4是采用多特征融合模式和单特征模式对过渡时段的跟踪比较结果。从实验结果可明显看出，由于采用的单特征跟踪在过渡场景，特征显著度下降后，会产生明显的跟丢和多检现象，而采用多特征融合策略，并加入场景识别后，跟踪的特征值发生转移，从而持续的获得稳定的跟踪，中间跟丢的几辆车是由于投票系统需要帧数支持和场景切换的滞后性造成，在整个车辆总数中仅占很小的一部分，几乎可以忽略不计。

表4 过渡时段跟踪效果比较

4 结论与展望

本课题在原有跟踪算法的基础上，探索了多特征融合自适应的跟踪策略，并加入场景识别策略和特征显著度对多特征融合权值进行修正，并在后续加入了学习策略来提高特征分类的鲁棒性能，实验结果表明该策略对多变场景的跟踪性能具有一定的改善作用，对多目标跟踪系统的设计具有一定的现实意义。由于离线学习策略需要一定的时间进行人工干预，今后研究工作要考虑如何采用在线学习方式增强学习的智能性。

[1] Burt E J.,Yen C.,Xy X.Local Correlation Measures for Motion Analysis:a Comparmive.Study,Proceedings of IEEE Conference on Pattern Recognition and Image Processing Las Vegas:IEEE,1982:269-274.

[2] Object tracking in image sequences using point features. Pattern Recognition,2005,38(1):105-113.

[3] Lucas B.,Kanade T.An iterative image registration technique with an application to stereo vision, Proceedings of the International Joint Conference on Artificial Intelligence, 1981:674-679.

[4] Geodesic Active Contours and Level Sets for the Detection and Tracking of Moving Objects. IEEE Transactions on Pattern Analysis & Machine Intelligence,2000,22(3):266-280.

[5] Gabor小波目标特征提取和跟踪方法的研究[J].光电工程,2004,31(s1):26-29.

[6] 基于扩展目标的不变矩跟踪算法[J].强激光与粒子束,2002, 14(1):6-10.

[7] Robert T. Collins. Mean-shift Blob Tracking through Scale Space[C].IEEE Computer Society Conference on Computer Vision & Pattern Recognition IEEE Computer Society Conference on Cvpr,2003:234-234.

[8] EA Wan,dMR Van,The Unscented Kalman Filter for Nonlinear Estimation[C].Signal Processing,Communications,and Control Symposium,2000.

[9] MZ Islam,CM Oh,CW Lee.Video Based Moving Object Tracking by Particle Filter[J].International Journal of Signal Processing Image Processing & Pattern Recognition,2009,2(1).

[10] Active models for tracking moving objects. Pattern Recognition, 2000,33(7):1135-1146.

[11] 姚剑敏.粒子滤波跟踪方法研究[D].长春:中国科学院长春光学精密机械与物理研究所,2004.

[12] 高丙坤,李文超,王帅.一种改进的粒子滤波跟踪算法[A]//第二十九届中国控制会议论文集[C].北京:中国自动化学会控制理论专业委员会,2010.

A kind of adaptive object tracking strategy base on multi-feature integration

In order to promote performance of object tracking system, we analyzed the deficiencies of the tracking system, according to the phenomenon of tracking object feature reduction in the complex scene. By the way of multi-feature integration method , we have design the module of scene recognition, multi-feature integration and feature learning strategy to improve the tracking system, the result proved the validity of this strategy and the improvement to the object tracking performance in complex scene.

object tracking; feature integration

TP391.4

A

1008-1151(2016)11-0009-04

2016-10-11

广西高校科学技术研究项目“多变场景下的特征融合目标跟踪算法的研究”（KY2015LX566）；广西高等学校高水平创新团队“中国－东盟物流物联网关键技术研究”（桂教人[2014]65号）。

刘杰（1982－）, 男, 广西经济管理干部学院计算机系工程师, 硕士，研究方向为信息系统。