运动目标检测与跟踪技术研究应用现状与展望

李政达，胡智焱

(1.东北石油大学机械科学与工程学院,黑龙江大庆 163318 2.辽宁省盘锦市教育局,辽宁盘锦 124000)

运动目标检测与跟踪技术研究应用现状与展望

李政达1，胡智焱2

(1.东北石油大学机械科学与工程学院,黑龙江大庆1633182.辽宁省盘锦市教育局,辽宁盘锦124000)

针对目标检测与跟踪技术中单目标或多目标跟踪已有的多种计算方法，分析现有各种方法的特点及发展状况，并对目标跟踪技术的应用情况进行介绍。

安全 目标检测 目标跟踪 行为分析 粒子滤波

近年来，由于计算机性能的大幅度提高，越来越多的学者开始着手研究基于机器视觉技术的相关课题，利用计算机模拟人的视觉以实现智能化的安全管理。其中，基于机器视觉技术的运动目标检测与跟踪则是计算机视觉技术应用的一个重要方面[1-5]。

目标检测与目标跟踪主要是为了准确探测出视频中的运动目标，合理提取目标特征并精确跟踪目标，从而得到目标的位置、大小、旋转角度、姿态和运动轨迹等信息，并对其进行分类和识别，同时要考虑算法的实时可操作性，提供一种现代化的安全解决方案。目标跟踪作为视频监控系统的关键环节，是模式识别、行为分析等各种高级处理的基础。本文针对此问题综合介绍目标检测与跟踪技术的应用情况和研究现状，并对这一技术的发展进行展望。

1 目标检测与跟踪技术的应用

目标跟踪技术在许多领域都得到了广泛应用，如智能视频监控、智能人机交互、机器人视觉导航、精确制导系统[6-9]等。

在目标跟踪领域中，智能人机交互是创新的热点方向。随着社会的发展和人们精神生活水平的提高，越来越多的人已不满足于传统的人机交互方式，而是期待更自由、更自然和更人性化的方式与计算机进行交互。目前，在智能人机交互方面已经有了很多的成果。英国的一家科技团队正在研究的“便携式手语翻译”；微软推出的“幻影桌面”以及呼叫中心的IVR系统；智能手机终端中的语音拨号和车载语音导航系统等。在跟踪领域，主要通过跟踪人的头部或者手部，并对其行为进行分析，计算机可智能执行人们想要执行的动作。

智能视频监控系统是采用图形处理、模式识别、计算机视觉技术，通过在普通视频监控系统中添加智能视频分析模块，利用计算机强大的数据处理能力自动忽略无关信息、识别不同目标，获取视频中的关键有用信息，快速准确地定位事故，判断监控中的异常行为，发出警报或者触发其他动作，从而有效地进行事前预警、事中处理、事后取证的智能视频系统。

在智能视频监控系统中无需人力干涉，系统能自动对视频进行处理，进行包括运动检测与跟踪以及异常行为检测与手势识别等活动。长时间依靠人力进行视频监控是高成本、高投入且不切实际的。智能视频监控系统的自动运动检测效果目前已远优于人类的注意力所及。智能视频监控系统功能的实现主要由以下三部分组成：目标检测，目标跟踪，行为分析。目标检测就是将运动目标从静态背景中分离出来，它是进行视频分析的第一步也是最基础的一步。目标跟踪方法在目标出现的第一帧就需要进行目标检测或者是在视频的每一帧都需要目标检测。行为分析的前提也是系统能够准确地检测到运动目标。所以目标检测效果的好坏直接关系到后续的跟踪与行为分析的效果，在整个智能监控系统中起着至关重要的作用。

2 目标检测与跟踪技术的研究方法及现状

目标跟踪[10-14]主要分为两大方面：单目标跟踪和多目标跟踪。在单目标跟踪中，主要对感兴趣的目标进行跟踪、定位，并对其行为进行分析。目前，许多学者都致力于单目标跟踪的研究，其中粒子滤波能够解决非线性非高斯问题，对噪声没有限制，是应用非常广泛的算法。但粒子滤波也有很多缺点，如实时性问题、粒子退化问题等，因此粒子滤波的研究也是当前研究的一个热点。在多目标跟踪中，数据关联算法是非常重要的一个部分，如何将检测目标与跟踪目标相关联，以及关联的正确率都对跟踪的结果有着很大的影响。在数据关联算法中，联合概率数据关联通过计算可行事件的概率，可得到跟踪目标与各个检测目标互联的概率，是目前公认较好的数据关联算法。除此之外，多目标跟踪中目标的互相遮挡、被背景遮挡以及目标的频繁出现与消失等都是多目标跟踪中研究的热点和难点。

最早的卡尔曼滤波[15-20]是一种应用十分广泛的滤波方法，具有无偏、最优的特点，然而卡尔曼滤波需要假定噪声呈线性、高斯分布，对于非线性、非高斯系统，估计性能较差。针对系统的非线性问题，相继涌现出了很多优秀的滤波算法如扩展卡尔曼滤波、无迹卡尔曼滤波等，但是扩展卡尔曼滤波只能解决弱非线性问题，无迹卡尔曼滤波在无迹变换的过程中会出现矩阵非正定的问题。

Gordon[21]等提出的粒子滤波方法成功应用于非线性、非高斯系统中，是目前应用较为广泛的算法之一。传统的粒子滤波算法利用单信息对目标进行跟踪，在跟踪的过程中会出现特征描述不够准确，从而导致目标跟丢的现象。目前，许多算法采用了信息融合的方法来提高跟踪的准确性[22-25]，但大多数方法仍然对各个特征采用了固定权值的方法。

2003年，Spengler[26]等提出了对多个信息进行自适应融合的跟踪方法；2007年，张波[27]等提出通过民主融合策略对多重信息进行自适应融合, 取得了较好的效果；这些方法在很大程度上改进了基于单信息的目标跟踪。除此之外，粒子在不断迭代更新的过程中，会出现粒子退化现象，导致粒子的多样性降低，目前常用的解决粒子退化现象的方法为重采样技术。

数据关联是多目标跟踪方法中一个重要的环节。目标跟踪中常用的数据关联方法有很多，其中最简单的是最近邻NN数据关联方法，此算法将跟踪目标与相邻最近的检测目标相关联，只适用于比较简单且目标数目较少的场景。概率数据关联PDA方法只考虑落入跟踪目标波门内的回波，其它回波都是杂波或者噪声，因此该算法对于运动目标较密集的监控场景，关联正确率较低。联合概率数据关联JPDA方法是对概率数据关联算法的推广，可计算出每个跟踪的目标源于所有检测目标概率的大小。MHT算法综合了最近邻数据关联和联合概率数据关联的优点，在运动目标密度比较高的情况下仍能有较高的关联准确率，但是其较大的计算复杂度限制了其应用。

在目标跟踪过程中，常常会出现遮挡情况，此时需要对目标的运动状态进行预测以便对目标继续跟踪。目前常用的预测跟踪算法有Kalman最优估计滤波、扩展Kalman算法[28]、无迹Kalman滤波[29]、Mean Shift跟踪算法等。这些算法根据目标当前的运动状态，通过一定的运动状态方程得到目标的预测状态，然后根据系统观测对目标的预测位置进行更新，从而得到目标的最终状态。

3 展望

目标跟踪的全过程从本质上来说就是一个求解在视频序列中目标的位置、长宽、速度以及旋转角度等状态的问题。在长达数十年的科学研究中，在理论上科学家们实现了很多技术难点的突破，由于实际应用场景的突发状况复杂且频繁，使得技术在现实应用中出现了各种各样的突发状况，存在着很多影响跟踪性能的因素。在目标跟踪方面，仍有如下难题需要人们不断研究和解决。

a)在目标检测方面，采用混合高斯背景建模方法只能检测出运动目标，但是对于静止的感兴趣目标无法检测出，而且混合高斯背景建模提取运动目标运算量较大，当需要进行后续处理时，往往达不到实时性要求。研究实时性好而且鲁棒性强的目标检测算法是视频监控领域一个重要的研究方向。

b)在单目标跟踪方面，对于更复杂的场景，如目标各方面特征都很相似时，寻找更好的观测特征是目标匹配算法中一个重要的方向。

c)在多目标跟踪中，由于卡尔曼滤波对系统噪声有很严格的限制，需要假定噪声是线性高斯的，因此研究对噪声没有限制的滤波算法，并将其应用于联合概率数据关联中，是需要继续研究和努力的方向。

正是由于以上难点，找到一个理想的跟踪算法仍然需要国内外学者不断地对其进行研究和改进。视频监控在公共安全领域发挥了巨大的作用，在工业生产领域也在发挥良好的作用，特别是在监控人的不安全行为和物的不安全状态中发挥作用。

[1] Kim S, Lee B, Jeong J, et al. Multi-object tracking coprocessor for multi-channel embedded DVR systems[J]. Consumer Electronics, IEEE Transactions on, 2012, 58(4): 1366-1374.

[2] Szpak Z L, Tapamo J R. Maritime surveillance: Tracking ships inside a dynamic background using a fast level-set[J]. Expert Systems with Applications, 2011, 38(6): 6669-6680.

[3] Matsuyama T, Ukita N. Real-time multitarget tracking by a cooperative distributed vision system[J]. Proceedings of the IEEE, 2002, 90(7): 1136-1150.

[4] Prisacariu V A, Reid I. 3D hand tracking for human computer interaction[J]. Image and Vision Computing, 2012, 30(3): 236-250.

[5] Ma Y, Mao Z H, Jia W, et al. Magnetic hand tracking for human-computer interface[J]. Magnetics, IEEE Transactions on, 2011, 47(5): 970-973.

[6] Haritaoglu I, Harwood D and Davis L S. W4:Real-time surveillance of people and their activities[J].IEEE Transactions onPattern Analysis and Machine Intelligence, 2000, 22(8):809-830.

[7] Ribeiro P C, Santos-Victor J. Human activity recognition from video:Modeling, feature selection and classification architecture[C]. International Workshop on Human Activity Recognition and Modeling, Oxford,England, 2005: 61-78.

[8] Lipton A J, Fujiyoshi H and Patil R S. Moving target classification and tracking from real-time video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2000, 22(8):809-830.

[9] Fortmann T, Bar-Shalom Y, Scheffe M. Sonar tracking of multiple targets using joint probabilistic data association[J].IEEE Journal of Oceanic Engineering, 1983,8(3): 173-184.

[10] Feng Z, Yang B, Li Y, et al. Real-time oriented behavior-driven 3D freehand tracking for direct interaction[J]. Pattern Recognition, 2012.

[11] Lee D, Kim G, Kim D, et al. Vision-based object detection and tracking for autonomous navigation of underwater robots[J]. Ocean Engineering, 2012, 48: 59-68.

[12] Roberts R, Ta D N, Straub J, et al. Saliency detection and model-based tracking: a two part vision system for small robot navigation in forested environment[C]//Proc. of SPIE Vol. 2012, 8387: 83870S-1.

[13] Das Sharma K, Chatterjee A, Rakshit A. A PSO-Lyapunov Hybrid Stable Adaptive Fuzzy Tracking Control Approach for Vision-Based Robot Navigation[J]. Instrumentation and Measurement, IEEE Transactions on, 2012, 61(7): 1908-1914.

[14] Clemons T M, Chang K C. Sensor calibration using in-situ celestial observations to estimate bias in space-based missile tracking[J]. Aerospace and Electronic Systems, IEEE Transactions on, 2012, 48(2): 1403-1427.

[15] Huang Kaiqi, Wang Shiquan,Tan Tieniu,et al.Human Behavior Analysis Based on a New Motion Descriptor[J]. Circuits and Systems for Video Technology, 2009, 19(12): 1830-1840.

[16] Nam T P, Leman K, Wong M,et al.Combining JPDA and particle filter for visual tracking[C]. International Conference onMultimedia and Expo (ICME), 2010: 1044-1049.

[17] Blanc C, Trassoudaine L andGalliceJ.EKF and particle filter track-to-track fusion a quantitative comparison from rada/lidar obstacle tracks[C].International Conference on Information Fusion, 2005: 1303-1310.

[18] Qu Xiaomei. Robust Kalman track fusion in target tracking with uncertainties[C]. International Conference on Computational Problem-Solving (ICCP),2011: 1-4.

[19] Ronald P. A survey on vision-based human action recognition[J]. Image and Vision Computing, 2010, 28:976-990.

[20] Hong L. Two-level JPDA-NN and NN-JPDA tracking algorithms[C].American Control Conference,1994, 1:1057-1061.

[21] Gordon N,Salmond,Smith A.Novel approach to nonlinear/non-Gaussian Bayesian state estimation[J].IEE Proceedings-F,Communication,Radar and Signal Processing,1993,140(2):107-113.

[22] Doucet A,Godsill S,Andrieu C.On sequential Monte Carlo sampling methods for Bayesian filtering[J].Statistics and Computing,2000,10(1):197-208.

[23] Kong A,Liu J S,Wong W.Sequential imputaion and Bayesian missing data problrms[J].Journal of the American Statistical Association，1994,89(5)：278-288.

[24] Arulampalam M,Maskell S,Gordon N,et al.A tutorial on particle filters for nonlinear/non-Gaussian Bayesian tracking[J]. IEEE Transactions on Signal Processing,2002,50(2):174-188.

[25] Doucet A,Gordon N.Sequential Monte Carlo methods in practice[M]. New York: Springer Verlag, 2001.

[26] M. Spengler and B. Schiele, “Towards Robust MultiCue Integration for Visual Tracking[J],” Machine Vision and Applications,2003,14.

[27] 张波.基于粒子滤波的图像跟踪算法研究[D].上海:上海交通大学,2007.

[28] R.S.Bucy,K.D.Renne.Digital synthesis of nonlinearfilter [J].Automatic,1971,7(3):281-289.

[29] S.J.Julier,J.K.Uhlman.A new extension of the Kalman Filter to Nonlinear Systems [C].The Proc．Of aerosense．11th Int symposium aerospace/defense sensing，simulation and controls，Orlando，USA,1997：54-65.

ResearchandApplicationofMovingTargetDetectionandTrackingTechnology

Li Zhengda1，Hu Zhiyan2

(1.Northeast Petroleum University Mechanical Science and Engineering College，Heilongjiang, Daqing 163318 2. Education Bureau of Panjin City, Liaoning Province, Liaoning, Panjin,124000)

Aiming at one or more target tracking has already had many kinds of algorithm methods; this paper briefly outlines the characters and development situations of different methods and gives a brief introduction to the situation of application of target tracking technology.

safety; target detection；target tracking; analysis of behavior; particle filter

2016-06-27

李政达，东北石油大学安全科学与工程专业硕士研究生，主要研究方向为风险评价及事故防控技术研究。