基于SIFT特征匹配的运动目标检测及跟踪方法

康晓梅，穆柯楠，康 贤

（1.西安翻译学院陕西西安710105；2.长安大学陕西西安710064）

基于视频图像的运动目标检测及跟踪是计算机视觉研究领域的研究热点，在智能交通控制系统中的交通信息采集以及智能化视频监控系统中均有广阔的应用前景[1]。运动目标的检测与跟踪通常被分为两个独立的部分，分别采用不同的算法机制来实现[2]。针对摄像机运动情况下的目标检测，文献[3]采用基于光流法的运动目标检测方法，通过对独立运动目标进行光流分析，以获取运动目标的运动信息。然而光流法计算量较大，算法实时性差，且对噪声较为敏感。文献[4-5]提出基于homography变换的方法来建立自适应背景模型，从而区分前景运动目标和背景区域。文献[6]基于背景建模的目标检测方法能够提取出完整的目标区域，然而背景建模过程计算量较大，不利于实时检测。文献[7]通过寻找两幅图像的SIFT特征匹配点对，利用一定的背景更新机制，用仿射变换后的背景图像对当前背景对应区域进行更新，然后利用背景差法检测运动目标。文献[8]通过寻找相邻两帧图像的匹配点对，计算几何变换模型使两帧图像对齐，然后利用帧间差分法检测运动目标。

常用的目标跟踪算法有基于特征的跟踪[9]、基于区域的跟踪[10]和基于模型的跟踪[11]。其中基于特征的目标跟踪方法主要优点是对尺度、形变和亮度等变化不敏感，并且在目标被部分遮挡的情况下，只要有一部分特征存在，仍然可以跟踪运动目标。然而该方法的缺点在于无法较好的确定并提取目标特征，如果选择的特征较少，容易丢失目标；如果选择的特征过多，则会增加算法的计算量，降低算法的实用性[12]。

论文提出一种基于SIFT[13]特征匹配的运动目标检测和跟踪算法，主要特点表现在：1）与传统算法将目标检测和跟踪采用不同算法分别实现不同，论文的目标的检测和跟踪均基于SIFT特征匹配方法加以实现，算法复杂度低；2）论文基于SIFT特征匹配的目标跟踪算法，只选择运动目标区域中的特征点进行匹配，在保证算法实用性的基础上降低了算法计算量，有效解决了特征点数目选择的问题；3）论文针对跟踪样本集退化问题，制定了相应的样本集更新机制。

1 基于SIFT特征匹配的运动目标检测

1.1 SIFT特征点检测及匹配

运动相机采集到的连续帧场景不同，但相邻帧之间存在场景重叠区域。同时，视频帧序列中也存在光照变化以及相机抖动等干扰因素。通过求解相邻帧之间的几何变换模型，可以消除由于相机运动而产生的场景移动，以及光照变化及相机抖动而产生的差异。求解几何变换模型参数需要寻提取相邻帧图像的特征点并且寻找这两幅图像之间的特征匹配点对。论文采用SIFT（Scale-invariant feature transform，SIFT）特征检测器来提取图像的特征点，采用K-D Tree最近邻搜索算法进行相邻帧之间的特征点匹配。

1.2 图像几何对齐及运动目标检测

可以计算出相应的几何变换模型参数。考虑到由于相机抖动而可能产生的旋转、平移、缩放等变化，论文采用仿射变换模型来描述相邻帧之间的几何变换关系：

根据1.1节获得的特征匹配点对，采用RANSAC算法可求解出变换矩阵[14]。

求解出代表两帧图像之间几何变换的矩阵H后，对前一帧图像进行几何变换，使其与后一帧图像几何对齐。然后将对齐后的两幅图像差分，从而得到候选运动目标区域。进一步地，为消除背景干扰，在差分图像上计算Sum of Absolute Differences（SAD）值，高SAD值对应的区域即为目标区域，从而消除背景区域的干扰，确定运动目标位置。实验结果如图1所示。

图1 两帧图像对齐与差分

2 基于SIFT特征匹配的运动目标跟踪

2.1 匹配度

为了判断跟踪样本集中某样本与当前帧中检测到的运动目标是否为同一目标，论文利用两者的匹配程度来衡量，即匹配度。假设跟踪样本有N1个SIFT特征点，第k+1帧图像检测到的目标有N2个SIFT特征点，两者的SIFT特征匹配点对为N，则匹配度Rate按如下公式计算:

如图2为样本目标与当前检测目标的匹配结果。其中图2（a）为匹配度大于匹配度阈值TR的情况，因此判断当前检测目标与对应样本为同一目标而进行跟踪；图2（b）为匹配度小于阈值的情况，虽然事实上该跟踪样本与当前检测目标为同一车辆，但由于一段时间后车辆行驶姿态改变导致该检测车辆与对应样本差异较大，导致匹配失败。为了避免此类现象的发生，必须对跟踪样本进行实时更新。

图2 样本目标与检测目标的匹配结果

2.2 跟踪样本集更新

论文建立的跟踪样本集，是已标记的所有运动目标的集合。定义跟踪样本集：

对跟踪样本集进行实时更新，可以避免样本集发生退化现象。导致退化的因素有3种，分别对应样本集更新的3种情况：

1）对于第k帧检测到的运动目标，若跟踪样本集中存在与该目标匹配度大于阈值TR的样本，则用当前检测到的目标对样本集中对应样本进行更新；

2）对于当前帧图像检测到的某一运动目标，若跟踪样本集中的所有跟踪样本与其匹配度均低于阈值TR，则认为该目标新进入相机视野，并将其加入跟踪样本集中；

3）对于跟踪样本集中的某一样本，若在第k帧及第k+1帧中均未检测到与其匹配度高于阈值TR的目标，则认为该目标离开相机视野，并将该目标对应样本从样本集中剔除。

论文通过大量测试发现，TR=80.31%时能得到理想的实验结果。

3 实验结果及分析

实验采用PeopleImageAnalysisConsortium（PIAC）以及Change Detection.NET（CDNET）视频图像数据库中的多组测试视频，在Matlab2012a环境下对论文算法的有效性进行验证。

如图3（a）（b）为两组视频场景下的运动目标检测结果，其中摄像机为运动状态（为保证运动目标始终处于摄像机视野范围内）。表1所示为论文算法与文献[3]基于光流法的检测方法以及文献[6]基于混合高斯背景建模的检测方法检测时间的对比结果。从表中可以看出，与其他两种算法相比，论文基于SIFT特征匹配的目标检测方法耗时较短，有利于需要实时检测的应用场景（如视频监控系统）。如图4所示为三组视频序列下的运动目标跟踪结果。从实验结果可以看出，论文所提的基于SIFT特征匹配的目标检测及跟踪算法能够实现摄像机运动情况下不同场景中的目标检测及跟踪。

图3 运动目标检测结果

4 结束语

文中提出一种基于SIFT特征匹配的运动目标检测和跟踪算法。对于两帧待检测图像，首先采用SIFT算法提取特征点并寻找两帧图像的特征匹配点对，经K-D Tree搜索算法进行特征点初匹配后，再利用RANSAC算法求解两帧图像之间的几何变换矩阵，实现图像几何对齐，从而消除相机运动、光照变化、背景干扰等因素。然后将两幅对齐图像差分，通过在差分区域寻找SAD最大值区域来确定运动目标区域。最后将已检测到的目标作为跟踪样本，与后检测到的目标区域进行SIFT特征匹配，结合论文提出的跟踪样本集更新机制实现目标跟踪。实验结果证明论文算法复杂度低，检测与跟踪准确度较高，适用于运动目标的实时检测。然而论文中只实现了单一运动目标的检测和跟踪，后续研究工作中将针对多目标的检测及跟踪此类复杂情况对算法进行改进。

表1 3种算法目标检测时间对比（单位：s）

图4 运动目标跟踪结果

[1]刘定通.复杂背景下视频运动目标检测与跟踪算法研究[D].成都：电子科技大学，2015.

[2]Sayanan Sivaraman，Mohan Manubhai Trivedi.Looking at vehicles on the road:A survey of visionbased vehicle detection，tracking，and behavior analysis[J]. IEEE Transactions on Intelligent Transportation Systems，2013，14（4）:1773-1795.

[3]刘洪彬，常发亮.权重系数自适应光流法运动目标检测[J].光学精密工程，2016，24（2）:460-468.

[4]姜明新，王洪玉，刘晓凯.基于多相机的多目标跟踪算法[J].自动化学报，2012，38（4）:531-539.

[5]孟灿.基于全方位视觉的运动目标检测与跟踪算法研究[D].杭州:中国计量学院，2015.

[6]LING Qiang，YAN Jin-feng，LI Feng，et al.A background modeling and foreground segmentation approach based on the feedback of moving objects in traffic surveillance systems[J].Neurocomputing，2014（133）:32-45.

[7]王亮芬.基于SIFT特征匹配和动态更新背景模型的运动目标检测算法[J].计算机应用与软件，2010，27（2）:267-270.

[8] Jon ArrÓspide， Luis Salgado，Marcos Nieto.Vehicle detection and tracking using homographybased plane rectification and particle filtering[J].2010 IEEE IntelligentVehicles Symposium.University of California，San Diego，CA，USA.2010：150-155.

[9]Cao X，Gao C，Lan J，et al.Ego motion guided particle filter for vehicle tracking in airborne videos[J].Neurocomputing，2014，124（124）:168-177.

[10]Ding J，Lei B，Hong P，et al.Adaptive homochromous disturbance elimination and feature selection based mean-shift vehicle tracking method[J].Proceedings of SPIE-The International Society for Optical Engineering，2011，8200（10）:4869-4871.

[11]张焕龙，胡士强，杨国胜.基于外观模型学习的视频目标跟踪方法综述[J].计算机研究与发展，2015，52（1）:177-190.

[12]庞国瑞.基于DSP的运动目标检测与跟踪技术的应用研究[D].聊城：聊城大学，2013.

[13]李明.基于SIFT特征点匹配的目标跟踪算法研究[D].合肥：合肥工业大学，2011.

[14]Xiangqian Wua，Qiushi Zhaoa，Wei Bub.A SIFT-based contactless palmprint verification approach usingiterativeRANSAC and localpalmprint descriptors[J].Pattern Recognition，2014，47（10）:3314-3326.