复杂环境中机动车跟踪实时性算法
2015-02-21张长勇
杨 乐， 张长勇， 徐 萍
(中国民航大学 a. 基础实验中心；b. 航空自动化学院，天津 300300)
复杂环境中机动车跟踪实时性算法
杨 乐a， 张长勇b， 徐 萍b
(中国民航大学 a. 基础实验中心；b. 航空自动化学院，天津 300300)
针对复杂环境中机动车跟踪问题，为克服光照变化、噪声干扰、其他随机运动物体干扰，提出一种机动车识别和跟踪实时性算法。首先对图像进行光照补偿减少光照影响，用Surendra算法和三帧差法检测运动目标，并建立ROI(感兴趣区域)以缩小Haar识别范围提高系统响应速度；其次由训练好的级联分类器在ROI范围内识别机动车，从而保证高检测率和低误检率；最后利用Camshift算法跟踪机动车。为验证算法有效性搭建嵌入式系统平台，实验结果表明在背景复杂且其他运动物体干扰下，该算法较使用传统目标跟踪算法具有更好的鲁棒性和实时性。
自适应光照补偿；三帧差法；Haar分类器；Camshift算法；目标跟踪
0 引 言
当前，机动车实时跟踪相关技术已成为交通智能化研究的一个重要课题，在道路通行、安全管理等多方面具有重要的研究价值和应用意义，只有设计出具有更好的实时性、鲁棒性的算法才能克服光照变化、噪声干扰、随机性运动物体干扰等不确定性因素，实现复杂环境中机动车跟踪。针对这一问题，国内外有许多不同研究方法：①粒子滤波方法[1-3]抗干扰能力强，可以估计目标状态，但存在粒子退化现象且计算复杂，稳定性和实时性差; ②Kalman滤波[4-6]原理简单容易操作，但是算法要求运动状态符合高斯分布，而且线性化误差容易导致滤波精度差; ③光流法[7-8]基于差分，不仅能获取运动物体的运动信息，还能在不知道任何场景信息情况下检测出运动对象，但是算法实时性差，易在复杂环境中跟踪失败; ④Camshift[9-12]算法能有效解决目标变形和遮挡问题，但在较复杂背景下效果不好。综上所述，关于机动车实时跟踪的现有各种实现算法均有其局限性。
为此，本文提出一种结合三帧差法、Haar分类器和Camshift的机动车跟踪实时性算法，分为运动目标检测、目标分类、机动车跟踪。算法主要原理为，首先对图像进行光照补偿，根据Surendra背景更新算法和三帧差法检测运动目标并建立感兴趣区域(ROI)；然后载入已训练好的机动车分类器识别运动目标，若为机动车则标记ROI并准备跟踪，否则放弃ROI；最后由Camshift算法跟踪机动车。为验证算法效果，搭建嵌入式系统平台，移植算法进行实验。结果表明算法具有两大优势：①具有较好的实时性，建立ROI大大缩小了Haar分类识别范围，提高了系统运行速度，并且合理设定分类器阈值、制定分类器检测策略也使得算法具有较快的反应速度；②鲁棒性较好，对图像光照补偿等预处理减少了光照的影响，且在运动目标检测得到ROI基础上进行目标分类，解决了Haar分类器检测率与误检率成正比关系的难题，使算法同时具有高检测率和低误检率，而Haar特征提取率高和Camshift跟踪效果好的特点也进一步保证了算法的鲁棒性。因此，算法具有较好的实时性、鲁棒性。
1 基于三帧差法的运动目标检测
算法第一步骤为运动目标检测。为减少光照影响，先对图像进行光照补偿等预处理，然后提取背景图像检测运动目标。
1.1 图像预处理
采用一种自适应光照补偿方法[13]实现对图像的光补。由于实际中同时包含过亮区域和过暗区域的图像很少，可以把光补问题简化为两个子问题：用对数变换对过暗图像进行光照补偿，用反对数变换对过亮图像进行光照补偿，如式(1)。
(1)
式中：a是图像可以存在的最小灰度值；b是图像可以存在的最大灰度值。光照补偿后对图像中值滤波去除噪声，并进行直方图均衡，改善图像质量。
1.2 运动目标检测
图像预处理后，开始检测运动目标，具体流程为：
(1) 提取图像背景。由Surendra背景更新算法，将第一帧图像作为原始背景，设定阈值、最大迭代次数、迭代速度等参数，求取当前帧的帧间差分图像并二值化处理。用二值化图像更新背景图像，迭代次数加1，直至达到最大迭代次数。背景图像更新方法如式(2)，式中Bi(x,y)、Di(x,y)分别为背景图像和前景图像在(x,y)处亮度值，Ii为输入第i帧图像，α为更新速度，此时Bi(x,y)可视为背景图像；
(2)
(2) 使用三帧差分法检测运动目标。先用第k帧图片减去第k-1帧图片，得到二值图像D1(x,y)，再用第k+1帧图片减去第k帧图片，得到二值图像D2(x,y)，最后用D1(x,y)和D2(x,y)进行“与”运算，得到三帧差图像D(x,y)。公式如下，其中T为阈值；
(3)
(4)
(5)
(3) 对三帧差图像D(x,y)进行腐蚀、膨胀形态学处理，完成运动目标检测并得到ROI。ROI内运动物体是否为机动车，还需进一步由Haar级联分类器识别判断。
2 基于Haar级联分类器的目标分类
一般情况下，复杂环境中除机动车外还会有其他运动物体，且机动车自身形态、颜色各异，背景又千差万别，人为地寻找目标间的差异和共性十分困难。统计学习的方法能够借助机器对大量样本进行统计计算，便于从中找出规律，挑选出合适的特征进行分类，因此算法第二步骤用Haar级联分类器进行目标分类。首先提取样本图像中的Haar特征，对每一个特征训练一个弱分类器并将他们叠加构成强分类器，最后将若干个强分类器串联成级联分类器，用于ROI内目标分类。
2.1 Haar特征及积分图像法
Viola等[14]提出了类似Haar小波的矩形特征，其值是黑色矩形和白色矩形在图像子窗口对应区域的灰度值之和的差，它反映图像局部的灰度变化。为了能够尽量使得Haar特征适应各种检测目标的灰度分布，此后的文献不断对其扩展，较具代表性的共有15种Haar特征原型，如图1所示。
为降低Haar特征计算成本，本文采用积分图像[15]算法，这种方法在计算矩形特征时不必每次重新统计矩形内像素灰度值的和，而只需索引几个相应点的积分图像值即可计算出矩形特征值，计算时间也不会随矩形大小的变化而变化，为检测速度提供保障。
2.2 Aaboost分类器训练
由于在图像上匹配的Haar特征数量巨大，本文采用Adaboost算法选择更好的Haar特征组合，即分类器。每个Haar特征对应一个弱分类器，第j个特征的弱分类器为：
图1 扩展的Haar特征原型
(6)
式中：hj为弱分类器的值；θj为分类阈值；pj用于控制不等号方向；fj(x)为矩形特征值。通过对正负样本进行分析，选择分类错误率εt最低的T个弱分类器，
最后得到的强分类器为
(7)
这个强分类器相当于让所有弱分类器投票，再对投票结果按照弱分类器的错误率加权求和，结果与平均投票比较并得出最终结果。由强分类器训练级联分类器方法为：
(1)设每层最大错误率为fmax，最小通过率为d，整个分类器错误率为Fmax。初始化F1=1,i=1；
(2)WhileFi>Fmax，使用训练样本训练第i层，并设定阈值使误报率fi
如图2所示，T为检测率，F为误检率，每一层对应一个AdaBoost算法训练得到的强分类器。越靠后的层弱分类器越多，分类性能也越强。检测时图像ROI只有通过所有层才能被判断为正例即机动车；若在其中任一层被判断为反例即被抛弃。为保证算法运行速度，首先应合理设定阈值，令分类器前两层即排除大量非机动车子窗口，仅留下疑似机动车子窗口参与后续分类；其次，采用固定被检ROI大小，缩放检测子窗口方法对图像遍历，得到机动车目标。
本文算法在第一步检测运动目标得到ROI基础上实现目标分类，不仅有效解决了Haar分类器检测率与误检率成正比关系的难题，使得算法具有较高的检测率的同时也有较低的误检率；而且对运动目标初步定位得到ROI，缩小了Haar分类识别范围，提高了检测速度，很好地满足了实际应用要求。
3 基于Camshift算法的机动车跟踪
通过Haar分类器识别出ROI内运动目标确实为机动车，下一步就要利用Camshift算法实现跟踪。其基本思想是先将一帧视频图像转换到HSV空间中，利用H分量生成颜色直方图，然后反向投影得到颜色概率分布图，对每一帧图像均选取一定大小的搜索窗口，通过计算窗口范围内的零阶矩和一阶矩得到窗口质心，将窗口中心移动到质心。重复上述步骤，直到窗口中心与质心变化范围小于阈值。
首先计算目标色度分量直方图，相对于当前帧，计算搜索窗口二阶矩M20，M02，M11，
(8)
利用直方图计算输入图像的反向投影图，利用MeanShift算法在反向投影图中迭代搜索，直到其收敛或达到最大迭代次数，并保存零次矩。如满足下式
(9)
则下一搜索窗口的长度和宽度分别为
(10)
当视频序列逐帧变化时，Camshift算法逐帧进行处理，实现对机动车的跟踪。
4 实验平台搭建及结果分析
为验证算法的有效性，搭建嵌入式系统实验平台。将编译好的程序移植到开发板，借助OPENCV库对摄像机视场中正在运动的机动车实现动态跟踪功能，其中分类器训练选取MIT CBCL CAR DATABASE中1000张不同角度的汽车图片作为正样本，选用1000张人物、风景等其他图片作为负样本。
4.1 嵌入式系统设计与开发环境
本文嵌入式系统实验平台采用三星S3C2440A处理器， 400 MHz主频，64 MB内存。采用Ubuntu12.04为系统软件开发平台，软件开发采用交叉编译方式，使用arm-linux-gcc4.3.3交叉编译器，程序主要由C语言写成。 CCD摄像机通过摄像机模块接入开发板，采集到的模拟信号经解码变为数字信号被CPU处理，实现目标跟踪功能，最后将处理好的图像经过网络传输到计算机显示。
4.2 实验结果及分析
复杂环境中可能对机动车跟踪产生影响的因素主要包括：静止不动的机动车目标，以及运动的非机动车目标，如行人、自行车等。为此，选取校园和小区内两个实验地点，根据四种不同环境情况共进行8组实验。四种不同环境情况分别为：①摄像机视场中非机动车运动物体(自行车、行人等)较少，且静止停放车辆较少；②摄像机视场中非机动车运动物体较少，但静止停放机动车较多；③摄像机视场中非机动车运动物体较多，但停放车辆较少；④摄像机视场中非机动车运动物体较多，且静止停放车辆也较多。每组实验车辆均为100辆次，分别统计检测率、误检率、系统耗时等，实验效果如图3、图4，统计结果分别如表1、表2所示。
(a)摄像机跟踪图像(b)提取背景(c)反向投影图像(d)直方图
图3 小区内机动车跟踪结果
由表1、表2可见，①虽然实验地点和环境不同，但8组实验结果基本一致，不同条件下算法检测率均较高，验证了算法的鲁棒性；②系统耗时短，算法实时性好；③背景提取效果较好，背景复杂度对实验结果基本没有影响；④运动物体过多会增加误检率，但误检率整体较低，小于5%。
(a)摄像机跟踪图像(b)提取背景(c)反向投影图像(d)直方图
图4 校园内机动车跟踪结果
5 结 语
为实现复杂环境中机动车实时性跟踪，本文提出结合三帧差法、Haar分类和Camshift算法的机动车检测、跟踪算法。实验证明三帧差法应用简单、实时性好，提取ROI能够缩小Haar分类识别范围提高算法运行速度；而Haar特征提取效率高，在ROI范围内的分类识别保证了算法同时具有高检测率和低误检率；Camshift算法具有很好的跟踪效果，三者结合起来确保了算法的鲁棒性和实时性。但是该算法在运动物体干扰较多时误检率增加，需进一步研究改进。
[1] 郝志成.决策主导的多模式融合目标跟踪算法[J].仪器仪表学报,2013,34(3):487-493.
[2] 许伦辉,丛晓野.改进粒子滤波对人物跟踪的应用[J].计算机仿真,2014,31(1):344-347,387.
[3] 朱良谊,王 庆.一种基于粒子滤波的优化目标跟踪算法研究[J].西北工业大学学报,2013,31(6):967-973.
[4] 朱志玲,阮秋琦.结合尺度不变特征变换和Kalman滤波的Mean Shift视频运动目标跟踪[J].计算机应用,2013,33(11):3179-3182,3243.
[5] 侯 静,景占荣,羊 彦.远距离干扰环境下目标跟踪的扩展卡尔曼粒子滤波算法[J].电子与信息学报,2013,35(7):1587-1592.
[6] Culpepper B J, Sohl-Dickstein J. Building a better probabilistic model of images by factorization[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision(ICCV), Barcelona, Spain:IEEE, 2011:2011-2017.
[7] 袁国武,陈志强,龚 健，等.一种结合光流法与三帧差分法的运动目标检测算法[J].小型微型计算机系统,2013,34(3):668-671.
[8] 李剑峰,黄增喜,刘怡光.基于光流场估计的自适应Mean-Shift目标跟踪算法[J].光电子激光,2012,23(10):1996-2002.
[9] 王景武,王玉德,王东方.改进的Camshift与Kalman融合的目标跟踪算法[J].电子技术,2014,1:11-13.
[10] 申铉京,张 博.基于图像矩信息的Camshift视觉跟踪算法[J].北京工业大学学报,2012,38(1):105-109.
[11] 刘海洋,刘元安,高锦春,等.基于发布订阅结构的计算机视觉跟踪研究[J].计算机学报,2012,35(8):1767-1773.
[12] Agudo A, Calvo B. FEM models to code non-rigid EKF monocular SLAM[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision(ICCV), Barcelona, Spain:IEEE, 2011:1586-1593.
[13] 郑伟华,戴 永.自适应同态对数光照补偿[J].中国图像图形学报,2011,16(8):1429-1436.
[14] Viola Paul, Jones Michael, Snow Daniel. Detecting pedestrians using patterns of motion and appearance[J]. International Journal of Computer Vision, 2005, 65(2):153-161.
[15] Oro D, Fernandez C. Real-time GPU-based face detection in HD video sequences[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision(ICCV), Barcelona, Spain:IEEE, 2011:530-537.
Real-time Tracking Algorithm of Vehicle in Dense Clutter
YANGLea,ZHANGChang-yongb,XUPingb
(a.Basic Experiment Center, b.Aeronautical Automation College,Civil Aviation University of China, Tianjin 300300, China)
A speedy algorithm was proposed to aim at the problem of vehicle tracking in dense clutter. Firstly, illumination compensation was used on video to reduce illumination effects. The moving target was detected with Surendra algorithm and three-frame-difference method. The ROI was established to narrow the identified range of Haar classifier and used to improve efficiency of the algorithm. Secondly, the moving vehicle was identified in ROI by the cascade classifier with the high detection rate but low false detection rate. Thirdly, the moving vehicle was tracked with the Camshift algorithm. An embedded system platform was established to verify the effect of algorithm. Experimental results showed that the algorithm had good reliability and robustness, high detection rate and low false detection rate compared with single traditional algorithm.
adaptive illumination compensation; three-frame-difference method; Haar classifier; Camshift algorithm; target tracking
2014-05-19
中央高校基本科研业务费(ZXH2012D012)
杨 乐(1982-)，男，天津人，硕士，实验师，主要研究方向为图像处理。Tel.:13642018020;E-mail:l-yang@cauc.edu.cn
TP391.4
A
1006-7167(2015)01-0130-04
