基于卡尔漫滤波的区域特征融合车辆跟踪算法

余桂兰

（广东石油化工学院 计算机与电子信息学院，广东 茂名 525000）

智能视频监控在安全领域发挥着越来越重要的作用，成为近年来智能交通、模式识别等领域中的研究热点。许多学者对行人或者其他目标进行了研究，专门针对车辆的跟踪识别还为数不多，随着车辆数量的增多，车辆跟踪监控也应该越来越被人们所重视。Lin Liu[1]等针对摄像头的透视问题，利用道路上的交通标志和斑马线等信息，计算图像的消失点和单应性变换，对视频图像进行整流修正；文献[2]提出了基于投影的曲线模型匹配方法，利用投影的完整度、匹配点、偏移量期望和方差的加权和作为相似性度量，利用车辆模型匹配进行车辆的检测和跟踪；文献[3]针对小角度、偏离道路中心的摄像头下车辆的跟踪，开展了有关粘连车辆的分割及跟踪方法的研究；文献[4]利用卡尔曼残差来控制卡尔曼滤波器，并与MeanShift算法相结合来对车辆进行跟踪。本文则针对连续自适应均值漂移 （CamShift）算法在目标颜色与背景相似，特别是在光照变化及建筑物、数木等阴影的影响下，几乎无法对车辆进行跟踪的情况进行改进，提出了一种针对特定车辆的跟踪算法，该算法在CamShift算法的基础上，采用Kalman滤波对车辆运动趋势进行预测，并通过空间区域划分和特征融合等手段，实现对目标车辆的有效跟踪。

1 算法原理

1.1 CamShift算法

连续自适应均值漂移（Continuously AdaptiveMean-Shift，ComShift）算法是基于MeanShift的改进算法，它是基于颜色概率分布的非参数迭代技术算法，它通过计算视频图像序列中运动目标的颜色信息直方图，然后将直方图反向投影转化成色彩概率分布，最后将视频图像上一帧的搜索中心和窗口大小作为下一帧MeanShift算法的搜索窗口的初始值进行迭代计算，并自动调整搜索窗口的大小，从而实现对目标的跟踪，具有较好的实时性和稳健性。该算法在没有光照影响的情况下，或者目标颜色与背景色差别较大时跟踪效果良好，但如果背景的颜色与目标颜色相近，或者目标附近有与目标色调相近的物体时，算法会将其包含在内，导致跟踪窗口扩大，跟踪失效，因此必须对其进行改进。

1.2 Kalman滤波

Kalman滤波是基于最小方差的最佳线性递归滤波算法，它不需要全部过去的观察数据，只根据前一个估计值x^k-1和最近一个观察数据就可以估计出当前值。即在前一时刻状态估计值的基础上，根据当前时刻的测量值，递推得到当前时刻的状态估计值。设目标动态系统的状态空间模型为：

其中状态向量 X（k）=[x（k），y（k），vx（k），vy（k）]，观测向量Z（k）=[vx（k），vy（k）]，x（k），y（k）分别表示目标车辆质心在 x 轴和 y 轴上的坐标，vx（k）=[x（k）－x（k－1）]/Δt，vy（k）=[y（k）－y（k－1）]/Δt分别表示目标车辆运动速度在x轴和y轴上的分量，为时间间隔，这里取相邻两个时间的帧数差1。则系统的状态转移矩阵为观测矩阵为w（k），μ（k）分别为过程噪声和观测噪声，是均值为零的高斯白噪声且相互独立，其协方差分别为单位矩阵Q（k）和R（k）。Kalman滤波正是由于采用递推算法，速度快，在控制系统中处理实时信息有很大的优势。

2 空间区域划分及特征融合

传统的CamShift算法只提取了目标的颜色特征，然而车辆颜色虽然有好多种，但路面上的相似颜色车辆却非常多，因而单取颜色特征是不合适的。本文针对道路情况及摄像头对路面车辆的拍摄情况，将目标车辆进行了空间区域划分，并且从不同角度提取目标车辆的三种不同的特征，进行加权融合。下面分三步对算法改进过程进行具体描述。

2.1 空间区域划分

不管车辆是在行驶中还是静止不动，摄像头通常都比较难从一个角度获得整个车辆的影像，因此很有必要将车辆在空间上进行划分。Lazebnik等提出了空间金字塔匹配模型[5]，首先将图像进行分层，每层对上一层图像块进行n?n块划分，对子图像块进行局部特征量化，在二维图像空间建立金字塔，然后计算加权的子图像区域局部特征直方图交叉，该方法能够较准确表达图像块的空间位置信息，在图像分类上获得更好的性能。本文借鉴空间金字塔匹配模型思想，根据车辆特性，把车辆划分成几个区域：前脸、后部、侧面、顶部，建立车辆特性模型， 则特定车辆目标图像可表达为：Y={Y1，Y2，Y3，Y4}，然后对各子块图像统计直方图特征并赋予一定的权值。

2.2 特征提取

车辆是典型的刚体目标，而且每辆车都有固定不变的车牌号码，但如果距离太远或者目标太小，车牌识别则失去意义。因此车辆的颜色及形状特征是较鲁棒的特征，但颜色特征受光照条件、相似背景的干扰很大。只采用目标颜色H分量直方图作为特征，目标的特异性不明显，有可能在搜索过程中误将干扰区域判定为目标，导致跟踪失效。如果将纹理特征、目标轮廓边缘与颜色特征进行融合，可以有效补偿单一颜色特性的不足，从而使目标在反向投影图上明显区别于其他区域。

1）颜色特征

颜色特征在车辆识别中虽然是最容易被干扰的，但也是不可或缺的特征。本文将RGB空间转化为HSV空间后，提取Hue分量建立颜色特征模型：

2）纹理特征

纹理通常情况下不会受光照和背景色影响，是图像分析中一个较为稳定的特征。局部二值模式[6]（Local Binary Pattern，LBP）纹理由于计算简单、具有旋转不变性和灰度不变性特征获得了广泛应用，但其阈值是中心像素的值，易受噪声干扰。因此在LBP的基础上进行改进形成三值编码的局部三元模式[7]（Local Ternary Patterns， LTP）纹理，在领域宽度±T 内，对图像中每个像素gc的8领域进行采样，每个采样点x与中心像素gc作灰度值三值化运算：

设模版窗口为3n，权值为2i，则LTP编码的计算公式为：

考虑到人为给定阈值T不是很科学，本文将局部区域像素灰度值的标准差σ作为T的值，它能随着图像数据的变化自适应调整。对输入图像进行LTP编码和计算，将得到的纹理信息参与到后续的算法流程。

3）边缘特征

车辆是典型的刚体性目标，具有边缘不变的特性，因此可以将其边缘特征作为算法的一个比较鲁棒的特征。用来做边缘检测的算法有Hu矩、Canny算子、Sobel算子、拉普拉斯算子等，其中Hu矩具有旋转、平移等的不变特性，在函数连续情况下还具有尺度缩放不变性。目标视频跟踪实际上是对视频图像帧序列进行识别，属于离散数据，Hu矩对于离散数据不具备缩放不变性，因此本文利用改进后的6个Hu不变矩：ψ1=φ2/（φ1）2、ψ2=φ3/（φ1）3、ψ3=φ4/（φ1）3、ψ4=φ5/（φ1）6、ψ5=φ6/（φ4）2、ψ6=φ1/（φ1）6及其快速计算方法对 ψ1～ψ6 进行计算[8]。 改进后的6个Hu不变矩在目标特征提取上具有平移、旋转和尺度缩放不变性。

2.3 带权特征融合

鉴于CamShift算法在目标颜色与背景相近时跟踪目标丢失问题，本文对三种特征的权值进行了限定。采用Euclidean Distance公式对前后两帧图像的特征点，进行相似性计算根据计算结果更新各特征的联合概率分布：

的权值， 其中 α=D1/（D1+D2+D3）、β=D2/（D1+D2+D3）、ϑ=D3/（D1+D2+D3），q1（t）、q2（t）、q3（t）分别代表第 t帧颜色、纹理、边缘特性的概率密度分布。根据式（5）的融合规则可知，当某一特征在跟踪过程中的变化较大时，其欧式距离相对较大，也即相似性较小，对跟踪过程的贡献也较小，因此该特征被赋予较小的权值，对跟踪的影响也相对较小。反之亦可，起到自适应调整的作用。

3 基于Kalman滤波的区域特征融合算法描述

算法首先根据2.1节的空间区域划分思想，将目标车辆在空间上进行划分。划分分两步进行，第一步将目标车辆划分成四个子区域，在每一子区域上取若干个子区域块进行颜色和纹理特征提取；第二步在第一步均衡提取的基础上进行补偿性特征提取，在四个子区域的交叉处（即Y1和Y3之间、Y1和 Y4之间、Y2和 Y3之间、Y2和 Y4之间）进行特征提取，以补充区域交叉处的颜色和纹理特征缺失。然后将颜色特征、纹理特征及边缘特征进行加权融合。最后引入Kalman滤波对目标车辆运动趋势进行预测，在一定程度上克服车辆运动速度快、相似背景及遮挡等问题。改进后的算法步骤描述如下：

Step1读取视频帧，初始化跟踪窗口的位置和大小，并用目标质心的x、y坐标和初始速度（本文设置为当前道路规定时速的2/3）来初始化Kalman滤波器的初始状态向量X（0）；

Step2计算跟踪窗口的Hue、LTP和Hu矩，并用式（5）计算得到特征的联合概率分布q（t）；

Step3根据式（1）对窗口的位置进行预测，执行MeanShift获得目标质心的新位置，并作为观测值来修正预测值；

Step4取下一视频帧，用Step3的值更新窗口的位置和大小，同时更新Kalman滤波器的状态向量X（k）；

Step5返回Step2。

4 实验及结果分析

实验首先采用传统的CamShift算法对视频中的车辆进行跟踪，但车辆行驶至树阴位置时，跟踪窗口扩大为树阴影大小，并且固定不动，跟踪直接失效，因此本文不给出对比结果图，而只给出改进的CamShift算法 （区域特征融合后的CamShift算法，这里暂称为RCF-C算法）和本文算法（基于卡尔漫滤波的区域特征融合算法，简称RCFK-C算法）的跟踪结果。视频序列取自安装在某二楼一角对准路口的摄像头所采集的数据，帧图像大小为360?240。实验在Winsow7系统下安装Visual Studio 2010，并配置OpenCV2.4.8视觉库，采用C++语言编写完成。

实验结果如图1和图2所示。车辆正常行驶，并缓慢拐弯逐渐进入树荫中，光照产生了变化，RCF-C算法受阴影影响小，基本能够正确跟踪，只是在阴影中目标车辆拐弯时搜索窗口稍微扩大；RCFK-C算法因为有Kalman滤波对目标运动趋势进行了预测，因此跟踪情况良好，两种算法运行结果分别如图1和图2的a）到c）所示。当目标车辆行驶经过颜色、纹理等特征相似的停止车辆时，RCF-C算法开始将非目标车辆包含进搜索窗口，并且在目标车辆驶离停靠车辆后，搜索窗口仍然停止在非目标车辆，跟踪失效；而RCFK-C算法则很好地避免了这种情况，尽管在两辆车完全并排时（从摄像头的角度，两辆车之间没有缝隙），也将非目标车辆包含进搜索窗口，但由于有运动趋势预测，在目标车辆逐渐与非目标车辆分开时，算法能够正确判断目标车辆并且继续跟踪。

图1 RCF-C算法Fig.1 RCF-Calgorithm

图2 RCFK-C算法Fig.2 RCFK-Calgorithm

5 结束语

本文对行驶中的车辆易受树荫或建筑物等阴影的影响以及颜色相近车辆的干扰等问题进行研究，通过均衡提取和补偿性提取两种不同的方式来提取目标车辆的三种特征，采用欧式距离对前后两帧图像的特征点进行相似性计算，并对其进行自适应加权融合，从而更新特征点的联合概率分布函数，使得跟踪窗口不受单个特征变化的影响；最后引入Kalman滤波对目标车辆的运动趋势进行预测，减弱了相似车辆的干扰。实验结果表明该算法是有效的，实现了较为准确的跟踪。

[1]LIU Lin，WANG Xiu-ping.Vehicles Tracking Based on Im-ages Perspective Rectification[C].Proceedings of 2011 IEEE International Conference on Intelligent Computing and Intelligent Systems（ICIS 2011），2011（3）:24-27.

[2]胡铟，杨静宇.基于模型的车辆检测与跟踪[J].中国图象图形学报，2008，13（3）:450-455.HU Yin，YANG Jing-yu.Model based vehicl e detection and tracking[J].Journal of Image and Graphics，2008，13（3）:450-455.

[3]刘诗慧.视频中粘连车辆的分割与跟踪技术研究[D].哈尔滨：哈尔滨工业大学，2013.

[4]张秀林.基于卡尔曼滤波与MeanShift的运动车辆跟踪[J].电子设计工程，2013，21（5）:15-17.ZHANG Xiu-lin，WANGHao-quan，LIUYu，et al.Tracking of the moving vehicles based on kalman filtering and mean shift[J].Electronic Design Engineering，2013，21（5）:15-17.

[5]Lazebnik S，Schmid C，Ponce J.Beyond bags of features：Spatial pyramid matching for recognizing natural scene categories[C]//2006 Conference on Computer Vision and Pattern Recognition，2006：2169-2178.

[6]Zhao G Y，Pietikainen M.Improving Rotation Invariance of the Volume Local Binary PatternOperator[C]//IAPR Conference on Machine Vision Applications，2007:327-330.

[7]TAN Xiao-yang，TRIGGS B.Enhanced local texturefeaturesets forface recognition under difficult lighting conditions[C]//Proc ofAnalysis andModelling of Faces and Gestures Conference.[S..l].Springer，2007:168-182.

[8]张琳.基于加权HU不变矩的监控视频人体行为识别方法的研究与实现[D].西安：西北大学，2011.