基于Contourlet和MeanShift的交通视频车辆跟踪算法

王相海, 刘美瑶, 苏元贺, 方玲玲, 宋传鸣

(辽宁师范大学 计算机与信息技术学院, 辽宁 大连 116081)



基于Contourlet和MeanShift的交通视频车辆跟踪算法

王相海, 刘美瑶, 苏元贺, 方玲玲, 宋传鸣

(辽宁师范大学 计算机与信息技术学院, 辽宁 大连 116081)

提出一种基于Contourlet直方图的MeanShift交通视频车辆目标跟踪算法.首先，利用Contourlet变换提取交通视频中感兴趣区域下跟踪目标的纹理特征和轮廓，并用其直方图统计跟踪目标的纹理特征；然后，通过Kalman滤波技术来进行跟踪目标轨迹的相关性函数计算，并将计算结果迭代到MeanShift跟踪算法中选取最优估计值，进而实现对交通视频车辆在复杂场景中的精确定位.通过与传统的MeanShift跟踪算法以及基于Kalman滤波的MeanShift跟踪算法等比较表明，此算法不仅能够对复杂场景中的视频车辆进行有效跟踪，同时还具有较好的稳定性和抗干扰性.

Contourlet直方图；MeanShift跟踪算法；Kalman滤波；纹理特征；复杂场景

复杂场景下的交通视频车辆跟踪技术作为智能交通系统(ITS)的重要组成部分对智慧城市的发展具有重要的理论和实际意义，同时也是一难点问题.MeanShift(MS)概念最早由Fukunaga等人以“偏移的均值向量”含义被提出[1]，但随着其理论的不断发展,其含义也相应地发生了变化.Cheng在文献[2]中将MeanShift理论引入到计算机视觉领域，被用来通过梯度优化识别目标的位置.近年来MeanShift跟踪算法在视频中移动目标跟踪领域受到人们的关注.然而，该算法在跟踪目标的过程中很容易受到环境的干扰，特别对复杂场景情况.为此人们将Kalman滤波引入车辆跟踪算法中，用以计算和评估跟踪目标轨迹的相关性来提高目标的跟踪精度.

提出一种基于Contourlet直方图的MeanShift交通视频车辆目标跟踪算法，该算法通过融合Contourlet直方图、Kalman滤波和MeanShift跟踪算法等多种工具来提高复杂场景中目标的跟踪精度，同时增强算法对复杂场景的鲁棒性.首先，利用Contourlet子带的直方图统计来获取交通视频中感兴趣区域下跟踪目标的纹理和轮廓特征，然后，通过Kalman滤波进行跟踪目标轨迹的相关性函数计算，最后，通过迭代MeanShift跟踪算法选取最优估计值.

1 Contourlet变换概述

图1 Contourlet变换滤波器组结构Fig.1 Contourlet transform filter bank structure

离散Contourlet变换即塔形方向滤波器组(Pyramidal Directional Filter Bank，PDFB)，是M.N.Do等人提出的利用拉普拉斯塔形分解(Laplacian Pyramid, LP)和方向滤波器组(Directional Filter Bank,DFB)分别进行多尺度和方向分析的一种多尺度分析工具[3-6]，该变换通过多分辨率变换对图像进行扩展，并采用局部化的方向滤波器进行线性表示，可以将图像边缘、纹理附近的相关变换系数更加有效的表示和集中，因而被称为一种“真正”的二维图像稀疏表示方法.Contourlet变换滤波器组结构参见图1.

Contourlet变换首先由LP变换对图像进行多尺度分解以捕获奇异点，然后由DFB对每一级金字塔分解的带通分量进行多方向分解，将同方向的奇异点合成线，少量的线条便可以有效地捕捉图像中的边缘轮廓，而边缘轮廓正是自然图像中的主要纹理特征，也是我们所要提取的跟踪目标的主要特征.其中，Contourlet频域分解图和DFB分解后各尺度方向示意图参见图2和图3.

图2 Contourlet频域分解图Fig.2 Contourlet frequency domain decomposition

图3 DFB分解后各尺度方向Fig.3 DFB after decomposition scale direction

由LP变换分解得到的带通图像传递给DFB后能获得不同方向上的子带图像，因此，图像经过迭代Contourlet变换便可得到多个尺度多个方向上的子带图像.同时也因为Contourlet变换可以将多尺度分解和多方向分解分开进行，因此Contourlet变换可以实现图像在多尺度上的多方向分解.进一步分析可知，Contourlet变换具有更好的多分辨率、局域性、多方向性以及各向异性等特点，能更有效地捕获图像的边缘轮廓信息.图4和图5分别给出了图像Contourlet变换的示意图和实际图像的分解子带情况.

图4 Contourlet变换示意图Fig.4 Schematic diagram of Contourlet transform

图5 实际图像Contourlet分解示例图Fig.5 Schematic diagram of Contourlet transform of real image

2 基于Contourlet直方图的MeanShift跟踪算法

2.1 Contourlet直方图的计算

Contourlet变换的基函数分布在不同尺度不同方向上，这样少量的变换系数便可以有效地获取图像的边缘轮廓信息特征[7-9].为了增强交通视频车辆在复杂场景下跟踪算法的鲁棒性和抗干扰性，本文采用文献[10]中的Contourlet直方图计算方法获取跟踪目标的特征，具体过程如下：

Step 1 将交通图像进行2级和3级LP Contourlet分解，获取不同尺度下的4幅和8幅子图(共12幅，参见图6)；

图6 交通视频图像的2层Contourlet分解Fig.6 Two layer Contourlet decomposition of traffic video image

Step 2 计算每幅子图系数矩阵W的绝对值获得能量E，并据此对不同尺度Contourlet分解的子带调整排列顺序，选取同尺度下能量最大的子图排在第一幅，其他子带按顺时针依次循环序列，形成2个尺度下的子带输出顺序；

Step 3 利用每幅子图W的能量均值e对其进行量化，获得0/1量化矩阵I：

(1)

通过上述采样获得大小相同的能量矩阵.

Step 4 将每幅子图相对本子图相同存储位置点的(0/1)合成12位二进制数，通道0～3为2级Contourlet分解产生的4幅子图，4～11为3级Contourlet分解所产生的8幅子图.

Contourlet直方图生成方法[10]如图7所示，其中T为数据0/1的量化.

图7 Contourlet直方图的构造示意图Fig.7 Contourlet histogram structure diagram

2.2 基于Contourlet直方图的轮廓区域的确定

传统的MS跟踪算法利用颜色直方图提取跟踪目标的特征，但颜色直方图仅仅统计候选区域的图像像素色彩特征，并未包含其他的纹理特征，而颜色直方图极易将图像噪声的颜色作为目标的特征加入统计中，因此对目标候选区域的确定有一定的干扰.本文利用Contourlet直方图统计目标的纹理特征和亮度特征[11]来提高对目标候选区域确定的抗干扰性.具体目标候选区域的确定过程如下:

Step 1 将原交通视频RGB图像转换为HSV图像，提取HSV图像的V通道分量；

Step 2 采用Contourlet直方图提取目标的纹理特征(目标的轮廓)，即利用2.1节获得的Contourlet变换子图量化后组成矩阵，对目标候选区域模型进行建模[12]，即确定目标候选区域的Contourlet直方图qu(x0,h)(u为矩阵中元素的值)：

(2)

(3)

x0为矩阵的中心坐标，xi为矩阵中第i个元素的坐标；h为模板的大小，nh为模板中元素的个数；t(xi)为目标模型矩阵；C为归一化参数；k(x)为高斯核函数.

Step 3 对目标模型做反向投影操作，将目标模型的纹理特征和亮度特征融合，求得目标模型特征值的概率密度分布直方图.在概率密度分布直方图中，峰值越大，与目标区域越接近.这样峰值大且密集的区域即为目标模型的轮廓区域.

2.3 基于Kalman滤波的相似性函数计算

Kalman滤波[13]是一种空间状态估计方法，通过跟踪目标动态特性的线性关系来预测和校正它的实时位置.Kalman滤波可以按照式(4)估计候选区域的相似性函数：

(4)

在交通视频序列中，跟踪目标的位置为(x,y)，并且按照式(4)进行实时计算.假设Q是初始状态时平均值为0、方差为0.5的高斯噪声的协方差矩阵.那么当前状态模型矩阵为

(5)

(6)

用矩阵Φ、H作为视频序列中跟踪目标的参数对Kalman滤波进行初始化.

2.4 目标的搜索策略

假设候选对象位于y，则目标模板可以描述为[14]

(7)

有关符号的说明参见2.2节.

将2.3节中Kalman滤波计算的相似性计算结果迭代入式(7)中，求出与qu最接近的pu的值，即为目标模型的最佳中心位置.

MeanShift跟踪算法利用概率密度的梯度上升来寻找局部最优[15].针对选取的跟踪目标的区域范围，根据其反向投影概率图进行MeanShift迭代，实现目标的跟踪.

3 实验结果与分析

实验的运行环境为：Window专业版，处理器Intel(R)Core(TM)i5-3470 CPU@3.20Ghz 3.20 GHz，内存4 G.实验平台Visual Studio 2013+OpenCV-3.1.0.

图8～图10给出了复杂场景下各算法对目标车辆的跟踪情况，表1给出了各算法跟踪目标的位置坐标.

图8 传统MS跟踪算法结果Fig.8 The tracking result of traditional MS algorithm

图9 基于Kalman滤波的MS跟踪算法结果Fig.9 The tracking result of the MS algorithm based on Kalman filter

图10 基于Contourlet直方图的MS跟踪算法结果Fig.10 The tracking result of the MS algorithm based on Contourlet histogram

从图8～图10及表1可以看出在复杂场景下的交通视频车辆跟踪中，传统的MS算法的抗干扰性较差，而基于Contourlet直方图的MeanShift交通视频车辆目标跟踪算法的抗干扰性较好.跟踪目标在复杂场景中不易丢失.

表1 目标位置与各算法的跟踪窗口中心位置的对比

图11～图13对辽宁省大连市西岗区的交通视频进行跟踪的结果.可以看出，对复杂场景本文算法具有较好的稳定性和抗干扰性.

图11 传统MS跟踪算法结果Fig.11 The tracking result of traditional MS algorithm

图12 基于Kalman滤波的MS跟踪算法结果Fig.12 The tracking result of the MS algorithm based on Kalman filter

图13 基于Contourlet直方图的MS跟踪算法结果Fig.13 The tracking result of the MS algorithm based on Contourlet histogram

4 结束语

针对MeanShift算法在复杂场景下交通视频车辆跟踪中存在极易丢失跟踪目标的问题以及跟踪窗口大小不稳定的缺陷，将Kalman滤波算法以及Contourlet直方图引入到MeanShift跟踪算法中，提出一种基于Contourlet直方图的MeanShift交通视频车辆目标跟踪算法.仿真实验表明所提出的算法对复杂环境具有较好的鲁棒性.

致谢 感谢大连市公安局交通警察支队西岗区交通大队所提供的实验视频支持.

[1] FUKUNAGA K, HOSTERLER L. The estimation of the gradient of a density function with application in pattern recognition[J].IEEE Trans Information Theory,1975,21(1):32-40

[2] CHENG Y. MeanShift, mode seeking, and clustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(8):790-799.

[3] DO M N ,VETTERLI M. Wavelet-based texture retrieval using generalized Gaussian density and Kullback-Leibler distance[J]. IEEE Trans Image Proc,2002,11(2):146-158.

[4] DUNCAN D Y P,MINH N D. Directional multiscale modeling of images using the Contourlet transform[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2006,15(6):1610-20.

[5] 吴莉,梅雪,林锦国.基于Cntourlet变换和KFD的相似目标特征提取[J].计算机工程与设计,2011,32(1):240-243.

[6] 王相海,陈明莹,宋传鸣，等.带方向特征的Contourlet HMT模型[J].中国科学(信息科学),2013,43(5):626-643.

[7] 郭文婷,蔡念.基于Contourlet直方图的目标跟踪算法[J].激光与红外,2012,42(10):1177-1180.

[8] 周妍,李庆武,霍冠英.基于非下采样Contourlet变换系数直方图匹配的自适应图像增强[J].光学精密工程,2014,22(8):2214-2222.

[9] 马文佳,曲仕茹.基于非下采样Contourlet变换的交通图像融合方法研究[J].交通运输系统工程与信息,2010, 10(6):48-52.

[10] 田小忱,杨东,杜春华.综合颜色和Contourlet直方图的图像检索方法[J].计算机工程，2010,36(1):224-227.

[11] 韩敏,侯榆青,张海波,等.综合Contourlet变换和颜色特征的图像检索算法[J].小型微型计算机系统,2012,33(6):1288-1292.

[12] 傅荟璇,王宇超,孙枫.融合Kalman滤波的自适应带宽MeanShift算法[J].中南大学学报(自然科学版),2011，42(1):784-788.

[13] KULKARNI A, VARGANTWAR M.Video based tracking with Mean Shift and Kalman filter[J].International Journal of Engineering Research & Technology (IJERT),2014,3(5):1271-1274.

[14] 张凤军,赵岭,安国成,等.一种尺度自适应的MeanShift跟踪算法[J].计算机研究与发展,2014,51(1):215-224.

[15] 刘阳,王忠立,蔡伯根.复杂环境基于多信息融合的车辆跟踪方法[J].交通运输系统工程与信息，2015,15(6):74-81.

Video vehicle tracking algorithm based on Contourlet and MeanShift

WANGXianghai,LIUMeiyao,SUYuanhe,FANGLingling,SONGChuanming

(School of Computer and Information Technology, Liaoning Normal University, Dalian 116081, China)

Based on Contourlet Histogram,the paper proposed a new traffic video tracking algorithm of MeanShift.First of all,using Contourlet transform to achieve the textural feature and contour of the tracking object in the region of interest from traffic video,and using histogram to count tracking object's textural characteristics.Then,calculate the correlation function of tracking object curve with Kalman filter.Finally,iterate the computing result to MeanShift tracking algorithm to select the optimal estimate,and then realize the accurate location of traffic video vehicles in complex scenes.By MeanShift of traditional tracking algorithm with MeanShift tracking algorithm based on Kalman filter comparing, we find shows that this algorithm not only can effectively track the video vehicle in complex scenes, but also has good stability and anti-jamming.

Contourlet histogram;MeanShift tracking algorithm;Kalman filter;texture feature；complex scenes

2017-01-23

国家自然科学基金资助项目(41671439；41402214)；高等学校博士学科点专项科研基金资助项目(20132136110002)

王相海(1965-)，男，吉林汪清人，辽宁师范大学教授,博士,博士生导师,CCF高级会员.

1000-1735(2017)02-0192-07

10.11679/lsxblk2017020192

TP391

A