基于多特征概率分布的均值漂移行人跟踪算法*

王爱丽　董宝田　武鸿源

(1.北京交通大学 交通运输学院, 北京 100044; 2.中国铁路总公司信息技术中心， 北京 100038)



基于多特征概率分布的均值漂移行人跟踪算法*

王爱丽1,2董宝田1武鸿源1

(1.北京交通大学 交通运输学院, 北京 100044; 2.中国铁路总公司信息技术中心， 北京 100038)

在目标尺寸和颜色发生变化时，传统均值漂移法因目标模型单一和核窗口大小方向固定而导致目标丢失.为此，文中提出一种基于多特征概率分布的均值漂移行人跟踪算法，首先利用目标的颜色、轮廓和运动特征构建目标模型，得到颜色、边缘和运动直方图分布；然后将颜色和边缘的直方图反向投影生成二维概率密度分布，利用运动信息修正颜色和边缘概率分布；并根据各特征所占权重，运用自适应融合法得到目标特征关联概率分布；最后利用关联概率密度的零阶矩值调整下一帧跟踪窗口尺寸，结合均值漂移跟踪框架，实现常态下目标跟踪.实验结果表明，该算法提取的目标特征具有较强的准确性，能实现复杂交通场景下的行人跟踪.

行人跟踪；均值漂移；直方图分布；多特征融合；关联概率分布

智能交通视频监控系统是计算机视觉领域中新兴的研究方向，具有广泛的应用前景.其中，基于目标检测对交通视频图像内目标跟踪的研究，能实时、准确地获取交通流中运动物体的信息，是计算机视觉领域的一个研究热点和难点，为更高级的视觉范畴和视觉系统提供了有效的交通信息.

几十年来，新的跟踪方法层出不穷，主要包括基于图像特征的方法、基于模板匹配的方法、基于区域的方法和基于学习的方法等[1- 3].近年来，基于模板匹配的均值漂移(Mean Shift)算法[3]受到了广泛重视，该算法定位目标的方式是通过均值向量迭代求取概率密度极大值，能快速搜索和匹配目标，避免了穷尽搜索，从而极大降低了计算量，适应于对行人的实时跟踪.然而，传统均值漂移算法在跟踪大小明显变化和单一目标模型不能很好地描述的目标时，很容易在跟踪过程中发生目标定位漂移甚至丢失目标.而利用多种特征进行跟踪是提高跟踪算法鲁棒性的一种有效途径.

为提高复杂环境下行人目标跟踪的稳定性，基于多特征的目标跟踪方法[4- 12]开始兴起.文献[4]中采用颜色、纹理、边缘方向特征，并在粒子滤波框架内进行概率融合，给出了一种通用性较好的多特征跟踪方法，然而在复杂的背景中易受运动噪音干扰；文献[5]中使用角点、边缘、纹理和区域灰度特征实现对刚性目标的跟踪；文献[6]中提出了一种新的综合轮廓和灰度特征的行人跟踪算法，其性能依赖于预先构建的目标轮廓原型，且假设不同行人的轮廓是相互近似的，忽略了行人个体间的差异性；文献[7]中将红外图像的灰度特征、可见光图像的颜色和纹理特征融入到模板跟踪框架中，实现了复杂环境下的目标跟踪，该方法需要对多传感器间进行同步测算和设置，计算复杂且成本高，不利于算法的推广应用；文献[8]和[9]中提出了融合颜色和形状纹理特征的跟踪算法，但忽略了目标的运动特性和每个特征的贡献.

然而，多特征跟踪算法仍依赖于单个特征的合理选择，其性能的发挥受单个特征鉴别能力的影响较大，此外，融合方法的有效性会直接影响其跟踪的性能.文中提出一种基于多特征概率分布的均值漂移行人跟踪算法，综合考虑目标的外表和空间特征，且利用运动特征修正各个特征概率分布，提高融合特征的有效性，实现目标精确跟踪，提取出目标的运动轨迹、速度、加速度等交通信息.

1　基于多特征概率分布的均值漂移行人跟踪算法

基于概率分布图的均值漂移算法，其核心思想是在视频图像中的每一帧对应的概率分布图上做Mean Shift迭代运算，并将前一帧的结果(搜索窗口的中心和大小)作为下一帧Mean Shift算法搜索窗口的初始值，重复这个过程，继而实现目标跟踪[10- 11].

在跟踪过程中，目标特征概率分布模型构建和目标搜索定位[12]是最重要的两个步骤.为了提高跟踪的准确度，文中利用图像的颜色、轮廓和运动特征构建目标模型，得到颜色、边缘和运动直方图分布；将颜色和边缘的直方图反向投影生成二维概率密度分布，利用运动信息修正颜色和边缘概率分布，得到运动-颜色和运动-边缘概率分布图，并根据各特征所占权重自适应融合生成新型特征目标的关联概率分布；最后利用关联概率密度的零阶矩值调整下一帧跟踪窗口尺寸，结合Mean Shift跟踪框架，实现目标定位跟踪.

1.1目标特征直方图分布

1.1.1颜色特征

在交通视频图像中，颜色信息是最典型的基本特征，对目标旋转、遮挡等情况具有稳健的特点.因此，文中首先采用目标的颜色直方图分布信息来描述目标的外观特征，选用RGB颜色空间三通道表示目标颜色信息，将R、G、B空间分为k个相等区间bin，这些bin构成了特征空间，这里设bin的个数为mbin=16×16×16.

把颜色特征空间分为16×16×16个颜色特征值，此时目标模型的直方图表示为q=[q1q2…

(1)

图1　颜色信息

1.1.2边缘特征

虽然颜色特征对目标变形和姿态变化具有很强的顽健性，但其不能描述目标的空间结构，容易受外界条件的影响.而边缘信息能够弥补颜色信息的缺陷，不易受外界变化的影响，且不需要明确的目标模型[13].因此，文中选用边缘信息来描述目标的空间特征.

在初始帧时，首先将彩色图像转换为灰度图像，利用Sobel算子[14]求解图像的计算边缘梯度幅值G(x,y)和方向θ(x,y)：

(2)

式中，Gx[x,y]和Gx[x,y]分别表示水平和垂直方向的边缘梯度幅值.

为提高边缘直方图的抗噪性，对边缘方向进行滤波，保留边缘强度大的边缘信息，剔除伪边缘，得到边缘梯度幅值图：

(3)

由于提取的边缘Edge(x,y)存在不连续问题，文中采用形态学[11]对图像进行修正(如式(4)所示)，完成对断裂边缘的连接，从而获得高信噪比和低均方差的边缘图像.

(4)

式中，⊕表示膨胀运算，⊙为边缘细化运算，⊗为击中或击不中的变换运算符.

通过式(2)标记出边缘点，并在相应点计算出梯度方向，发现方向θ的取值范围为θ∈(-90°,90°).为简单起见，文中对目标图像的边缘点的方向θ进行量化，将其分为18等分，每个区间角度变化范围为10°.

边缘特征向量为qe=[qe1qe2…qem]T，m=18,则目标的边缘直方图分布函数表示为

(5)

式中，Cedge为归一化常数，xedge(i,j)为目标区域通过边缘检测提取的边缘像素集.图2给出了行人的边缘方向直方图分布.

1.1.3运动特征

目标颜色和边缘信息描述了目标静态信息，但目标都是动态的，为了更好地对其跟踪，还需检测其运动信息.文中采用多帧差分法提取图像目标的运动信息[13]，具体计算过程为：

(1)计算第t帧图像It和第t-1帧图像It-1之

图2　边缘信息

间以该像素为中心的3×3范围内所有像素的绝对差之和，并赋值给该像素，得到前两帧的差分图像Dt,t-1(x,y)：

It-1(x+l,y+h)|

(6)

(2)同样，计算第t-1帧图像It-1和第t-2帧图像It-2的差分图像Dt-1,t-2(x,y)；

(3)求解图像Dt,t-1(x,y)和图像Dt-1,t-2(x,y)的均值：

(7)

(8)

1.2目标关联概率分布

多种特征的联合使用会有效地提高目标跟踪的准确性，因此文中通过采用多信息融合算法自适应融合目标颜色、边缘和运动信息，生成新型特征的目标关联概率分布图.具体融合过程如下.

(1)目标模型反向投影

直方图反向投影是指将原始视频图像通过目标直方图转换到概率分布图(PDM)的过程[11,13].直方图反向投影产生的概率分布图即为直方图的反向投影图，该概率分布图中的每个像素值表示输入图像中对应像素属于目标直方图的概率.

(9)

图3　反向投影结果

(2)利用运动引导颜色和边缘概率分布

为了提高融合算法的有效性，文中首先将提取的运动信息M(xi,yi|t)融入到目标颜色和边缘信息里，修正颜色概率分布图Pcolor(xi,yi|t)和边缘概率分布图Pedge(xi,yi|t)，计算得到运动-颜色和运动-边缘概率分布图：

(10)

(3)目标的关联概率分布

根据自适应融合机制，利用颜色直方图分布qcolor和边缘直方图分布qedge所占的权重，将运动-颜色概率分布图Pm-c(xi,yi|t)和运动-边缘概率分布图Pm-e(xi,yi|t)自动融合，得到融合后的关联概率分布图Pnew(xi,yi|t)：

Pnew(xi,yi|t)=wm-cPm-c(xi,yi|t)+

wm-ePm-e(xi,yi|t)

(11)

其中，

图4给出了图 1(a)中框内行人的各个信息相融合的结果，从图4(d)中可以看出，利用多线索信息融合的目标表观建模可以更精确地描述目标(所有结果都是经过二值化和形态学[14]处理后提取).

图4　多线索信息融合结果

1.3行人跟踪算法实现

采用Mean Shift算法迭代寻找目标最优位置区域，根据上述投影构建的新型目标概率密度分布图Pnew(xi,yi|t)，计算该区域内以点k为中心的搜索窗口内目标概率密度的零阶矩、一阶矩和质心位置.并依据均值漂移思想迭代计算，最终定位目标.具体步骤如下.

步骤1目标模板初始化.利用行人检测方法，提取初始帧中监控区域内存在的行人目标区域，自动把跟踪目标限定在矩形移动框内，将其作为初始化的搜索窗，设搜索窗的尺寸为s0，中心位置为K0,实现目标模板的初始化.

步骤3直方图反向投影.将颜色和边缘的直方图反向投影，得到目标图像的颜色概率分布图Pcolor(xi,yi|t)和边缘概率分布图Pedge(xi,yi|t).

步骤4概率分布融合.将检测到的运动信息M(xi,yi|t)融入到目标颜色和边缘信息里，修正颜色概率分布图和边缘概率分布，得到运动-颜色概率分布Pm-c(xi,yi|t)和运动-边缘概率分布Pm-e(xi,yi|t)，并根据颜色和边缘特征所占权重进行融合运算，生成新型特征目标的关联概率分布图Pnew(xi,yi|t).

步骤5迭代搜索目标位置.在融合后的概率分布图Pnew(xi,yi|t)上，根据搜索窗口的尺寸s0和中心位置P0计算搜索窗的质心位置，计算步骤为

(1) 计算搜索窗内零阶矩M00和一阶矩[M10,M01]

(12)

(13)

(3) 重新调整搜索窗的尺寸

(14)

(15)

(4) 反复执行(1)、(2)、(3)，直至目标搜索窗口中心处于窗口中概率分布峰值处或满足迭代次数则终止循环.

2　实验结果

文中以Matlab2009b为开发平台，在IntelCorei5- 2500sCPU、2.70GHz、4.00GB内存、Win7计算机上，采用在北京市门头沟区街道处采集的2段AVI格式的视频，分别对不同行人目标进行跟踪实验.

图5给出了在视频序列I中基于文中跟踪算法对单个目标进行定位跟踪的结果.图5(a)-5(d)依次为第100、200、390、476帧的跟踪结果，矩形框内是跟踪到的目标，跟踪步长为2帧.从图5的跟踪过程中，可以看出目标逐渐远离镜头，目标尺寸由约7 621像素逐渐缩小至约824像素，并伴有方向上的微动.传统均值漂移算法在目标尺寸变化时，搜索窗口的大小固定不变，无法自适应调整目标尺度.而从图5的跟踪结果可看出，文中算法利用关联概率密度的零阶矩值调整下一帧跟踪窗口尺寸，使搜索窗口(搜索窗口为矩形框)随着目标的变化而变化，与实际需求相符合，进一步保证了跟踪的可靠性.

图5　单目标跟踪结果

图6给出了文中算法和原始均值漂移算法对上述交通场景的跟踪定位结果.将文中算法跟踪到的X、Y方向运动轨迹以及原算法跟踪到的X、Y方向轨迹与实际轨迹(实验中每帧图像目标实际的中心位置(x、y)是通过手工逐帧标记获取的)进行拟合比较，得到两种算法的跟踪误差信息.从图6(b)和6(d)中可以看出，在整个跟踪过程中，由于原始算法无法自适应目标大小和方向的变化，造成在X、Y方向上跟踪误差较大，最大跟踪误差达到31.7 和22.39像素，平均误差值达到17.694 5和12.266 6像素，且随着时间的积累误差越来越大.同时，从图中也可以看出，由于文中跟踪算法融入了边缘、运动信息和搜索窗口的自适应调整，故采集到的X、Y方向上的目标位置信息与实际坐标轨迹变化状态基本一致，均保持稳定的较小误差，最大误差值分别为9.446 9和6.692 4像素，平均误差值分别为3.504 3和2.687 2像素.

图6　X、Y方向上的跟踪定位结果对比

根据X、Y方向上的跟踪坐标信息，计算出整个过程中总的误差信息.图7则给出了传统Mean Shift算法单独使用RGB颜色特征和文中改进算法的误差对比结果.从图中可以看出，在前面跟踪阶段中，原始算法出现较大误差，最大误差达到25.297 6像素；而文中算法最大误差为8.166 3像素，误差波动不是很大.在后续阶段中，跟踪目标远离摄像头，目标大小明显变小，传统均值漂移算法由于核函数窗口尺寸和方向固定，在基于已有较大误差的跟踪结果继续迭代，促使跟踪误差进一步变大，平均误差达到21.696 8像素，直至最终丢失目标；而文中算法平均跟踪误差和最大误差分别仅为4.679 8和9.674 7像素，一直保持稳定状态.

图7　跟踪误差对比

图8给出了在视频序列II中基于文中跟踪算法对多个行人进行跟踪的结果，依次为第58、210、318、360、400、530、580、610、620、640、670、690帧的跟踪结果.从图中可以看出，多运动行人的跟踪效果较好，行人运动轨迹基本都成功跟踪到.同时，从图8中可以看出监控场景中含行人遮挡情况，图8(h)-8(j)分别显示遮挡前、中、后3个状态的跟踪效果.图8(h)是行人发生遮挡前的跟踪图像，图8(i)为遮挡中的跟踪效果图，图8(j)为遮挡结束后的跟踪图像.从图8(h)和8(i)可以看出，文中多特征融合算法在一定程度上可以抵制局部遮挡，虽在发生遮挡时跟踪到的轨迹有些波动，遮挡结束后，基本能够恢复对遮挡行人的跟踪.

图8　多行人跟踪结果

图9给出了上述交通场景整个跟踪过程各个目标的跟踪误差变化情况(上图已经对各个目标进行编号).在跟踪过程中，需建立目标链，随着目标的进、出不断更新，当目标走出跟踪区域，则从目标链中删除，图9前面部分主要给出了目标1和2的误差变化状况；在中间部分目标3开始进入，而目标1和2离开跟踪区域；在后面部分目标4进入.同时，从图中也可以看出，在整个跟踪过程中，各个目标的跟踪误差基本稳定，最大误差分别为13.865 7、12.925 7、16.342 5和12.674 8像素，平均误差分别为5.536 7、5.325 7、5.738 1和4.913 5像素.实验结果表明：文中算法因融入了边缘、运动信息和搜索窗口的自适应调整，故在整个跟踪过程中跟踪目标的误差波动不明显，基本保持稳定的较小误差，行人跟踪效果比原始算法更准确.

图9　目标跟踪误差曲线图

3　结语

为提高目标跟踪的精度，文中提出了基于多特征概率分布的均值漂移行人跟踪算法.采用颜色、边缘、运动3个具有一定互补性的特征进行联合概率跟踪，通过目标颜色、轮廓和运动直方图分布描述目标的外观、空间和动态特征，增强了对目标特征的描述能力；该算法还根据直方图反向投影和颜色、轮廓特征所占权重，运用自适应融合法生成新型特征目标的关联概率分布，融合策略合理，实现简单，保证了跟踪性能的充分发挥；算法最后在均值漂移跟踪框架下，通过关联概率密度的零阶矩值调整下一帧跟踪窗口尺寸，实现搜索窗口的自适应调整，提高了目标跟踪的准确度.行人跟踪实验结果表明，文中算法中颜色、轮廓特征的鉴别性较高，且融入了运动特征，避免了单一特征的不稳定，对颜色相似区域、运动背景干扰和部分遮挡等均具有较高的鲁棒性，比传统Mean Shift算法的误差小，跟踪性能更好.然而，实际交通环境复杂，运动目标之间存在干扰、遮挡导致跟踪位置丢失等问题，需对此展开进一步研究.

[1]RUI Y,CHEN Y.Better proposal distributions：object tracking using unscented particle filter [C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Arlington:[s.n.],2001,786- 793.

[2]SHAN C F,TAN T N,WEI Y C.Real-time hand tracking using a mean shift embedded particle filter [J].Pattern Recognition,2007,40(7):1958- 1970.

[3]顾幸方,茅耀斌,李秋洁.基于meanshift 的视觉目标跟踪算法综述 [J].计算机科学,2012,39(12)：16- 24.

GU Xing-fang,MAO Yao-bin,LI Qiu-jie.Survey on visual tracking algorithms based on mean shift. [J].Computer Science,2012,39(12)：16- 24.

[4]BRASNET P,MIHAYLOVA L,BULL D.Sequential monte carb tracking by fusing multiple cues in video sequence [J].Image Vision Computing,2007,25(8)：1217- 1227.[5]SERBY D,KOLLER-Meier E,VAN-Gool L.Probabilistic object tracking using multiple features [C]∥International Conference on Pattern Recognition.Cambridge:[s.n.],2004:184- 187.

[6]解易,裴明涛,于冠群.增量学习灰度与轮廓模板的行人跟踪方法 [J].北京理工大学学报,2012,32(3):274- 280.

XIE Yi,PEI Ming-tao,YU Guan-qun.Incremental lear-ning intensity and contour templates for tracking pedes-trians on PTZ camera surveillance platform [J].Transactions of Beijing Institute of Technology,2012,32(3):274- 280.

[7]赵高鹏,薄煜明,陈益.多特征提取的红外和可见光目标跟踪方法 [J].兵工学报,2011,32(4)：445- 451.

ZHAO Gao-peng,BO Yu-ming,CHEN Yi.A method for tracking object in infrared and visible image based on multiple features [J].Journal of China Ordnance,2011,32(4):445- 451.

[8]贾松敏,王爽,王丽佳.多特征自适应均值漂移算法的目标跟踪 [J].光电子·激光,2014,25(10):2018- 2024.

JIA Song-min,WANG Shuang,WANG Jia-li.Human tracking based on adaptive multi-feature mean-shift algorithm [J].Journal of Optoelectronics·Laser,2014,25(10):2018- 2024.

[9]WANG J Q,YAgi Y S.Integrating color and shape-texture features for adaptive real-time object tracking [J].IEEE Transactions on Image Processing,2008,17(2):235- 240.

[10]李琦,邵春福,岳昊.核窗口尺寸和目标模型自适应的均值漂移跟踪 [J].华南理工大学学报(自然科学版),2013,41(2)：74- 81.

LI Qi,SHAO Chun-fu,YUE Hao.Mean shift tracking with adaptive kernel window size and target model [J].Journal of South China University of Technology(Natural Science Edition),2013,41(2)：74- 81.

[11]王年,丁业兵,唐俊,等.宽带自适应的Mean shift 目标跟踪算法 [J].华南理工大学学报(自然科学版),2011,39(10)：44- 49.

WANG Nian,DING Ye-bing,TANG Jun,et al.Bandwidth-adaptive mean-shift target tracking algorithm [J].Journal of South China University of Technology(Natural Science Edition),2011,39(10)：44- 49.

[12]丁业兵,王年,唐俊,等.基于颜色和边缘特征Cam Shift目标跟踪算法 [J].华东理工大学学报(自然科学版),2012,38(1)：69- 74.

DING Ye-bing,WANG Nian,TANG Jun,et al.Cam Shift target tracking algorithm based on color and edge character [J].Journal of East China University of Science and Technology(Natural Science Edition),2012,38(1)：69- 74.[13]王鑫,徐立中.图像目标跟踪技术 [M].北京：人民邮电出版社,2012.

[14]RAFAEL C G,RICHARD E W,STEVEN L E.Digital image processing using MATLAB [M].Beijing：Publishing House of Electronics Industry,2005：260- 280.

Supported by the National High-tech R & D Program of China(863 Program)(2009AA11Z207)

Mean Shift Pedestrian Tracking Algorithm Based on Multi-Feature Probability Distribution

WANGAi-li1,2DONGBao-tian1WUHong-yuan1

(1.School of Traffic and Transportation, Beijing Jiaotong University, Beijing 100044, China; 2.Information Technology Center,China Railway Corporation,Beijing 100044,China)

For the traditional mean shift tracking algorithm, single feature and fixed nuclear window size may result in a track loss when the size and color of targets change. In order to solve this problem, a pedestrian tracking algorithm is proposed based on the multi-feature probability distribution and the mean shift. In the algorithm, first, a target model is constructed based on the color, outline and movement features, and thus the color, edge and movement histogram distributions are obtained. Then, a two-dimensional probability density distribution is created by means of the back-projection of the color and edge histograms, and the color and edge probability distributions are corrected by using the movement information. Moreover, according to the multi-feature weights, the correlation probability distribution of target features is achieved by the adaptive fusion method. Finally, the zero moment of the correlation probability distribution is used to adjust the size of the next tracking window, and by combining the mean shift tracking framework, a normal target tracking is realized. Experimental results indicate that the proposed algorithm is more accurate in extracting target features and can track pedestrians in complex traffic scenes.

pedestrian tracking; mean shift; histogram distribution; multi-feature fusion; correlation probability distribution

2015- 10- 18

国家“863”计划项目(2009AA11Z207)；高等学校博士学科点专项科研基金资助项目(20110009110011)

王爱丽(1987-),女,博士生,主要从事智能交通研究.E-mail：wangaili20050722@163.com

1000- 565X(2016)08- 0123- 08

U 491

10.3969/j.issn.1000-565X.2016.08.018