基于改进的粒子滤波的红外视频行人跟踪

张绍明，胡建平，施 扬

（同济大学测绘与地理信息学院，上海200092）

基于改进的粒子滤波的红外视频行人跟踪

张绍明，胡建平，施 扬

（同济大学测绘与地理信息学院，上海200092）

提出了一种基于改进的粒子滤波的红外视频行人跟踪算法，实现了在传统粒子滤波算法的框架下，使用有向梯度直方图（histograms of oriented gradients，HOG）来描述跟踪目标的特征.算法在粒子权值和相似度计算中使用HOG，替代现有的颜色空间欧式距离测度，克服了红外视频中颜色信息缺失的困难.试验表明，与传统的粒子滤波算法相比，本文算法更能准确有效地跟踪复杂场景中的行人，提高了跟踪的鲁棒性.

红外视频；粒子滤波；有向梯度直方图（HOG）；行人跟踪

基于红外视频的运动目标的跟踪是在真实环境下对监控场景中的运动目标（人和车辆等）进行跟踪，并对目标的运动行为进行描述，是视频监控技术的智能化发展.目前，对智能视频监控技术的研究与应用方兴未艾［1-4］.许多关于视频监控的大规模的研究项目已经在美国、欧洲和日本等国或地区展开，同时它也成为许多国际学术期刊和会议所关注的重要主题.

近年来，国内外对跟踪算法进行大量研究，根据跟踪方法的不同，一般将目标跟踪分为4类［5-6］：①基于区域匹配的跟踪方法，将目标模板和候选区域进行相似匹配来确定目标位置，其可信度高，但很难处理运动目标的影子和遮挡问题；②基于特征的跟踪方法，包括特征提取和匹配2个过程；③基于主动轮廓的跟踪方法，该方法的思想是利用封闭的曲线轮廓来表达运动目标，并且该轮廓能够自动连续地更新，然而初始化通常却是很困难的；④基于模型的跟踪方法，该方法利用先验知识建立目标模型，然后通过匹配运动目标进行模型的实时更新，行人是非刚体，其自身运动灵活复杂，很难建立统一的行人模型用于实时性和鲁棒性很好的行人跟踪.

传统的红外视频目标跟踪的方法主要有模板匹配［7］、光流法［8］、卡尔曼滤波［9］等.模板匹配法跟踪目标方法简单，但是匹配过程的空间搜索受到图像大小和模板大小的限制；光流法在目标跟踪方法中是一种常用的方法，但是在视频背景受到强噪声和强杂波的干扰下，光流法表现得不稳健；卡尔曼滤波方法是有效的线性最优估计方法，但是对于红外视频非线性和非高斯的情况不能有效处理.为了更好地处理红外目标非线性和非高斯情况下的动态系统状态估计问题，粒子滤波方法被考虑应用到红外视频目标跟踪中.

粒子滤波跟踪算法是基于模型的跟踪方法，具有较好的鲁棒性和抗干扰性，但难对付红外影像固有的低信噪比、低对比度、无法校验的黑白极性反转以及人体周围易出现的光晕效应等问题.根据行人非刚性形状及运动变化的特点，本文提出基于粒子滤波框架和基于有向梯度直方图（HOG）特征相结合的跟踪方法.

1 粒子滤波方法

粒子滤波［10］是一种通过蒙特卡罗仿真实现递归贝叶斯估计的一种估计.粒子滤波的核心是采用大量的加权粒子来代表被估计问题的概率分布函数，例如后验分布p（xtzt）可表示为：p （xtzt）≈，其中xt为状态变量，zt为观测值，t为观测次数标号，i为粒子标号，N为粒子个数，ωit为相应的粒子权值，xit为采样粒子.｛xit，ωiti＝1，…，N｝代表加权粒子集，粒子滤波算法通过采样 重要性采样 重采样的结构实现贝叶斯估计.

粒子滤波算法流程如下：①初始化，从初始分布中采样粒子.

式中：p（x0）为初始分布.②粒子预测，首先根据运动方程及当前时刻的观测共同确定一个重要性函数（建议分布），基于该建议分布进行粒子预测.

式中：q为建议分布.③粒子权值更新，设ω⌒it为没有归一化的更新后的权值，可根据下式所示的似然函数进行权值计算.

④粒子权值归一化处理.

⑤计算当前时刻状态的最小均方误差（MMSE）估计.

⑥计算有效样本个数Neff，如果小于阈值（阈值一般根据经验选取），则进行重采样.

步骤①仅在算法开始时执行一次，步骤②和步骤⑥在每个时刻进行一次计算，以实现对粒子集合的更新，实现对目标状态后验分布p （xtzt）的跟踪.

2 有向梯度直方图

HOG算法是由Dalal等［11］在2005年提出，最初用于行人的检测与识别，HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述.首先将整幅图像划分成小的大小均等的矩形区域（称为cells），每个cell生成一个方向梯度直方图.方向梯度直方图的横坐标为角度，范围为0°～180°（一般量化为16或32级）.直方图纵坐标为区域内所有像素梯度模值在该方向的分量之和，计算方法为：遍历每个像素的梯度，根据每个像素梯度的方向，将模值按比例分配并累加到与之接近的3个直方图方向中.模值在3个方向的分配比例的确定方法为：直方图中与像素梯度方向最接近的方向获得最大比例，最远的方向获得最小比例.即梯度直方图的形成是cell中每个像素梯度加权投票的结果.然后，这样的每一个直方图都作为一个向量.然后将几个cell组合成为block计算其内部所有cell直方图的联合作为HOG特征.通常将上下左右相邻的4个cell组合为一个block，并且2个block之间有2个cell是重叠的（左右重叠或上下重叠）.

计算步骤简述如下：①计算每个像素的梯度；②按照方向统计每个cell内梯度模值的直方图，把每个block内的cell的梯度直方图归一化，并首尾相接组合成为一个更大的直方图，作为该block的HOG.③把图像所有block的HOG首尾相接，组合成图像的HOG特征.例如：图像的宽度和高度分别为64和128，cell的宽度和高度均为8，则block的宽度和高度均为16.如果block之间左右或上下都重叠2个cell，则图像共包含7×15个相互重叠的block.如果每个cell的直方图为32维，则每个block的直方图为32×4＝128维，图像的HOG特征为128×7×5＝4 480维.

3 基于粒子滤波和HOG融合的行人跟踪方法

为实现红外视频中运动目标的有效跟踪，基于粒子滤波的跟踪框架结合要跟踪的运动目标的HOG特征，以实现运动目标的跟踪.在粒子滤波框架下，建立系统状态转移模型和观测模型对于红外目标的跟踪非常重要，在红外目标跟踪中，一般采用二阶自回归模型作为系统状态转移模型，利用HOG特征描述红外目标，并以此为基础建立系统观测模型.

3.1 状态转移模型

在红外目标跟踪中，状态转移模型刻画了红外目标在2帧之间的运动特性.为了稳健地跟踪红外目标，应当建立精确的状态转移模型，但是精确的状态转移模型的建立是非常困难的.根据粒子滤波的蒙特卡洛随机模拟机理，红外目标的状态可以通过多个假设样本稳健地估计，因此，基于粒子滤波的红外目标跟踪的稳健性并不过度依赖系统的状态转移模型的精确性，于是本文选择二阶自回归模型的状态转移模型.

式中：Xk为估计次数标号为k的状态向量估计值；vk为零均值白噪声；A1和A2为系数.由于运动目标用矩形窗口表示，状态向量定义为X＝｛x，y，w，h｝，其中（x，y）表示目标矩形窗口的中心，w和h分别为窗口的长和宽.

3.2 观测模型

由于红外目标一般没有明显的稳健轮廓，同时也没有颜色信息，因此选择HOG特征描述红外目标，通过比较目标样本和参考目标（参考目标是在目标出现的初始帧选取的，此后每次跟踪得到新目标后用新目标信息更新参考目标）的HOG特征，建立系统观测模型.使用目标的HOG特征来描述目标可以减弱目标的部分遮挡、旋转和变形对跟踪的影响.观测概率p（xitzt）用于描述目标样本与参考目标的接近程度，本文使用Bhattacharyya距离结合高斯函数模拟该概率.当t时刻第i个粒子的状态为xit，q＝｛q（u）｝是以xit为中心提取的HOG特征，目标的特征为p＝｛p（u）｝，两者的Bhattacharyya距离为

则t时刻第i个粒子的观测概率模型为

式中：λ为系数.由式（3），同时使用建议分布q（zt， xitxi（t-1））对权重进行跟新，通常取建议分布为状态转移概率密度，即q（zt，xitxi（t-1））＝p（xitxi（t-1）），所以权重更新简化为

进而归一化为

经过多次迭代计算，会出现粒子退化现象，即少数粒子所占权值较大，大多数粒子权值极小，大量的计算都耗费在对结果影响不大的粒子上，本文使用重要性重采样策略，舍弃权值很小的粒子，将大权值粒子分裂成多个小权值粒子，重采样后保证粒子数目不变，且每个粒子的权重均为1／N，进入下一轮的循环.

3.3 算法流程

（1）初始化：第1帧时选取参考目标，计算参考目标的HOG特征，建立特征模板｛p（u）｝，同时根据先验分布p（x0）建立初始粒子集｛xi0，1／N｝Ni＝1.

（2）状态转移：由式（7）根据状态转移模型预测粒子的位置.

（3）粒子权值计算：由式（8）至式（11），分别计算每个预测粒子与目标的相似度，更新预测粒子的权值并归一化，所有粒子的加权和即为目标参数；同时，跟踪权值最大的目标样本.

（4）重采样：由粒子的权值做重要性重采样.①计算转移粒子集的累计权值cit＝，②产生［0，1］上均分分布的N个随机数，从小到大的顺序排列，u＝｛ui｝i＝1，2，…，N，③计算式cjt≥ui（i＝1，2，…，N）的最小j，令重采样粒子xjt＝x＾jt，重采样过程保留并分裂权值大的粒子，舍去权值低的粒子，重采样后每个粒子的权值为1／N.

（5）若非最后一帧红外图像，令t＝t＋1，转到流程（2），否则结束.流程框图如图1所示.

图1 基于粒子滤波和HOG的红外视频目标跟踪流程框图Fig.1 Flow-chart of the object tracking based on particle filter and HOG

4 试验结果与分析

为验证本文中算法对红外目标跟踪效果，在Intel（R）Xeon（R）CPU E5-1607@3.00GHz的处理器、32.0GB的内存的电脑上基于C＋＋对本文算法进行了实现和验证.

试验所用视频为主动红外枪机采集的城市室外红外视频；相关参数设置为：粒子个数为N＝100，状态参数A1＝2.5，A2＝-0.5，目标样本与参考样本的置信度为0.65.参考样本为第1帧手工选取的运动目标.

为了验证本算法在红外视频中的跟踪效果，将本文算法与传统的粒子滤波算法在红外视频中的目标跟踪结果相比较，图2给出了第10，35，50，80帧2种算法的对比情况.

图2 本文算法与粒子滤波方法的比较Fig.2 Comparison of the proposed method and particle filter

视频总帧数为100，本文方法能够在所有帧对目标实现正确跟踪（检测所得目标框与实际标定的目标框重合的面积与目标框面积之比大于60%）.传统方法在第52帧开始丢失目标，直至视频结束一直不能有效找到目标.

红外目标一般没有明显和稳健的轮廓，也没有颜色信息.而传统粒子滤波算法对目标的标注基于颜色直方图，因此无法实现目标跟踪.在改进方法中，利用目标HOG实现目标特征的有效描述.因此，基于HOG特征的粒子滤波对红外目标的跟踪效果比传统的粒子滤波好.

5 结论

由于红外目标固有的低信噪比、低对比度、无法校验的黑白极性反转以及人体周围易出现的光晕效应等问题，本文提出了一种基于HOG特征的粒子滤波方法跟踪红外目标.试验结果表明，该方法跟踪红外目标的效果优于传统粒子滤波算法，并且具有更好的鲁棒性.但是，当跟踪的红外目标远离红外摄像机时，本算法仍会出现跟踪丢失的现象，所以下一步的研究主要在于观测模型的改进和参考模板的更新.

［1］ Maybank S J，Tan T N.Special section on visual surveillanceintroduction［J］.International Journal of Computer Vision，2000，37（2）：173.

［2］ Regazzoni C，Ramesh V.Special issue on video communications，processing，and understanding for third generation surveillance systems［J］.In Proceedings of IEEE，2001，89：1355.

［3］ Wang L，Hu W，Tan T.Recent developments in human motion analysis［J］.Pattern Recognition，2003，36（3）：585.

［4］ Hilton A，Fua P.Foreword：Modeling people toward visionbased understanding of a person’s shape，appearance and movement［J］.Computer Vision and Image Understanding，2001，81（3）：227.

［5］ 马晓婷.行人跟踪技术综述［J］.电脑知识与技术，2011，7（19）：4647.MA Xiaoting.Pedestrian tracking technology overview［J］.Computer Knowledge and Technology，2011，7（19）：4647.

［6］ 王亮，胡卫明，谭铁牛.人运动的视觉分析综述［J］.计算机学报，2002，25（3）：225.WANG Liang，HU Weiming，TAN Tieniu.A survey of visual analysis of human motion［J］.Chinese Journal of Computers，2002，25（3）：225.

［7］ 杨暤昀，张桂林.一种新的相关跟踪算法的设计与实现［J］.红外与毫米波学报，2000，19（5）：377.YANG Haoyun，ZHANG Guilin.Design and realization of a new correlation tracker algorithm［J］.Journal of Infrared Millimeter Waves，2000，19（5）：377.

［8］ 李熙莹，倪国强.红外图像的光流计算［J］.红外与激光工程，2002，31（3）：189.LI Xiying，NI Guoqiang.Optical flow computation of infrared image［J］.Infrared and Laser Engineering，2002，31（3）：189.

［9］ 梁锡宁，杨刚.一种动态模板匹配的卡尔曼滤波跟踪方法［J］.光电工程，2010，37（10）：29.LIANG Xining，YANG Gang.Object tracking algorithm based on combining dynamics template matching and kalman filter［J］.Opto-Electronic Engineering，2010，37（10）：29.

［10］ Nummiaro K，Koller-Meier E，Van Gool L.An adaptive colorbased particle filter［J］.Image and Vision Computer，2003，21：99.

［11］ Dalal N，Triggs B.Histograms of oriented gradients for human detection［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.San Diego：IEEE，2005，886-893.

Pedestrian Tracking in Infrared Video Based on Improved Particle Filter

ZHANG Shaoming，HU Jianping，SHI Yang
（College of Surveying and Geo-Informatics，Tongji University，Shanghai，200092，China）

An improved particle filter method for pedestrian tracking in infrared video is proposed.The objects are described in the scheme of particle filter using Histogram of Oriented Gradients（HOG）.Instead of the Euclidean distance in color space，the HOG is employed to describe the similarity and compute the weights of the samples，which solves the issue of lack of color information for infrared video.Experimental results show that the method is more accurate and effective tracking of moving targets in complex scenes than traditional particle filter algorithm in infrared video.

infrared video；particle filter；histogram of oriented gradients（HOG）；pedestrian tracking

TP391

A

0253-374X（2015）12-1883-05

10.11908／j.issn.0253-374x.2015.12.018

2014 06 05

国家自然科学基金（41301361，41171327）；国家“九七三”重点基础研究发展计划（2012CB719903）；国家高分辨率对地观测系统重大专项（07-Y30B10-9001-14／16）；教育部高等学校博士学科点专项科研基金（20120072120057）

张绍明（1979—），男，副教授，工学博士，主要研究方向为模式识别、计算机视觉.E-mail：sheva2003@gmail.com