基于特征融合的粒子滤波红外目标跟踪算法*

刘润邦，朱志宇

（江苏科技大学电子信息学院，江苏 镇江 212003）

0 引言

目标跟踪一直以来都是计算机视觉和数字图像处理的重要组成部分，广泛应用于智能安防、行为识别和军事安全等领域。红外探测通过被动接收目标与背景间的辐射差和温度差来识别目标，具有隐蔽性优良、抗干扰能力强等优点［1］。但与可见光的目标相比，红外图像缺乏有效的特征模型和场景信息，跟踪效果并不理想［2］。

近年来，关于视频目标跟踪的算法层出不穷，逐渐形成了以Mean Shift算法为代表的确定性跟踪算法和以Kalman Filter、Particle Filter为代表的概率性跟踪方法［3-6］。相比较于卡尔曼滤波，粒子滤波算法在解决非线性非高斯问题时表现出良好的鲁棒性，广泛地应用于红外视频目标跟踪中［7］。粒子滤波跟踪算法的最大问题是如何建立准确的目标模型，单一的特征建模缺乏对图像背景的自适应能力，跟踪精度并不理想［8-9］。国内外学者对粒子滤波跟踪算法中目标观测模型的建立进行了大量研究。Fouad［10-11］等人在粒子滤波算法基础上，利用R，G，B颜色分量和纹理特征共同描述目标；Chong［12-13］等人将目标颜色特征和方向梯度特征融合，建立精确地粒子滤波观测模型；Tao［14］等人建立了基于SIFT特征和颜色特征的目标观测模型；杨志雄［15］等人将灰度特征和运动特征进行融合，增强红外目标跟踪算法的鲁棒性。

粒子滤波跟踪算法中观测模型的准确与否直接影响最终的跟踪效果。目前，目标的描述特征包括颜色、灰度、梯度、纹理、运动等。对于红外目标，灰度特征具有平移、旋转不变性和对遮挡及姿态变化不敏感的优点，但是它隐藏了图像的像素空间信息，且易受到背景中相似物的干扰和背景噪声的影响。为解决该问题，本文提出一种融合灰度特征和方向梯度特征的改进粒子滤波跟踪算法，通过加权计算的方法来更新粒子权值，提高目标在遮挡、重叠等情况下的跟踪鲁棒性和准确性。

1 粒子滤波

系统状态模型和观测模型可描述为：

其中，xk为系统状态向量，zk为观测向量，uk为过程噪声，vk为观测噪声；函数f为系统状态转移概率密度，h为系统观测似然概率密度。

对于上述模型，k时刻的目标状态xk可以利用后验概率密度计算而来，可以通过状态预测和状态更新递推而来。

预测：

更新：

在非线性、非高斯系统模型中，上式的解析解是无法求取的，只能通过近似的方法计算，而粒子滤波就是其中的一种逼近方法。粒子滤波的核心思想是采用一组含有权值的随机粒子来近似，利用贝叶斯公式修正粒子的权值，最后将粒子集加权融合求取目标的估计状态k。初始化的粒子集则是从一个容易抽样的建议分布中采样得到。后验概率密度可近似表示为：

其中，粒子权值为归一化的权值，中采样得到的粒子权值为：

归一化权值为：

最后估计出目标的状态：

粒子滤波算法存在粒子退化问题。解决粒子退化的主要方法是引入粒子重采样，在繁衍权值较大的粒子的同时淘汰权值较小的粒子。

2 目标特征提取

2.1 灰度直方图特征特征提取

目前，基于粒子滤波的红外目标跟踪方法大多是建立在灰度直方图观测特征之上的。在灰度直方图特征的提取过程中采用核函数加权计算的方法，对目标中心区域的像素的灰度级赋予较大权值；考虑到周围区域可能受到背景的影响，则分配较小权值。本文将灰度特征平均量化为128个等级，假设目标区域每个像素用表示，特征值bin的个数为 m（m=128），目标特征 u=1，2，…，m(u 为图像像素的灰度级别），则以x0为中心的目标区域归一化灰度直方图为；

其中，为核函数；δ（x）为 Delta 函数，用于判断目标区域中像素xi的灰度值是否属于第u个bin；C为一个归一化常数，满足：，使。

2.2 方向梯度直方图

HOG（Histogram of Oriented Gradient）算法的主要原理是利用边缘梯度方向的分布来描述被跟踪目标的外形特征。该算法将图像分为大小均等的矩形区域（cells），计算每个cell的梯度方向直方图。将几个cell组合成block并计算block内部所有cell的联合直方图（2个block之间有重叠的cell）。以一幅64×128像素的图像为例，cell选择8×8像素，block选为2cell×2cell，若block之间上下或左右都有2个cell重叠，则图像包含7×15个互相重叠的block。如果每个cell的量化为32级，则每个block的直方图为32×4=128维。目标图像的HOG特征则为128×7×5=4480维。高维目标梯度特征增强了跟踪的精度，但也会导致跟踪算法实时性的降低。为此，本文将对HOG算法进行简化，将目标区域看做一个cell而不进行block的划分，降维损失的目标特征将由灰度特征弥补。

建立梯度方向直方图，首先计算区域内所有像素点I（x，y）在垂直方向和水平方向相邻点的差，然后计算各像素点的梯度幅值 G（x，y）和方向 θ（x，y）。水平方向［-101］，垂直方向［-101］T，梯度算子为：

式中，θ的范围为［-π，π］，本文将梯度方向量化为72级，则目标区域归一化的梯度方向直方图为：

式中，参数和灰度直方图特征相同。

3 红外目标跟踪算法

3.1 状态转移模型

状态转移模型是红外目标在视频序列中运动特征的数学建模体现，但是目标运动存在很大的随机性，准确的状态转移模型是无法通过提前的数学建模得到的。粒子滤波算法是建立在蒙特卡罗模拟思想之上的，被跟踪目标在图像序列中的运动状态可以通过对随机抽样的样本粒子进行统计分析得到，状态转移模型的精确与否并不影响目标状态的鲁棒性。于是本文采用简单的一阶自回归模型来描述目标的状态转移。

式中，Xt为红外目标运动状态，，状态向量（x，y）中表示目标跟踪矩形窗口的中心，d是窗口半长，h是窗口半宽，Wt为系统噪声。

3.2 观测模型

红外目标一般没有有效的颜色信息和清晰的纹理，因此，本文选择灰度特征和梯度特征作为观测模型。为了使目标的灰度特征和梯度特征更好地融合起来，通过计算目标模板特征和候选目标特征的Bhattacharyya距离来衡量它们之间的相似度，计算方法为：

灰度特征和梯度特征的Bhattacharyya距离分别为：

则高斯模型构建的似然函数（粒子权重）为：

其中，为观测高斯噪声的标准方差，从上式可以看出，Bhattacharyya距离越小，似然函数求得的值越大，粒子状态越接近真实目标状态。

对似然函数进行加权融合：

其中，为灰度特征和梯度特征的置信度，且。

跟踪过程中，外部光强变化及目标自身形变都会导致跟踪精度的降低。为解决该问题，算法建立了目标模板灰度特征和梯度特征的自适应在线学习更新机制。假设当前目标模板为q，当前估计位置的特征直方图为p，那么当它们之间的Bhattacharyya距离小于更新阈值T时，则以估计位置中心的灰度特征和梯度特征对模板q进行更新；若它们之间的Bhattacharyya距离大于更新阈值T时，则认为目标存在严重的复杂环境影响，不进行更新。更新准则为：

3.3 算法流程

基于灰度和梯度特征融合的粒子滤波红外目标跟踪算法基本步骤为：初始化、状态转移、样本权值计算、目标状态估计和重采样。

Step1初始化：人工选取第一帧图像中的目标并获取其状态信息X0，求取该目标的灰度特征和梯度方向特征；根据先验分布p（X0）建立初始状态样本集。

Step2状态转移：根据式（15）预测下一帧图像中候选目标的状态信息。

Step3样本权值计算：以预测的粒子坐标为中心，根据式（9）和式（14）求取候选区域灰度特征直方图和方向梯度特征直方图，由式（19）和式（20）计算预测候选目标与目标模板的相似度，得到每一个预测粒子权值并归一化。

Step4状态估计：根据预测的粒子集和求取每个粒子的归一化权值来估计目标的真实位置。计算当前估计位置的特征直方图和目标模板特征直方图的巴氏距离，若距离值小于T，则根据式（22）对目标灰度和梯度模板进行更新。

Step5重采样：对粒子集进行重采样，得到新粒子集。

Step6检测当前图像序列是否为最后一帧图像，若不是则回到Step2继续进行目标跟踪。

4 实验结果与分析

算法仿真实验在安装Matlab2011b软件的联想G470笔记本电脑上进行，电脑搭载了2.5 GHz的双核处理器和2 GB处理内存。实验检测了基于特征融合的粒子滤波跟踪算法在图像信噪比低、目标被遮挡、目标与其他目标重叠三种复杂背景下的跟踪效果。同时将改进算法的红外目标跟踪效果与基于单一特征的粒子滤波跟踪效果进行了对比。跟踪过程中粒子数 N=100，σI=0.3，σG=0.25=0.6=0.4，η=0.1，T=0.1，系统噪声 Wt的方差 v=5。

图1和图2为红外目标在低信噪比情况下的跟踪实验，视频长70帧，单帧图像大小为300×200像素，对视频中的人物目标分别采用灰度特征和融合特征进行跟踪。视频序列中，图像信噪比较低且不断变化，目标在第39帧时被树木遮挡。截取第10、27、39、47帧图像。由截取的图像可见，基于特征融合的跟踪算法保持了良好的跟踪鲁棒性，而基于单一灰度特征的跟踪算法则出现了较大的跟踪误差。

图3和图4为红外目标在被遮挡情况下的跟踪实验，视频长80帧，单帧图像大小为300×200像素。目标被树木遮挡，对视频中躲藏在树木后面的目标分别采用方向梯度特征和融合特征进行跟踪，截取第7、38、44、53帧图像。由截取的图像可见，基于单一方向梯度特征的粒子滤波跟踪算法误差较大，在第53帧以后出现了目标丢失的现象，而基于特征融合的跟踪方法则保持了较高的跟踪精度。

图1 基于灰度特征的红外目标跟踪效果图

图2 基于特征融合的红外目标跟踪效果图

图3 基于梯度特征的红外目标跟踪效果图

图4 基于特征融合的红外目标跟踪效果图

图5为红外目标在和其他目标有重叠情况下采用本文算法的跟踪实验，视频长120帧，单针图像大小为300×200像素，截取视频的第18、44、86、115帧。可见，基于特征融合的粒子滤波跟踪算法保持了良好的跟踪准确性，在第86帧多目标重叠时，并没有出现误跟踪现象，具有较强的鲁棒性，跟踪速度在8 fps，可以满足跟踪要求。

图5 基于特征融合的红外目标跟踪算法在多目标重叠时的跟踪效果图

从以上3个实验可以发现，灰度特征和梯度特征在很多情况下可以互相弥补跟踪精度低的缺陷，算法能满足复杂情况下红外目标的稳健跟踪。

5 结论

针对粒子滤波红外目标跟踪算法过程中存在的问题，本文提出一种基于特征融合的粒子滤波红外目标跟踪算法。考虑到红外目标观测特征的局限性，利用灰度特征直方图和方向梯度直方图来共同建立粒子滤波目标跟踪过程中的观测模型。为增强目标在光强变化、形态变化情况下的跟踪精度，引入目标模板自适应在线更新策略。仿真实验证实，与基于单一特征的红外目标跟踪方法相比，多特征融合的跟踪算法在复杂背景下表现出良好的跟踪鲁棒性和准确性。

［1］LI Y，LIANG S，BAI B，et al.Detecting and tracking dim small targets in infrared image sequences under complex backgrounds ［J］.Multimedia Tools and Applications，2014（1）：1179–1199.

［2］杨杰，王瑞.一种实用粒子滤波红外目标跟踪算法［J］.工业控制计算机，2015，28（12）：55-57.

［3］HOOSHANG A M，ARASH A L.Applying mean shift，motion information and Kalman filtering approaches to object tracking［J］.ISA Transactions，2012，51（3）：85-97.

［4］ PHANI CHAVALI，ARYENEHORAI.Hierarchical particle filtering for multi-modal data fusion with application to multiple-target tracking ［J］.SignalProcessing，2014， 97：207-220.

［5］姬雪峰.基于粒子滤波的红外目标跟踪方法研究［D］.西安：西安电子科技大学，2011.

［6］FUKUIA S J，HAYAKAWAB O，IWAHORIB Y J.Particle filter based tracking with image-based localization［J］.Procedia Computer Science，2016，96：977-986.

［7］王法胜，鲁明羽，赵清杰.粒子滤波算法［J］.计算机学报，2014，37（8）：1679-1694.

［8］闫河，刘婕，杨德红，等.基于特征融合的粒子滤波目标跟踪新方法［J］.光电子·激光，2014，25（10）：1990-1999.

［9］ JINANA R J，RAVEENDRANB T R.Particle filters for multiple target tracking［J］.Procedia Technology，2016，24：980-987.

［10］BOUSETOUANE F A，DIB L D，SNOUSSI H E.Improved mean shift integrating texture and color features for robust real time object tracking ［J］.The Visual Computer，2013，29（3）：155-170.

［11］李远征，卢朝阳，高全学，等.基于多特征融合的均值迁移粒子滤波跟踪算法［J］.电子与信息学报，2010，32（2）：411-415.

［12］CHONG Y W，CHEN R，LI Q Q.Particle filter based on multiple cues fusion for pedestrian tracking［J］.Emerging IntelligentComputing Technology and Applications，2012，304：321-327.

［13］张雷，王延杰，孙洪海，等.基于颜色和边缘直方图的多目标跟踪［J］.液晶与显示，2016，31（6）：595-602.

［14］GAO T，LI G，LIAN S G，et al.Tracking video objects with feature points based particle filtering［J］.Multimedia Tools And Applications，2012，58（1）：1-21.

［15］杨志雄，于春超，严敏，等.基于特征融合的粒子滤波红外目标跟踪算法［J］.红外技术，2016，38（3）：211-217.