基于特征融合的粒子滤波红外目标跟踪算法

杨智雄，余春超，严 敏，袁小春，曾邦泽，粟宇路



基于特征融合的粒子滤波红外目标跟踪算法

杨智雄，余春超，严 敏，袁小春，曾邦泽，粟宇路

（昆明物理研究所，云南 昆明 650223）

复杂环境中稳健的红外目标跟踪在自主导航、无人机探测、预警等方面具有重要研究意义。就经典粒子滤波红外目标跟踪算法中单一的灰度特征缺乏鲁棒性引起跟踪失效的问题，提出了一种基于特征融合的粒子滤波红外目标跟踪算法。结果表明，该算法能够从跟踪鲁棒性、准确性和实时性3个方面实现稳健的红外目标跟踪。

特征融合；粒子滤波；红外目标跟踪

0 引言

基于可见光图像的目标跟踪理论及实际应用研究比较成熟，能有效地处理目标较小、目标形态尺寸及光照变化、复杂背景和遮挡等问题[1-3]。但在夜间以及烟幕干扰等复杂的环境中，可见光图像可能存在目标丢失的情况，在这种情况下基于可见光图像的目标跟踪算法均会失效。而红外图像基于热成像实现，受恶劣环境影响相对较小，但基于红外图像的目标跟踪理论及应用研究不如可见光多，在红外目标跟踪中能用于目标建模的特征较少，当存在噪声、相似性干扰等问题时跟踪难度大。此外，红外图像获得的场景信息较可见光图像少[4-6]。

红外目标跟踪算法研究在2个方面展开，一是红外目标特征描述，二是跟踪算法改进。Dorin Comaniciu[7]提出Meanshift跟踪算法，利用灰度核函数构建目标特征表达，Bhattacharyya系数计算目标模板与后续区域的相似性决定移动步长，不断迭代收敛至目标质心位置。该算法计算量小，能满足实时跟踪性能要求，对边缘遮挡、目标旋转、变形和背景运动不敏感。但缺乏必要的模板更新，跟踪窗口尺寸恒定不能适应目标尺寸变化制约着Meanshift跟踪算法的广泛应用。由此研究学者对其提出了很多改进方法：空间颜色直方图描述目标[8]、尺度自适应[9]、目标多特征描述[10]等。

本文就经典粒子滤波红外目标跟踪算法中，单一的灰度特征缺乏鲁棒性引起跟踪失效的问题，提出了一种基于特征融合的粒子滤波红外目标跟踪算法。该算法利用三帧差分、OTSU分割和形态学滤波提取目标运动特征，融合目标灰度特征和运动特征提高目标模型的鲁棒性，实现在复杂环境中红外目标的稳健跟踪。

1 基于特征融合的粒子滤波红外目标跟踪算法

1.1 目标状态模型

定义红外目标的状态变量为＝{,,v,v}，其中(,)为红外目标质心位置的横纵坐标，(v,v)为目标水平和竖直方向的运动速率。建立目标运动模型：

S＋1＝(S)＝AS＋W＋1(1)

式中：为状态转移矩阵；W＋1为＋1置和速度的随机噪声。假定目标匀速运动，定义状态转移矩阵和随机噪声W＋1如下：

式中：p和v为恒定常量，其中p表示水平方向的状态常量，v表示竖直方向的状态常量。经实验测试，本文设定p＝5，v＝2。

1.2 基于灰度和运动特征融合求解粒子权重

式中：为恒定参数，用于调整高斯函数形状，本文取＝10。

灰度核函数直方图在红外目标跟踪中应用十分广泛，但仅利用灰度信息不能保证跟踪的稳健性，当场景中出现相似背景干扰时，可能出现目标丢失的情况。

为此，本节融合目标灰度和运动特征计算粒子的权重。运动特征的求解过程包括：三帧差获得运动目标轮廓、OTSU阈值分割提取目标轮廓、中值滤波去除噪声和形态学膨胀填充目标区域，如图1所示。其中，图1(b)的三帧差分图像中存在部分运动的背景信息，经OTSU阈值分割得图1(c)，其仍可能存在一定的孤立噪声点，直接进行形态学膨胀会形成一些孤立的小面积区域。为此，在膨胀之前对其进行中值滤波图像平滑操作。图1(d)和(e)分别为中值滤波前后进行形态学膨胀操作处理效果。

最简单的两帧差分也能获得运动目标边缘，但是对于红外小目标，由于目标面积较小，两帧获得的运动目标轮廓信息比较少。因此，本文采取相邻三帧差分方法，其计算公式如下：

此外，还有很多精度较高的改进三帧差分算法，如参考文献[11]计算相邻两幅图像的差分图像公式如下，其利用3×3区域像素进行加权获得中心像素点的差分结果：

在求得1(pre,now)和2(pre,next)后，两者平均求得三帧差分结果：

该方法获得的运动目标轮廓信息优于简单三帧差分，但由于每个像素点计算都利用到像素点周围3×3区域，计算量增大，算法实时性差。

最大类间方差（OTSU）算法由Otsu[12]于1979年提出，其计算简单，不受图像亮度和对比度的影响，是图像分割中阈值求取常用的方法。OTSU算法将图像分为前景和背景2部分，当类间方差取得最大值时，则前景与背景错分概率越小，对应的分割阈值即为最优阈值，计算式如下：

经阈值分割后，图像中可能仍然存在一些孤立的噪声点，而中值滤波在去除孤立噪声点的同时，能很好地保留图像边缘和细节信息，效果优于形态学腐蚀和闭运算。

因此，以3×3的中值滤波去除孤立噪声点。

图1 目标的运动特征提取

以3×3的窗口依次覆盖图像(2:－1,2:－1)区域中所有像素，对于窗口中的9个像素点的像素值排序后，取中间值，即第5个像素值作为结果替代中心像素值。

最后由形态学膨胀操作填充运动目标轮廓，获得包含运动目标特征的图像BW，其中运动区域的像素值为1，背景区域的像素值为0，定义某粒子所在的候选区域的运动特征为：

MF越大，则该候选区域为目标的概率越大，假定目标区域的运动特征为×，则候选区域粒子权重定义为：

融合目标灰度和运动特征计算候选区域的粒子权重：

＝mf*gray(12)

1.3 改进粒子滤波红外目标跟踪步骤

依据以上分析，基于灰度和运动特征融合的粒子滤波跟踪算法主要分初始化、粒子预测、更新、重采样和目标位置估计等5个步骤，图2给出了改进算法流程图。

图2中表示序列帧总数，基于灰度和运动特征融合的粒子滤波跟踪算法具体步骤如下：

2）预测：依据目标运动模型，将粒子集更新到新的采样点{x,＝1,2,…,}；

3）更新：以粒子位置坐标为中心，计算候选区域灰度核函数直方图和区域运动特征，融合灰度和运动特征计算粒子集权值{,＝1,2,…,}；

6）判断是否结束，不结束则＝＋1，返回步骤。

2 实验仿真与分析

仿真实验在Inter Pentium CPU G630@2.7GHz、4.00G RAM的硬件平台进行，开发环境为Matlab 2013a，融合图像库来源于微光灰度和红外图像的测试数据库。

实验从跟踪的鲁棒性、准确性和快速性3个方面分析比较了经典的Meanshift、基本的粒子滤波、本文提出的基于特征融合的粒子滤波3种跟踪算法。

图2 基于特征融合的粒子滤波红外跟踪算法流程图

第1组实验数据来源于OTCBVS Dataset 03中的第4组，序列图像中存在相似目标干扰，图3依次为经典的Meanshift、基本的粒子滤波、基于特征融合的粒子滤波3种跟踪算法的跟踪效果。

定义跟踪误差为跟踪算法中目标质心与标定的目标质心之间的欧式距离，即：

图4给出了3种跟踪算法90帧的跟踪误差曲线。3种跟踪算法中的目标灰度核函数直方图均取64级，比较粒子滤波算法中粒子数目取100、200、300、400和500的跟踪效果，差别不大，图中粒子数目为300。对比3种算法的跟踪效果与跟踪误差，相似目标干扰对粒子滤波跟踪算法影响不大，其中经典的Meanshift跟踪算法跟踪稳健性最差，当出现相似目标干扰时会出现目标丢失的问题；当相似目标靠近跟踪目标时，经典的粒子滤波和基于特征融合的粒子滤波跟踪算法会受到一定干扰，质心位置有所偏移，基于CPCT彩色融合图像粒子滤波跟踪算法受相似目标干扰影响最小。3种算法90帧平均跟踪误差依次为8.6748、2.2916、1.7882，跟踪耗时依次为5.0014s、6.0012s、8.6704s。可以看出，基于特征融合的改进粒子滤波跟踪算法与基本的粒子滤波算法相比，尽管跟踪的实时性有所降低，但在一定程度上提高了跟踪的精度。

第2组实验数据来源于OTCBVS Dataset 03中的第5组，序列图像中存在相似背景干扰，图5依次显示了经典Meanshift、基本粒子滤波、基于特征融合粒子滤波3种算法的跟踪效果。

图3 相似目标干扰3种算法跟踪效果对比

对比图5中3种跟踪算法实验结果，经典的Meanshift跟踪算法，从第57帧开始目标丢失，跟踪窗口在图中60帧和85帧所在的位置基本不动，经典的粒子滤波跟踪算法从跟踪初始时刻由于相似背景的干扰目标丢失，而基于特征融合的粒子滤波跟踪算法不受相似背景的干扰，能实现稳健的目标跟踪。图6给出了经典Meanshift、粒子滤波、基于特征融合的粒子滤波3种算法90帧跟踪误差曲线，其平均跟踪误差依次为4.6351、57.2581、2.4134，3种算法跟踪耗时依次为5.3814s、6.1751s、8.9910s。

第3组实验数据来源于OTCBVS Dataset 03中的第6组，序列图像中存在相似背景干扰，图7给出了经典的Meanshift、经典的粒子滤波、基于特征融合的粒子滤波3种算法的跟踪效果。

图4 相似目标干扰3种算法跟踪误差曲线

图5 相似背景干扰下3种算法跟踪效果对比

图6 相似背景干扰3种算法跟踪误差曲线

经典的Meanshift算法能跟踪目标，但跟踪质心波动较大，跟踪精度较低；基本的粒子滤波算法初始跟踪时丢失目标；基于特征融合的粒子滤波跟踪算法能实现稳健的目标跟踪。图8给出了3种算法90帧跟踪误差曲线，其跟踪平均误差依次为3.0244、26.7416、2.0098，跟踪耗时依次为4.6490s、5.1803s、7.7205s。

从上述3组实验可以得出，基于特征融合的粒子滤波跟踪算法能有效地处理复杂环境中相似目标、相似背景干扰等问题，与基本的粒子滤波算法相比，实时性稍微有所降低，但跟踪的鲁棒性和准确性有所改善，尤其是遇到相似干扰时，能实现稳健的目标跟踪。

3 结论

就经典粒子滤波红外目标跟踪算法中，单一的灰度特征缺乏鲁棒性引起跟踪失效的问题，提出了一种基于特征融合的粒子滤波红外目标跟踪算法。结果表明，通过实验从鲁棒性、准确性和实时性3个方面比较了本文提出的算法和经典Meanshift、基本粒子滤波算法跟踪性能的优劣，基于特征融合的粒子滤波红外目标跟踪算法能有效地在复杂环境中实现稳健的目标跟踪。

图7 相似背景干扰3种算法跟踪效果对比

图8 3种算法跟踪误差对比

[1] Yang H X, Shao L, Zheng F, et al. Recent advances and trends in visual tracking: A review[J]., 2011, 74(18): 3823-3831.

[2] He S F, Yang Q X, Lau R W H. Visual tracking via locality sensitive histograms[C]//, 2013: 2427-2434.

[3] Fan J L, Shen X H, Wu Y. Scribble tracker: A matting-based approach for robust tracking[J]., 2012, 34(8): 1633-1644.

[4] 朱金华. 基于信息融合的目标跟踪算法研究[D]. 南京: 南京理工大学, 2013.

Zhu Jinhua. The study of target tracking algorithm based on information fusion[D]. Nanjing: Nanjing University of Science and Technology, 2013.

[5] 赵鹏, 浦昭邦, 张田文, 等. 一种新的红外与可见光图像融合与跟踪方法[J]. 光电工程, 2005, 32(2): 37-40, 92.

Zhao Peng, Pu Zhaobang, Zhang Tianwen. Fusion and tracking for IR and viaible images[J]., 2005, 32(2): 37-40, 92.

[6] 陈少华. 基于红外与可见光图像融合的目标跟踪[D]. 南京: 南京航空航天大学, 2012.

Chen Shaohua. Target tracking based on infrared and visible image fusion[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2012.

[7] Birchfield S T, Rangarajan S. Spatiograms versus histograms for region-based tracking[C]//, 2005, 2: 1158-1163.

[8] Zivkovic Z, Krose B. An EM-like algorithm for color-histogram-based object tracking[C]//, 2004, 1: 798-803

[9] Collins R T, Liu Y, Leordeanu M. Online selection of discriminative tracking features[J]., 2005, 27(10): 1631-43.

[10] 杨悦, 刘兴淼, 郭启旺, 等. 基于改进互信息的红外目标匹配跟踪算法[J]. 红外技术, 2013, 35(6): 350-354.

Yang Yue, Liu Xingmiao, Guo Qiwang, et al. Infrared object matching tracking algorithm based on improved mutual information[J]., 2013, 35(6): 350-354.

[11] 高文, 朱明, 贺柏根, 等. 目标跟踪技术综述[J]. 中国光学, 2014, 7(3): 365-275.

Gao Wen, Zhu Ming, He Baigen, et al. Overview of target tracking technology[J]., 2014, 7(3): 365-275.

[12] Otsu N. A threshold selection method from gray-level histograms[J].,,, 1979, 9(1): 62-66

Particle Filter Infrared Target Tracking Algorithm Based on Feature Fusion

YANG Zhixiong，YU Chunchao，YAN Min，YUAN Xiaochun，ZENG Bangze，SU Yulu

（，650223，）

Steady target tracking in complex environment is applied widely in guidance, unmanned aerial vehicles detection, and warning, etc. To solve the single gray robustness failure in infrared target tracking, particle filter tracking algorithm based on feature fusion is proposed, and the result shows particle filter tracking algorithm based on feature fusion can handle tracking in complex scene well in robustness, accuracy and real-time performance.

feature fusion，particle filter，infrared target tracking

TP391

A

1001-8891(2016)03-0211-07

2015-04-23；

2015-06-11.

杨智雄（1987-），硕士研究生，工程师，主要从事光谱处理及图像处理技术。

余春超（1977-），硕士，高级工程师，主要从事光谱技术及软件设计。