复杂地物背景下红外弱小目标跟踪算法

张学峰



复杂地物背景下红外弱小目标跟踪算法

张学峰

（中国空空导弹研究院，河南 洛阳 471009）

复杂地物背景下红外弱小目标的跟踪在红外监视系统中有重要的应用价值。提出了一种基于人眼视觉系统原理和多目标跟踪技术的弱小目标跟踪算法，实现了对复杂地物背景下红外弱小目标的跟踪。算法首先在图像中提取候选目标和各目标对应的目标区域，估计相邻帧图像之间的运动参数，对所有跟踪目标进行轨迹预测；然后融合多信息对当前帧目标与目标链中目标进行关联，根据关联结果对目标链进行更新；最后输出跟踪目标的位置坐标，实现对红外弱小目标的跟踪。用实测的图像序列对算法进行了测试，试验结果表明本文算法对树林、农田、建筑等复杂地物背景中弱小目标有较好的跟踪效果，可以用于红外监视系统中对复杂地物背景下低对比度弱小目标自动跟踪。

红外目标跟踪；人眼视觉系统；Kalman滤波；目标提取；运动参数估计

0 引言

复杂地物背景下红外弱小目标的跟踪是红外告警、红外监视系统的关键技术之一，是红外目标识别领域的研究热点，研究的难点在于如何处理红外目标对比度低、无形状信息、特征不稳定、容易受背景干扰等问题。

红外弱小目标的跟踪一般都是与目标检测相互依存的，主要技术可以分为两种[1]：一种是先检测后跟踪（DBT）；一种是检测前跟踪（TBD）。后者主要用于目标信噪比较低，需要使用多帧累积信息来检测目标的情况。本文主要关注已经识别出目标，在大部分帧中目标都可以单帧完成检测的情况下，如何实现目标的稳定跟踪，原理上属于先检测后跟踪算法。

近年来，国内外学者提出了许多基于DBT思想的目标跟踪算法[2]，但在红外目标跟踪领域，最常用的是基于图像分割和基于核函数的目标跟踪算法。基于图像分割的算法基本处理流程为：背景抑制，图像分割，目标特征提取，目标匹配跟踪，该方法在跟踪目标与地面背景发生粘连，一段时间后又分开时，容易产生目标匹配错误，导致跟踪失败[3]。

基于核函数的算法常用的核函数有Epanechnikov核、单位均匀核函数、高斯核函数3种，由于目标小，像素点少，灰度直方图特征空间样本稀疏，无法呈现明显的统计规律，因此获得的密度估计很不准确[4-5]。在复杂环境下，目标模型和实际目标会有比较大的差别，也会导致跟踪失败[6]。这类方法在原理上都是使用目标的核函数直方图特征进行跟踪，所以要求目标具有一定的尺寸[7]。文献[8]提出了首先对目标及其附近区域采用双线性插值，增大目标面积，然后用核密度估计和梯度特征进行目标跟踪的方法。这些方法研究的对象虽然也为小目标，但适用于像素大小至少5×5左右的小目标，对于更小的目标处理起来有困难。在红外监视系统中，为提高系统的作用距离，一般要求在目标很小（像素2×2左右）时即能对目标进行识别跟踪，此时基于核函数的跟踪方法几乎不能使用。

现在的红外成像系统帧频一般较高，地面目标的运动较慢，且有一定的连续性，本文提出了一种复杂地物背景下红外弱小目标跟踪算法，该方法基于人眼视觉系统（HVS：Human Visual System）原理从单帧中检测目标，利用多目标跟踪技术实现抗复杂地物背景干扰。

1 目标跟踪算法

目标跟踪算法原理如图1所示，在接收到一帧视频图像后，首先在图像中提取候选目标和各目标对应的目标区域，并估计当前帧图像和相邻的上一帧图像之间场景的运动参数，同时算法对所有跟踪目标用Kalman滤波算法估计目标在当前帧中的位置；目标关联模块融合场景运动参数、目标区域提取结果和目标位置预测结果对当前帧目标与目标链中目标进行关联，实现对目标链中所有目标的跟踪；最后输出跟踪目标的位置坐标，实现对红外弱小目标的跟踪。在判断出跟踪目标与背景发生粘连或遮挡时，使用Kalman滤波估计目标的位置，在目标与背景干扰分离或重新出现在视场中时，继续对目标进行跟踪。

1.1 弱小目标特征分析

红外图像中的弱小目标表现为图像中与背景有一定灰度差的小斑块，目标的灰度可近似认为服从高斯分布，但在小目标时，目标的灰度分布还与目标投影到像平面上的位置有关，图2所示为同一目标在第22帧和第45帧时的灰度分布情况，第22帧时目标的最大灰度为9148，目标面积为3像素，第45帧时目标的最大灰度变为8762，目标面积变为4像素。定义目标能量：

＝目标像素灰度和－局部背景平均灰度×目标面积，

计算得到第22帧目标能量为982，第45帧目标能量为1098，可以看出目标能量相对稳定。

图1 目标跟踪算法框图

Fig.1 Block diagram of target tracking algorithm

图2 弱小目标灰度分布图

Fig.2 The target gray level distribution of dim target

1.2 基于人眼视觉系统原理的候选目标检测

人眼视觉系统在执行目标检测任务时有很高的效率和鲁棒性，HVS的主要原理有对比度机制、多分辨率描述、尺度自适应和弹出机制。文献[9]提出了一种模拟HVS的小目标检测算法，该算法能提取红外图像中的斑块目标，同时有效抑制背景中的边缘，且算法可以估计出目标的尺寸大小，为后续进行目标识别提供信息。该算法包含3个步骤：

①用不同尺度的高斯-拉普拉斯（LoG）滤波模板与图像卷积，获取不同尺度下的拉普拉斯图像(,,)；

对妇产科患者给药的过程当中,护理人员应当态度和谒,主动沟通,以便更好地分散患者的注意力。注射时应当选择适宜的位置,以熟练的手法进行穿刺,穿刺过程中应当注意对患者进行询问,如患者出现不适,则应当立即停止注射并进行检查[3]。

1.3 目标区域提取

准确地提取跟踪目标区域，可以获取目标的更多特征信息，辅助进行目标识别。本文在提取的候选目标点附近采用区域增长法提取目标区域，区域增长算法的两个要素为种子点选择和停止条件设计。上一节中提取的候选目标点都是局部区域内LoG滤波结果最大的点，可以直接作为区域增长的种子点。

上一节中提取候选目标的同时也获取了尺度信息，可以估计出目标的面积。将候选目标点的局部区域内的像素灰度进行排序，根据估计目标面积获取目标灰度的下限，区域增长时就将与目标区域连通的所有大于等于阈值的像素作为目标像素，直到与目标区域连通的像素均不满足条件时区域增长停止。

1.4 场景运动参数估计

在图像平面上，目标的运动由两部分组成：目标自身的运动和场景整体的运动。在红外成像系统中，图像帧频一般较高，相邻帧图像之间有大量的重合部分，场景整体运动量可以通过对图像重合部分进行匹配获取。在高帧频系统中（≥50Hz），相邻帧图像间尺度和旋转变化较小，可以忽略，本文只对场景之间的平移运动量进行估计。文中使用中值流和特征点光流法相结合的方法估计背景运动参数[10]，算法处理步骤如下：

①在上一帧图像中提取均匀分布的个点作为特征点，提取每个点的局部区域作为特征区域，计算每个特征区域的方差，删除方差小于方差中值的特征点，得到特征点集1；

②用光流法搜索上一帧每个特征点1i在当前帧中的对应位置2i，用光流法反向搜索当前帧每个特征点2i在上一帧中的对应位置2i¢，形成特征点对(1i,2i)；

③计算每个特征点对的后向跟踪误差E＝norm(1i¢－1i)，计算每对特征点对应特征区域之间的相关系数作为其相似性S；

⑤获取每对特征点之间的位移d＝1i－2i；

⑥返回背景运动参数＝median(d)。

1.5 Kalman滤波目标位置预测

在完成场景运动参数估计后，为了提高算法对短时遮挡和地面复杂干扰的适应能力，需要对目标自身的运动进行预测。Kalman滤波器可以对动态系统的状态序列进行线性最小方差估计，具有计算量小，可实时实现的特点，在目标跟踪中有广泛的应用。本文使用Kalman滤波器来估计跟踪目标自身的运动。

为了消除场景整体运动对目标自身运动预测的影响，本文以消除场景运动引起的目标位置变化后，目标帧间的运动量作为观测量。在预测中，认为目标近似做匀速直线运动，Kalman滤波器的状态方程为[11]：

测量方程：

假设第帧图像中跟踪算法输出目标位置为(p(), p())，第＋1帧相对第帧场景运动量为(d(＋1), d(＋1))，则第＋1帧时的观测量为：

1.6 红外弱小目标跟踪算法

红外弱小目标特征不明显，容易受到地面背景的干扰，采用基于特征匹配的跟踪方法，在目标运动到干扰附近时，容易产生误匹配，导致目标丢失。本文采用多目标监视单目标跟踪的策略来提高算法对复杂背景的适应能力，算法对背景中的干扰和目标分别建立目标链。目标跟踪算法处理流程如下：

①基于HVS原理从图像中提取候选目标点，使用区域增长方法提取候选目标区域；

②使用中值流和特征点光流法相结合的方法估计背景运动参数；

③如果为第一帧视频，则对各候选目标建立目标链，初始化各目标链的Kalman滤波器参数；否则对各目标链使用Kalman滤波器估计目标在当前帧中的位置，并在该位置附近搜索对应的候选目标作为其关联目标；如果判断出跟踪目标与背景发生粘连或遮挡，使用Kalman滤波估计目标的位置，继续维持该目标链，直到目标与背景分离或者重新出现在视场中；

④对当前帧关联上的各目标链的信息和Kalman滤波器参数进行更新；

⑤如果当前帧跟踪目标链有关联目标，则输出关联目标的位置作为跟踪结果，否则输出预测的跟踪目标位置。

2 试验结果与分析

在Visual Studio 2010环境中编程实现了本文算法，用红外热像仪采集的下视山地背景中飞行的无人机序列图像对算法进行了测试，试验的硬件平台为3.4GHz CPU，3G内存配置的联想T7600电脑一台。测试视频总帧数1460帧，跟踪算法均能正确跟踪目标，未出现误跟踪和漏跟踪情况，也未出现跟踪点偏离。

跟踪算法获取的各帧中目标的局部信噪比如图3所示，信噪比小于1的共165帧，占11.3%，信噪比小于5的共751帧，占51.4%，场景的背景复杂性导致信噪比整体波动较大。各帧中目标的能量如图4所示，在700帧之前，目标能量较为稳定，可以看出1.1节给出的目标能量定义公式适用于计算小目标能量，700帧之后目标能量呈上升趋势是因为目标与热像仪之间的距离变小，大气传输衰减变小的缘故。

图3 目标局部信噪比图

图4 目标能量图

试验中目标跟踪的结果如图5所示，图5(a)中白色圆形框内为指定的跟踪目标，白色矩形框内所示为背景中部分与目标相似的干扰。图5(b)为第100帧时的跟踪结果，目标周围的背景相对均匀，局部信噪比3.16。图5(c)为第200帧时的跟踪结果，目标位于较亮的背景上，局部信噪比1.5。图5(d)为第500帧跟踪结果，目标信噪比3.08。图5(e)为第700帧跟踪结果，目标与背景发生粘连，信噪比0.5，几乎被背景淹没，当目标与背景分离时，算法根据预测的目标状态快速准确的跟踪上目标。图5(f)为第1000帧跟踪结果，目标距离较近，周围背景相对均匀，信噪比5.3。图5(g)为第1200帧跟踪结果，目标位于地面两个亮暗交替区域的边界上，信噪比2.74。图5(h)为第1300帧跟踪结果，目标位于地面一个亮带区域上，信噪比2.8。从图5可以看出，该序列包含了地面弱小目标跟踪中常见的树林、农田、建筑等背景类型，本文算法较好地处理了这些干扰类型，在目标与背景发生粘连、遮挡时，算法能根据预测的目标状态，在目标与背景分离或目标重新出现时，快速跟踪上目标。

3 结论

本文在对红外弱小目标特征进行分析的基础上，提出了一种地面复杂场景中弱小目标跟踪算法，该算法由候选目标检测、目标区域提取、场景运动参数估计、目标位置预测等模块组成。采用实测的红外图像对算法进行了测试，试验结果表面本文算法对树林、农田、建筑等复杂地物背景中弱小目标的跟踪有较好的效果，可以用于远距离观测系统中对复杂地物背景中低对比度弱小目标自动跟踪。本文算法实际上对视场内的所有疑似目标都进行了监视和跟踪，所以本文算法稍加改动即可用于多目标跟踪系统。虽然本文算法在目标跟踪试验中取得了较好的效果，但也暴露了部分问题，在目标与背景出现粘连时，会导致目标的位置坐标计算出现一定的偏差，由于地面目标运动较慢，如果不能准确判断该状态，在多帧累积误差的影响下，会导致Kalman滤波器预测的目标状态与实际的状态发生偏离，导致目标位置预测不准确，目标与背景干扰分离时目标识别发生错误，后续改进中将对地面慢速运动目标的状态预测方法进行研究。

[1] 侯旺, 孙晓亮, 尚洋, 等. 红外弱小目标检测技术研究现状与发展趋势[J]. 红外技术, 2015, 37(1): 1-10.

[2] Arnold W M Smeulders, Dung M Chu, Rita Cucchiara, et al. Visual tracking: an experimental survey[J]., 2014, 36(7): 1442-1468.

[3] 金晓会, 杨卫, 白晓方. 一种用红外热像仪检测与跟踪遮挡目标的方法[J]. 红外技术, 2014, 36(8): 639-643.

[4] 韩振, 刘永鸿. 红外探测系统线性小目标检测算法研究[J]. 激光与红外, 2009, 41(3): 328-333.

[5] 侯晴宇, 卞春江, 逯力红, 等. 红外图像中快速小目标的均值移位跟踪[J]. 哈尔滨工业大学学报, 2013, 45(4): 79-83.

[6] 陈东, 林建粦, 马德宝. 粒子滤波在空间光电小目标跟踪中的应用[J]. 光电工程, 2011, 38(3): 1-8.

[7] 章学静, 陈禾, 杨静. 结合卡尔曼滤波和Mean Shift的抗遮挡跟踪算法[J]. 北京理工大学学报, 2012, 33(10): 1056-1061.

[8] Kang Yimei, Wang Guan, Hu Jiang. A bilinear interpolation mean shift small target tracking algorithm[C]//, 2011(5): 1-6.

[9] Sungho Kim, Yukyung Yang, Joohyoung Lee, et al. Small target detection utilizing robust methods of the human visual system for IRST[J]., 2009, 30(5): 994-1011.

[10] Zdenek Kalal, Krystian Mikolajczyk, Jiri Matas. Forward backward error automatic detection-of-tracking failures[C]//, 2010(20): 2756 -2759.

[11] 任章, 李露, 蒋宏. 基于红外图像序列的运动目标检测算法研究[J]. 红外与激光工程, 2007, 36(增刊): 136-140.

Tracking of Dim Infrared Target in Complex Background

ZHANG Xue-feng

(China Airborne Missile Academy, Luoyang 471009, China)

Tracking of small infrared target in complex background is useful in infrared monitoring system. A small target tracking algorithm based on human visual system and multi-target tracking technology is proposed, which can be used in tracking of small infrared target in complex background. Firstly, candidate targets and their features are extracted, and scene motion parameters of consecutive frame are estimated, and trajectories of tracking targets are predicted. Secondly, candidate targets of current frame are associated with the target chain, and the target chain is updated. Thirdly, the location of tracking target is got by its index from the target chain, and tracking result is outputted. The algorithm was tested using real infrared image sequences, and experiment result indicated that the algorithm has good tracking performance of dim target in complex background. This algorithm can be used in infrared monitoring systems to track small and low contrast targets.

infrared target tracking，human visual system，Kalman filter，target extraction，motion parameters estimate

TP391

A

1001-8891(2015)08-0659-05

2015-01-07；

2015-05-30.

张学峰（1984-），男，湖北松滋人，工程师，研究方向是红外目标自动识别、跟踪算法。E-mail：xuefeng_26@163.com。

装备预先研究项目。