滑动置信度约束的红外弱小目标跟踪算法研究

曾溢良， 蓝金辉， 邹金霖

(北京科技大学 自动化学院， 北京 100083)

滑动置信度约束的红外弱小目标跟踪算法研究

曾溢良， 蓝金辉， 邹金霖

(北京科技大学 自动化学院， 北京 100083)

为了提高红外视频弱小目标的跟踪精度，提出了滑动置信度约束的弱小目标跟踪方法。在快速自适应中值滤波的红外图像背景抑制技术的基础上，设计了正交变换和置信域约束的轨迹预测，利用加权参数增强目标函数的收敛性能，提高下一位置初的预测准确度；通过轨迹相邻点的位置差计算搜索窗口的大小，搜索与之相匹配的特征点进行关联处理，完成对初预测点的筛选；以滑动轨迹置信度检验为准则判决轨迹的真实性，并进行目标轨迹更新以实现对弱小目标的准确跟踪。通过红外弱小目标视频对所提算法进行了实验验证，结果表明,该算法对红外弱小目标的跟踪轨迹误差有较小的均方偏差与均方差，在噪声消除和对图像整体信息保护方面都具有良好的性能。

信息处理技术； 红外小目标； 目标识别； 目标跟踪； 背景抑制

Abstract: The infrared dim-small target has a small portion of image pixel and low SNR, which makes it difficult to detect and track the target especially in noise and clutter. A dim-small target tracking method with fixed template sliding confidence constraint, on the basis of the fast adaptive median filter to suppress the infrared background, is presented. A prediction of trajectory with orthogonal transformation and confidence region is proposed. Weighted parameters are used to enhance the convergence of target function and the prediction accuracy of the next position. The size of sliding search window is calculated from the position difference of the adjacent points on trajectory to search the matched feature point with the predicted position in the next frame and make further parallel processing. The trajectory sliding confidence is used to verify the authenticity of trajectory and update the target trajectory for accurate tracking. The proposed algorithm is tested with infrared dim-small target video. The results show that the proposed method shows better performance in target tracking with lower mean square error deviation and mean square error. Furthermore, the good performance of noise elimination and image information protection also verifies the effectiveness of the algorithm.

Key words: information processing technology; infrared dim-small target; target detection; target tracking; background suppression

0 引言

随着科技水平的不断提高，具有全天候昼夜工作、灵敏度高、动态分辨率大等优点的智能化红外成像系统备受关注[1]，在预警系统、精确制导、目标跟踪等军事系统中得到了广泛应用[2]。但是由于红外成像系统的探测距离远、成像目标小，同时存在背景噪声，使红外图像弱小目标的检测与跟踪成为技术难题之一。因此，国内外研究者在该领域开展了深入研究。每年国际光学工程学会都会组织一次关于弱小目标的信号与数据处理会议，探讨弱小目标(特别是红外小目标)检测的新技术[3]。美国、俄罗斯、法国等国已经开发并装备了基于红外成像技术的武器系统，包括美国的“响尾蛇”、“海尔法”和“标枪”导弹，以及英国、法国、德国等国联合研制的“崔格特”导弹等，用于红外小目标的检测与跟踪[4]。

经过多年的深入研究，红外弱小目标检测和跟踪技术伴随着应用领域的不断需求而不断地发展并提高，并形成了较多研究成果[5-7]。常见的目标跟踪算法可以分为两类，即“基于模板匹配的跟踪”[8-9](基于模型驱动(Model-driven)的方法)和“基于滤波、数据估计的跟踪”[10-11](基于数据驱动(Data-driven)的方法)。前者主要依靠目标特征提取、目标模型建立、模板匹配、相似度度量等技术对跟踪过程中图像的假设目标位置进行评估，寻找最佳匹配结果。后者首先依据不同情况建立目标的运动数学方程，利用数据估计方法进行红外目标的运动状态预测，然后采用粒子滤波等方法提取真实目标，这类算法的本质是基于离散非线性动态系统的序列概率推理[12]。由于复杂环境中的红外图像目标面积小，同时背景中包含大量噪声和杂波，信噪比较低，给目标检测和跟踪算法带来了极大的挑战。因此，如何对小目标进行准确的检测与稳定的跟踪，仍是该领域的技术瓶颈问题之一。

本文提出滑动置信度约束的弱小目标跟踪方法，采用快速自适应中值滤波的红外图像背景抑制技术来消除噪声干扰、提高图像信噪比；在目标检测的基础上，利用红外成像弱小目标运动轨迹近似直线的特点，通过加权选取分割图像的候选目标，进行正交变换与置信度约束的曲线拟合位置预测，采用滑动限制搜索进行轨迹关联，并结合置信度检验准则实现目标跟踪，以有效解决当前算法对红外弱小目标跟踪效果差、轨迹偏差大的问题。

1 置信度约束的红外弱小目标跟踪方法

1.1 快速自适应红外背景抑制算法

中值滤波算法是20世纪70年代提出的一种非线性空域滤波器。其基本处理方式是将像素点采用周边区域(3×3或者5×5)的像素值进行中值处理，用得到的中值替代原来图像中的像素值，从而有效地去除一些突变的噪声点或者由于红外成像造成的坏点，实现图像小范围的平滑处理。由于中值滤波算法结构简单，很适合图像的去噪处理。

设有1个一维序列f1,f2,f3,…,fn，取该滑动窗口点数为m(m为奇数)，对该序列的中值进行滤波，需要从序列中连续取出m个数fi-v,…,fi-1,fi,fi+1,…,fi+v(fi为窗口中心点，v=(m-1)/2)。将这m个值进行排序，取出中间值，即为滤波器的输出。数学公式为

yi=med{fi-v,…,fi-1,fi,fi+1,…,fi+v}，

(1)

式中：i∈Z.

二维中值滤波可以用(2)式表示：

yi=med{fij}.

(2)

中值滤波主要依赖其窗口的大小：窗口越大，越能保留图像自身的细节，但是会造成处理速度过慢；窗口太小，则会在一定程度上破坏图像信息。同时，对于背景图像变化平缓的图像，滤波也比较有限。

因此，本文采用一种快速自适应中值滤波算法，通过对图像的整体分布，对中值处理窗口进行改进。快速中值排序的主要思想如下：首先将每一列进行升序排列，然后分别取第1行的最大值、第2行的中值和第3行的最小值，最后取它们的中值，就可以得到整个3×3窗口内9个像素的中值。实现过程如图1所示。

图1 快速中值排序Fig.1 Fast median ranking

每列3个数的一次升序排列，需要比较的次数为3×3=9次，传统的排序算法需要进行9×3+3=30次比较运算，而快速中值排列算法仅需要进行9×2+3=21次比较运算。该快速排序算法可扩展到n×n的窗口，执行一次快速中值算法需要进行运算的次数大大减少。例如，5×5的窗口，传统的算法需要进行运算的次数为234次，快速算法需要进行运算的次数为110次，比原来减少了近一半。随着窗口维数的增加，传统算法所需比较次数迅速增加，而快速算法所需次数增加的速度明显较小。

快速自适应中值滤波算法通过在滤波窗口使用上述快速排序算法计算出最大、最小和中值，并对这些值进行判断。如果其中值和像素点均在最大和最小值范围内，则认为图像没有明显变化，同时没有明显的噪声点和坏点，因此不需要用中值替换原像素点；如果原像素不在该范围内，则说明在中心点出现明显变化，因此需要用中值替换原像素点；如果两个值均不在最大和最小值范围内，则需要扩大滤波窗口，直至找到中心点且中值有一点出现在最大和最小值范围内为止。

1.2 滑动置信度约束的轨迹估计跟踪方法

1.2.1 置信度约束的轨迹预测

弱小目标在空间中的运动是连续有规律的，对其运动轨迹进行预测，可大大提高弱小目标跟踪的可靠性和速度。

设目标轨迹为T，依据目标运动轨迹连续性假设，结合得到的k个顺序时刻轨迹点的位置(xT,yT)建立目标的运动轨迹方程，并利用固定距离模板预测k+1时刻目标的位置坐标(xk+1,yk+1)。

以轨迹点的x坐标为例进行说明，y坐标同理。

对于已知的k组目标轨迹观测数据

[(x1,y1),(x2,y2),…,(xk,yk)]，

(3)

建立一组依赖于L个参数的曲线模型

gk=xk+1=f(xk;a1,a2,…,aL)，

(4)

通过计算实际值与逼近值之间的总体误差函数，可以得到对应a1,a2,…,aL参数拟合的目标函数为

minε2=[f(xk;a1,a2,…,aL)-gk]2.

(5)

设误差方程矩阵为C∈RK×L，向量y∈RK，参数向量a∈RN，剩余向量ε∈RN，可以将(5)式简化为

ε=Ca-y.

(6)

由于正交矩阵变换能够使迭代过程中的系数矩阵条件数降低、有效提高数值稳定性，本文将(6)式进行正交变化，得到

(7)

式中：Q∈RK×K为正交矩阵；U∈R(K-L)×K为正规上三角矩阵；0∈RL×L为全零矩阵。

引入置信度作为约束条件，以建立全局收敛的估计模型，保证计算结果能够分布在可信区域内。因此，目标函数(5)式可以转化为二次准则目标函数

(8)

式中：r=x-xk；ρ>0为置信域半径[13]。在置信域算法中，根据模型函数ε(r)来调整gk的拟合程度置信域半径，如果置信域定得过小则容易使当前点偏离最优点，如果置信域定得过大则可能导致二次准则的估计模型不准确。

(9)

又因为加权残差与加权误差方程关系为

(10)

式中：S为残差灵敏度矩阵；r为加权残差量；I为单位矩阵。根据文献[13]，可以得到置信度约束下误差估计的极值条件为

(11)

根据上述模型，可以对每个样本按照正交变换和置信域法进行状态估计。由于该方法在从误差方程到正规方程的过渡过程中使C的条件数自乘，从而使得到的参数值误差较小。

1.2.2 匹配过程

随着目标位置点与预测点距离的增加，预测点的置信度会降低，相互的关联度也将下降。为了提高预测精度，本文采用固定距离模板进行递推滑动匹配，并计算轨迹匹配点的置信度。

在成像高帧频系统，弱小目标在图像序列中近似为匀速直线运动，即可表示为

(12)

式中：k、l表示不同时刻；vx、vy分别表示x轴、y轴方向的速度。设累加帧数为K、最大帧间速度为vmax，假设目标轨迹的当前位置为(xk，yk)、预测位置为(ik+1，jk+1)，在下一帧图像中的可能匹配点位置为(xk+α，yk+β)，则α和β为整数，其可能取值为[-Kvmax/2，Kvmax/2]. 具体情况如下：

dx1=Ti·xk-Ti·xk-1，
dy1=Ti·yk-Ti·yk-1.

下面分5种情况讨论：

1)若dx1≥Kvmax/2+1，则α∈[-Kvmax/2+1，Kvmax/2]；

2)若dx1≤-1-Kvmax/2，则α∈[-Kvmax/2，Kvmax/2+1]；

3)若dy1≥Kvmax/2+1，则β∈[-Kvmax/2+1，Kvmax/2]；

4)若dy1≤-1-Kvmax/2，则β∈[-Kvmax/2，Kvmax/2+1]；

5)其余情况，α∈[-Kvmax/2+1，Kvmax/2-1]，β∈[-Kvmax/2+1，Kvmax/2-1].

针对第K帧图像中轨迹Ti的预测位置(predx,predy)，在其对应的K+l帧图像中的对应搜索窗内，选取满足夹角相容条件时距离最近的点作为轨迹Ti在K+1帧中的位置点。夹角相容条件为

[(i-x)2+(j-y)2]×[α2+β2]<
2[(i-x)α+(j-y)β]2.

(13)

若存在这样的匹配点，则Ti.Age+1，Ti.MatchNum+1，Ti.MatchFalg=1，Ti.ConLostNum=0，轨迹Ti的记录更新。

图2 搜索窗口匹配示意图Fig.2 Schematic diagram of search window

1.2.3 滑动轨迹置信度检验

对于红外视频中弱小目标轨迹跟踪检验，本文采用基于固定模板滑动轨迹置信度方法[14]，根据目标虚警率和检测概率确定置信度高低门限ΔH与ΔL.

在这里，利用以下公式构建滑动轨迹置信度，并作为判断轨迹输出或删除的准则：

(14)

当轨迹Ti.ConLostNum≥m时，删除该轨迹Ti. 当轨迹Ti.Age≥T时，计算轨迹置信度，再分别考虑：当Δ>ΔH时，将Ti确定为检测出的输出轨迹；当Δ<ΔL时，删除该轨迹；当Δ介于两个阈值区间内时，继续观测。

2 实验结果与分析

2.1 背景抑制结果及分析

图3是不同背景下目标的滤波效果，其中左边为受到噪声污染的原始红外图像，右边为采用本文算法处理后的图像。由图3可见，本文算法能够有效地从模糊图像中剔除噪声的影响，提高了红外图像的信噪比，降低了图像的噪声对后续处理算法的影响。

为了验证本文算法的性能，综合利用红外图像的信噪比、峰值信噪比以及噪声抑制因子评价各种噪声平滑算法的性能。各性能指标的定义如(15)式～(17)式所示。

信噪比

(15)

式中：f(x,y)为原始图像；f′(x,y)为噪声平滑后的图像；M和N为图像的行列数。

图3 滤波实验效果图Fig.3 Results of filtering experiment

峰值信噪比

(16)

式中：Q为图像量化的级数；PSNR越大，表示图像的失真度越小。

噪声抑制因子

IN=Bi/Bo，

(17)

式中：Bi和Bo分别为图像噪声平滑前和平滑后的标准差；IN越大，说明算法的噪声抑制效果就越好。

表1为中值滤波、时域平均滤波以及快速自适应中值滤波算法的性能比较。

由表1可知，本文采用的快速自适应中值滤波算法在信噪比、峰值信噪比和噪声抑制因子3个评价指标中的参数值比中值滤波算法和时域平均滤波算法的效果好，在噪声消除和对图像整体信息保护方面都具有良好的性能。

表1 不同算法的性能比较

2.2 轨迹预测跟踪结果及分析

为了验证本文所提轨迹估计算法的性能，使用真实环境下拍摄的图像序列对所提算法的性能进行测试，所采用的图像分辨率为320×240. 图4所示为跟踪示意图，图中的红色表示捕获的目标，绿色曲线表示目标的轨迹。从图4中可知，该系统对干扰遮挡过后的目标能够重新捕获并跟踪，并且短暂的误检测对目标的轨迹没有影响，表明本系统能有效稳定地完成红外目标跟踪任务。

图4 轨迹跟踪示意图Fig.4 Schematic diagram of trajectory tracking

实验中，小目标的初始位置通过小目标检测方法确定。为了验证轨迹预测的性能，利用有误检测目标和无误检测目标两组复杂环境中所检测弱小目标的位置进行轨迹预测精度比较。

2.2.1 无误检测

图5是行驶在道路中的车辆小目标检测效果图，图5(a)为原始图像，图5(b)为检测结果图。在无误检测情况下轨迹预测算法性能测试的视频中，目标检测算法能够准确检测出共200个小目标的坐标点。

图5 不同背景下车辆目标无误检测结果图Fig.5 Vehicle target detection in different backgrounds

为了更好地展示轨迹估计跟踪算法测试的效果，分别对目标位置坐标点的x轴坐标值和y轴坐标值进行预测，在采用相同数据的基础上，3种算法的轨迹预测效果如图6和图7所示。图中黑线表示每一帧图像中车辆目标的真实位置，红线表示本文算法预测的目标轨迹线，蓝线表示粒子滤波预测器预测出的目标轨迹线，绿线表示平方预测器计算出的目标轨迹线。

图6 目标坐标点的x轴坐标值预测效果图Fig.6 Predicted x-axis coordinate values of target

图7 目标坐标点的y轴坐标值预测效果图Fig.7 Predicted y-axis coordinate values of target

从图6和图7可知，在目标无误检测的视频中，本文算法能准确预测出目标下一位置的坐标点，x坐标值和y坐标值与真实轨迹点的坐标值很相近。而粒子滤波预测器和平方预测器由于受到突变点和剧烈变化过程的影响，无法准确预测出目标的位置。

为了显示各个预测算法的效果，依据获得的红外图像序列，对每个算法的预测值和真实值采用均值偏差、均方差和处理时间3个参数进行比较。图8和图9分别显示了3种算法在x轴和y轴两个方向的预测值和真实值间的均值偏移量。

图8 x轴坐标值与真实值的均值偏差效果图Fig.8 Mean value error of x-axis coordinate value and truth value

图9 y轴坐标值与真实值的均值偏差效果图Fig.9 Mean value error of y-axis coordinate value and truth value

由图8和图9可知，本文算法的均值偏差和均方差都最小，分别为1 334和342.1，粒子滤波法其次，平方逼近法最大。

2.2.2 有误检测

图10是弱防护车辆在道路中行驶时的视频序列，其中弱小目标检测算法有误检测。图中检测算法获得的目标位置点出现偏差，并且在车辆行进中有障碍物遮挡车辆，使目标在短时间内消失，遗失了目标的位置信息。该段视频含有200个数据点，依据该目标轨迹数据基础，针对3种算法在目标坐标点x轴和y轴方向的轨迹预测性能进行验证，实验效果如图11和图12所示。

图10 树叶遮挡下车辆目标检测结果图Fig.10 Detected results of vehicle target sheltered by leaves

图11 目标坐标点的x轴坐标值预测效果图Fig.11 Predicted x-axis coordinate values of target

图12 目标坐标点的y轴坐标值预测效果图Fig.12 Predicted y-axis coordinate values of target

由图11和图12可知，在目标误检测和遮挡的区域，本文算法可以很好地预测出目标的运动轨迹，并有效剔除误检测产生的突变点。而粒子滤波预测器和平方预测器由于目标误检测导致点坐标的突变，使预测值偏离实际位置较多、预测精度偏低，不能收敛于目标的准确位置。

图13和图14分别显示了x轴和y轴方向的3种算法的均值偏移量效果。

图13 x轴坐标值与真实值的均值偏差效果图Fig.13 Mean value error of x-axis coordinate value and truth value

图14 y轴坐标值与真实值的均值偏差效果图Fig.14 Mean value error of y-axis coordinate value and truth value

由图13和图14可知，本文算法的均值偏差最小，粒子滤波预测算法和平方预测算法的偏差相近。

从有误检测目标视频和无误检测目标视频的实验结果中可以明显看出，由于误检测目标点或者轨迹突变点，导致粒子滤波预测算法和平方预测算法的轨迹预测误差较大，难以准确预测出目标的下一位置。本文算法在有误检测和无误检测的情况下，都能实时并准确估计出目标的下一位置，实现红外弱小目标的持续稳定跟踪。两组实验中，量测误差最大的是平方轨迹估测，本文提出的滑动置信度约束的目标轨迹估计算法的量测误差最小，并且鲁棒性最强。

3 结论

复杂背景下红外弱小目标探测与跟踪技术在军事、民用领域有着重大的应用价值和广泛应用前景。本文研究了复杂背景下红外弱小目标的检测与跟踪技术，在快速自适应中值滤波的红外图像背景抑制技术的基础上研究目标跟踪算法，提出一种滑动置信度约束的轨迹估计的目标跟踪算法，包括建立点目标的运动轨迹记录、预测过程、滑动匹配过程和轨迹置信度检验，依据识别出的目标位置信息，对下一帧图像中目标的位置进行预测估计，在有效降低目标跟踪算法计算量的同时，提高红外弱小目标跟踪的正确率。实验结果表明，该方法在均值偏差和均方差性能方面优于粒子滤波预测法和平方预测法，有较好的跟踪效果。

References)

[1] 蔺向明. 基于红外成像的小目标检测技术研究[J]. 航空兵器, 2014(3):12-15. LIN Xiang-ming. Research on small target detecting algorithm based on IR imaging[J].Aero Weaponry, 2014(3):12-15. (in Chinese)

[2] Kim K, Davis L S.Object detection and tracking for intelligent video surveillance[J]. Measurement & Control Technology, 2008, 346(5):265-288.

[3] 林晓. 红外小目标检测与跟踪技术研究[D].南京：南京航空航天大学, 2013. LIN Xiao. Research on infrared small target detection and tracking technology[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2013.(in Chinese)

[4] 王瑞凤,杨宪江,吴伟东.发展中的红外热成像技术[J]. 红外与激光工程, 2008, 37(增刊2): 354-357. WANG Rui-feng, YANG Xian-jiang, WU Wei-dong. Development of infrared thermal imaging technology[J]. Infrared and Laser Engineering, 2008, 37(S2): 354-357. (in Chinese)

[5] Bai X Z, Zhou F G. Infrared dim small target enhancement and detection based on modified top-hat transformations [J]. Computers and Electrical Engineering, 2010, 36(6): 1193-1201.

[6] Yilmaz A, Shanfique K, Shah M. Target tracking in airborne forward looking infrared imagery[J]. Image Vision Computer, 2003,21(7):623-635.

[7] Braga-Neti U, Choudhary M, Goutsias J. Automatic target detection and tracking in forward-looking infrared image sequences using morphological connected opertors[J]. Journal of Eletronic Imaging, 2004, 13(4): 802-813.

[8] 苏娟,杨罗,张阳阳. 基于轮廓片段匹配和图搜索的红外目标识别方法[J]. 兵工学报, 2015, 36(5):845-860. SU Juan, YANG Luo, ZHANG Yang-yang. Infrared target recognition algorithm based on contour fragment matching and graph searching[J]. Acta Armamentarii, 2015, 36(5):845-860.(in Chinese)

[9] Zhao D, Zhou H, Qin H, et al. Research on infrared target tracking adaptively based on second-order differential and template matching[C]//International Symposium on Optoelectronic Technology and Application. Beijing : International Society for Optics and Photonics, 2016.

[10] Qian K, Zhou H, Rong S, et al. Infrared dim-small target tracking via singular value decomposition and improved Kernelized correlation filter[J]. Infrared Physics & Technology, 2017, 82: 18-27.

[11] 钟圣芳,张兵,卢焕章.一种基于动态规划的点目标轨迹关联算法[J]. 计算机测量与控制,2004,12(8):772-774. ZHONG Sheng-fang, ZHANG Bing, LU Huan-zhang. Track-association algorithm of point target based on dynamic programming[J]. Computer Measurement and Control, 2004,12(8):772-774.(in Chinese)

[12] Drummond O E. Small target detection from image sequences using recursive max filter[J]. Proceedings of SPIE-Signal and Data Processing of Small Targets, 1995, 2561:153-166.

[13] 卢志刚, 田莎莎, 邵奇, 等. 基于正交变换与置信域的量测方差估计与权重设置算法[J]. 电工技术学报, 2016, 31(21):67-74. LU Zhi-gang, TIAN Sha-sha, SHAO Qi, et al. Measurement variance estimation and weights configuration algorithm based on orthogonal transformation and trust region[J]. Transactions of China Electrotechnical Society, 2016, 31(21):67-74.(in Chinese)

[14] 李勐. 红外序列图象弱小运动目标检测新方法研究[D]. 武汉：华中科技大学, 2006. LI Meng. Research on novel detection algorithms for moving infrared dim small targets[D]. Wuhan: Huazhong University of Science and Technology, 2006.(in Chinese)

ResearchonInfraredDim-smallTargetTrackingAlgorithmwithTemplateSlidingConfidenceConstraint

ZENG Yi-liang, LAN Jin-hui, ZOU Jin-lin

(School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China)

TP391.413

A

1000-1093(2017)09-1771-08

10.3969/j.issn.1000-1093.2017.09.014

2017-06-14

武器装备“十三五”预先研究基金项目(61404520101)；中国博士后科学基金项目(2016M600922)；中央高校基本科研业务费专项资金项目(FRF-TP-15-117A1)； 高分辨率对地观测系统重大专项项目(2015年)

曾溢良(1988—)， 男， 讲师。 E-mail: ylzeng@ustb.edu.cn

蓝金辉(1967—)， 女， 教授， 博士生导师。 E-mail: lanjh@ustb.edu.cn