融合灰度与显著性特征的空中红外目标跟踪

郑武兴,王春平,付 强,徐 艳

(陆军工程石家庄校区电子与光学工程系,河北 石家庄 050003)

1 引 言

随着红外成像技术的不断发展,红外成像系统已广泛应用于军事、民用等领域,如红外精确制导、预警、视频监控、搜索跟踪等[1]。基于红外成像的目标跟踪技术是上述领域的一项关键技术,在现代国防中发挥着重要作用。一个稳定可靠的跟踪器要能够适应各种环境,比如杂波干扰、外观或光照变化、目标旋转、尺度变化以及受到遮挡等[2]。然而,红外目标有其自身的特点,使得跟踪工作相当困难。例如,为了给红外系统留出足够的反应时间,需要对远距离目标进行探测,并尽可能快地找到目标。当红外成像系统用于远距离目标探测时,红外目标成像面积小,且每个目标能量较弱,加之受到背景噪声的干扰,使得红外目标在红外图像中更加弱小,这对红外目标提取造成很大的困难[3]。此外,由于红外传感器易受大气热辐射的影响,长距离观测传输使得目标信号比较弱,目标信号被淹没在很多复杂的背景杂波和噪声中,尤其是在非平稳背景。另一方面,红外目标信息量少,没有足够的特征[4],而装备的大幅度抖动为跟踪增添了一定难度,这使得复杂背景下的红外弱小目标跟踪更具有挑战性。

基于字典学习的跟踪方法[5]至今仍然是目标跟踪领域的一个研究热点,形形色色的字典构造和更新方法使得近两年来这方面文章很多。但是这类算法最大的问题就是实时性,稀疏系数计算和字典更新太慢。而相关滤波在可见光目标跟踪方面获得了很好的跟踪结果,具有良好的实时性。文献[6]算法(SRDCF)基于DCF改进,采用更大的检测区域,同时加入空域正则化,惩罚边界区域的滤波器系数,采用高斯-塞德尔方法迭代优化。文献[7]算法(SAMF_AT)通过响应自适应提高性能。大部分基于检测的跟踪算法都以牺牲样本的数量来保证算法的实时性,这使得跟踪算法的鲁棒性比较差。KCF算法将样本变成循环矩阵,然后利用对角化和离散傅里叶变换的性质,大大缩减计算复杂度,从而提高训练速度。因此,我们可以选取足够多的样本进行训练,在保证算法实时性的同时,也保证了算法的鲁棒性。文献[8]算法(KCF_MTSA)以及文献[9]算法(SAMF)就是基于KCF的改进,其中KCF_MTSA采用多模板尺度只适应,改进滤波器更新策略,增加尺度变化；SAMF采用HOG+CN特征在多尺度缩放的图像块上进行目标检测,取响应最大的那个平移位置和响应所在尺度,它们的改进都是以牺牲实时性为代价。相关滤波不依赖于目标的边缘、纹理和色彩等特性,并且对小体积目标具有很好的适用性,计算复杂度非常低,实时性相对较高,因此可以有效移植到红外目标跟踪当中。本文就是基于KCF改进,利用灰度和显著性特征融合,用于空中红外目标跟踪,具有良好的跟踪性能,又能保持KCF实时性优势。

2 多特征融合核相关滤波跟踪

本节提取灰度与显著性特征,并将它们进行融合(简称GS特征,G表示灰度特征,S表示显著性特征),将其用于KCF跟踪。所提算法称为采用GS特征的核相关滤波跟踪算法(KCF_GS),算法流程如图1所示。白色框内为目标区域O,黑色框内为目标扩展区域(跟踪区域)E。

图1 KCF_GS算法流程图

2.1 基本原理

根据文献[10]可以推导得出:

(1)

式中,^表示离散傅里叶变换;k为核函数;λ为控制过拟合的正则化参数;y为已知量,用来标记样本的标签,基样本标记值最大。通过式(1)训练得到α用于检测,取候选目标的特征为z,维度和x相同。推导得出:

(2)

(3)

其中,μ为插值系数,实验中取值0.075。

2.2 特征提取

自然图像的统计特性具有变换不变性:即将图像从原来的空间坐标变换到频率坐标系中,图像在空间中具有的统计特性在频域中仍然保留,这种不变性恰好保证了采用能量谱来刻画自然图像空间相关性的可靠性[12]。在自然图像的统计特性中尺度不变性是最经典也是研究最广泛的特性,这种特性也被称为1/f法则,即自然图像集合的平均傅里叶谱的幅值A(f)服从下式的分布:

E{A(f)就是图像的平均振幅谱}∝1/f

(4)

式中，E{A(f)}表示大量log频谱的平均值;f表示频率,所以大量的log频谱的平均值和频率呈现出反比关系。log频谱是对图像进行傅里叶变换后的振幅谱取自然对数,傅里叶变换中,将信息按照高低频的形式进行统计分布,低频信息主要保存在频谱中,而高频信息则主要保存在相位中。也就是说频谱残差实际保留下来的是少部分的低频信息。而经过log处理之后,原先差异较大的低频信息被映射到很小的一个区间。因此使得频谱残差接近于0,从而恢复出来的基本上是高频信息。空中红外目标背景往往比较平滑,如果有目标会出现亮点,即为高频信息,通过显著性处理就使得目标更加明显突出。谱残差就是log谱和其进行均值滤波后的差,可按下面的式子计算:

R(f)=L(f)-A(f)

(5)

其中,L(f)就是图像的log振幅谱;A(f)就是图像的平均振幅谱,这里将L(f)进行n×n均值滤波得到A(f),R(f)即为普残差,则显著性计算过程如下:

A(f)=R(F[I(x)])

(6)

P(f)=I(F[I(x)])

(7)

L(f)=log(A(f))

(8)

R(f)=L(f)-hn(f)*L(f)

(9)

(10)

其中,I(x)为使图像中1%的数据饱和至最低和最高亮度的对比度增强后图像,对其进行傅里叶变换求出振幅谱为A(f),P(f)是其相位谱,hn是n×n均值滤波卷积核(n=3)。通过式(10)计算得出的结果即为显著性特征S,在此进行一个高斯模糊滤波g(x)使得效果更加明显。

灰度特征提取首先对增强后的图像I进行归一化,然后各像素值减去图像平均值,即为灰度特征G,如下式:

(11)

得到的显著性特征与灰度特征维度相同,将它们按照页的方式拼接即为融合后的GS特征。

2.3 算法步骤

对跟踪区域进行特征提取之前,首先对该区域进行对比度增强,使得图像中1%的数据饱和至最低和最高亮度。结合上述GS特征,所提的KCF_GS跟踪算法基本步骤如下,第一帧目标状态已知。

Step4:根据缩小的倍数还原真实目标位置和大小及原图像大小,t=t+1转至Step2,进入下一帧跟踪。

3 实验效果及分析

本文采用文献[13]中的跟踪性能评估方法,与其他6种算法在7个不同背景环境的红外空中目标视频序列上进行了对比实验,各序列的特点如表1所示。

表1 实验视频序列

本文在Windows7-64bit系统,Core i5 2.5GHz和6GB RAM的配置下,使用MATLAB R2013a进行实验仿真。

3.1 定性分析

不同序列的跟踪结果如图2所示,截取原图像一部分分析跟踪效果。

图2 不同序列跟踪结果

从图2(a)、(b)可以看出所列几种算法都能比较稳定跟踪背景清晰的弱小目标,从图2(c)中可以看出所提的算法能够比较精确锁定旋转目标。而图2(d)中虽然能够基本锁定大目标中心,但较个别算法还是差点,可能是缺乏尺度更新对跟踪精度造成一定影响。图2(e)中对于目标经过简单障碍物后,所提算法还是能够稳定跟踪,而从图2(f)可以看出目标特别小的时候容易受障碍物的干扰,所列的几种算法都不能很好跟踪,目标丢失后无法重新跟上。从图2(g)中可以看出,炮弹击发时刻的目标受到光照影响,干扰过后所提算法还是能够稳定跟踪。

3.2 定量分析

通常取精度曲线上阈值为20像素和成功率曲线上阈值为0.5的值为典型值(分别为Pre-20和Suc-0.5),其7种算法在7个序列的跟踪结果精度和成功率曲线如图3所示,图中的图例按照典型值大小排序,表2为相关性能的比较。

图3 精度和成功曲线

算法精度(Precision)成功率(Success)平均跟踪速度/(f·s-1)KCF＿GS08480639125162KCF＿MTSA0840059257776SAMF＿AT077305492153SRDCF0732036733644SAMF0701037012834SCM068505920124KCF06040409610000

结合图3与表2,可以看出所提的KCF_GS算法无论是在精度、成功率以及跟踪速度上都体现出了足够的优势。KCF_MTSA算法虽然在精度和成功率上也占据优势,但是跟踪速度还达不到本文算法的1/2。而KCF算法在实时性上占据了绝对优势,可是跟踪性能远远不足。另一方面,所提算法的曲线也比较平滑,说明跟踪器比较稳定。

4 结 论

本文提出一种基于灰度和显著性特征融合的核相关滤波算法用于空中红外目标跟踪,特征提取比较简单,加上对数据采用不同等级压缩,使得跟踪速度大大提高,体现出了良好的实时性。实验表明该方法能够适应多种情况下的空中红外目标跟踪,能够稳定跟踪背景清晰下的弱小目标,对遮挡、光照影响、目标旋转也具有一定的适应能力。但是仍存在一定不足,对于目标位置突变情况的跟踪效果不好,缺乏尺度自适应在一定程度上影响精度。另一方面,对于目标跟丢后没有做相应重检处理,导致后续跟踪结果不可靠。

[1] Lei L,Huang Z.Improved motion information-based infrared dim target tracking algorithms[J].Infrared Physics & Technology,2014,67:341-349.

[2] YONG Yang,WANG Shengzhe,WANG Bingxue,et al.Infrared moving target tracking based on sparse feature selection[J].Laser & Infrared,2015,45 (4):446-451.(in Chinese )

雍杨,王升哲,王兵学,等.采用稀疏特征选择的红外运动目标跟踪方法[J].激光与红外,2015,45(4):446-451.

[3] WANG Jun, HE Ziqing,LIU Hongyan,et al.Rapid infrared target extraction based on simplest visual saliency[J].Laser & Infrared,2016,46 (7):880-884.(in Chinese )

王军,何子清,柳红岩,等.基于最简视觉显著性的红外目标快速提取方法[J].激光与红外,2016,46(7):880-884.

[4] JIN Xiaohui, YANG Wei,BAI Xiaofang.A Method using infrared thermal imager to detect and track hidden[J].Infrared Technology,2014,(8):639-643.(in Chinese )

金晓会,杨卫,白晓方.一种用红外热像仪检测与跟踪遮挡目标的方法[J].红外技术,2014,(8):639-643.

[5] Wei Zhong,Huchuan Lu,Ming-Hsuan Yang.Robust object tracking via sparsity-based collaborative model[C]// Computer Vision and Pattern Recognition.IEEE,2012:1838-1845.

[6] Danelljan M, Hager G,Khan F S,et al.Learning Spatially Regularized Correlation Filters for Visual Tracking[C]// IEEE International Conference on Computer Vision.IEEE Computer Society,2015:4310-4318.

[7] Bibi A,Mueller M,Ghanem B.Target Response Adaptation for Correlation Filter Tracking[C]// European Conference on Computer Vision.Springer International Publishing,2016:419-433.

[8] Bibi,Adel Aamer,Ghanem,Bernard.Multi-template Scale-Adaptive Kernelized Correlation Filters[C]// IEEE International Conference on Computer Vision Workshop.IEEE,2015:613-620.

[9] Li Y,Zhu J.A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration[C]// European Conference on Computer Vision.Springer,Cham,2014:254-265.

[10] Henriques J F, Rui C,Martins P,et al.High-Speed Tracking with Kernelized Correlation Filters[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,37(3):583-596.

[11] PAN Zhenfu, ZHU Yongli.Kernelized Correlation Filters Object Tracking Method with Multi-Scale Estimation[J].Laser & Optoelectronics Progress,2016,53 (10):199-205.(in Chinese )

潘振福,朱永利.多尺度估计的核相关滤波器目标跟踪方法[J].激光与光电子学进展,2016,53(10):199-205.

[12] Hou X, Zhang L.Saliency Detection:A Spectral Residual Approach[C]// Computer Vision and Pattern Recognition,2007.CVPR '07.IEEE Conference on.IEEE,2007:1-8.

[13] Wu Y, Lim J,Yang M H.Online Object Tracking:A Benchmark[C]// IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2013:2411-2418.