基于多特征融合的天基面目标长时跟踪算法

丁与非 何红艳 曹世翔 王钰

（北京空间机电研究所，北京 100094）

0 引言

高分辨率视频卫星作为一种新兴的对地观测系统[1]，利用时间敏捷性的特点，对某一区域采用“凝视”[2]的方式进行连续观察，从而实现对目标持续的视频跟踪，获得传统静态遥感图像难以获取的重要信息，在地区实时侦察、空间目标跟踪、民用交通监控[3]等领域有着广阔的应用前景[4]。自2007年以来，国内外已经发射了数颗光学视频卫星，其中具有代表性的包括美国 SKYBOX公司发射的 SkySat-1[5]与SkySat-2卫星、我国发射的“天拓二号”与“吉林一号”卫星，均可获取到25帧/s以上m级分辨率的天基视频，为天基成像领域感知动目标奠定了基础。

面目标跟踪作为计算机视觉研究中最重要、最具挑战性的课题之一，一直在视频监控、人机交互、虚拟现实、自主导航和机器人视觉等领域扮演着重要的角色[6]。目前，主流的面目标跟踪方法包括相关滤波类方法与深度学习类方法[7]。相关滤波类方法运用互相关操作等同于傅里叶域中元素点乘的原理，大幅降低了复杂外观模型带来的计算成本，典型算法包括CSK[8]、KCF[9]、CN[10]等，此类算法能够在保证一定跟踪精度的情况下，实时帧率达到100帧/s以上。而深度学习类方法则通过对大量数据训练卷积神经网络来获得有效的模型，从而大幅提升跟踪精度，获得近六年官方 VOT目标跟踪竞赛冠军的算法均是以此为基础[11-12]。作为面目标跟踪的重要组成部分，天基面目标跟踪的需求日益增加，因此视频卫星数据处理技术具有重要的研究价值[13]。中科院[14]、国防科大[15-16]、武汉大学[17]等国内高校与研究机构均在天基视频遥感面目标跟踪方面开展了深入的研究，其中效果较好的方法主要有两种，即以相关滤波类方法为基础进行特征改进和引入多帧差分法。但到目前为止，没有一种算法可以成功处理天基视频面目标跟踪的所有场景[18-19]。

从硬件方面来说，空间相机处理资源有限，且后背通常没有附加更多的处理部件，造成基础成像品质较差。而目标图像跟踪性能在很大程度上取决于探测器成像能力以及基础图像的预处理能力，这两个因素将直接影响对目标的出现、方位和大小的判读。从图像处理方面来说，卫星视频中的运动对象主要包括汽车、舰船和飞机，这些目标几乎都是由少量亮度相近的像素点组成，内部几乎无纹理和特征可以提取，难以进行特征描述与关联，而天基成像条件（如侧摆成像、薄云薄雾、阳光反射等）更加剧了处理难度。因此，现有跟踪算法不具备相应的适应能力，卫星视频跟踪面临着更大的挑战。

本文从视频动目标观测的实际应用出发，针对天基成像的系统特性及波段的局限性，以核化相关滤波原理为基础，提出一种基于多特征融合的长时面目标跟踪方案，依据试验验证探究出适合遥感视频数据的特征，并引入由跟踪器、学习器和检测器组成的长时相关跟踪框架（Long-term Correlation Tracking，LCT[20]），从而实现高精度稳健跟踪。在高分辨率成像技术迅速发展的趋势下，进一步拓展天基面目标跟踪领域，为后续天基视频遥感器提供服务。

1 天基视频遥感面目标跟踪方案

为不同的相关跟踪器选择合适的特征，并进行多特征融合。同时，将三个具有不同功能的相关滤波器和一个在线学习分类器作为长时框架的组件，实现跟踪、学习、再检测的长时稳定跟踪，从而形成跟踪时间越长、目标特征掌握越全面的信息闭环。本节将从相关滤波原理出发，对上述方案依次进行介绍与分析。

1.1 核化相关滤波跟踪算法基本原理

相关滤波跟踪的核心思想是把“相关”作为衡量两个信号相似值的度量，信号越相似，其相关值就越高。在人工给定初始帧目标方位后，通过训练一个滤波模板把它作用在跟踪目标上时，得到的响应最大值作为目标位置。

假设一维图像数据x=[x1,x2,… ,xn]，xi为每一个图像像素。对其进行一次循环位移操作后的视觉数据为dx,1=[xn,x1,x2, … ,xn-1]，所有循环位移的视觉数据{dx,u|u=0,1,2,… ,n-1}连接成样本矩阵X，即图像数据x的循环矩阵：

根据离散傅里叶变换（DFT）可使所有循环矩阵对角化的性质，样本矩阵X可表示为

式中F为一个不依赖于x的离散傅里叶矩阵；FH为F的Hermite矩阵形式；ˆx表示生成向量的离散傅里叶变换。

相关滤波器的核心是训练线性分类器。由于线性回归具有一个简单的封闭解，因此可以实现诸如支持向量机等更为复杂的方法的性能，同时保证计算成本较低。而循环矩阵的引入可以简化线性回归的求解过程，也进一步降低了计算成本，则训练分类器w的目标函数可由最小二乘与正则项组成：

式中w为线性回归封闭解 (XHX+λI)-1XHy；λ为控制过拟合的正则化参数；yi为回归目标，y表示由所有回归目标构成的集合。

为了能够进一步提升相关滤波类方法的性能而使用非线性回归函数，需对滤波器加入内核技巧（kernel-trick）。因此，在非线性回归的情况下，通过引入核函数使用更强大的分类器，可以极大的增强区分目标和背景的能力。对于最常用的内核函数，循环矩阵定理也适用。引入在傅里叶域中学习的对偶空间系数αˆ，

在本文中采用高斯核作为内核，互相关公式如下：

式中x′为任意一个与x不同的同维数据；κ(x,x′)为x与x′之间欧式距离的单调函数；是x的共轭在傅里叶域的形式；为x′的傅里叶域形式；F-1为离散傅里叶逆变换；σ控制高斯核函数的局部作用范围；⊙为两矩阵对应元素相乘的运算。

相比传统的跟踪方法，该算法的核心计算量为元素点积和离散傅里叶变换，这大大降低了计算成本。训练样本标签y是一个高斯型，它从中心目标值1平滑衰减到其他偏移为0的值。因为0代表负样本，所以需要扩大目标搜索框来包含负样本，从而通过循环矩阵训练分类器以获得更精确的拟合模型。同时，循环矩阵也可以应用于相关滤波跟踪的检测，以加快整个跟踪过程。在下一帧中，以相同图像块z作为基样本计算此帧在傅里叶域中的响应，即预估目标的位置的响应图fˆ(z)，

最终，采用离散傅里叶逆变换，将转换到空间域，其中最大响应峰值作为被跟踪目标的位置。

1.2 特征选取与融合

对于天基应用领域来说，特征描述子是影响算法精度的主要因素之一。针对薄云薄雾、目标缺乏纹理特征、弱对比等因素，同时为保证算法具有有效表达特性、较强鲁棒性和较快计算速度，本文采用梯度直方图和颜色名称特征，对多个通道进行自适应融合以获取算法的增强描述子。目标的亮度、形状、颜色、结构等信息在图像中可以表现出来，使得所设计的算法具有在杂乱背景下区分舰船、车辆等目标的能力。

方向梯度直方图特征[21]（Histogram of Oriented Gradient，HOG）是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。在一幅图像中，梯度或边缘的方向密度分布能够很好地描述局部目标的表象和形状，这就是 HOG特征的内在原理。由于柔性目标具有严重的非刚性，且其颜色与纹理变化多端，颜色纹理特征和形状模板的匹配很难有效描述，HOG特征则能够有效解决这一问题。HOG特征的生成过程见图1。

图1 HOG特征生成过程Fig.1 HOG feature generation process

为了将高维特征融入到相关滤波框架中，根据HOG特征4×9矩阵的结构，使用稀疏表示和特征矩阵的点积处理，并针对原图方向的敏感和不敏感两种情况进行像素级特征映射、归一化与截断、投影并点积处理，最终获得31维的fHOG特征[22]。这样，在实现模型参数更少、检测速度更快的同时，还能保证算法的良好性能。

颜色名称[23]是一种使用了 11个基本颜色术语的模板类特征，具体颜色如图2所示。为了获得具有颜色名称的真实世界图像的大数据集，研究人员对11种颜色名称中的每一种都使用谷歌图像检索了250幅图像，这些图像包含了查询颜色名称的各种各样的外观。谷歌图像训练集种类繁多，能够满足颜色命名方法应用到不同物理设置下拍摄的未经校准图像的要求，因此实现了学习真实图像颜色名称的目标。

图2 从谷歌图像中学习的颜色原型Fig.2 Color prototypes learned from Google images

一般情况下，天基视频的空间分辨率较低时，目标尺寸往往较小，特征不明显，背景通常也模糊杂乱，许多适合在自然场景中跟踪目标的特征很快就会在卫星视频中失效，因此，保证跟踪精度的最有效办法是选择适合于天基成像特性的特征描述符。本文选择梯度直方图和颜色名称特征作为天基视频面目标的特征表述，从而通过多特征融合来增强特征的表述能力。

本算法的特征向量是多维的，因此特征融合需对方程（5）中单通道版本进行扩展。假设X是连接C个通道的单个特征向量（HOG特征有31个通道，CN特征有10个通道），则X=[x1,x2,… ,xC]，其中C为41维。研究中所有内核都是基于点积或参数的范数，所以可以直接对每个通道的单个点积进行求和计算。现使用离散傅里叶变换，对傅里叶域中每个通道的结果求和，获得方程（5）的多通道版本：

1.3 长时相关跟踪框架

本文采用长时相关跟踪策略来解决天基视频目标跟踪容易丢失的问题，该策略框架整体一共包含三个滤波器（位移滤波器 AT、尺度滤波器AS、长期滤波器 AL）和一个在线学习分类器（SVM），将任务分解为位移、尺度估计和再检测。长时相关跟踪框架结构如图3所示。

图3 本文使用的长时跟踪框架Fig.3 The long-term tracking framework used in this paper

通过位移滤波器 AT捕捉目标外观的短期记忆，然后利用上下文信息来进行学习。为了减轻由圆周移动引起的边界不连续性，使用一个二维余弦窗口来对输入特征的每个通道进行加权求和处理，由滤波器的相关响应图推断目标位置Pt。而本文算法采用1.2节中选取的HOG和CN特征，结合1.1节描述的相关滤波器，组成了长时框架中的位移滤波器。

尺度滤波器AS直接使用HOG特征构造以目标位置为中心的目标外观特征金字塔[24]。设L×H为目标尺寸，由不同比例因子α组成的 33个不同尺寸的目标样本（即从尺寸为αL×αH的图像块中提取特征），形成多尺度表示的特征金字塔。与AT位移滤波器不同的是，直接从目标区域提取特征，而不考虑周围的背景，因为它们不提供关于目标尺度变化的信息。为避免不准确的尺度估计导致背景噪声影响位移滤波器，本算法设定在跟踪的第一帧更新尺度滤波器，但在随后的跟踪中不会为每帧框架提供尺度信息。同时，这种设定能够进一步减少计算成本。

相关跟踪模块通过长期滤波器AL与建立在SVM分类器上的重检测模块进行协作。AL输出响应的相关响应图f(z)=F-1(κxˆz⊙A)为二维，以最大响应RL=m ax(fAL(z))作为置信度的评分。为了捕获目标外观的长期记忆，确定跟踪失败是否发生，算法设置了一个稳定阈值TS，只有在被跟踪目标z的置信分数maxf(z)超过稳定阈值的情况下，才激活再检测模块。

再检测模块使用密集的训练样本逐步训练 SVM 分类器。给定训练集其中vi为第i个样本生成的特征向量，ci∈｛+1 ,-1 ｝为类标签。求解SVM检测器超平面h的目标函数为

采用被动攻击算法（Passive-Aggressive Alogrithm）来有效地更新超平面参数。与长时滤波器相似，只有当置信分数RL高于阈值TS时，才使用式（9）更新分类器参数。

式中 ∇hl（h;（v,c））是用h表示的损失函数的梯度；τ∈ （0,+∞ ），是控制h更新速率的超参数。

不论是否激活再检测模块，滤波器都会更新目标样本的外观模型。根据第t帧所学习的外观模型与第t帧之前的模型信息，引入学习率参数加权求和获得当前帧的外观模型。由模型自适应和位移、尺度滤波器组成的短时跟踪器来保证模型的稳定性。更新方式为

式中η为学习率，η∈ ( 0,1)；Xt，at分别为第t帧更新前的位移滤波器和尺度滤波器的外观模型；，分别为第t帧更新后的位移滤波器和尺度滤波器的外观模型；，分别为第t-1帧更新后的位移滤波器和尺度滤波器的外观模型。

2 试验分析

2.1 测试数据集与指标选取

利用上述方法，从SkySat-1、“欧比特”卫星的4个视频中（分辨率为m级、帧率为20帧/s以上）选取6个目标分别进行跟踪测试对比，视频详情如表1所示。测试数据场景主要包括了目标的非匀速运动、平面内旋转、光照变化、相似临近目标和背景干扰等扰动因素。同时，为了能够更准确地测试算法在多干扰因素下的性能表现，考虑到天基视频存在光照强度不稳定、多遮挡、相机抖动等情况，本文选取了OTB100近景数据集[25]中体现天基遥感视频成像特性的16个视频（见表2）作为补充数据进行试验。

表1 卫星视频数据详情Tab.1 Details of the satellite video data

表2 OTB近景数据集视频与干扰属性Tab.2 Video and interference properties of OTB close-range dataset

天基视频数据没有专业的检测标记真值框，无法进行精度测试。针对此种情况，本文采用全程目视对比目标跟踪情况的办法。而近景视频由于有专业的人工标注，则采用精度和成功率两项指标进行定量分析。

精度（Precision plot）显示了估计的目标位置在距离地面真值一定阈值距离内的帧的百分比。规定阈值为20，绘制曲线中这一点的精度（跟踪器与地面真值之间的距离小于20像素的帧的百分比）。这个阈值大致相当于跟踪器边界框和地面真实值之间至少有50%的重叠。

成功率（Success plot）是为了测量一系列帧的性能，通过计算重叠S大于给定阈值t0的成功帧的数量，以显示在阈值从0到1之间成功帧的比率。计算公式为：

式中rt为跟踪边界框；ra为地面真值边界框。

2.2 结果分析

为进一步探究算法各组件发挥的作用，本文从特征选取、尺度变化、再检测三个方面，选择了包括本文方法在内的 5种现有较为先进的典型跟踪算法，通过测试来比较在天基情况下各种算法的优劣。5种算法分别为：本文提出的多特征融合长时跟踪（SF-LT）法、自适应颜色属性实时跟踪（CN）法、高斯核化相关滤波跟踪（KCF）法、长时相关跟踪（LCT）法和特征融合尺度适应相关滤波跟踪（SAMF）法[26]。以上算法的试验环境为：Intel i7-9750H 2.60GHz CPU，16GB内存，Matlab R2018a。

首先，针对 6个视频卫星数据对算法进行试验。图4分别显示了不同天基视频数据的目标跟踪结果，从图中可以看出，本文算法均能较好地跟踪目标，跟踪框也保持了目标的尺度大小，未受到天基成像扰动的影响。

图4 天基视频跟踪结果Fig.4 Space-based video tracking results

在SkySat迪拜城区视频中，目标尺寸最为接近点目标。该目标几乎无纹理且难以提取特征，SAMF、LCT、KCF从给定视频初始帧后就没能跟上目标，而CN则跟上了相似的错误目标。因此，单特征算法特别是颜色特征是无法适应天基视频的跟踪环境。本文提出的SF-LT算法选择了适合天基视频属性的特征并进行融合，基本上能够全程跟踪上。在土耳其西部矿区的采矿作业视频中，出现了背景与目标相似的干扰因素，本文算法从660帧开始出现目标丢失到再检测找回共21次，最终能够稳定跟踪目标，而其他算法从目标第一次跟丢开始就偏离目标直至视频结束。由此可以看出，在算法跟丢目标后，因为引入长时跟踪策略，由相关滤波的最大响应值作为置信度能够判断算法已丢失目标，通过调用检测模块进行再检测以寻找目标，这对天基目标跟踪的稳定性起到了重要的作用。此外，在SkySat拉斯维加斯视频中，从28到132帧这一段，目标车辆附近出现相似车辆，因为跟踪框背景部分出现非道路样本，LCT和CN算法先后由于特征提取出现偏差而跟丢目标。随后，从746帧开始，因边界效应的缘故，KCF和SAMF算法也相继失去目标。这主要是因为这4种算法更新频率过高，不可避免地会将每一帧无关的背景负样本带入算法的训练集中，导致跟踪器训练的目标外观模型逐渐失真，从而使跟踪失败。但是，本文算法抑制了更新的频率，有效地缓解了背景干扰因素过多的问题。最后，在4个视频里最具挑战的“欧比特”天基视频中，本文算法依然保证了跟踪的精度与稳定性，该视频分辨率高、目标相对清晰度低、背景杂乱，但本文算法仍实现了全程稳健跟踪，这证明了特征的选取与长时框架的融合在天基视频跟踪中具有明显的优势。

其次，使用所选算法在OTB数据中挑选的16个与天基干扰因素相似的视频进行测试。针对平面外旋转、目标形变、光照变化、遮挡和低分辨率这5种常出现在天基视频中的干扰，图5给出的算法精度与成功率证明，本文提出的SF-LT方法与现有较为先进的相关滤波类算法SAMF的跟踪结果虽然互有胜负，但在跟踪过程中丢失目标的情况下具有再检测找回的功能，因此成功率更高。同时保证了所有视频序列的跟踪实时性，帧率相比SAMF高出了46.8%。

图5 五个算法在OTB数据中的平均精度与成功率Fig.5 The average precision and success rate plots of five algorithms in OTB data sets

表3总结的测试算法差异与OTB数据集测试结果通过精度、成功率、帧率的量化方式验证了天基视频试验跟踪方法的有效性。同时，由天基视频和近似于天基视频特征的OTB近景视频可进一步得出以下结论：1）特征的选取决定了算法的主要性能表现，而梯度直方图与颜色名称作为天基特征描述子是目前较好的选择；2）在以相关滤波为理论基础的跟踪算法中背景负样本引起的边界效应会影响跟踪精度，而天基视频因背景杂乱受到的影响更大。所以，有必要为算法添加尺度估计机制；3）引入长时跟踪框架可以缓解目标跟踪丢失的问题，同时采取一种更为保守的更新方案能缓解尺度滤波器带来的误差积累对位移滤波器和长时滤波器产生的不利影响，从而提高跟踪精度。

表3 各跟踪器差异与OTB数据集测试结果Tab.3 Difference of all the trackers and the results of OTB data sets

总的来说，针对复杂多变的天基视频目标，基于HOG和CN特征相融合的长时跟踪策略能够满足在轨跟踪的需求，在实时性和有效性上取得了较好的平衡。

3 结束语

本文以研究相关滤波类跟踪方法为基础，针对传统算法在天基遥感视频中适应性差的问题，从特征提取与跟踪框架两个方面入手，选择梯度直方图与颜色名称进行多特征融合，同时为保证天基视频跟踪的抗干扰能力而引入长时跟踪框架，为跟踪器提供再检测的功能。通过6组天基视频和OTB100数据对该方法的有效性进行验证，结果表明，其综合性能明显优于现有相关跟踪方法。这证明了天基视频跟踪中特征选取的重要性与长时跟踪策略引入的必要性，以及在遥感视频跟踪领域应用相关滤波类方法的可行性，对进一步开发遥感视频卫星技术具有重要意义。

但此方法也有需要改进的方面，主要包括：多特征的融合会导致计算复杂度的大幅增加，如何选择特征中的主要维度，需通过引入降维技术保证算法的实时性；另外，针对天基视频目标尺寸小、运动轨迹平滑等特点，未来需对更多适合于此特点的特征描述子进一步研究，从而完善算法特征的选取。