多特征融合的相关滤波红外单目标跟踪算法

宋建锋，苗启广，申 猛，权义宁，陈毓生

(1.西安电子科技大学 计算机科学与技术学院，陕西 西安 710071；2.中国人民解放军96963部队 北京 100000)

红外成像设备可以在弱光照条件下成像，相对于可见光成像拥有更好的适用性。因此，红外成像在夜间监控、抢险和救援等领域应用广泛[1]，而在这些应用领域，目标跟踪发挥着不可或缺的作用。与可见光目标跟踪相比，红外目标跟踪可以在弱光条件下应用，同时其受光照变化影响较小。但是，红外图像中物体没有颜色信息，因此跟踪算法无法利用颜色信息判断目标，而且红外图像通常空间信息较少，这导致难以提取到可辨识的特征进行跟踪[2]。

目标跟踪方法主要有基于点的跟踪方法和基于外观的跟踪方法。基于点的跟踪方法将目标看成一个点，卡尔曼滤波方法即是一种典型的基于点的跟踪方法；基于外观的跟踪方法，提取目标的外观，用于寻找目标，主要使用模板匹配方法，常用方法有支持向量机跟踪算法和相关滤波跟踪算法等。文献[3]提出最小平方和误差 (Minimum Output Sum of Squared Error , MOSSE)算法，将相关滤波方法引入目标跟踪领域。文献[4]提出的核化循环结构检测跟踪 (Circulant Structure of tracking-by-detection with Kernels, CSK)算法，在 MOSSE 算法的基础上，加入了正则化项，防止滤波器过拟合，使用了核函数，并且引入了循环矩阵来进行稠密采样。文献[5]在CSK算法的基础上，引入了颜色特征。文献[6]在CSK算法的基础上，引入方向梯度直方图(Histogram of Oriented Gradient, HOG)特征，提出了核相关滤波 (Kernelized Correlation Filter, KCF)算法。这些特征的加入，能提取到更多的信息，有效提高了相关滤波跟踪器的跟踪准确率。近年来，卷积神经网络在计算机视觉诸多领域取得了巨大成功，文献[7]提出了多层卷积特征(Hierarchical Convolutional Features, HCF)算法。该算法使用多层卷积特征分别训练相关滤波模型，然后对响应图进行加权融合，取得了较好的跟踪效果。文献[8]使用多个卷积层进行相关滤波，对多个响应图进行融合，用于红外跟踪，该算法在视觉目标跟踪 (Visual Object Tracking , VOT)红外数据集上取得了很好的成绩。文献 [9] 针对视觉跟踪中目标表观变化、尺度及旋转变化问题，提出了基于快速傅里叶变换的双层搜索目标跟踪算法, 对表观变化、尺度及旋转变化具有较强的鲁棒性，而且跟踪实时性较好。文献 [10] 提出一种基于响应图和熵函数来评估各卷积神经网络层跟踪性能的方法，较大提升了跟踪准确率。文献[11]改进了多层卷积特征算法中各个卷积层融合策略，提出了HCFTstar 算法, 进一步提高了跟踪准确度。

针对红外单目标跟踪问题，笔者以相关滤波跟踪算法作为基础框架，使用卷积神经网络的卷积层来提取特征，并使用差分图像和形态学操作来提取目标的运动信息，将该运动信息作为一种特征，动态融合不同特征层相关滤波响应图，结合不同特征的优势，以获得更好的跟踪准确率。

1 多特征融合的相关滤波算法

1.1 相关滤波算法

对于样本集X的每一个元素Xi，设定一个期望输出yi，需要找到一个w，使得f(w)=wTXi逼近yi，使用最小二乘法求w:

(1)

其中，λ是正则化参数，防止过拟合。式 (1)中, ‖Xw-y‖2+λ‖w‖2对w求导，并令导数为零，得到

w=(XTX+λI)-1XTy。

(2)

由于使用循环采样构建样本集X，由循环矩阵的性质，利用傅里叶变换矩阵进行对角化，有

(3)

(4)

其中，⊙ 表示矩阵对应元素相乘,x*表示x的共轭矩阵。

在样本集中，中心处为基础样本，四周是由基础样本循环移位得到的移位样本，因此期望输出y的中心值最大，向四周递减。在实际使用中，期望输出y通常使用一个高斯分布。在跟踪过程中，输入第1帧图像和目标位置信息，获取基础样本，使用式 (4)初始化模型，在后续帧中，输入样本z，则可求得响应图R(Z)为

(5)

得到了响应图，即可求得新的一帧目标的位置，然后使用得到位置的目标样本更新模型。

1.2 卷积特征

VGG是由牛津大学的视觉几何组(Visual Geometry Group)提出的一种卷积网络模型[12]，其在图像识别领域取得了巨大成功。笔者使用 VGG 16 网络第1组到第5组的最后一个卷积层提取特征，作为相关滤波跟踪器的特征，对比不同卷积层特征的跟踪效果，这5个特征层分别为第1组第2层(命名为C12)，第2组第2层(C22)，第3组第3层(C33)，第4组第3层(C43)，第5组第3层(C53)。笔者使用林雪平热红外数据集(the Linköping Thermal InfraRed dataset, LTIR)[13]，该数据集由瑞典林雪平大学计算机视觉实验室制作，主要用于单目标的短时红外目标跟踪方法的评价。该数据集包含 20 个红外视频序列，目标主要包含人、动物、车辆和四轴飞行器，序列平均长度为 563 帧。图 1 是各个卷积层在 LTIR 数据集上的实验结果，使用Object Tracking Benchmark (OTB)[14]提出的精确度和成功率两个评价指标对跟踪器进行评测。可以看出，C33 卷积层精确度和成功率得分均较高，因此选择第3组第3层卷积层作为卷积特征提取层进行跟踪。

图1 不同卷积层特征实验结果

1.3 差分图像

基于卷积特征的相关滤波跟踪算法，当红外图像序列中目标和背景灰度相差较小时，容易出现跟踪失败的情况。卷积特征提取的是目标的空间域的信息，而在目标跟踪任务中，前后帧是相关联的，目标随着时间变化的信息也很重要，通过提取目标的运动信息，可以有效利用目标的时间域信息。很多方法可以从图像序列中提取运动信息，比如光流法、帧差法和背景减除法等。帧差法计算复杂度低，利于实时处理；帧差法对图像序列的连续两帧图像做差分运算(即两幅图像中对应像素点的差值)，得到运动目标的轮廓，然后使用形态学操作去除噪点并使目标连通。图2 中是使用帧差法得到的差分图像。

使用差分图像特征的跟踪器，在一些序列上跟踪准确率高于卷积特征的跟踪器，但是总体准确率低于卷积特征跟踪器，差分图像特征和C33卷积特征的跟踪器精确度和成功率曲线如图 3 所示。

图2 连续两帧和它们的差分图像

图3 差分图像特征和C33卷积层特征跟踪对比结果

1.4 特征融合

卷积特征跟踪器在多数序列中表现良好，而差分图像跟踪器在某些目标和背景较难辨别的序列中表现较好。结合二者的优势，通过分别训练不同特征的相关滤波模型，使用一定的权重系数融合不同模型得到的响应图来融合不同的特征，最终响应图R的表达式为

(6)

其中，Rn代表各个特征的响应图，dn是各层的系数。

固定权重融合特征的跟踪器，无法充分发挥两种特征的优势，若要最大程度发挥两种特征的优势，需要根据不同的情况，调整权重系数，使对跟踪贡献大的特征响应图的权重高，通过为权重系数dn设置不同的值来实现动态融合。MOSSE 算法中使用峰值旁瓣比(Peak to sidelobe ratio，P)检测跟踪失败，P可表示为

(7)

其中，gmax表示响应图最大值，σsl表示旁瓣的平均值，μsl表示旁瓣的标准差。

峰值旁瓣比可以用于表征峰值区域是目标的置信度，因此，可以使用峰值旁瓣比作为各个特征的权重依据，最终响应图R的计算公式可表示为

(8)

其中，fn为一个预设权重，max(Rn)表示第n个特征响应值的最大值。

2 实验及结果分析

2.1 多特征融合跟踪实验

因为卷积特征总体上表现较好，因此预设权重较大。通过实验选择卷积特征和差分图像特征的预设权重为1.1∶1 ，使用式 (8)进行多特征融合。图4 是使用卷积特征和差分图像特征融合的跟踪器(Muti-feature fusion Correlation Filter,MCF)和单独使用两种特征的跟踪器的跟踪对比。融合特征的跟踪器精确度和成功率分别为 0.756 和 0.539，C33卷积特征跟踪器的精确度和成功率分别为 0.652 和 0.498，差分图像特征的跟踪器的精确度和成功率分别为 0.437 和 0.342。从整体上看，融合特征的跟踪器与单独使用卷积特征的跟踪器相比，精确度提升了约 16%，成功率提升了约 8% 。

图4 融合特征和C33卷积层特征及差分图像特征跟踪对比结果

2.2 与经典跟踪器对比实验

在 LTIR 红外数据集上，使用文中的算法和其他跟踪算法进行了实验对比。文中选取了 KCF[6]、DSST[15]、CSK[16]和SiamFC[17]4种跟踪算法进行对比。实验对比了跟踪器的精确度、成功率和算法运行效率。

图 5 为对比实验的精确度图和成功率图，其中加入了单独使用C33 卷积特征的跟踪器进行对比。从图中可以看出，文中提出的多特征融合算法 MCF的精确度和成功率都超过对比跟踪器的精确度和成功率。

图5 文中算法与其他跟踪器的精确度和成功率对比结果

表 1 是各跟踪器精确度、成功率和运行速度的对比，速度单位是帧每秒。笔者提出的MCF算法与同类算法中最好的KCF算法相比，精确度提高了12%，成功率提高了6.4%。CSK 算法由于使用了循环采样，并且直接使用原始灰度图，没有特征提取的过程，因此运算速度远高于其他算法，但是其跟踪准确率较低。

表1 各跟踪器得分和速度

3 结束语

笔者提出了一种多特征融合的相关滤波红外单目标跟踪算法，通过多种特征的动态融合，能够有效发挥各个特征的优势，提高红外目标跟踪的准确率。实验表明，笔者提出的算法在林雪平热红外数据集上的跟踪的精确度和成功率比KCF算法的分别高12%和6.4% ，尤其是在一些目标和背景难以区分的序列中，跟踪准确率提升较大。