使用自适应背景约束改进的颜色属性跟踪算法

2018-10-13卞佳丽

电光与控制 2018年10期

胡穹，梅雪，卞佳丽

(南京工业大学电气工程与控制科学学院，南京 211800)

0 引言

目标跟踪是近年来计算机视觉领域一个热门的研究课题，已广泛地应用于智能人机交互、智能监控、社会安保、居家安防、交通控制、工业生产、军事侦测等诸多领域,也得到了越来越多学者和研究人员的关注[1]。尽管近年来涌现出了一大批新颖的算法，但由于在实际测试和应用中存在着复杂背景相似物干扰、局部遮挡、目标姿态变化等诸多因素的干扰，仍然没有一种单一的方法能够成功适应所有场景[2]。文献[3]首次将相关滤波技术应用于目标跟踪领域，该方法将图像卷积操作通过快速傅里叶变换转换成频域中的点乘操作，极大地减少了计算量，保证了算法的高效性，由于该算法有极高的运算效率和较强的拓展性，因而迅速成为目标跟踪领域的热点；文献[4]在此基础上引入脊回归作为分类器，使用循环移位样本近似替代密集采样训练样本，提出循环结构检测(CSK)算法，但该算法由于仅使用单通道的灰度特征，因此跟踪鲁棒性还不够好；文献[5]则在其基础上将单通道的灰度特征拓展为多通道的HOG特征，提高了算法的鲁棒性，但由于算法并未使用颜色特征，因此当目标出现快速移动或者快速形变时，容易发生跟踪漂移；而文献[6]则尝试使用了多通道的颜色属性特征拓展CSK算法，并取得了较好的效果，但对于在局部遮挡、目标快速运动和背景相似物干扰等情形下的鲁棒性仍然不够；文献[7]则在文献[5]的基础上构造了图像金字塔，实现了算法对目标尺度的支持，并使用HOG特征和颜色特征作为组合特征，增强了目标特征的表现力，但由于算法是在7个尺度图像上分别进行检测，且要多次进行复合特征的提取计算，所以运算速度较慢且对尺度支持不够精准；而文献[8-9]则通过在线性核脊回归跟踪算法的基础上额外构造一个尺度空间滤波器实现了算法对多尺度较为精确的估计，但其仅使用单一的HOG特征且用线性核函数代替高斯核函数，故在目标快速运动和发生形变的情况下跟踪效果也不够好。与此同时，相关滤波跟踪的方法为了保持算法的高速运行，其本身的检测区域一般设置较小，并对训练样本进行了加窗操作，故而对背景信息的利用很少，因而对目标快速运动、遮挡、背景相似物干扰等情况容易造成核滤波响应出现多峰的情况，进而影响跟踪效果[10-12]。

针对以上问题，为了在保持算法具有较高跟踪效率的同时，对于目标快速运动、遮挡、背景相似物干扰等情况容易造成核滤波多峰响应进行抑制，本文在颜色属性跟踪(CN)算法[6]的基础上，通过计算响应矩阵上的峰值旁瓣比(PSR)来判断是否出现干扰和干扰峰所在的位置，进而在核化相关滤波器中引入对应的背景约束项来加强分类器对背景信息的学习利用，从而提高算法的鲁棒性。

1 算法原理

1.1 颜色属性跟踪算法

颜色属性跟踪算法是在CSK算法的基础上，将单通道的灰度特征拓展到多通道的颜色属性特征[13-14]，从而增强算法的鲁棒性，并通过使用PCA主成分分析法将原11维颜色特征降维到2维来降低拓展颜色特征对算法速度的影响。该算法所采用的核脊回归分类器，是利用训练样本找到一个使样本X对回归目标y的平方差最小的函数f(z)=wTz，则该最优化问题的解等价于

(1)

w=(XTX+λI)-1XTy。

(2)

根据矩阵求逆引理，可得其对偶解为

w=XT(XXT+λI)-1y。

(3)

将w映射到高维空间用多项式w=∑iαixi[15]来表示，同时引入核方法将内积XXT用核矩阵K代替，则核脊回归的解可化为

α=(K+λI)-1y

(4)

式中，K是由循环移位样本生成的核矩阵，文献[4]证明了K也是循环矩阵，利用循环矩阵的对角化性质，可以求得非线性分类器

(5)

在检测阶段，对于新输入的采样图像片Z，利用非线性分类器α，可得出其分类器响应

(6)

(7)

(8)

1.2 使用自适应背景约束改进

为了保持运算速度，常规的核相关滤波类的算法设置的搜索区域较小，一般是上一帧目标大小的1～2倍。同时,为了提高循环位移样本的真实性，算法会对取到的样本进行加余弦窗操作。以上两点会过滤掉大量分类器本来需要学习的背景信息，导致分类器判别能力下降。而引入背景约束项，使其在核相关滤波器的损失函数中回归到0，增加分类器对目标周围背景块的学习，则可以提高分类器的判别能力。但过多的引入背景约束项会极大减缓跟踪算法的速度，因此通过检测响应矩阵中的峰值旁瓣比(PSR)值来确定是否出现干扰，通过计算极大值和次极大值之间的向量角来确定干扰物出现的背景块。PSR的定义如下

(9)

式中：gmax是响应矩阵中的极大峰值；μs1和σs1是旁瓣的均值和标准差。当PSR满足下式时，则认定出现多峰响应，即

胡穹等：使用自适应背景约束改进的颜色属性跟踪算法

(10)

式中:Pt表示当前帧的响应矩阵的PSR值；Pmean表示PSR的平均值。

出现多峰响应之后，通过极值检测可以在响应矩阵中确定最大峰值的坐标(m0,n0)和次极大峰值的坐标(m1,n1)。然后取以(m1,n1)为中心、大小与检测目标大小相同的背景块作为背景约束块。

之后引入对应的背景约束项，原优化问题最优解式(1)变为

(11)

式中：X0代表原目标样本进行循环位移之后构成的训练样本的循环位移矩阵；XB表示对应背景块经过循环位移之后形成的循环矩阵。

将背景块XB的回归目标定为0，则式(11)可以统一为

(12)

类比之前的推导，可得出问题的解为

(13)

转换到复数域，则

(14)

在检测阶段，对于新输入的采样图像片Z，可得出其分类器响应为

(15)

式中：kz x0表示采样图片Z与目标模型x0的核相关矩阵；kx0x0表示目标模型x0的自相关核矩阵；kxBxB表示对应背景块xB的自相关核矩阵。本文算法选用的核函数是高斯核函数。

根据文献[8-9]，本文方法还额外构造一个一维尺度空间滤波器实现算法对多尺度的支持。

2 本文算法流程

结合以上论述，本文算法步骤如下。

2) 根据式(6)计算待检区域的响应矩阵，同时计算该响应矩阵的PSR值，并确定当前帧中目标的中心位置，然后根据文献[8-9]，以目标中心位置为中心取33个不同尺度大小的待检区域，利用一维尺度空间滤波器确定目标的真实尺度。

4) 跟踪新的跟踪结果和分类器模型，按照式(7)和式(8)对各模型进行线性加权更新，继续跟踪下一帧。

3 实验结果与分析

本文实验所使用的测试视频均来自Visual Tracker Benchmark,所选用的视频有David，carscale，surf，girl1，girl2和dragonbaby等。这些视频包含了目标快速运动、目标较大姿态变化、尺度变化、光照变化、摄像机模糊、目标遮挡、背景相似物干扰等一些具有挑战性的影响因素。大量实验表明，目标模型正则化参数λ1取0.001时跟踪效果最好，背景约束模型正则化参数λ2，学习因子η和ζ在不同测试视频中的最佳值不同。采用的对比算法包括DSST[9]，CN[6]，STC[16]，SAMF[5]，均使用文献作者主页上提供的源码。实验环境是Matlab2016b，实验计算机配置是I7- 6700HQ的CPU，8 GB内存。

3.1 定性分析

图1是各算法的部分实验结果对比，不同算法用不同颜色的实线框表示。图1a是surf视频的部分实验结果。由于原始的CN算法未利用背景信息，故而在第17帧时会因为身体肤色干扰产生多峰响应，导致一定程度的漂移。而STC所使用的是单一的灰度图像特征，对于身体肤色干扰的鲁棒性也不够，从第141帧开始漂移。DSST算法使用单一的HOG特征，在目标发生旋转和快速形变时容易产生响应多峰，造成误差的累积，故而在第376帧跟错目标，而本文算法和SAMF算法则能对目标进行较好的跟踪。图1b的carscale视频主要测试算法对尺度变化目标的跟踪性能。由于STC算法是通过每5帧更新一次权值函数中的方差∂来实现对多尺度的支持，故在目标尺度发生连续性变化时不能产生较好的估计。而SAMF算法则是在7层的图像金字塔上检测平移位置的，因而对于尺度的估计比较粗糙，而原始的CN算法没有对多尺度的支持，仅本文算法和DSST算法能对目标尺度的变化进行较为精确的估计。图1c是David视频的部分实验结果，此视频存在目标尺度变化干扰和人物姿态变化干扰，由于干扰变化不是很大，各算法均能较好地跟踪，但由于跟踪误差的累积，在后面几帧中，CN，STC，SAMF算法对于尺度支持不够好，造成在分类器模型中引入了较多的错误背景信息，导致跟踪有了一定程度的偏移，而本文算法和DSST算法仍然可以进行较好的跟踪。图1d的girl1视频跟踪难度较大，存在着人物姿态的多次变化、小幅度的目标尺度变化和干扰物遮挡。从实验结果可以看出，在第103帧人物转身时，目标特征发生了较大的变化，STC和DSST算法均产生了一定的跟踪误差，而在第252帧目标第二次转身回来，CN算法没有对周围背景块的响应抑制，导致其模型也被污染，产生了一定程度的跟踪漂移，而第439帧的目标局部遮挡则使CN模型完全被污染，彻底跟丢，仅SMAF算法和本文算法对于目标特征改变和局部遮挡有较好的鲁棒性。图1e的girl2视频则存在着人物姿态变化和尺度变化，由于颜色属性特征和HOG特征均能较好地适应目标小幅度的姿态变化，因此DSST，SMAF和本文算法的跟踪效果都比较好，而CN算法在目标变小时学习到了过多错误的背景信息而导致跟丢，STC算法则由于跟踪误差的累积逐步发生漂移。图1f的dragonbaby视频跟踪难度极大，视频中不仅存在目标转身导致的特征变化与尺度变化，还存在着目标快速运动导致的画面模糊和目标平移度过大，以及干扰物的局部遮挡。

图1 5种算法部分实验结果定性对比Fig.1 Qualitative comparison of the experimental results using the five algorithms

从部分实验结果可以看到，当目标转身时，使用HOG特征的DSST算法和单一灰度特征的STC算法都产生了较大的漂移，而随着目标的快速跳开，由于SAMF算法和原始CN算法没有对周围背景信息学习的能力，因此当目标移动至检测区域边缘时，样本余弦窗的遮盖会导致训练的正样本质量大幅下降而产生漂移，因为SAMF算法使用的是复合特征，因此模型受污染程度不大，后续不会产生过大的跟踪漂移，而本文算法因为添加了特定的背景约束项，因此在正样本质量下降时可以通过学习背景信息来抑制周围错误信息，从而达到较高的跟踪精度。

3.2 定量分析

本文采用每秒处理帧数(FPS)衡量算法的跟踪效率(见表1)，采用文献[17]中平均中心位置误差(CLE)(见表2)、距离精度(DP)、重叠精度(OP)(见表3)这3个性能指标来衡量算法的跟踪精度。中心位置误差表示跟踪目标状态矩形框中心和真实目标状态矩形框中心之间的欧氏距离，其值越小，表示算法对目标位置的跟踪越精确。表1～表3中，最优的结果用加粗字体表示，次优的结果用斜体表示。

表1 平均每秒帧数(FPS)

表2 平均中心位置误差(CLE)

表3 平均重叠率

从表2可以看到，由于本文算法在原始的CN算法基础上引入了自适应的背景约束项来提高算法分类器对背景信息的利用，达到了较高的跟踪精度，所以在各测试图像序列中,本文算法的CLE均排在前列，相比原始的CN算法，除去CN算法在girl2中跟丢的结果，总的平均CLE从24.76像素提高到了9.06像素。

3.2.1 算法跟踪效率

每秒处理帧数表示算法每秒所能处理的帧数，其值越大，表示算法的跟踪效率越高。表1为在各测试视频中，本文算法与对比算法的平均每秒处理帧数。基于核相关滤波的算法,其精度、速度与检测区域有较大的关系，因此在不同测试视频中速度表现不一样。在girl2，dragonbaby等目标移动较快的视频中，所取的检测区域面积是目标大小的2倍，其余测试视频检测区域面积是目标大小的1倍，因此速度差异较大。其中，SAMF算法是将HOG特征和CN特征相结合，在7层图像金字塔上进行检测，因此速度最慢，平均速度仅16.89 帧/s。DSST算法使用的31维HOG特征，在特征提取和处理阶段比使用2维的CN颜色特征的算法要慢很多，平均速度只有39.25 帧/s。STC算法利用的是低阶灰度特征，因此相比之下速度很快，平均速度可以达到100多帧/s。原始CN算法利用循环结构构造训练样本，利用PCA将特征降至2维，极大地节省了运算开支，其平均速度达到了140.82 帧/s，是对比算法中最快的。而本文是在CN算法基础上添加了背景约束项，并增加了一维尺度滤波器，因此相比原始的CN算法损失了一半的速度，平均速度有63.85 帧/s，但还是可以很好地满足实时性要求。

3.2.2 算法跟踪精度

距离精度表示CLE小于某一个阈值时的帧数占总测试序列帧数的百分比，图2表示各测试视频中各算法的DP曲线，可以看到，本文算法基本可以包围其他算法的曲线，完全包围原始CN算法的曲线，对于目标位置有较高的跟踪精度。综合考虑算法对目标位置和目标尺度的跟踪精度，还可以用重叠精度来衡量。重叠率可表示为

(16)

式中，ST表示跟踪目标状态矩形框，SR表示真实目标状态矩形框，ST∩SR表示这二者的重叠部分。而重叠精度表示重叠率大于某一个阈值的帧数占测试图像序列总帧数的比率。表3表示各算法在各个测试图像序列的平均重叠率，本文算法的OP均值为69.28%，相比原始CN算法43.68%的OP均值，提升了25.6%，相比次优的SAMF算法的63.83%，提升了5.45%。从图2中各视频的实验结果可以较为直观地比较各算法在各测试图像序列中的OP值。