结合PLS表示与随机梯度的目标优化跟踪

金广智　石林锁　刘　浩　牟伟杰　蔡艳平（火箭军工程大学五系西安710025）



结合PLS表示与随机梯度的目标优化跟踪

金广智*石林锁刘浩牟伟杰蔡艳平
（火箭军工程大学五系西安710025）

针对实际视觉跟踪中目标表观与前背景的非线性变化，论文提出一种基于偏最小二乘分析（PLS）表示与随机梯度的目标优化跟踪方法。该方法将目标跟踪转化为表示误差与分类损失的联合优化问题。首先，为了提高算法对前背景表观变化的稳定性，利用PLS理论的非线性对目标区域的前背景信息进行表达，并通过空间聚类构造多个线性外观模型来描述目标区域的动态变化，建立带约束条件的表观特征库；然后，提出一种确定性搜索机制，构造联合优化目标函数，使表示误差与分类损失最小化；结合表观建模特点，构建随机梯度分类器，对模型进行增量特征更新，最终实现对目标的稳定准确跟踪。经多场景对比实验验证，该算法能有效应对目标前背景的多种复杂变化。

目标跟踪；偏最小二乘；表观模型；随机梯度；联合优化

1　引言

视觉目标跟踪是计算机视觉领域的一项重要研究方向，目的是将目标从背景中准确分离出来，实质是目标的连续检测与识别。然而由于实际跟踪场景中，目标表观与背景往往会出现各种不规律的变化，如光照突变、频繁遮挡，目标旋转、相机运动、背景突变等均对跟踪算法带来了较大挑战。因此如何克服这些挑战，有效提高跟踪算法的鲁棒性与准确性成为目前研究的热点与难点［1］。

为了有效应对目标和背景表观在跟踪过程中的不断变化，构建一个有效的目标表观模型是关键，当前最为有效的方式之一是通过在线学习建立目标表观模型［2，3］。文献［4］结合经验模态分解（EMD）方法与在线学习建立目标表观模型，通过在线概率模型对其进行跟踪，表现出了较好的跟踪性能。文献［5］通过稀疏编码方法对目标表观模型进行在线学习更新，获得了具有较高区分度与稳定性的表观特征，证明了在线学习目标表观模型的优势。文献［6］方法使用线性子空间表示目标时刻的所有观测数据，可以实现特征降维，有效解决小样本学习问题，但长时间目标跟踪序列往往是非线性的，容易造成误差累积。文献［7］通过半监督学习与在线提升提取出了目标的有效特征，并结合先验知识学习在线分类器，可将目标从背景中有效分离出来（SST）。文献［8］提出了多事例学习的在线跟踪算法（M ILT），通过一系列的图像子块对表观模型进行更新，参数少易于执行，可运行在实时跟踪场景。文献［9］提出了一种结合二值分类优化与结构化约束的跟踪学习检测（TLD）算法，通过正负样本的约束与观测数据的标签化，引出了一种准确的目标检测器，可较好地应用于目标跟踪场景。文献［10，11］将机器学习算法引入目标跟踪，将其视为二值分类判别问题，可将目标与背景有效分离。

针对上述问题，本文将目标跟踪看作二值分类问题，提出了一种基于偏最小二乘（PLS）特征表示与分类联合优化的目标跟踪算法。该方法通过PLS非线性理论下带约束条件的过完备表观特征库、目标表示误差与分类损失的联合优化、随机梯度分类器（Stochastic Gradient Classifier，SGC）下的增量特征更新，最终实现对复杂场景下视觉运动目标的稳定跟踪。

图1　表观特征库正负样本的选取

2　基于PLS表示与随机梯度的目标优化跟踪

2.1引入PLS非线性理论建立表观特征库

目标跟踪领域建立在线学习表观模型有两大方向：一是利用主成分分析（PCA）或其改进学习目标自身表观，PCA分析的目的是求取能够保留样本数据最大变异信息的特征子空间，需要对高维空间进行穷举搜索，效率较低，且学习过程中不能保留样本类别信息，因此只能用于降维；二是利用Fisher线性判别分析（FLD）学习目标与背景的分类器模型，FLD分析的目的是保证样本数据向子空间投影时类间散度最大而类内散度最小，即能保证较好的区分目标前景与背景两类训练样本，但对于二值分类的目标跟踪，FLD只能学习1维子空间，除非目标跟踪被看作多值分类（如目标一类、背景多类）。而偏最小二乘分析（PLS）是由PCA演变来的一种非线性描述方式［12］，可以根据需求选择不同的特征空间维度，并保留样本的类别信息。因此，本文考虑将目标与背景的观测样本和其类别标签分别看作两类变量，如图1所示，并将PLS非线性理论引入来增强观测样本和类别标签的联系，进而提高算法对前背景的鉴别能力。

对应PLS分析理论，本文目标跟踪中的变量集合分别设定为对象特征向量与类别标签两类，如图1所示，并用ix来描述对象的特征空间，使用iy来描述对象的类别标签。首先，对首帧图像进行目标状态标定，可以提取出正样本图像1X，获得目标初始状态参数。令为正负样本集合，为类别标签集合，正负样本数量分别为m与n。为了消除样本均值对模型学习的影响，利用样本均值x与y数据集合进行中心化得到因此引入PLS理论后，可得到式（2）。

其中，T与U分别为训练样本在相应特征子空间上的投影，P与Q为特征子空间的基向量，E与f为观测数据在特征子空间上的残差。由于仅含一个变量，属于类别标签集合，易知故仅需求解表示目标观测数据的样本空间X的值。令该子空间的权重向量集合表示为其中T，其他权重一般依次递减，可通过式（3）换算：

权重向量iw的值反映了对应特征向量对目标与背景的鉴别能力，为了验证其有效性，提取首帧原始图的灰度值作为特征，学习维度为8的特征子空间，对应的PLS分析显著图如图2所示。显著图历经红、橙、黄、蓝等颜色，代表显著性由高到低，可看出红色点主要集中于目标轮廓内部，蓝色点多出现来目标区域外部，说明即使未通过精确的目标分割，通过PLS分析也可给红色区域赋予较高权重，相应的蓝色区域赋予较低权重。

图2　 PLS分析显著图

2.2子空间聚类的时间序列模型

为了使表观模型更好地适应非线性变化场景，采用多个线性子空间对目标区域进行表观建模。目标表观在一定时间内的观测数据对应的特征空间大都可聚类成K个子集［13］，而目标表观在同一子集内部变化往往很小，子空间模型为故某时间序列上的表观变化可通过多个子空间模型来描述，显然此种表示方式更适合于描述目标长时间段的表观变化。

2.3表示误差与分类损失的联合优化跟踪

目标跟踪问题在本文中被定义为表示误差与分类损失的最小化问题，结合表观建模特点，联合优化目标函数J可表示为［14］

其中s，b是前背景分类器的决定性参数，即SGC分类器的参数。J通过与s，b建立联系。通过参数1β，2β的引入，来有效平衡表示误差与聚类的损失。同时为保证的有效性，参数β2值一般明显小于β1。J值越小，即表示误差与分类损失愈小，待测样本属于前景的概率愈大，通过目标函数的有效最小化，对目标运动状态进行有效估计（p定义为目标运动状态参数），问题即转化为对目标函数的优化求解。因此，提出一种确定性优化机制，通过交替迭代p与如式（5），式（6），至优化函数J收敛或达到迭代次数上限。

2.4基于随机梯度分类器的模型增量特征更新

为了进一步区分目标与背景，以更好适应目标表观与背景的非线性变化，本文提出基于随机梯度分类器［15］（Stochastic Gradient Classifier，SGC）的模型增量特征更新方法。采集一定数目正负样本图像后，利用滑动窗口来采集样本图像的局部灰度特征，即使用2.2节的方法对该特征进行聚类得到D，然后对D其进行初始化得到其中I为单位矩阵，I与-I表示平衡模板集合，用来表示视觉跟踪中含有图像噪声、局部遮挡的特征集合。分类器的初始化，通过式（2）中的等式对目标局部特征进行稀疏编码，得到并将编码结果整体表示为训练样本表示形式即转化为分类器目标函数如式（9），初始化可通过对其最小化来实现，其中，代表的仍是类别标签，

假定t时刻观测到一定数量的新增样本数据，可利用新增样本数据对分类器通过随机梯度的方法进行迭代更新，其中，使用第k个样本对分类器进行迭代更新的方式如式（10）：

其中，λ为更新步长，（）*k h s表示（）* E s对第k个新增样本数据的一阶梯度，可通过式（11）得出：

通过对新增样本数据进行随机排列，并使用全部新增数据利用式（10）依次更新随机梯度分类器，直到获得式（9）的最小值或达到更新迭代次数最大值，可获得更新后的分类器参数*s。由于模型频繁更新会耗费大量运算资源，故考虑设置跟踪置信度e，仅在其满足一定条件时才对SGC分类器模型进行更新。该环节为了准确获得目标前背景的动态变化，模型更新时只利用当前时刻的正负观测样本以增加新增变异数据的权重，同时一定程度上避免了观测噪声被误用于模型更新的风险，因此对运算内存需求较小，适用于不同场景的目标跟踪。

2.5算法实现步骤

由于基于PLS的建模方法不但可以实现特征降维，还可从原始特征集中提取出更适用于区分目标与背景的特征子集；同时利用多个子空间来描述目标外观的非线性变化，使其更适用于目标变化频繁的跟踪场景；并将问题转化为表示与分类的联合优化问题，有助于解决跟踪漂移与提高目标跟踪的精度。算法的实现步骤如表1所示。

表1　算法实现步骤

表2　 4段对比测试视频

3　实验与分析

3.1评价指标与测试视频

运动目标跟踪算法评估指标中平均跟踪误差（ATE）与帧均处理耗时（FPT）是两个非常具有代表性的指标，表示的分别是算法的跟踪精度与实时性。平均跟踪误差由ATEX与ATEY两个指标共同决定，ATEX表示的是X方向的跟踪误差，ATEY表示的是Y方向的跟踪误差；令N表示测试视频的总帧数，T表示跟踪算法的处理时间，则ATE与FPT为

测试视频从目标跟踪常用数据集Tracker Benchm ark v1.0［16］中选择，选定的视频序列分别是Car4，FaceOcc1，CarScale，MotorRolling。测试视频的数据指标及所代表的测试场景如表2所示。

3.2对比实验与定量分析

为了更好的测试提出算法的有效性，对表1中包含多种目标与背景变化场景的测试视频进行了测试，同时有针对性的选取了3种鉴别式跟踪算法进行对比：基于半监督学习的在线提升跟踪算法（SST）、基于多事例学习的在线跟踪算法（M ILT）、结合二值分类优化与结构约束的跟踪学习检测算法（TLD）。为进一步增强对比针对性，均选取灰度特征对目标表观进行建模，测试视频包含了运动模糊、光线变化、目标旋转、频繁遮挡及尺度变化等多种类型场景。

图3为本文算法与对比算法在多种场景下的对比实验结果。在图3（a）Car4场景下，第188帧目标进入桥洞时，光线突然变暗，对比算法均出现了不同程度的跟踪漂移；第203帧目标进入桥洞场景稳定后，除TLD算法外，其他算法又找回了目标，从整体可看出仅有本文方法做到了对目标快速较准确的跟踪。图3（b）FaceOcc1场景，目标虽然存在频繁局部遮挡、自身旋转及表观的部分变化，但本文算法相较于对比算法仍做到了更准确的跟踪，并未受明显影响，也印证了基于PLS非线性理论建模的优势。图3（c）CarScale场景，目标在快速行进中遇到了局部遮挡，自身亦出现了明显的尺度变化，可看出本文方法的跟踪效果并未受遮挡影响，且能较有效地适应目标的尺度变化，优于对比算法。图3（d）MotorRolling场景，目标车手快速运动出现旋转与运动模糊及尺度变化现象，TLD与本文方法均跟踪到了运动目标，但本文算法更准确地捕捉到了目标的及时变化，SST与M ILT跟踪算法均出现了跟踪漂移现象。

图3　多种表观变化场景实验对比

在验证本文算法的有效性后，需对其做定量评估，通过数据来对目标跟踪进行说明，以进一步验证本文算法的优势。如表3所示，可看出本文算法在ATE和APT两个指标上，同对比算法相比有着较显著的优势，由于选取的测试视频均存在多种复杂场景，更容易测试出本文算法在复杂场景下的适应能力，平均跟踪误差保持在10个像素以内，较其他算法跟踪精度有明显优势，印证了基于表示与分类联合优化跟踪的有效性；同时保持了较高的跟踪实时性，证明了基于随机梯度分类器的模型更新对提高跟踪效率的优势。

4　结束语

本文针对视频跟踪过程中目标表观与背景变化的复杂性，提出了一种基于PLS特征表示与随机梯度的目标优化跟踪算法。该算法为了提高对目标前背景复杂变化的适应能力，将PLS非线性理论成功引入到了目标跟踪；将目标特征表示与前背景分类转化为联合优化问题，有效提高了跟踪精度与降低了跟踪漂移的风险；通过随机梯度分类器的模型增量特征更新方式，对保证目标跟踪实时性提供了可靠保证。实验表明，该算法对多种前背景非平稳变化场景均取得了良好的跟踪效果。

表3　算法定量评估对比

［1］YANG H，SHAO L，ZHENG F，et al.Recent advances and trends in visual tracking:A review［J］.Neurocomputing，2011，74（18）:3823-3831.

［2］ROSS D，LIM J，LIN R S，et al.Incremental learning for robust visual tracking［J］.International Journal of Computer Vision，2008，77（3）:125-141.

［3］ZHANG L and VANDER M ATTEN L J P.Preserving structure in model-free tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（4）: 756-769.

［4］ORON S，BAR-HILLEL A，LEVID，et al.Locally orderless tracking［C］.2012 IEEE Conference on Com puter Vision and Pattern Recognition，Rhode Island，2012:1940-1947.

［5］ZHANG S，YAO H，ZHOU H，et al.Robust visual tracking based on online learning sparse representation［J］. Neurocom puting，2013，100（1）:31-40.

［6］POLING B，LEMAN G，and SZLAM A.Better feature tracking through linear subspace constraints［C］.2014 IEEE Conference on Com puter Vision and Pattern Recognition（CVPR），Colum bus，Ohio，2014:3454-3461.

［7］GRABNER H，LEISTNER C，and BISCHOF H.Sem isupervised on-line boosting for robust tracking［C］.European Conference on Com puter Vision，Crete Greece，2010: 234-247.

［8］BABENKO B，YANG M H，and BELONGIE S.Visual tracking w ith online multip le instance learning［C］.IEEE Conference on Computer V ision and Pattern Recogn ition，Colorado，2011:983-990.

［9］KALAL Z，MATASJ，and M IKOLAJCZYK K.P-N learning: Bootstrapping binary classifiers by structural constraints［C］. IEEE Conference on Com puter V ision and Pattern Recognition，California，2010:49-56.

［10］WANG Qing，CHEN Feng，XU Wen li，et al.On line discrim inative ob ject tracking w ith local sparse representation［J］.IEEE W orkshop on the Applications of Com puter V ision，2012，12（4）:425-432.

［11］CHEN Feng，WANG Qing，WANG Song，et al.Ob ject tracking via appearancemodeling and sparse rep resentation［J］.Image and Vision Computing，2013，29（11）:787-796.

［12］ROSIPAL R and KRAMER N.Overview and recent advances in partial least squares［J］.Latent Structure and Feature Selection，2010，18（3）:34-51.

［13］HU W，LIW，ZHANG X，et al.Single and multiple ob ject tracking using a multi-feature joint sparse rep resentation［J］. IEEE Transactions on Pattern Analysis and M achine Intelligence，2015，37（4）:816-833.

［14］ZOU H and HAST IE T.Regularization and variable selection via the elastic net［J］.Journal of the Royal Statistical Society: Series B，2011，67（2）:301-320.

［15］BORDERS A，BOTTOU L，and GALLINARI P.Sgd-qn: carefu l quasi-new ton stochastic gradient descent［J］.The Journal of M achine Learn ing Research，2014，98（10）: 1737-1754.

［16］WU Y，LIM J，and YANG M H.Ob ject tracking benchm ark［J］.IEEE Transactions on Pattern Analysis and M achine In telligence，2015，37（9）:1834-1848.

金广智：男，1987年生，博士，研究方向为计算机视觉、模式识别.

石林锁：男，1958年生，博士生导师，教授，研究方向为机电控制、模式识别.

刘浩：男，1985年生，博士生，研究方向为机电设备故障诊断、脑电信号分析处理.

牟伟杰：男，1984年生，博士生，研究方向为机电设备故障诊断、模式识别.

蔡艳平：男，1981年生，博士，副教授，研究方向为机电设备故障诊断、模式识别.

Object Optim ization Tracking viaPLSRep resentation and Stochastic Gradient

JIN Guangzhi SHILinsuo LIU Hao MUWeijie CAIYanping
（5th Department，Rocket Force University ofEngineering，710025，China）

In order to imp rove the stability and accuracy of the ob ject tracking under non linear conditions，an ob ject tracking algorithm based on Partial Least Squares（PLS）representation and stochastic grad ient ob ject op tim ization tracking is proposed.In this m ethod，ob ject tracking is defined as an optim ization task that m inim izes the representation error and classification loss.Firstly，it expresses ob ject appearance and background information by PLS theory，learnsmultiple low dimensional and discrim inative subspaces to describe the non linear appearance changes of the ob ject.Then，a joint optim ization ob jective function based on determ inistic search mechanism is proposed.Furthermore，an stochastic gradient classifier based on incremental features updating is proposed，and make sure that it can achieve a stable tracking.Experiments show favorab le perform ance of the proposed algorithm on sequences where the targets undergo a variety com p lex changes on foreground and background.

Ob ject tracking；Partial Least Squares（PLS）；Appearancemodel；Stochastic gradient；Joint optim ization

The National Natural Science Foundation of China（61501470）

TP391

A

1009-5896（2016）08-2027-06

10.11999/JEIT 151082

2015-09-23；改回日期：2016-05-10；网络出版：2016-06-24

金广智azhide1025@163.com

国家自然科学基金（61501470）