一种红外和可见光双通道视频目标跟踪方法

赵高鹏 薄煜明 尹明锋

(南京理工大学自动化学院 南京 210094)

1 引言

视频目标跟踪的任务是在连续两帧中找到同一目标在空间位置的对应关系，在智能视频监控、军事侦察、目标识别等领域有着广泛的应用。在室外复杂环境下，受光照变化、阴影、地面背景物体干扰、图像噪声等多种因素的影响，单一视频传感器由于成像原理的限制，难以有效处理场景环境变化影响，许多研究人员利用红外和可见光双传感器提高系统的目标检测跟踪性能[1-6]。

均值漂移(Mean Shift,MS)跟踪算法[7]将跟踪问题当作最优化问题来处理，采用核函数直方图进行建模和匹配，通过MS算法迭代实现，具有特征稳定、实时性好、鲁棒性强等优势，自从其提出后就成为视频跟踪领域的重要方法。然而该算法也存在不足之处，例如，目标尺度估计困难[8,9]，尺度定位的准确性一定程度上会影响空间定位的准确性；大多改进算法单一的图像特征，在目标外观变化较大或非目标干扰时，容易导致跟踪失败，采用多个特征能够改善跟踪性能，但多特征跟踪算法[10,11]存在特征加权权值计算困难、计算量大的缺点。视频多目标跟踪中遮挡问题是视频跟踪的难点之一，本文讨论多目标之间的相互遮挡问题，其关键在于如何判断多目标合并和分离，以及遮挡时如何定位目标。

在已有研究的基础上，本文利用红外和可见光双通道视频进行目标跟踪，利用目标的颜色特征和轮廓特征，通过将均值漂移算法与水平集曲线演化算法有效结合，实现了室外复杂场景下的视频目标稳定跟踪。采用实际场景下的视频实验表明了本文方法的有效性。

2 目标跟踪方法

本文目标跟踪方法使用颜色特征和轮廓特征，总体框架如图1所示，包括5个部分：(1)基于颜色特征的均值漂移迭代定位；(2)基于水平集的目标轮廓提取；(3)目标合并与分离判断；(4)遮挡处理；(5)目标尺度和模型更新。

单目标跟踪时，算法不进行第(3)和第(4)部分的处理；多目标跟踪时，则每一帧都执行第(3)部分判断，如果发生目标合并(遮挡)，则执行第(4)部分处理，否则，算法相当于进行多个单目标跟踪。

2.1 均值漂移定位分析

均值漂移算法采用核函数加权的特征直方图描述目标，在每帧中对目标模板模型和候选目标模型进行相似性度量，并沿着核直方图相似性的梯度方向迭代搜索目标位置。

式中m表示特征直方图的量化级数；qu,pu分别表示目标模板和候选目标核直方图各级概率密度；C,Ch为归一化系数，使得n,nh分别表示目标模板和候选目标的像素个数；k为核函数，一般取为Epanechnikov核函数；δ为Kronecker delta函数；b为像素在直方图中的索引值；为目标模板区域像素的归一化位置，xi为候选目标像素当前帧的位置，h为目标尺度，即为核窗宽，通常取目标跟踪窗宽的一半。

在获得目标模板和候选目标的核直方图模型后，MS采用Bhattacharyya系数度量两个模型之间的相似性，即计算两个离散概率分布q和p(y)之间的相似性，如式(3)：

目标定位就是在当前帧中，根据目标的初始位置y0寻找使相似性系数ρ取最大的位置y1。将ρ(y)在y0处泰勒展开，求其最大值，可得位置y1的计算如式(4)：

通过反复迭代式(4)，使候选目标不断沿着相似性度量的梯度方向移动到新的位置y1，直到相似性系数ρ达到最大，从而得到目标最优位置y1。

由于颜色特征对平移、尺度变化和部分遮挡具有较好的鲁棒性，为了对光照变化不敏感，本文方法将可见光图像转化到HSV颜色空间，计算目标的HSV颜色特征直方图，直方图量化级数为16×4×4，然后进行均值漂移迭代定位，根据目标的初始位置y0计算可得到当前帧的目标最优位置y1。

2.2 基于水平集的轮廓提取

在均值漂移迭代定位的基础上，本文方法进一步提取目标轮廓，估计出目标尺度和精确位置。由于红外图像不受光照和阴影变化的影响，因此在红外图像中提取目标轮廓。基于水平集的轮廓提取方法[12,13]的基本思想是将轮廓隐含地表达为2维曲面函数φ的零水平集，通过建立关于轮廓的能量函数，采用变分方法最小化该能量函数，最终得到轮廓的进化方程。文献[13]提出了一种新的水平集曲线演化方法，优点在于对轮廓的初始化位置不敏感，不需要重新初始化，计算速度快，定位精度高。

能量函数定义为

式中Ω为图像定义域；右侧第1项为规则化距离项，第2项表示零水平集曲线的长度，第3项表示零水平集曲线内部区域的面积，μ,λ,α为各项的加权系数；p为距离规则化函数；δ为Dirac delta函数；H为Heaviside函数；为边缘指示函数。

通过变分法，从而推出水平集函数演化方程为

图1 本文视频目标跟踪方法框图

本文基于水平集的轮廓提取采用式(6)给出的模型，通过给定轮廓初始位置φ0，进行曲线演化，从而得到目标的最终轮廓，根据目标轮廓可计算得到目标位置、宽和高，即目标尺度。

2.3 本文跟踪方法

如图1所述，跟踪单个目标时，本文方法包括第(1)，第(2)，第(3)3个部分，第(1)，第(2)部分分别如2.1节和2.2节所述。为了保持长时间跟踪的稳定性，必须对目标尺度和模型进行更新，以适应目标自身变化和背景环境的变化。本文尺度更新方法利用水平集轮廓提取的结果来估计目标尺度，如式(7)，尺度更新结果用于下一帧的均值漂移定位。

式中h表示可见光当前帧用于均值漂移定位的目标尺度；hcontour表示红外当前帧根据水平集轮廓提取结果得到的目标尺度；hnew表示尺度更新结果，用于下一帧跟踪；α为尺度更新速度因子，表示轮廓提取结果权重，其取值范围为α∈[0,1]。

经典均值漂移跟踪算法是基于目标模型基本不发生改变这一假设的，跟踪过程中一直采用初始目标模型；大多数改进方法都采用整体模型更新策略，即用当前帧跟踪结果和目标模型进行加权折中，从而获取下一帧的目标模型。当目标跟踪结果定位不准确时，这种更新方法容易使目标模型偏离真实目标，导致跟踪进一步恶化。文献[14]提出了一种选择性子模型更新策略，通过计算目标模型每个分量的匹配贡献度MCDu，根据MCDu值的大小对目标模型进行有选择的更新，如式(8)，式(9)。

本文目标模型更新方法为：在得到可见光图像均值漂移迭代定位，不采用当前帧该位置处的目标模型进行更新，而是在红外图像中进行轮廓提取后，根据轮廓定位结果和尺度更新结果，在可见光图像中计算该定位位置处的目标模型，表示为p，采用式(8)，式(9)进行选择性目标模型更新。

根据前文所述，本文方法单目标跟踪步骤可以概括为

步骤1 目标初始化，给定初始目标位置y0和尺度h，根据式(1)在可见光图像计算目标模板模型q。

步骤2 设当前帧为第t帧，按式(2)-式(4)进行均值漂移迭代，得到可见光图像第t帧的目标最优位置y1。

步骤3 在红外图像第t帧中，根据y1和尺度h计算轮廓初始位置φ0，按式(5)，式(6)轮廓模型进行水平集曲线演化，提取得到目标轮廓φ；根据轮廓φ计算目标精确位置y2和尺度hcontour。

步骤4 根据式(7)更新目标尺度，得到尺度更新结果hnew；在可见光图像第t帧位置y2处，计算目标模型p，按式(8)，式(9)更新目标模板模型q。

步骤5 更新目标位置和尺度参数，令y0=y2,h=hnew。

步骤6 令t=t+1，返回步骤2进行下一帧跟踪。

如图1所述，跟踪多个目标时，本文方法每一帧都执行第(3)部分目标合并与分离判断，如果发生目标合并(遮挡)，则执行第(4)部分处理，否则，算法相当于进行多个单目标跟踪。多个目标运动过程中相互遮挡过程可以描述为：多目标接近，多目标合并，合并目标运动，多目标分离。

本文方法根据目标间距离和目标尺度来判断多目标是否发生目标合并，根据水平集轮廓提取的结果判断多目标是否分离，以两个运动目标相互遮挡为例进行说明，假定在遮挡过程中被遮挡目标的颜色特征保持不变。

令y1,k表示第k个目标在进行均值漂移迭代定位后得到的位置，hk表示第k个目标当前帧的尺度，k取值为1或2。根据式(10)在行和列两个方向进行判断，若两个方向上式(10)同时成立，则认为发生目标合并(遮挡)。

此时，根据颜色特征的匹配程度将两个目标分为前景目标和被遮挡目标，根据式(3)计算颜色特征相似度系数表示匹配程度，取相似度系数值较大者为前景目标，相似度系数值较小者为被遮挡目标，图1中第(4)部分目标遮挡处理对这两类目标分别进行处理。

对于前景目标，当前帧均值漂移迭代定位结果认为是目标最优位置，用于下一帧目标跟踪的起始位置；由于发生目标合并，根据两个目标均值漂移迭代定位的位置初始化轮廓初始位置φ0，进行水平集曲线演化可得到合并目标的轮廓和位置，因此，对于被遮挡目标，根据轮廓提取结果和前景目标位置估计出被遮挡目标位置，如式(11)；假定在目标遮挡过程中，两个目标尺度不发生改变，不更新目标尺度参数。

式中y2表示轮廓提取得到的合并目标位置；y1,1表示前景目标位置，y1,2表示被遮挡目标位置。

由于水平集曲线模型能够收敛到任意轮廓拓扑结构，当目标合并时，轮廓提取结果数量为1，当目标分裂时，轮廓曲线演化结果收敛于两个独立目标，因此，可根据水平集轮廓提取结果判断目标是否分离。多目标分离后，根据颜色特征计算相似度系数完成目标关联，此后，算法对两个目标跟踪相当于进行两个单目标跟踪。

根据前文所述，本文方法多目标跟踪步骤可以概括为：

步骤1 多个目标初始化，给定初始目标位置y0,k和尺度hk，根据式(1)在可见光图像分别计算每个目标的目标模板模型q。

步骤2 设当前帧为第t帧，对每个目标按式(2)-式(4)进行均值漂移迭代，得到可见光图像第t帧每个目标最优位置y1,k。

步骤3 按式(10)进行目标合并判断，如果发生目标合并，执行步骤4，步骤5；否则，跳转到步骤6继续执行。

步骤4 按式(3)计算颜色特征匹配程度，区分前景目标和被遮挡目标；在红外图像第t帧中按式(5)，式(6)轮廓模型进行水平集曲线演化，根据轮廓提取结果φ计算合并目标位置y2；按式(11)计算被遮挡目标位置。

步骤5 根据轮廓提取结果φ判断目标是否分离，如果目标合并没有分离，更新目标位置参数，令y0,k=y1,k，跳转到步骤9；如果目标分离，根据轮廓φk计算每个目标的精确位置y2,k和尺度hcontour,k，根据颜色特征计算相似度系数完成目标关联，跳转到步骤7。

步骤6 在红外图像第t帧中，对每个目标根据y1,k和尺度hk计算轮廓初始位置φ0,k，按式(5)，式(6)轮廓模型进行水平集曲线演化，提取得到目标轮廓φk；根据轮廓φk计算目标精确位置y2,k和尺度hcontour,k。

步骤7 根据式(7)更新目标尺度，得到尺度更新结果hnew,k；在可见光图像第t帧位置y2,k处，计算目标模型pk，按式(8)，式(9)更新每个目标的目标模板模型q。

步骤8 更新每个目标的位置和尺度参数，令y0,k=y2,k,hk=hnew,k。

步骤9 令t=t+1，返回步骤2进行下一帧跟踪。

3 实验结果与分析

为了验证本文方法的有效性，本文在 Matlab 2009环境下进行了仿真。硬件采用 Intel Core 2 CPU 2.9 GHz处理器，内存 2 G。测试视频采用OTCBVS数据库中的可见光和红外视频。具体参数为：红外传感器为Raytheon PalmIR 250D，可见光传感器为Sony TRV87 Handycam；红外视频为8位灰度表示，大小为 320像素×240像素；可见光视频为24位彩色表示，大小为320像素×240像素。

实验1 对单个目标进行跟踪，视频特点为跟踪过程中存在光照变化，阴影。实验中对比了文献[14]方法，该方法采用可见光视频，目标特征采用HSV颜色特征，目标尺度采用±10%缩放。图2给出了跟踪结果的部分视频帧，本文方法在可见光和红外视频帧用外接矩形框同时标记目标跟踪结果，并在红外视频帧中用闭合曲线标出了轮廓提取结果。

由图2可见：跟踪初始时两种方法都能正确跟踪目标；当发生光照变化时，由于HSV颜色特征对光照有一定的鲁棒性，两种方法仍能跟踪到目标；随着跟踪进行，目标进入阴影区域，文献[14]方法发生较大偏差，跟踪丢失(170帧)，而本文方法始终能够稳定地跟踪目标。

图3给出了两种方法跟踪结果目标中心点坐标与目标真实中心点坐标的距离误差，真实值采用手工逐帧标定。由图3可见：在整个跟踪过程中，本文方法的距离误差相对较小，行和列的坐标距离误差最大不超过5个像素。此外，本文方法对该视频的平均处理速度达到10帧/s。

实验2 对多个目标进行跟踪。视频特点为跟踪过程中发生两个目标相互遮挡。图4给出了本文方法跟踪结果的部分视频帧，在可见光和红外视频帧用外接矩形框同时标记目标定位结果，并在红外视频帧中用闭合曲线标出了轮廓提取结果。图5给出了目标跟踪结果与目标真实位置两点间的距离误差曲线图，真实值采用手工逐帧标定。

图4视频中两个目标在运动过程中发生相互遮挡，在发生遮挡前(15帧)和两个目标分离后(72帧)，本文方法相当于对两个目标分别进行单目标跟踪，在遮挡过程中(50帧，57帧)，本文方法综合利用颜色和轮廓特征能够准确定位目标，由于在发生遮挡时将合并目标作为整体进行轮廓提取，因而对目标的遮挡程度不敏感(57帧)。由图5可见，在第45帧～第70帧中，目标发生互相遮挡导致某些帧的跟踪误差相对较大，但仍能够跟踪到目标。

图2 跟踪结果部分视频帧(1～3行分别为文献[14]方法，本文方法可见光视频帧，本文方法红外视频帧；1～4列分别为第40,100,170,198帧)

图3 跟踪结果中心点位置误差曲线比较

图4 跟踪结果部分视频帧(1～2行分别为本文方法可见光视频帧，本文方法红外视频帧；1～4列分别为第15,50,57,72帧)

实验1中本文方法利用红外和可见光图像的互补特性能够有效处理复杂场景下光照、阴影等变化，提高跟踪的稳定性；实验2中本文方法对两个目标跟踪中的互遮挡现象能够有效处理，准确定位目标。

图5 跟踪结果距离误差曲线

4 结束语

本文提出了一种红外和可见光图像目标跟踪方法，利用双感器的互补性，提高室外场景下目标跟踪的稳定性。采用可见光图像颜色和红外图像轮廓特征，将均值漂移算法与水平集曲线演化结合实现目标定位，克服了光照和阴影的影响；通过判断目标合并与分离，解决了多目标互相遮挡时的定位问题。采用红外和可见光双传感器视频进行实验，结果表明本文方法的有效性。需要说明的是，本文方法要求红外和可见光图像序列在跟踪处理前已经过图像配准，配准属于另一个研究方向，在此不做讨论，本文选用的测试视频已经过配准。在进一步研究中，考虑引入目标运动状态，对发生遮挡的目标数量大于2的情况，以及目标发生不规则运动和目标与背景物体发生遮挡等情况进行研究。

[1]Bondzulic B and Petrovic V.Multisensor background extraction and updating for moving target detection[C].Proceedings of 2008 11th International Conference on Information Fusion,Cologne,Germany,2008：1-8.

[2]Han J and Bhanu B.Fusion of color and infrared video for moving human detection[J].Pattern Recognition,2007,40(6)：1771-1784.

[3]Davis J W and Sharma V.Background-subtraction using contour-based fusion of thermal and visible imagery[J].Computer Vision and Image Understanding,2007,106(2,3)：162-182.

[4]Leykin A and Ran Y.Thermal-visible video fusion for moving target tracking and pedestrian classification[C].Object Tracking and Classification in and Beyond the Visible Spectrum Workshop at the International Conference on Computer Vision and Pattern Recognition,Minneapolis,USA,2007：1-8.

[5]Conaire C and Connor N.Thermo-visual feature fusion for object tracking using multiple spatiogram trackers[J].Machine Vision and Applications,2008,19(5,6)：483-494.

[6]程咏梅,王进行,魏坤,等.基于加权mean-shift可见光/红外双通道目标跟踪[J].光子学报,2010,39(2)：357-363.Cheng Yong-mei,Wang Jin-xing,Wei Kun,et al..Visible/infrared dual-channel target tracking based on weighted mean-shift[J].Acta Photonica Sinica,2010,39(2)：357-363.

[7]Comaniciu D,Ramesh V,and Meer P.Kernel-based object tracking[J].IEEE Transactions on Patten Analysis and Machine Intelligence,2003,25(5)：564-575.

[8]左军毅,梁彦,赵春晖,等.Mean Shift跟踪算法中尺度自适应策略的研究[J].中国图象图形学报，2008,13(9)：1750-1757.Zuo Jun-yi,Liang Yan,Zhao Chun-hui,et al..Researches on scale adaptation strategy in mean shift tracking algorithm[J].Journal of Image and Graphics,2008,13(9)：1750-1757.

[9]钱惠敏,茅耀斌,王执铨.自动选择跟踪窗尺度的Mean-Shift算法[J].中国图象图形学报,2007,12(2)：245-249.Qian Hui-min,Mao Yao-bin,and Wang Zhi-quan.Mean shift tracking with self-updating tracking window[J].Journal of Image and Graphics,2007,12(2)：245-249.

[10]李远征,卢朝阳,高全学,等.基于多特征融合的均值迁移粒子滤波跟踪算法[J].电子与信息学报,2010,32(2)：411-415.Li Yuan-zheng,Lu Zhao-yang,Gao Quan-xue,et al..Particle filter and mean shift tracking method based on multi-feature fusion[J].Journal of Electronics＆Information Technology,2010,32(2)：411-415.

[11]Han Z J,Ye Q X,and Jiao J B.Combined feature evaluation for adaptive visual object tracking[J].Computer Vision and Image Understanding,2011,115(1)：69-80.

[12]Osher S and Shthian J.Fronts propagating with curvaturedependent speed：algorithms based on Hamilton-Jacobi formulations[J].Journal of Computer and Physics,1988,79(1)：12-49.

[13]Li C M and Xu C Y.Distance regularized level set evolution and its application to image segmentation[J].IEEE Transactions on Image Processing,2010,19(12)：3243-3254.

[14]沈志熙,杨欣,黄席樾.均值漂移算法中的目标模型更新方法研究[J].自动化学报,2009,35(5)：478-483.Shen Zhi-xi,Yang Xin,and Huang Xi-yue.Study on target model update method in mean shift algorithm[J].Acta Automatica Sinica,2009,35(5)：478-483.