结合稀疏表示的跨摄像头运动目标跟踪算法

逯 彦，廖桂生，2，黄庆享

(1.西安科技大学 能源学院，陕西 西安 710054；2.西安电子科技大学 电子工程学院，陕西 西安 710071)

目标跟踪作为智能视觉科学的一个重要研究课题，广泛应用于视频监控、交通识别、行为分析等领域。该课题相关算法日趋成熟[1-3]，其应用模式也从单摄像头拓展到了多个摄像头。但在该模式下，仍存在诸多难点。跨摄像头下的运动目标跟踪主要分为两类：一类存在重叠区域，根据摄像头间的空间几何关系以及坐标位置完成信息衔接，但是对摄像头安装方位有一定要求；另一类基于非重叠区域，该类方法在结合目标空间关联信息的基础上，通过特征匹配实现目标跟踪[4-5]。此类跟踪的难点在于，当目标所处不同场景时，由于光照影响不同，导致亮度不均匀，从而降低了特征对目标的描述能力。如何构造稳定鲁棒的特征模型是亟需解决的问题。文献[6]通过提取目标的颜色特征使其在单摄像头时获得了较好的跟踪效果，但应用于多摄像头时，无法稳定跟踪到目标。文献[7]通过调整不同视角的颜色特征提高了跟踪精度，但实用性较差。不同于跨摄像头，单摄像头下改善光照影响的目标跟踪算法发展迅速。文献[8]通过似然估计判别亮度值大小与方位，以应对光照变化的不同情况，提高了跟踪准确率，但算法计算过于复杂。文献[9]将背景区域局部化，并赋予不同权值，通过构造背景加权直方图来描述目标，算法在保持运算速度的同时降低了光照变化对跟踪的影响，但背景光照突变时，跟踪效果不佳。

近年来，基于稀疏表示的相关算法在目标跟踪方向[10-11]取得了显著进步。而重构算法作为稀疏表示的重要组成部分，通过模板矩阵实现了高维与低维向量的空间映射。其中，贪婪算法因其复杂度低且具有一定重构精度而被广泛使用。传统的匹配追踪算法[12]通过逐个原子匹配，完成对目标的重构，但计算量相对较大。文献[13]提出的稀疏度自适应匹配追踪(Sparsity Adaptive Matching Pursuit，SAMP)算法，在稀疏度未知的情况下，通过残差更新步长以完成对信号的线性逼近，但运算速度相对较慢。文献[14]提出的改进算法通过预估稀疏度的方式对支撑集更新，并引入模糊阈值完成对原子的二次筛选，通过基于残差的相关系数，确定最优原子集完成高维信号重构。该算法显著地提高了迭代速度，但重构精度一般。

基于以上分析，笔者以稀疏表示为框架，提出一种基于跨摄像头的光照补偿运动目标跟踪模型。该模型通过不同场景下的背景亮度比值获得补偿系数，并对运用三帧差法[15]差分得到的待检测目标进行光照补偿，以降低不同场景下光照差异性对目标跟踪的影响；在求解模型阶段，笔者在分析了波达方向(Direction Of Arrival，DOA)估计领域中BLOOMP算法[16]的基础上，利用算法中的带宽排除方法和局部优化方法降低原子间干扰的同时，采用新的相干性判别机制，使其在迭代过程中获得更为紧凑的相关带来更新支撑集，以改善原子选择精度；并在更新阶段，结合相关带中原子匹配时的权重系数对模板矩阵进行替换，提高了模板对外界实时变化的适应能力。仿真实验表明，相较于主流算法，所提算法有较好的跟踪精度与鲁棒性。

1 模型建立

1.1 光照补偿

不同摄像头下采集的视频图像所受亮度不同，受文献[11]启发，同时考虑到目标所受光照影响与其附近背景所受光照影响近似，并且由于局部背景亮度值趋于平稳，基于此，所提算法以首个摄像头中手动框选的感兴趣的运动目标为中心，在其附近区域提取一组背景块，并以块为单位计算背景平均亮度作为参考指标，而后以相同的方式得到目标出现在第r个摄像头时待测目标区域内的局部背景亮度均值，则第r个摄像头与首个摄像头中对应的第j个背景块亮度均值之比ηrj为

(1)

其中，α1j与βij分别是首个以及第r个摄像头中第j个背景块的亮度均值。

1.2 稀疏检测模型

笔者将目标出现的首个摄像头与其余摄像头做区分，分3步构造基于稀疏表示的跨摄像头跟踪模型：

(1) 构造过完备字典：稀疏表示模型[10]以粒子滤波为框架，通过提取感兴趣目标特征，构造过完备特征字典A=[a1，a2，…，an]∈Rm×n作为变换域。每列原子由一幅模板生成，其中，aq∈Rm×1，q∈(1，2，…，n)。并且以上一帧确定的目标为中心，获取d个粒子样本作为候选目标，对其进行矢量化，得到yi∈Rm×1，i∈(1，2，…，d)。yi可通过变换域得到与其具有空间映射关系的稀疏系数向量。基于此，候选目标可通过字典中少量原子的线性组合进行重构，并表示为

(2)

其中，ξi=[ξi1，ξi2，...ξin]，为与候选目标yi对应的系数向量。由于构造的字典是过完备的(m<

(3)

文中以首个摄像头初始帧目标为中心，通过高斯分布获取n个模板，进行归一化处理构造字典矩阵。

(2) 检测模型：当目标出现在第r个摄像头中时，由于传统帧差法在时间间隔过短，目标移动过慢时，无法提取整个目标。基于此，采用三帧差法[15]差分出视频中的运动目标并对其进行向量化，得到待测目标模板集Z=[z1，z2，…，zp]∈Rm×p，考虑到三帧差法检测目标易受光照干扰，以及不同视角下光照条件的差异性，构造光照补偿模型。其中，局部补偿系数向量ηr=[ηr1，…，ηr1，…，ηrj，…，ηrj，…，ηrl，…，ηrl]∈Rm×1由式(1)获取，ηrj为局部背景亮度比值，基于上述分析，在稀疏表示框架下，通过系数向量ηr与待测目标zi哈达玛积[11]进行光照补偿，考虑到在跟踪过程中存在噪声干扰，因此，模型描述与稀疏系数项条件分别为

(4)

(5)

其中，ε为误差项，∘表示哈达玛积。由于式(5)是一个NP-hard问题，通过σ限定可转换为

(6)

并通过式(7)计算在固定条件下最小误差，其中k为稀疏度。

(7)

(8)

其中，Q为随机降维矩阵。

2 模型求解

2.1 构造相关带

通过式(9)和式(10)计算原子的欧氏距离和相干性[16]，分别为

(9)

ω(i，j)=‖di-dj‖2，

(10)

基于此，通过式(11)和式(12)构造以符合要求的列数j为参数的一阶相关带[16]，分别为

(11)

(12)

根据式(13)和式(14)构造以上式中一阶相关带为参数的二阶相关带[16]，分别为

(13)

(14)

2.2 目标重构

算法通过第n-1步所选原子构造相关带。在第n步时，为了消除原子相干性的影响，利用带排除技术[16]，避免所选原子来自第n-1步的相关带中，且通过局部优化(LO)算法[16]减小残差，获得更好的重构效果，同时筛选出符合条件的原子。改进后的BLOOMP算法流程如下：

输入：测试图像zi，稀疏度k，观测矩阵D′，迭代次数n=1，2，…，k。

迭代次数：n=1，2，…，k。

(2) 通过LO算法进行局部优化：

此时选取残差值最小的作为匹配结果，并将该匹配结果作为当前摄像头下后续视频帧的初始目标。利用构造好的字典模板对视频中剩余帧的候选目标进行稀疏表示，并采用上述重构方法判断候选目标重构残差大小来确定匹配结果，完成稀疏表示下的目标跟踪。

2.3 字典更新

(15)

3 实验结果与分析

实验平台：Matlab2012b；计算机环境：CPU为Intel Core i7，内存为8 GB。为了验证文中算法的有效性，分别在室内和室外不同场景下对算法进行测试，提取100个目标模板，构造过完备字典，粒子滤波中的粒子数设置为500，BLOOMP算法为默认参数设置。

3.1 实验定性分析

实验1：实验针对室外环境中存在非重叠区域的跨摄像头进行算法性能测试，并且不同场景下具有不同的光照及阴影条件，该视频分为3个部分，每部分都存在多个运动目标。图1为在第1个摄像头采集的视频中，手动框选的运动目标及生成的目标模板。

图1 获取目标模板

在第2个摄像头采集的测试视频中，对视频的前几帧图像采用三帧间差分法可缩小候选目标范围，降低候选目标集的重构次数，改善检测性能，之后通过残差值对候选目标集进行判断，以确定视频中的运动目标。检测的结果如图2所示。该段视频部分跟踪结果如图3所示。图中圆点线框为文中算法跟踪结果，虚线框为OMP算法[12]跟踪结果，实线框为IVT算法[18]跟踪结果。

图2 第2个摄像头运动目标检测结果

图3 第2个摄像头部分跟踪结果

在第3个摄像头下采集的视频中，采用相同方法，利用三帧差法得到运动目标。第3段视频检测的结果如图4所示。该段视频部分跟踪结果如图5所示。与上述结果一样，黑色圆点线框为文中算法跟踪结果，黑色虚线框为OMP算法跟踪结果，黑色实线框为IVT算法跟踪结果。

图4 第3个摄像头帧差法的检测结果

图3中第2个摄像头采集的视频中的跟踪结果表明，当存在阴影区域时，文中算法克服了外部条件的干扰，并且在跟踪过程中具有较好的跟踪性能，而IVT算法产生了跟踪漂移，OMP算法则直接丢失了跟踪目标；图5中，目标出现在第3个摄像头下时，虽未发生遮挡的情况，但由于光照条件发生了变换，导致这两种算法产生跟踪漂移，而文中算法针对不同摄像头下的背景环境差异性，加入背景亮度补偿，有效增强了跟踪模型对遮挡及光照变换的抗干扰能力，使跟踪过程保持了较好的稳定性。

图5 第3个摄像头部分跟踪结果

实验2：该组实验在室内场景的不同视角下进行，通过第1个摄像头提取目标特征构造字典，在另一摄像头采集的视频中对目标进行跟踪。如图6(a)所示，是在第1个摄像头采集的视频中手动框选的运动目标，图6(b)是通过该运动目标得到的一系列目标模板。参数设置与实验1相同。

图6 获取目标模板

在本实验的第2个摄像头采集的视频中，对视频的前几帧图像进行三帧间差分法，从而检测出视频中的运动目标，对应的检测结果如图7所示。该段视频部分跟踪结果如图8所示。圆点线框为文中算法跟踪结果，虚线框为OMP算法跟踪结果，实线框为IVT算法跟踪结果。

图7 第2个摄像头帧差法检测结果

图8 实验2部分跟踪结果

在该实验中，由于光照条件相对平稳，OMP及IVT算法在跟踪过程未丢失运动目标，但是存在不同程度的跟踪漂移，而文中算法以稀疏表示理论为基础，利用字典内原子间的关联性，通过少量稀疏向量构造空间映射关系以表征候选目标集，保证了每个摄像头下检测到的初始目标及后续跟踪目标具有较高的可信度。实验结果表明，所提算法的目标重构精度以及跟踪准确度更高。

另外，需要指出的是，文中算法通过降维处理在一定程度上降低了运算复杂度，但在模型的求解阶段，由于需进行多次优化迭代以保证重构精度，而导致计算量增大；此外，为了提高跟踪的稳定性以及准确度，算法以优先保证候选目标集的完整性为前提，增加了采样粒子数，而粒子数的增多也直接影响了跟踪的实时性。

3.2 实验定量分析

为定量评估算法性能，分别采用x，y坐标误差以及覆盖率的最大值、最小值和均值对跟踪效果进行分析说明。每帧跟踪结果为RT，每帧的真实值为RG。式(16)是PASCAL VOC标准下的覆盖率：

(16)

表1为IVT算法、OMP算法和文中算法跟踪结果的中心坐标与真实值中心坐标间的误差最大值、最小值和平均值。实验1-1与实验1-2分别表示实验1中第2和第3个摄像头下采集的测试视频跟踪数据。

表1 各个算法X、Y坐标最小、最大和平均值

表2为IVT算法、OMP算法和文中算法的跟踪结果与真实结果进行比较后的覆盖率的最大值、最小值以及平均值。

表2 各个算法覆盖率的最小值、最大值和平均值

从表2中可以看出，文中算法在目标跟踪过程中具有较高的准确度，而IVT算法与OMP算法在部分帧中出现了覆盖率为0或近乎为0的情况，并且平均覆盖率也相对较低。在实验1的第2段视频中，文中算法在中心坐标的x和y方向上的平均误差在4个像素左右，而IVT与OMP算法在该段视频下的跟踪结果不理想，平均误差较大；在第3段视频中，文中算法中心坐标在x和y方向上的平均误差在个位数，相对于IVT与OMP算法，具有较高准确度。在实验2中，文中算法虽然在个别帧上的跟踪出现了一定的误差，但总体而言跟踪精度相对比较稳定，而IVT与OMP算法，在实验2的视频中跟踪精度不高。因此，无论是在室内还是室外环境，文中算法均能稳定地跟踪到运动目标，并且具有较高的准确性与鲁棒性。

4 结束语

针对跨摄像头下不同视频中亮度存在差异性，从而影响特征匹配准确度，导致跟踪误差较大的问题，文中根据不同摄像头下的背景亮度差异性对待测目标进行光照补偿。并在目标重构阶段，引入改进后的BLOOMP算法求解稀疏系数，通过构造更为紧凑的相关带来减少重构误差；并在相关带基础上，结合原子权重系数对模板矩阵及时更新，以提高跟踪精度。实验结果表明，与主流算法相比，所提算法具有更高的准确性和鲁棒性。