多物体遮挡下基于深度学习的目标跟踪仿真

王莉君,唐 骞,李 鹏

(1. 成都信息工程大学软件工程学院,四川 成都 610225;2. 电子科技大学成都学院,四川 成都 610051)

1 引言

目标跟踪是计算机视觉领域研究的热点内容之一,在人类的生产生活中得到十分广泛的应用。尤其是最近几年,在简单场景目标跟踪过程中也取得了比较显著的研究成果[1,2],但是由于经常会存在多目标同时出现或者物体遮挡等情况,想要获取鲁棒性较好的目标跟踪算法是十分困难的。而且大部分人工选取的特征需要通过不同的数据和任务进行设计,不仅需要专业领域的知识,获取的效果也不是十分满意。

为了有效解决上述问题,国内相关专家给出了一些较好的研究成果,例如陈富健等人[3]对网络输出置信图的峰值以及连通域的变化规律进行分析,同时设定不同的跟踪模式,通过不同的跟踪模式选择不同的跟踪策略。把萍等人[4]通过字典提取局部图像块的稀疏系数,采用贝叶斯分类器对目标进行背景和目标分类,通过两步搜索策略实现目标实时跟踪。在以上两种方法的基础上,提出一种多物体遮挡下基于深度学习的目标跟踪方法。经实验测试证明,所提方法可以有效提升目标跟踪精度,同时还可以以更高的成功率进行目标跟踪,获取满意的目标跟踪结果。

2 目标跟踪方法

2.1 目标图像去噪处理

在进行主成分分析的过程中,需要优先进行概率统计。设定m维随机变量为am,则随机变量对应的样本平均值可以表示为

(1)

式中,β(i,j)代表随机变量的样本平均值;a(i,j)代表随机变量的样本总数。

主成分分析法主要求解出主成分[5,6],即对数据进行降维处理,目标图像经过降维处理后依旧可以有效保存大量细节信息,会产生比较小的一部分损失。将主成分分析法和局部像素分组相结合,对目标图像进行去噪处理。首先采集目标图像,将采集到含有噪声的图像表示为z(i,j),则可以获取目标图像的估计图像,同时还需要确保估计图像尽可能接近干净图像。

将目标图像的像素块作为中心,设定规格为m×n的局部图像块,在图像块中搜索当前像素块近似的图像块,经过整合形成样本。将各个图像块按照像素点的灰度值进行排序,则含有噪声图像块对应的灰度值向量可以表示为式(2)的形式:

(2)

采用局部搜索方法进行相似块选择,但是重点需要考虑以下两个方面的问题:

1)对于已经确定的像素块而言,和其最相似的像素块通常在设定像素块的周围。

2)全局搜索可以在目标图像中获取最相似的图像图像块,同时计算量明显低于局部搜索,且计算效率优于局部搜索,整体效果更好。

通过以上分析,不仅需要获取当前像素块的相似块训练集样本,同时还需要构建样本的位置矩阵W,采用主成分分析法对目标图像中的噪声进行滤波处理。设定目标图像中当前像素块的位置向量为z={b0,b1,…,bm-1}T,则目标图像对应的线性统计量E(i,j)可以表示为式(3)的形式

(3)

由于噪声和目标图像是相互独立分布的,在处理随机像素的过程中,需要针对随机一个像素点进行去噪处理。将乘性噪声进行对数变换,同时对加性噪声进行处理,则可以获取比较理想的去噪结果,但是会形成一个偏差,所以需要在数域的估计信号中进行信号偏差求解,详细的计算式如下

(4)

式中,am(i,j)代表目标图像的坐标位置;bn(i,j)代表噪声图像的坐标位置;A(u)和B(u)分别代表不同的估计信号。

以下给出目标图像去噪过程[7,8],如图1所示。

图1 目标图像去噪流程图

1)对目标图像进行初始化处理。

2)将含噪图像映射到对数域,同时将乘性噪声转换为加性噪声噪声进行处理。

3)获取当前像素点的像素块以及局部窗。

4)在局部窗中获取多个相似块,同时组建训练样本集。

5)根据搜索到的相似样本块获取对应的样本矩阵,同时对其进行中心化处理,获取对应的协方差矩阵,经过求解得到正交变换矩阵。

6)在步骤(5)操作的基础上,将协方差矩阵转换为对角阵,同时通过线性最小均方误差进行估计,获取对应的估计向量。

7)对估计量进行反变换,同时进行去中心化处理,同时加上平均值,进而获取初始目标图像的估计值。

8)对对数变换过程中形成的偏差进行估算。

9)根据偏差估计获取初始目标图像的估计值,进而实现目标图像去噪[9,10]。

2.2 基于深度学习的目标图像特征提取

为了准确识别目标,实现有效跟踪,需要优先提取目标图像的几何特征。在进行特征提取前期,需要针对目标图像进行分块处理,通过不同特征相似性进行目标的局部信息度量,同时对目标图像进行处理和分析,构建如式(5)所示的序列Dif(d1,d2)

Dif(d1,d2)=Mmine(ui,uj)

(5)

式中,e(ui,uj)代表目标图像采样点的坐标位置。

将未进行识别的特征划分到子空间中,进而获取目标图像的几何像素输出S(i,j),具体计算式如下

S(i,j)=jm(i)v(i)+H(1-v(i))

(6)

式中,jm(i)代表目标图像的分块像素集;v(i)代表目标图像的最大特征值;H代表目标图像边缘。

当目标图像完成图像分块以及模板匹配之后,需要构建主特征向量空间,同时对目标图像进行边缘检测,将提取到的目标图像特征进行几何分割以及边缘增强处理,最终得到目标图像轮廓区域的分布估计值Nlm[g(i)],如式(7)所示

(7)

式中,α(i,j)代表像素重构系数;φ(i,j)代表目标图像的轮廓特征量。

对目标图像进行自适应像素分块处理,进而获取目标图像的权重取值ω(i,j)

(8)

式中,e(i,j)代表目标图像的轮廓分布特征点。

在进行目标图像轮廓检测的基础上,通过目标图像的颜色采用统计分析方法对目标图像进行区域重构,根据目标图像轮廓信息获取直觉模糊集Ggif(i,j),如式(9)所示

Ggif(i,j)=-lg((d1,d2)h(x,y))

(9)

通过式(10)获取目标图像的角点信息l(i,j),如式(10)所示

(10)

式中,s(t)代表不变矩的特征向量。

通过目标在三维空间的旋转尺度,可以获取目标图像的几何离散度ψ(i,j)(u),如式(11)所示

ψ(i,j)(u)=[D(i,j)ψ(i,j)]

(11)

式中,D(i,j)代表神经网络的结构参数;ψ(i,j)代表目标图像的空间投影结果。

通过模板匹配方法,可以获取提取目标图像的弹性模板T(u),如式(12)所示

(12)

式中,f(t)代表图像分块数量。

采用自适应特征分解以及差异性特征点标定方法对目标图像进行特征提取[11,12],详细的计算式为

(13)

式中,R代表目标图像的特征提取结果;q(i,j)代表目标图像的色差;x(i)和y(i)分别代表不同目标图像的高低频子带;h(i,j)代表目标图像的梯度像素差。

针对已经提取到的目标图像特征[13,14],需要引入深度学习中的卷积神经网络进行目标图像分类,同时设定网络学习步长,根据自适应加权算法即可获取分类对应的加权系数。为了提升卷积神经网络在目标图像分类过程中的准确性,需要在隐含层中加入自适应调节向量,同时按照顺时针方向进行搜索,对目标图像被遮挡的区域进行特征提取,通过卷积神经网络实现对目标特征提取结果的优化,使得特征提取结果更加准确。

2.3 多物体遮挡下基于深度学习的目标跟踪

使用粒子滤波对目标图像的运动过程进行估计,随着采样粒子数量的逐渐增加,可以对粒子进行加权计算,有效确保粒子的重要性。则后验滤波概率对应的密度q(x0it,y0it)可以表示为式(14)的形式

(14)

当采样数据比较大时,则对应函数的期望估计可以表示为式(15)的形式

(15)

式中,f(m,n)代表函数的期望估计值。

将重要性概率分布代入到权值计算中,则可以得到

(16)

式中,p(xi,yi)代表权值对应的递归集合。

对目标所在坐标位置进行标记,通过目标位置采集经过训练的正负样本,同时将正负样本输入到检测器中,对卷积神经网络以及SVM分类器进行训练,将训练好的检测器进行保存。通过粒子滤波算法对目标进行运动估计,即可获取目标的候选区域,将候选区域送入到已经训练好的网络中,当目标发生比较大的变化时,则通过阈值判定是否需要重新训练检测器,进而解决目标图像变化问题。

在进行计算的初始阶段,由于已知目标图像第一帧像素点,在邻近帧进行目标尺寸采样处理,其中偏移采样范围主要包含目标跟踪以及图像重构等[15],获取目标图像正样本集合。对负样本进行采样时,需要进行大范围采样,其中不包含目标跟踪,最终获取负样本集合。将以上两种样本进行归一化处理,进而获取大小相同的目标图像。

将特征提取结果和分类器两者共同组成检测器,结合粒子滤波方法对目标进行跟踪,详细的操作流程如下:

1)对全部粒子集合进行初始化处理,同时随机形成采样粒子。

2)在下一个全新的时刻,通过上一时刻的采样结果按照高斯分布进行采样,同时更新权重取值,同时对其进行归一化处理。

3)对粒子集进行重采样,获取全新的粒子集。

4)获取在设定时间段的状态估计值,实现多物体遮挡下基于深度学习的目标跟踪。

3 仿真研究

为了验证所提多物体遮挡下基于深度学习的目标跟踪方法的有效性,需要进行仿真测试。将文献[3]方法和文献[4]方法作为对比方法,在相同视频下分析不同方法的跟踪性能,具体实验结果如图2所示。

图2 不同方法的目标跟踪性能测试结果对比

分析图2中的实验数据可知,所提方法在有帽子遮挡情况下,依旧可以准确对目标进行跟踪,而另外两种方法的跟踪效果并不是十分好,验证了所提方法的优越性。

分析不同方法在物体遮挡率不断增加情况下的目标跟踪成功率变化情况,详细的实验测试结果如表1所示。

表1 不同方法的目标跟踪成功率对比结果

由表1中的实验数据可知,所提方法的目标跟踪成功率明显优于两种方法,可以更加准确跟踪目标,定位目标位置,进一步验证了所提方法的优越性。

为了进一步验证所提方法的优越性,分别对不同目标进行跟踪,分析物体遮挡率不断增加情况下不同运动目标采用三种方法的跟踪精度变化情况,详细实验测试结果如图3所示。

图3 不同方法的目标跟踪精度测试结果对比

由图3中的实验数据可知,不同方法的目标跟踪精度会随着物体遮挡率的增加呈现下降趋势。但是相比另外两种方法,所提方法的跟踪精度明显更高。主要是因为所提方法对目标图像进行滤波处理,有效滤除图像中的噪声,确保目标跟踪精度得到有效提升。

4 仿真研究

为了获取更加满意的目标跟踪效果,设计并提出一种多物体遮挡下基于深度学习的目标跟踪方法。和已有方法进行实验测试对比可知,所提方法的目标跟踪精度以及目标跟踪成功率均高于其它方法,可以准确对目标进行跟踪。后续将针对所提方法存在的缺陷进一步展开研究,尤其是抗旋转方面,将对其进行深入优化,确保所提方法的整体性能得到有效提升。