APP下载

尺度自适应的铁路异物侵限PSA-Kcf降维跟踪方法

2019-07-12屈志坚周锐霖孙旭兵袁慎高

铁道学报 2019年5期
关键词:像素点异物滤波器

屈志坚,周锐霖,2,孙旭兵,袁慎高,赵 亮

(1.华东交通大学 电气工程学院,江西 南昌 330013;2.中车时代通信信号有限公司,湖南 长沙 410199)

铁路限界是为了确保机车车辆在运行过程中不会撞击沿线建筑物和设备所设定的不能逾越的轮廓尺寸线,同时也是阻止行人、动物和车辆等异物侵入铁路线路的一道屏障[1]。我国虽已采用防护网阻拦方式对铁路限界进行保护,但在站场、铁路道口和公跨铁立交桥等人车与线路交汇处,因防护网缺损或人车翻越防护网导致的异物侵限事件仍时有发生[2]。如某铁路局管内公跨铁桥防护网被台风刮至线路内,触发轨道电路红光带;又有某铁路局路桥防护网被货车撞毁,肇事车辆侧翻至线路内。而已有铁路限界防护网阻拦方式难以及时识别和追踪侵限异物,列车司机不易提前获取事件预警,严重时可能会造成交通运输安全事故。因此,急需针对频发的铁路异物侵限事件,研究一种高精度的异物检测实时跟踪方法。

现有的铁路异物侵限检测跟踪方法主要可以分为传感式和机器视觉两大类[3-4]。第一类传感方法主要通过在铁路沿线安装激光、微波、超声波或红外线传感器,对侵限异物进行检测及预警。这类方法容易受到电气化区段的强电磁干扰[5],不适合应用在铁路异物侵限检测及跟踪领域。第二类机器视觉方法将机器学习融入图像处理领域,智能化水平高,更适合应用在铁路异物侵限检测及跟踪领域。该类方法主要使用生成类或判别类模型对非结构化数据进行学习和预测[6-7]。生成类模型通过贝叶斯法则间接求取训练样本后验概率函数,并判定下一帧中使函数取值最大的区域为预测位置[8]。如文献[9]设计了一组可以对图像背景差分得到的异物进行描述的特征向量,并利用支持向量机滤除行进列车目标,综合Kalman滤波器对剩余目标进行行为和运动趋势分析,系统功能丰富。文献[10]提出一种联合目标颜色、边缘特征直方图的Mean Shift行人跟踪方法,可以降低算法受目标局部遮挡的影响,鲁棒性较强。但生成类模型需浪费大量计算资源求取与分类任务无关的边缘分布概率,时效性低;建模过程中未区分背景信息,跟踪精度一般,应用效果不及判别类模型。

判别类模型在训练阶段直接寻找不同类别之间的最优分类超平面,以此来区分图像的背景和前景[11]。目前,基于深度学习或相关滤波进行模型训练的判别类方法是目标跟踪领域的研究热点。

前者一般采用大规模分类数据集对卷积神经网络进行预训练,以解决跟踪任务中训练数据缺失的问题,再利用待检视频序列中有限的样本信息对预训练网络进行在线微调,可以在一定程度上提升算法的跟踪精度[12]。如MDNet卷积神经网络[13]使用若干跟踪图像序列训练共享层的目标总体表现能力,在测试阶段,将待检图像序列分支层连接共享层重构跟踪网络,算法跟踪精度较高。但该类方法需要让上千个存在重叠的候选区域逐一进入CNN网络进行计算,单帧处理时长约0.5 s左右,时效性较差。

后者利用信号间的相关滤波输出与相似度成正比的性质,判定与滤波模板卷积响应最大的区域为目标位置[14]。文献[15]利用随机仿射变换得到8块训练样本,代入误差最小平方和滤波器求取最优滤波模板,并通过傅里叶变换将时域上的卷积转换为频域上的点乘,目标跟踪速度高达615帧/s。文献[16]通过密集循环采样充分提取目标信息,大幅提升了目标跟踪精度,并根据块循环矩阵在傅里叶域可对角化的性质,将最小二乘回归中的求逆运算简化为点乘,跟踪速度可达362帧/s。但由于上述相关滤波算法缺乏必要的尺度估计环节,容易因侵限异物成像大小的变化,学习到过量背景或局部纹理信息,致使跟踪框漂移,影响目标跟踪精度[17]。如何在保证方法快速跟踪的前提下,提升目标跟踪精度,目前尚鲜见文献报道。

本文提出一种基于核相关滤波的尺度自适应铁路异物侵限PSA-Kcf检测跟踪方法。首先将像素级视觉背景提取器ViBe运用到视频序列的运动目标检测阶段,以捕捉侵限异物。再在原生核相关滤波框架上新增异物尺度估计环节,有效提升了对侵限异物的跟踪精度。并利用PCA主成分分析法大幅缩减尺度滤波器特征维度,减少了新增尺度估计环节的计算耗时。最后,通过多组对比实验对所提算法的准确性和实时性进行了验证。

1 铁路异物侵限检测与跟踪

1.1 铁路综合视频监控信息流

在速度低于200 km/h的普速铁路,需要在沿线站所、道口、桥梁和隧道等处,采用立柱安装红外枪式摄像机的方式进行监控,无立柱安装条件时,可替换为壁挂等安装方式。在速度为200 km/h以上的快速和高速铁路,还需对区间线路及设备机房进行昼夜监视。在GSM-R站址双层覆盖的快速或高速铁路连续路基段,应在通信铁塔两侧分别设置一台高清网络球机,对线路两端进行监控;在GSM-R站址单层覆盖的快速或高速铁路连续路基段,还应根据现场情况额外增设视频专用铁塔。若干视频采集节点通过星形连接,将非结构化图像数据传输至汇聚节点,以与外网连接,从而可将图像信息进一步上送至各路局的综合视频监控管理系统,进行后续异物侵限检测跟踪流程,见图1。

1.2 异物侵限检测跟踪模型

综合视频监控系统对铁路沿线上送的视频序列进行异物侵限检测和跟踪,可以分为运动目标检测、位置及尺度样本的生成、模板的建立和匹配三部分。运动目标检测利用统计学方法为视频序列建立背景模型,将后序视频图像逐帧与背景模型进行比较,分割出感兴趣的异物目标。再通过目标特征提取,将侵限异物的视觉图像信息转化为能被计算机识别的数值形式,用来对相关滤波器参数进行学习。最后,从下一帧的待搜索区域中截选若干候选测试样本,作为滤波器输入,并判定与滤波器卷积响应最高的测试样本为跟踪目标,完成铁路异物侵限的检测与跟踪。

图1 异物侵限检测跟踪模型

以图1中测试视频序列F的异物侵限检测跟踪为例,Vibe算法仅使用第一帧F(0)完成背景模型的初始化,生成的灰度图像B(0)的所有像素点均被默认为背景点。后续帧逐一与背景模型进行比较,将与背景样本集接近的像素点置为背景点,远离的置为前景点,完成侵限异物的前景分割,再通过形态学处理,将图像帧F(15)、F(20)和F(34)转化为灰度图像B(15)、B(20)和B(34),其中,面积超过阈值的白色区域被检测为侵限异物。B(34)为侵限异物完全进入视频监控范围的第一帧,提取F(34)帧中采样区域的FHOG特征,训练一个经PCA降维的尺度滤波器,再利用密集循环移位生成侵限异物的位置训练样本集,用来训练一个核相关位置滤波器。利用密集循环采样和尺度金字塔技术,从F(35)帧待搜索区域提取位置和尺度测试样本,分别代入位置滤波器和尺度滤波器中,计算响应,并判定响应最高的两类测试样本为最终输出。

2 铁路异物侵限检测原理

将ViBe算法运用到视频序列的运动目标检测阶段。在初始化过程中,使用视频序列第一帧为每个像素点建立一个由邻域像素值组成的背景样本集,将后续帧各点像素值与对应样本集进行比较,完成侵限异物的前景分割。利用随机选择机制和邻域传播机制在线更新背景模型,使算法可以适应监控场景的复杂变化。具体步骤如下:

Step1图像增强

使用直方图均衡化增强图像F(t)的对比度,以区分与背景颜色接近的侵限异物。计算图像某颜色通道中像素值i的出现概率p(i)为

pi=Ni/Ntotal

(1)

式中:Ni为该通道像素值为i的像素点的数目;Ntotal为F(t)的像素点总数。

使用该通道累积概率分布函数将像素值x映射为y,可将该通道像素统计直方图近乎均匀地分布到区间[0,255]内,有效拉伸侵限异物与背景间的色差为

(2)

式中:[ ]表示向下取整。

Step2背景模型初始化

背景模型为F(0)每个像素点(x,y)建立一个背景颜色样本集Mc(x,y)和一个背景纹理样本集Ml(x,y)。Mc(x,y)由n个背景样本的RGB值vj(j∈{0,1,…,n})组成。

M(x,y)={v1,v2,…,vn-1,vn}

(3)

根据相邻像素值时空分布特性相似的特点,依靠视频序列第一帧便可以完成背景颜色模型Mc(x,y)的初始化构造,其样本像素值vj从F(0)像素点(x,y)的8邻域NG(x,y)内等概率选取。

(4)

为了提升算法对伪装色侵限异物的检测能力,为F(0)中各像素点初始化一个背景纹理样本集,像素点(x,y)处的背景纹理样本集符号为Ml(x,y),与该点的LBP特征L(x,y)等同。

(5)

LBP特征的具体提取方法是:以像素点(x,y)处灰度值gc为阈值,NG(x,y)内8个像素点灰度值(g1,g2,…,g8)逐一与gc进行比较,将大于gc的点标记为1,小于的标记为0,产生的8位二进制数即为像素点(x,y)的LBP码L(x,y)。

L(x,y)={sgn(g1-gc),…,sgn(g8-gc)}

(6)

式中:sgn()为符号函数。在视频序列第二帧F(1),即可执行Step3进行异物侵限检测。

Step3异物侵限检测

基于Mc(x,y)的像素预分割:见图2,记待检帧F(t)(t≥1)的像素点(x,y)处像素值为v(x,y),统计以v(x,y)为圆心,R为半径的球体SR(v(x,y))与背景颜色样本集Mc(x,y)相交的元素个数,若不小于阈值Tmin,则认为v(x,y)与Mc(x,y)相似,将点(x,y)预判为背景点,反之预判为前景点。实际操作中,分别计算各背景样本点vj与v(x,y)间的欧式距离,若不大于R,则认为vj为交集元素,以此完成交集元素统计任务。

图2 基于背景颜色模型的像素预分类

基于Ml(x,y)的像素预分割:使F(t)帧的L(x,y)与背景纹理样本集Ml(x,y)进行异或,以获得(x,y)处纹理特征与前景的相似程度p(x,y)为

p(x,y)=ones(L(x,y)⊕Ml(x,y))/8

(7)

式中:ones()用来求异或结果中1的个数。p(x,y)越大,(x,y)为前景点的概率越大,反之为前景点的概率越小。

当p(x,y)大于0.5时,将像素点(x,y)预判为前景点,否则预判为背景点,完成基于背景纹理模型的像素预分割。当两次预分割结果均为背景时,才将像素点(x,y)设置为背景,否则设置为前景,可以有效降低对伪装色侵限异物的漏检率,分割后F(t)转化为灰度图像B(t),如图3(a)转化为图3(b)。

(a)F34帧原图 (b)像素分类后的B(34)

(c)形态学处理后的B(34) (d)运动目标检测结果 图3 ViBe异物侵限检测结果

为了排除诸如枯草、树影晃动等外界干扰因素影响,对灰度图像B(t)进行中值滤波和膨胀腐蚀处理,结果见图3(c)。并认定B(t)中最小外接矩形面积大于阈值的前景连通域为侵限异物。再根据前景连通域最小外接矩形在图像中的位置,选择下一步执行方案。

设待检帧F(t)图像分辨率为w×h,最小外接矩形上下左右边界值分别为ymin、ymax、xmin、xmax。

ymin=0‖ymax=h‖xmin=0‖xmax=w

(8)

当式(8)成立时,认为侵限异物尚未完全进入视频监控范围,难以为后续跟踪任务提供完整的目标信息,需要继续执行Step3,更新背景模型。否则,认为侵限异物已完全进入视频监控范围,将最小外接矩形区域作为初始化跟踪框box0,供后续跟踪算法进行密集循环采样。

Step4背景模型更新

为适应复杂监控场景在时空维度上的各种变化,采取以下步骤对背景颜色样本集Mc(x,y)和背景纹理样本集Ml(x,y)进行更新。

(1)背景区域恢复:由于前景像素点不参与背景模型的更新,被误检为前景区域的像素块难以重新融入背景,可能产生“鬼影”。因此,基于前景运动目标不会长期处于同一位置的实际情况,将连续多帧被检测为前景的像素点重置为背景点,使算法具有一定自愈性。

(2)随机抽取更新点:任取区间[1,(2Φ-1)]中的一个整数为随机步长,逐行抽取灰度图像B(t)中的像素点(x,y),若(x,y)为前景点,仅用L(x,y)对Ml(x,y)进行更新,若(x,y)为背景点,还需用v(x,y)对Mc(x,y)进行更新。因各像素点仅有1/Φ的概率更新样本集,使背景模型的更新频率降低,不易对缓慢移动的物体产生漏检。

(3)背景样本集更新:若以随机抽取的像素点(x,y)为背景点,则用v(x,y)替换Mc(x,y)中的任意一个样本,避免历史样本长期保留在Mc(x,y)中,影响模型的准确性。Ml(x,y)为

Ml(x,y)=p(x,y)Ml(x,y)+

(1-p(x,y))L(x,y)

(9)

Ml(x,y)则通过式(9)完成背景更新,其更新程度与像素点前景概率p(x,y)成反比,可以避免前景点对背景模型造成污染。

(4)空间邻域样本集更新:基于邻域像素的空间一致性假设,从NG(x,y)内任选一个像素点(x0,y0),用v(x,y)替换Mc(x0,y0)中任意一个样本,使背景样本信息逐渐向外扩散,以尽快消除“鬼影”区域。

完成背景模型更新后,再返回Step2检测F(t+1)帧的侵限异物。

最终检测结果见图3(d)。由于图3(d)中侵限异物最小外接矩形边界值不满足式(4),认为侵限异物在F(34)帧已完全进入视频监控范围。对F(34)帧的FHOG特征进行密集循环采样,用来训练一个位置滤波器,从F(35)帧开始跟踪侵限异物。

3 核相关滤波异物跟踪算法

3.1 位置滤波器训练样本集的生成

3.1.1 原始样本的FHOG特征提取

FHOG特征通过合并局部区域的无符号和有符号方向梯度直方图来描述目标,具有对目标几何形变和光照变化不敏感的优点,适合为行人、动物和车辆等侵限异物构建外观模型。因此,提取图3(d)中初始化跟踪框box0的FHOG特征,作为生成位置训练样本集的原始样本。FHOG特征的具体提取步骤如下:

Step1建立像素级特征映射

分别用梯度算子[-1 0 1]和[-1 0 1]T对box0对应的灰度图做卷积运算,可以得到box0内各像素点(x,y)的水平方向梯度Gx(x,y)和垂直方向梯度Gy(x,y)。

(10)

进一步求得像素点(x,y)处方向梯度的角度θ(x,y)和幅值A(x,y)为

(11)

将0°~180°的范围等角度划分为m个无符号方向梯度分区,使用式(12)判断梯度角度θ(x,y)所属的分区p为

(12)

最后,为像素点(x,y)定义一个m维特征向量F(x,y),将梯度幅值A(x,y)映射到F(x,y)的第p维通道F(x,y)p为

F(x,y)p=A(x,y)

(13)

可以从box0中提取一个大小为w×h×m的像素级特征映射F。

Step2空间聚合

box0内若干像素点可以组成一个边长为l的正方形细胞单元,见图4。为了缩减特征映射F的尺寸,最直接的空间聚合方法是将细胞单元(a,b)的特征向量C(a,b)定义为其内所有像素点特征映射的均值或和,其中0≤a≤[w0/l],0≤b≤[h0/l]。但此方法中细胞单元交界处的像素点仅对本细胞单元的特征向量产生影响,容易产生混叠现象。因此,可以通过三线性插值,使每个像素点的方向梯度都能投影到周围4个细胞单元的特征向量上,保证了box0内的局部空间一致性。

图4 方向梯度的空间聚合

以像素点(x,y)的三线性插值为例,依据其与周围细胞单元中心像素点(xα,yβ)的几何距离,和θ(x,y)与最邻近梯度分区pε中间角θε的夹角,计算投影权值,其中,α,β,ε∈{0,1}。将像素点的梯度幅值A(x,y)加权累加到特征向量C(α,β)的pε通道上,完成像素点(x,y)方向梯度的空间聚合。

(14)

Step3特征向量局部归一化

为了克服box0内光照不均匀和前景背景间对比度差异较大的问题,对细胞单元特征向量C(a,b)进行局部归一化。图5中定义了4个局部归一化因子Nδ,γ(a,b)(δ,γ∈{-1,1}),分别代表包含(a,b)在内的四个相邻细胞单元组成的方块的梯度能量和。

图5 4个局部归一化因子

可用式(15)对局部归一化因子Nδ,γ(a,b)做进一步表达,式(15)中所用为L2范数。

Nδ,γ(a,b)=(‖C(a,b)‖2+‖C(a+δ,b)‖2+

‖C(a,b+γ)‖2+‖C(a+δ,b+γ)‖2)1/2

(15)

让C(a,b)与Nδ,γ(a,b)的归一化结果相连接,可以得到细胞单元(a,b)的无符号HOG特征Hunsign(a,b)为

(16)

Step4方向梯度直方图的合并

若将0°~360°的范围等角度划分为2m个有符号反向梯度分区,同理可求得有符号HOG特征Hdesign(a,b)。无符号HOG特征和有符号HOG特征在描述非刚性和刚性物体上各有优劣,因此,将两者串联为新的特征矩阵Hjoint(a,b),可以更准确地对侵限异物进行描述,特征矩阵为

Hjoint(a,b)=(Hunsign(a,b),Hdesign(a,b))

(17)

但该方法使细胞单元的HOG矩阵维度由4×m维增加至4×(m+2m)维,将影响后续目标跟踪算法的计算速度。因此,将Hjoint(a,b)的每一列相累加,形成Fhog(a,b)的前3m个元素,代表(a,b)的m维无符号方向梯度和2m维有符号方向梯度;每一行相累加,形成Fhog(a,b)的后4个元素,代表包含(a,b)在内的4个方块的梯度能量和,Fhog(j)为

(18)

将本节提取的侵限异物FHOG特征矩阵作为原始样本,通过密集循环移位可进一步生成位置训练样本集。

3.1.2 原始样本的密集循环移位

针对初始化跟踪框box0内的FHOG特征矩阵所含信息量较少,不足以用来训练一个核相关位置滤波器的问题,在跟踪起始的F(34)帧,以侵限异物最小外接矩形的中心为中心,大小为2倍box0的采样区域进行密集循环采样,可以获得若干大小与box0一致的训练样本,采样过程见图6。

图6 位置训练样本的密集循环采样

假设初始化跟踪框尺寸为w0×h0,原始的方法是定义一个同样大小的滑动采样窗口,从待搜索区域左上角,按由左到右、由上到下的顺序滑动,每滑动l个像素,便提取窗口内的FHOG特征作为训练样本。该方法需要耗费大量时间为每一帧采集w0×h0个训练或测试样本,时效性过差,有必要进行改进。改进的方法是:先使用2D汉宁窗对box0的FHOG矩阵进行过滤,以获得消除边界效应的原始样本Sg为

(19)

再通过Sg右乘水平位移矩阵P,模拟滑动采样窗口的横向运动,左乘垂直位移矩阵Q,模拟滑动采样窗口的纵向运动,可以获得一个位置训练样本矩阵SP。位移矩阵P、Q为

位置训练样本矩阵SP为

Sp(i,j)=Q(i-1)lSgP(j-1)l

(20)

i∈[1,h0/l]j∈[1,w0/l]

该矩阵为一个块循环矩阵,利用其在傅里叶域可对角化的性质,加速训练一个基于核化岭回归函数的目标位置滤波器,用来确定目标方位。

3.2 基于核化岭回归的侵限异物位置跟踪

将核化岭回归方法融入对F(35)帧的待搜索区域的滤波过程,并判定响应最大的候选区域为侵限异物跟踪位置。首先,利用一个非线性映射函数Φ(Sp)将位置训练样本集Sp映射至一个线性可分的高维特征空间。再利用Φ(Sp)训练一个线性回归函数Yp=ωTΦ(Sp),其中Yp为位置训练样本集对应的得分矩阵;ω是Φ(Sp)高维特征空间内的一个向量,满足

(21)

将式(21)代入线性回归函数可以得到一个核相关位置滤波器,分矩阵为

Yp=Φ(Sp)Φ(Sp)Tφ

(22)

式中:φ为待调参数,最优参数组φ应使位置滤波器代价损失函数最小,即满足

(23)

其中,Y为二维高斯矩阵,代表位置滤波器的理想输出;λ为代价损失函数正则系数,目的是使可能出现多组解的最小二乘拟合在此处有唯一解。

再求代价损失函数关于φ的偏导,并判断偏导值为0时的φ为最优解,最终求得φ为

φ=[Φ(Sp)Φ(Sp)T+λI]-1Y

(24)

Φ(Sp)Φ(Sp)T为位置样本集Sp在高维特征空间的内积核矩阵,简写为K(Sp,Sp),可将式(24)转化为

φ=[K(Sp,Sp)+λI]-1Y

(25)

式(20)中的矩阵求逆运算将占用大量计算资源,导致算法时效性不高。若能使Sp映射至特征空间后仍为块循环矩阵,则可利用块循环矩阵在傅里叶域可对角化的性质,把复杂的矩阵求逆运算简化为点乘。本文使用如式(26)所示的高斯核矩阵,使Sp映射为K(Sp,Sp)后仍为块循环矩阵。

2(X·Y)T)]

(26)

将块循环矩阵K(Sp,Sp)对角化为

(27)

式中:F为离散傅里叶矩阵;diag()用来生成对角化矩阵;“^”代表矩阵的傅里叶变换。将式(27)代入式(25),根据对角化矩阵的逆为对角线上各元素的倒数的性质,可以求得位置滤波器快速调参公式为

(28)

再将F(34)帧的采样区域作为F(35)帧的待搜索区域;F(34)帧的跟踪框作为F(35)帧的滑动采样窗口,利用密集循环采样,提取视频序列F(35)帧的测试样本矩阵Spt,代入核相关位置滤波器计算响应为

Ypt=Φ(Sp)Φ(Spt)Tφ=K(Sp,Spt)φ

(29)

式中:K(Sp,Spt)为测试样本集Spt与训练样本集Sp的高斯核矩阵。最后,将响应矩阵Ypt中的最大值坐标,作为F(35)帧侵限异物的预测位置,配合异物尺度估计,可以完整的标记出侵限异物。

4 尺度自适应的PSA-Kcf降维跟踪

4.1 尺度测试样本集的建立

尺度金字塔是由一系列以侵限异物最小外接矩形的中心为中心,不同尺寸大小的图像块组成的样本集合,其作用是为异物尺度估计环节提供足够的测试样本。假设尺度滤波器维度为d,则对于整数n([(1-d)/2,(d-1)/2],以式(24)预测的侵限异物位置为中心,F(34)帧的跟踪框大小为基准,在第F(35)帧截取一系列大小为Rnw0×Rnh0的图像块,R为金字塔图层间的比例因子,可以获得一个d层图像尺度金字塔,见图7。

图7 侵限异物尺度金字塔

再通过双线性插值调整尺度金字塔各图层尺寸,使各图层的大小均与F(34)帧跟踪框一致。最后,将处理后的尺度金字塔各图层的FHOG信息提取出来,作为尺度测试样本集Sst。

4.2 尺度测试样本的相关滤波

根据相关滤波原理,两个越为相似的图像信号卷积响应值越高,因此,使用F(34)帧跟踪框的FHOG特征Ss,与尺度滤波模板H进行卷积,代价损失函数误差平方和最小为

(30)

式中:Y为一个三维高斯矩阵,代表尺度滤波器的理想输出;H为尺度滤波模板。先通过离散傅里叶变换将时域上的卷积转换为频域上的点乘,再求ε关于Hi的偏导,偏导为0时的Hi即为尺度滤波模板H第i层的最优解为

(31)

式中:conj()代表矩阵的复共轭。再利用尺度金字塔技术,在F(35)帧中建立一个d维测试样本集Sst,尺度滤波器获取的响应Yst为

(32)

再找到测试样本集Sst中使Yst得分最高的尺度测试样本,将其在尺度金字塔上对应图层的大小,作为F(35)帧跟踪框box1的尺度,可以将侵限异物完整的标识出来。

最后,利用式(28)更新位置滤波器参数φ,准备预测F(36)帧的目标位置。同时,利用式(32)逐帧对尺度滤波模板Hi的分子A和分母B进行迭代,以实现尺度滤波模板的快速更新。其中,常量η代表尺度滤波器的学习速率,Ss,t+1代表第t+1帧跟踪框的FHOG特征为

(33)

4.3 尺度特征的PCA降维

考虑到新增异物尺度估计环节在式(32)、式(33)中,需要对尺度测试样本的FHOG特征进行3m+4次二维离散傅里叶变换,在一定程度上降低了原生核相关滤波算法的跟踪速度。依据尺度测试样本特征维度远高于尺度测试样本数的特点,使用主成分分析法(PCA),在不损失图像信息的情况下,对尺度测试样本FHOG特征进行降维,从而降低目标检测和滤波器更新耗时。

PCA降维作为一种常用的数据分析方法,通过坐标的平移和旋转,将一组相关变量投影到不相关的低维子空间中,实现数据的降维。低维子空间的坐标轴被选择为高维数据中方差最大的方向,以提取原始数据的主要特征分量。

具体方法是:先通过式(34)将坐标原点平移至样本数据的中心,让原本相互独立的样本大致相关。

Sst(i)=Sst(i)-mean(Sst(i))

(34)

式中:Sst(i)为第i个测试样本FHOG特征的展开。再对如式(35)所示的d维协方差矩阵U进行特征值分解,将投影矩阵Vt的每行设置为U对应的特征向量,从而消除图像噪声引起的数据偏移。

U(i,j)=Sst(i)Sst(j)T

(35)

最后使用VtSst(i)将Sst(i)投影到低维子空间,将测试样本Sst(i)由(3m+4)×wt/l×ht/l维降至rank(U)维。式(33)中的Ss,t+1也属于测试样本集Sst,同理可使用VtSs,t+1代替,从而缩短尺度滤波器更新过程耗时。

5 实验结果与分析

5.1 实验算例与性能评估指标

算例:使用帧率为25帧/s的高清网络球机从某铁路试验沿线采集了两组视频图像序列进行实验,一组是侵限异物尺度基本无变化的视频序列T1、T2;另一组是侵限异物尺度剧烈变化的视频序列S1、S2,视频序列T1、T2各包含20 s,500帧图像,S1、S2各包含28 s,700帧图像。

实验使用的计算机搭载win7系统,中央处理器为Intel i5-6500,内存4 GB。使PSA-Kcf算法分别与无尺度估计环节的Mean Shift和Kcf算法、同样具有尺度自适应功能的SA-Kcf和SAMF算法进行性能比较,以分析不同种类算法的跟踪性能差异。

另外,本文所提算法的参数的数值是固定的,其信息见表1。

表1 参数信息表

当高斯核函数方差σ接近0时,映射至高维空间的样本数据容易过拟合,接近1时则可能导致数据线性不可分,因此取σ为0.5。为了得到一个相对较为简单的位置滤波器又不致欠拟合,正则化参数λ应取一个较小的正值,本文取λ为10-4。学习速率η则应在保证滤波器收敛的前提下选择尽可能大的值,以提升收敛速度,通过区间消去法确定η为0.02。

性能评估指标:在跟踪精度上,通过统计预测跟踪框与人工标注跟踪框的重叠率超过一定阈值的图像帧在视频序列中所占比例,绘制成功率图,以衡量跟踪精度的高低[18],可以同时反映算法在位置和尺度估计上的准确率。

(36)

式中:boxp为预测跟踪框;boxt为人工标注的实际跟踪框。再统计重叠率超过阈值{0.1,0.2,0.3,…,1}的图像帧在视频序列中的占比,来绘制AUC曲线,可以得到成功率图。通常将AUC曲线下的面积作为得分,反映算法的跟踪精度,AUC得分与跟踪精度呈正比。跟踪速度可以通过计算各算法平均每秒处理的图像帧数来衡量。

5.2 尺度金字塔层数的性能影响测试

当尺度金字塔层数d过小时,会因尺度测试样本少而降低尺度估计的准确度;而当d过大时,会间接影响尺度测试样本的降维效果,降低跟踪速度。绘制尺度金字塔层数d取不同值时,本文所提PSA-Kcf算法在视频序列T和S上运行的AUC得分和跟踪速度图,以考察尺度金字塔层数d对PSA-Kcf算法跟踪性能的影响,结果见图8。由图8可得,当d=0时,PSA-Kcf算法等同于无尺度估计环节的原生Kcf算法,其跟踪精度、速度与Kcf算法一致。当d<25时,PSA-Kcf算法的跟踪精度会随着d的增大而不断提升,以至d≥25后,其AUC得分会逐渐趋于平稳,最终收敛于72%附近。d=25仅是一个中间值,若要PSA-Kcf跟踪算法针对不同场景下的铁路侵限视频,其精度性能均可得到最大开发,d应取大于25的值。又观察到算法的跟踪速度会随着d的增大而不断降低,特别以尺度金字塔层数d=33为拐点,算法跟踪速度此后的下降斜率会陡然激增。为了在保证跟踪精度的前提下尽量提升速度性能,将PSA-Kcf算法的尺度估计层级d设置为33层,并参与后续性能对比实验。

图8 尺度金字塔层数的性能影响测试

5.3 跟踪精度对比实验

分别使用Mean Shift算法、Kcf算法和尺度自适应的SA-Kcf、SAMF算法对实验算例中的侵限异物进行跟踪,并与本文所提的PSA-Kcf算法的跟踪精度进行对比,实验效果见图9。

图9 不同算法的跟踪效果

由图9可得,PSA-Kcf、SA-Kcf和SAMF算法均能较为准确的对视频序列T1、T2中的侵限异物进行跟踪。而Mean Shift算法不对目标模板进行更新,分别在第72帧和第416帧完便全丢失T1和T2中的跟踪目标。Kcf算法则在第453帧,将T1中FHOG特征与侵限异物接近的轨旁低压开关箱误认为跟踪目标。视频序列S1、S2中的侵限异物存在较大规模的尺度变化,无尺度估计环节的Kcf算法和Mean Shift算法分别会学习到过量背景FHOG特征和RGB颜色特征,导致跟踪框漂移。为了更加直观地对各跟踪算法的精度性能进行比较,分别绘制不同算法在视频序列T和S中的成功率图,见图10。

(a)序列T

(b)序列S图10 各类算法的跟踪成功率

为了量化各算法的跟踪精度,计算其在视频序列T和S中的AUC得分,见表2。

表2 各跟踪算法的AUC得分 %

由表2可得,本文所提PSA-Kcf算法的跟踪精度要明显优于无尺度估计环节的Kcf和Mean Shift算法,特别在尺度剧烈变化的视频序列S中,PSA-kcf算法的跟踪精度可达73.8%,而Kcf和Mean Shift算法则仅达48.1%和21.68%。SAMF算法因尺度估计层级仅有较浅的7层,平均跟踪精度次之,也可达70.3%。PSA-Kcf算法对尺度测试样本进行了PCA降维,屏蔽了大量噪声干扰,平均跟踪精度要略高于SA-Kcf算法的71.94%。

5.4 跟踪速度对比实验

分别记录PSA-Kcf、SA-Kcf、Kcf、SAMF和Mean Shift算法在视频序列T和S上的运行总耗时,并依此计算各算法单位时间内处理的图像帧数,来反映各类算法的目标跟踪速度,得到的结果见图11。

图11 各类算法的跟踪速度

由图11可得,相关滤波类跟踪算法的跟踪速度均在100帧/s以上,远远快于SAMF算法的22.68帧/s和生成类算法Mean Shift的7.41帧/s。其中,Kcf算法因无须进行异物尺度估计,跟踪速度达到163.07帧/s。新增尺度估计环节的SA-Kcf算法虽然在跟踪精度上优于Kcf算法,但跟踪速度却下降至104.37帧/s。PSA-Kcf算法利用主成分分析大幅缩减了尺度估计环节的二维离散傅里叶变换次数,使跟踪速度回升至137.53帧/s。对比Kcf算法,PSA-Kcf算法在仅牺牲25.54帧/s速度性能的情况下,大幅提升了目标跟踪精度。

6 结论

(1)综合运用核相关滤波和密集循环采样方法,实现了对侵限异物位置信息的准确判断,并通过误差最小平方和函数和尺度金字塔技术将尺度滤波器融入到尺度估计阶段,有效提升了算法的跟踪精度,实验结果表明:本文所提PSA-Kcf算法在跟踪精度上优于无尺度估计的Mean Shift和Kcf算法,略高于尺度自适应的SA-Kcf和SAMF算法。

(2)通过PCA降维大幅缩减了尺度估计环节的二维离散傅里叶变换次数,降低了新增尺度估计环节的计算耗时,使PSA-Kcf算法的跟踪速度由SA-Kcf算法的104.37帧/s回升至137.53帧/s,能达到与原生Kcf算法相当的快速跟踪效果。

猜你喜欢

像素点异物滤波器
图像二值化处理硬件加速引擎的设计
食管异物不可掉以轻心
如何处理异物进入眼睛
自制异物抓捕器与传统异物抓捕器在模拟人血管内异物抓取的试验对比
基于局部相似性的特征匹配筛选算法
从滤波器理解卷积
基于像素点筛选的舰船湍流尾迹检测算法
开关电源EMI滤波器的应用方法探讨
一种微带交指滤波器的仿真
基于canvas的前端数据加密