基于卷积神经网络的移动网络目标跟踪与控制

魏冬梅

(1. 西华大学 计算机与软件工程学院, 成都 610039; 2. 西南财经大学 管理科学与工程学院, 成都 610074)

近年来,移动网络目标跟踪已成为视觉跟踪的重要组成部分之一.移动网络目标跟踪被应用到多个领域,并成为众多学者和专家研究的热门话题[1-2].虽然目前已有许多优良的跟踪算法,但是由于移动目标在运动过程中存在太多不确定性,导致移动目标跟踪仍存在着较多待解决的难题[3-4].目前跟踪算法基本上由判别类和生成类组成,判别类是指将跟踪问题进行二值分类转换,该方法易计算,效率高;生成类是指根据目标模板对图像进行相似区域的搜索,以此确定跟踪的目标位置,该方法计算难度大,结构复杂[5-6].郑志材等[7]以拓扑坐标为基础研究了移动目标跟踪方法,通过分析优化后的拓扑算法生成新的坐标向量,降低图像边缘压缩,利用虚拟坐标获取移动目标的跟踪位置.李静等[8]利用局部搜索树研究移动目标追踪方法,通过传感器获取的时间信息对移动目标的位置进行预测,利用局部递归方式进行移动目标的跟踪路径搜索.虽然上述方法都能有效实现移动网络目标的跟踪,但是对于移动过程中产生的遮挡、形变和模糊等问题仍无法解决.卷积神经网络(CNN)能够有效对网络模型进行优化,降低模型复杂程度,具备局部感知的能力,实现各层特征之间参数的共享[9].基于此,本文提出基于卷积神经网络的移动网络目标跟踪与控制方法.在目标跟踪分析过程中,利用传感器采集移动网络目标图像,通过构建CNN模型,提取采集图像的多尺度特征,结合滤波算法获取响应图,根据响应最大值实现移动目标的自适应跟踪与控制.

1 移动网络目标跟踪与控制

1.1 相关滤波算法

移动网络目标跟踪通过滤波算法转换为在线回归,根据回归误差的最小化进行最佳滤波模板的求解,跟踪求解公式为

(1)

式中:X为全部样本,X∈Rn×n,主要包括目标模板和其通过循环偏移所产生的样本集;y为跟踪响应的目标期望值;λ和v分别为正则化参数和滤波参数.

将式(1)引入对偶域内进行闭环求解,计算公式为

(2)

式中:a′、y′和x′均为傅里叶转换后的数值;x为目标模板;x′*为共轭复数.

通过滤波算法进行移动网络目标响应图的求解,计算公式为

h′(Z,a)=k′xZa′

(3)

式中,k′xZ=XZT,Z为循环数据矩阵.移动网络目标的位置即为响应图的响应最大值.

1.2 基于卷积神经网络的卷积特征提取

由于相关滤波算法在面对复杂情况的目标跟踪时无法提供精准的移动网络目标模型,且其期望响应值难以跟随复杂跟踪情况自适应变化,导致跟踪难度较大,以相关滤波算法为基础,提出基于卷积神经网络的移动网络目标跟踪与控制方法,通过卷积神经网络(CNN)的简单框架进行图像层次特征的学习[10-11].

在移动网络目标跟踪与控制研究中,将尺度空间中的若干个尺度内引入CNN权值,对图像所有像素目标进行识别并分类预测[12].采用拉普拉斯滤波对输入图像I进行快速局部操作,确保图像中的细节得以增强.构建图像I的多尺度As(高斯金字塔),其中,s∈{1,2,…,n},A1与I为相同尺度,具体变化如图1所示.

图1 目标图像多尺度高斯金字塔示意图

图1中,I为输入图像,A1为第一尺度高斯金字塔,A2为第二尺度高斯金字塔,A3为第三尺度高斯金字塔,上下层图像之间的关系为:上层面积为下层面积的4倍,上层分辨率为下层分辨率的2倍.假设卷积神经网络模型为fs,模型内部参数为θs,则该网络中全部模型参数可以跨越尺度进行共享,即

θs=θ0(s∈{1,2,…,n})

(4)

式中,θ0为CNN模型参数的初始值.设CNN网络存在的阶段数为L,则有

fs(Xs;θs)=WLHL-1

(5)

式中:W为权值矩阵;Xs为输出通道数;H为输出,且H0=Xs.在L阶段之前的所有隐藏阶段l输出为

Hl=pool(tanh(WlHl-1+bl))

(6)

式中:l∈{1,2,…,L-1};pool()为池化操作;tanh()为激活函数;bl为偏置向量.模型训练参数θs由Wl和bl构成.

利用上采样方式对尺寸进行统一,将不同尺寸图像特征进行组合,以此生成立体特征矩阵,即

F=[f1,u(f2),…,u(fn)]

(7)

式中,u()为采样函数.

设n=16,特征提取流程如图2所示.通过尺度空间进行的权值共享可促使网络学习具备不变尺寸的特性,降低网络发生过拟合几率.训练模型中参与的尺度越多,提取的特征效果越好[13-14].

1.3 自适应跟踪与控制

滤波算法的响应目标分别与移动网络目标的外观模型和运行信息相关,在式(1)中引入跟踪目标的运动信息[15],则有

(8)

(9)

(10)

式中:G′=[X′-I′],I′T=[I,I,…,I];T=[I,0];Q=[0,I].由式(10)可知,问题由滤波联合转换为二次凸优化[16],将式(10)引入对偶域内进行闭环求解,即

(11)

(12)

(13)

通过式(11)对各层卷积响应进行滤波参数的计算,以此获得最优参数,通过获取的最优参数展开响应图计算[17-18],则有

(14)

式中:e为滤波参数;D为当前层特征维数;P-1为逆转换傅里叶.

为了提升移动网络目标跟踪与控制的鲁棒性,利用特征响应图和加权融合方法获取目标最终响应图,即

(15)

式中:S为卷积特征池,即卷积特征利用的总层数;w为响应权重.最终响应图ht中的响应最大值位置即为移动网络目标位置,通过寻找该位置实现目标的自适应跟踪与控制.最终响应图如图3所示.

图3 最终响应图

2 仿真实验

2.1 实验环境

仿真实验开发工具为MATLAB,利用内存为8 GB的计算机实现跟踪算法.以OTB数据库中的8组传感器网络获取的移动网络目标视频序列为实验对象,高斯核为0.15,正则化因子为λ1=1×10-2,λ2=1×10-4,学习速率为1×10-3,提取的第8层卷积特征F8为1,第9层卷积特征F9为0.2,第10层卷积特征F10为0.2,第13层卷积特征F13为2×10-2,第14层卷积特征F14为3×10-2,第15层卷积特征F15为1×10-2,样本模板数量为7.

2.2 模型训练

本文使用随机梯度下降法对移动网络目标进行训练,为提高训练效率,使用迁移学习方法.网络训练时,首先对网络参数进行初始化处理,初始学习率设定为0.002,权重衰减率设定为0.000 6,动量因子为0.7,验证周期为2 000,当模型准确率达到收敛时停止训练,耗时40 h,结果仅保留概率值大于0.6的区域.训练损失曲线如图4所示.

图4 训练损失曲线

结果表明,随着迭代次数的增加,训练集产生的损失逐渐降低,当迭代次数达到1 000次后,损失降至0.25,说明模型训练效果良好.训练损失基本收敛到稳定值,表明其达到预期训练效果.

2.3 结果与分析

利用本文方法对移动网络目标的8组图像进行像素目标识别实验,其中,8组图像可有效验证本文方法的准确率.通过多次实验后,统计实验结果如图5所示.由图5可知,本文方法利用多尺度特征进行各图像像素目标识别能够获得良好的识别效果,其中识别准确率最高为97.48%,最低为93.85%,8组图像平均识别准确率为95.41%.由于多尺度特征为高层次、涵盖全方位图像信息的抽象特征,能够将图像中所有目标自然属性进行更好地表达,另外,不一样尺度的图像具备相同的CNN结构,促使图像在提取局部特征过程中的范围随着图像尺度的减小而增大,因此能够保证从原始图像中以从小到大的顺序进行分层特征提取,从而实现精准识别像素目标的目的.

图5 像素目标识别结果

采用本文方法分别与文献[7]以拓扑坐标为基础研究的移动目标跟踪方法和文献[8]以UAV与UGS协同为基础研究的移动目标追踪方法进行跟踪性能比较,分别进行跟踪精确度(DP)、跟踪成功率(SR)和跟踪中心位置误差(CLE)的对比实验,三种指标计算公式为

(16)

(17)

(18)

式中:K(p)和Ktotal分别为跟踪目标距离小于实际中心位置的帧数和总帧数;Rtrack和Rgt分别为跟踪目标区域和实际目标区域;xtrack和ytrack为目标跟踪的位置中心坐标;xgt和ygt为目标中心的坐标.当SR大于0.5时,即跟踪成功.

三种方法的跟踪精确度实验结果如图6所示.由图6可知,三种跟踪方法在跟踪精度上存在着较大差距,本文方法平均跟踪精确度为97.18%,文献[7]方法和文献[8]方法的平均跟踪精确度为81.28%、88.3%,本文方法比文献[7]方法和文献[8]方法分别高15.9%和8.88%.三种方法的跟踪精度均随着视频帧数的增加呈不规律降低,但是本文方法波动较小,表明该方法具备移动网络目标跟踪的稳定性.

图6 跟踪精确度实验结果

三种方法的跟踪成功率实验结果如图7所示.由图7可知,本文方法具有更高的移动网络目标跟踪成功率,本文方法平均跟踪成功率为95.93%,文献[7]方法的平均成功率为84.94%,本文方法比文献[7]方法的平均成功率高10.99%,文献[8]方法的平均成功率为87.51%,本文方法比文献[8]方法的平均成功率高8.42%.

图7 跟踪成功率实验结果

目标跟踪实验结果如图8所示.由图8可以看出,本文方法的跟踪结果更接近移动网络目标的实际运动轨迹,通过计算可知本文方法的中心位置平均误差为4.38 mm,文献[7]方法平均误差为16.85 mm,文献[8]方法平均误差为12.08 mm.

图8 目标跟踪对比结果

采用误差评价指标均方根误差(RMSE)评估跟踪算法所得值与实际位置值之间的差距,均方根误差计算公式为

(19)

式中,errj为跟踪算法所得值与实际位置值之间的差值.目标跟踪轨迹如图9所示.

图9 目标跟踪轨迹

三种方法目标跟踪位置的误差实验结果如图10所示.由图10可知,文献[7]方法的误差幅值最大,文献[8]方法的误差幅值次之,本文方法的误差幅值最小,表明本文方法在移动网络目标跟踪与控制过程中具有更好的跟踪效果.

图10 误差幅值曲线

3 结 论

针对移动网络目标的跟踪与控制,本文基于卷积神经网络的跟踪与控制方法,通过滤波算法对滤波响应进行计算,确定移动网络目标的位置,结合CNN的简单框架进行图像层次特征的学习,提取卷积多尺度特征,通过滤波算法获取最优滤波响应,促使移动网络目标响应能够随着目标实际运动而产生自适应改变,以此获取最优的跟踪效果.