基于计算机视觉的艺术体操轨迹跟踪研究

郑亮

摘 要： 为了解决传统基于卡尔曼滤波算法进行艺术体操轨迹跟踪时存在的跟踪漂移以及跟踪效率低等问题，研究基于计算机视觉的艺术体操轨迹跟踪方法，通过ViBe运动目标检索算法对图像的颜色以及深度信息建模，基于图像颜色以及深度的波动检测出视频中的运动目标，采用KCF算法实现运动目标的初步跟踪，在该方法的基础上，通过改进KCF算法解决运动目标被遮挡出现的跟踪漂移问题，提高运动目标跟踪的精度和稳定性。通过Hermite插值运算运动目标质心，基于时刻[t]的运动模糊方向获取瞬时质心轨迹，得到最佳的运动目标质心轨迹，采用曲线拟合措施获取精确的运动目标质心轨迹。实验结果说明，所提方法可准确跟踪艺术体操运动轨迹，具有较高的跟踪效率和稳定性。

关键词： 计算机视觉； 艺术体操； 轨迹跟踪； 曲线拟合

中图分类号： TN911.73?34； TP391.41 文献标识码： A 文章编号： 1004?373X（2017）19?0086?05

Research on computer vision based trajectory tracking of rhythmic gymnastics

ZHENG Liang

（Chongqing Three Gorges University， Chongqing 404000， China）

Abstract： Since the traditional trajectory tracking of rhythmic gymnastics based on Kalman filtering algorithm exists tracking drifting and has low tracking efficiency， a trajectory tracking method of artistic gymnastics based on computer vision is studied， in which the ViBe moving target retrieval algorithm is used to model the color and depth information of the image， the moving target in video is detected according to the variation of the image color and depth， and KCF algorithm is adopted to realize the preliminary tracking of moving target. Based on this method， the KCF algorithm is improved to solve the problem of tracking drifting while the moving target is occluded， and improve the tracking accuracy and stability of the moving target. The Hermite interpolation is used to calculate the centroid of moving target to get the instantaneous centroid trajectory of motion blur direction at t moment， which can acquire the optimal centroid trajectory of moving target. The curve fitting method is employed to obtain the accurate centroid trajectory of moving target. The experimental results show that the method can track the trajectory of artistic gymnastics accurately， and has high tracking efficiency and high stability.

Keywords： computer vision； rhythmic gymnastics； trajectory tracking； curve fitting

当前我国体育事业处于上升过程，体育科研工作逐渐受到人们的关注，特别是艺术体操运动项目成为热门运动项目。采用合理的方法对艺术体操轨迹实施跟踪，能够协助教练以及运动员科学分析运动和比赛过程中的姿态准确性，为提高运动质量提供可靠分析依据。传统基于卡尔曼滤波算法的艺术体操轨迹跟踪过程存在跟踪漂移以及跟踪效率低的问题[1]。因此，提出基于计算机视觉的艺术体操轨迹跟踪方法，实现艺术体操轨迹的准确跟踪。

1 基于计算机视觉的艺术体操轨迹跟踪研究

1.1 基于ViBe的运动目标检测算法

ViBe运动目标检测算法是基于样本背景模型的背景差分方法，向图像的各像素位置采集[N]个近邻样本塑造背景模型，基于合理的调整方案存储波动信息[2]，进而对艺术体操视频图像的背景变化实施描述，最终差分出前景目标。具体过程为：

（1） 背景建模。基于首帧艺术体操运动视频图像中的各相似点随机采集[N]个近邻样本填充背景模型[M（x）]。ViBe算法基于即刻像素点的8邻域区域获取背景样本，在邻域中任意采集20个像素塑造背景模型，如下：

[M（x）=v1，v2，…，vn-1，vn] （1）

（2） 模型修正。為了提高背景模型样本集的真实性，ViBe算法采用随机修正方案，各背景位置在时间维度上基于均衡分布概率实施修正[3]，修正概率基于像素波动的时间窗口大小实施控制，通常设置修正概率为[116]。ViBe算法通过背景采样传播方案确保背景模型空间维度的统一，如果某背景点模型实施修正，则随机通过背景模型的某样本位置对即刻像素实施填充，同时基于相应的概率通过即刻像素值对其邻域点背景模型进行填充。

（3） 前景检测。为了对即刻像素点实施分类，在颜色空间设置一个以即刻像素[v（x）]为中心，半径是[R]的球[SR（v（x））]，则背景模型内与即刻像素[v（x）]距离低于[R]的样本数是：

[#SR（v（x））?v1，v2，…，vN] （2）

即刻像素点颜色与背景模型集内的全部采样像素点，如果颜色空间的距离低于[R]高于最低匹配规范[Cmin，]则将即刻像素当成背景，否则即刻像素是前景目标，最终检测出艺术体操运动目標。

1.2 基于KCF的运动目标跟踪算法

基于计算机视觉的艺术体操研究领域需要解决的技术难关是视频目标跟踪技术，当目标面对环境复杂、形变显著、有遮挡物等不利因素时，视频目标跟踪技术的提高需求迫切。本文采用KCF算法实现艺术体操运动目标的初步跟踪，在该方法的基础上，采用改进KCF算法解决传统KCF算法无法解决艺术体操运动目标被遮挡而出现的跟踪漂移问题，提高运动目标跟踪的精度。

1.2.1 KCF算法基本原理

KCF（Kernelized Correlation Filter）是一种利用与核相关的滤波器跟踪算法，通过 Tracking By Detection完成跟踪任务，实践过程中设定跟踪的艺术体操运动目标为主样本，再将运动目标周围的可视范围设定为负样本。采用判别分类器完成跟踪任务时主样本的回应值达到最高点。根据目标移动范围收集样本，主样本位于中间，负样本分布于周围区间，运用矩阵迭代更新算法，排除矩阵逆值的出现，将求解变化到离散傅里叶变换域中得益于循环矩阵，从而提高运算效率。

目标中心为收集主样本提供资源，周边影像为收集负样本提供资源。基于样本中心与目标的距离将各样本用不间断的数值进行标识记录。数值接近1时与目标距离小，数值接近0时与目标距离大。

（1） 求解过程

KCF运算是通过收集艺术体操运动样本的求解岭回归过程实现的，也称为最小二乘法[4]，可表示为：

[minwxf（xi）-yi2+λw2] （3）

式中：[λ]表示岭系数，求出一组权值[w]是实践的最高目标。

[w=（XTX+λI）-1XTY] （4）

在傅里叶域里计算共轭权值[w*：]

[w*=（XHX+λI）-1XHY] （5）

将艺术体操运动样本矩阵[X]由循环矩阵替代，则得到的简化运算式为：

[X=Cx=x1x2x3…xnxnx1x2…xn-1xn-1xnx1…xn-2?????x2x3x4…x1] （6）

如果艺术体操运动样本矩阵[X]是循环矩阵，则有以下属性：

[X=FdiagxFH， x=Fx] （7）

其中，[F]表示离散傅里叶变换矩阵。

将式（7）运用到权值的运算中：

[w*=FHdiagx*FFHdiagxF+λI-1FHdiagx*Fy=F-1diagx*·x+λI-1diagx*Fy=F-1diagx*x*·xλFy] （8）

如果把向量[w]的运算过程转换到傅里叶域，将大大提高整个运算的效率。

借助于核函数，KCF会有更好的表达方式。如果设置核函数的映射是[?x]，那么权重[w]为：

[w=iαi?x] （9）

回归函数可表示为：

[fz=wTz=i=1nαikz，xi，Kv=kxi，xj] （10）

（2） 运算过程

依据核函数的岭回归求解过程，则：

[α=K+λI-1y] （11）

利用核函数循环矩阵[K，]使离散傅里叶域的解成为：

[α=ykxx+λ] （12）

则由[K]的第一行元素构成的向量是[kxx]。

（3） 检测过程

艺术体操运动样本的核函数矩阵利用循环更新的方法组建：

[Kz=Ckxz] （13）

由第一行元素生成的向量用[kxz]表示。

与此同时，可依据艺术体操样本[z]计算出艺术体操运动循环移动的响应，实现艺术体操运动轨迹的跟踪。

[fz=KzTα] （14）

处于DFT范围内的响应[fz=kxz?α，]“[?]”表示元素之间相乘。

1.2.2 改进的融合深度信息的KCF算法

1.2.1节分析的KCF运动目标检测方法处理目标长时间遮挡问题时，无法解决艺术体操运动员运动过程中的遮挡问题，因此本文采用融合深度信息的遮挡检测和操作方法。遮挡会产生跟踪漂移现象[5]，导致参加跟踪器训练的样本中融入遮挡物噪声，使得跟踪器漂移，跟踪精度降低。因此，为了解决跟踪漂移问题，采用如下两种解决措施：

（1） 识别目标遮挡。本文跟踪的艺术体操运动员运动具有复杂性，识别目标遮挡问题也较为复杂。普通的视频序列无法获取体操运动目标遮挡特征，目标遮挡主要是不同深度运动对象的混合，距离摄像机近的体操运动员肢体遮挡了距离远的肢体，此时通过深度信息对遮挡问题进行识别。但是视频深度检测会形成错误数据，对这些信息实施操作的过程中应进行特殊操作[6]。如果跟踪过程初始化，则目标区域的特征属性较佳，跟踪区域中被跟踪的艺术体操运动目标完整，跟踪目标不存在遮挡问题。本文基于原始视频跟踪范围的深度分布特征，运算获取艺术体操运动目标深度和背景分割阈值。

（2） 减少负样本噪声。艺术体操运动目标存在遮挡问题，使得训练集中存在遮挡物的像素，随着跟踪模型的不断调整，导致对艺术体操运动轨迹跟踪出现漂移问题。因此，在跟踪模型不断调整状态时，为了提高对艺术体操运动目标遮挡问题的适应度，应降低负样本噪声。在目标训练样本集内降低目标以往负样本量[7]，避免跟踪模型向背景以及遮挡物漂移。本文通过遮挡MASK对艺术体操运动目标被遮挡范围进行识别，采用完整的目标图像对被遮挡范围实施填充，保留检测范围中不存在遮挡的区域。存在遮挡情况下艺术体操运动目标的训练样本是：

[trainSample（x）=detectSample（x）， MASK（x）=1originalSample（x）， MASK（x）=0] （15）

即刻检测的目标样本是detectSample，遮挡前保留的完整目标样本是originalSample。

如果艺术体操运动目标不存在遮挡，则对original Sample样本进行调整，保留完整目标，采用完整目标样本对跟踪器进行训练；如果艺术体操运动目标存在遮挡，则通过遮挡MASK得到新训练样本trainSample。新的训练样本中存在即刻目标未被遮挡的区域以及目标被遮挡前的区域，训练样本存储完整的目标像素，降低遮挡的不利影响，确保目标跟踪过程不存在漂移。

1.3 艺术体操运动目标轨迹重建

1.3.1 运动模糊目标的处理

由于艺术体操运动员运动速度较快，运动变化幅度较大，使得运动出现模糊问题，不能获取准确的运动质心，修正后的左右视图目标无法对齐。基于立体匹配的极线限制关系可得，在某个视图中的点能够在另一个视图中的极线中检索到匹配点[8]。若可获取运动目标质心的大概位置，则可获取运动目标质心的准确位置。

图像高频成分在不同的运动方向上的波动具有一定的规律性，目标运动方向中的高频能力最低，偏离运动方向过程中的高频能力不断提升，运动目标垂直方向中的高频能力最高。通过方向微分方法运算不同方向的高频能量和，基于高频能量累积分布直方图可得，如果图像的微分灰度值最低，则高频分量损失最高的角度则是运动模糊方向。

设置即刻运动图像像素点灰度值以及插值像素灰度值分别是[g（i，j）]以及[g（i，j）]，微分距离是[Δr，]微分方向是[α，]则当前像素和插值像素的位置关系为：

[i=i+Δr?sinαj=j+Δr?cosα] （16）

基于插值点坐标相邻的四个像素点灰度值二次样条插值得到插值像素灰度值[g（i，j）]。

在不同方向中对图像实施微分处理，获取不同方向的图像微分能量和，获取能量直方图，将直方图中高频分量最小的方向当成目标运动方向。

1.3.2 Hermite插值质心轨迹

采用改进的融合深度信息的KCF方法获取运动目标区域后，通过Hermite插值运算运动目标质心，基于时刻[t]的运动模糊方向获取瞬时质心轨迹，最终得到最佳的运动目标质心轨迹。时刻[t]目标投影区域中，目标质心处于经过目标投影中心以及经过目标投影的质心轨迹中。对左右视图实施对齐处理[9]，当左右视图目标的预测质心轨迹一致，则能够得到大量的可能匹配的质心点。获取的可能匹配质心轨迹因为目标质心位置以及速度方向存在一定的偏差，应通过曲线拟合措施获取精确的质心轨迹。

1.3.3 目标轨迹拟合

通过误差向量[r]的2?范数方法，评估近似函数[p（x）]同对应节点[（xi，yi），i=0，1，2，…，m]间的误差[ri=p（xi）-yi，][i=0，1，2，…，m]。数据拟合的具体过程为：设置艺术体操运动数据[（xi，yi），i=0，1，2，…，m，]在函数类[?]内，获取[p（x）∈?，]确保误差的2?范数最低，也就是使得式（17）最低，则为近似。

[i=1mr2i=i=1mp（xi）-yi2] （17）

在集合空间中检索同点[（xi，yi），i=0，1，2，…，m]间具有最低距离的曲线[y=p（x）]，该曲线则是拟合函数，也就是最小二乘解。如果艺术体操运动数据[（xi，yi），i=0，1，2，…，m，]存在少于[n]次由多项式构成的函数类[?]，则：

[pn（x）=k=0makxk∈?] （18）

确保式（19）中的[I]最小：

[I=i=0mpn（xi）-yi2=i=0mk=0nakxki-yi2] （19）

若[pn（x）]是多项式，则满足式（19）的[pn（x）]为最小二乘拟合多项式。如果[n=1，]则该过程是线性拟合。

[I]是关于[a0，a1，a2，…，an]的多元函数，最小二乘拟合的过程则是获取[I]极值的过程，对式（19）进行求导运算能够获取：

[?I?aj=2i=0mk=0nakxki-yixji=0， j=0，1，2，…，n] （20）

则有：

[k=0ni=0mxj+kiak=i=0mxjiyi， j=0，1，2，…，n] （21）

式（21）是關于[a0，a1，a2，…，an]的线性方程组，并且存在[ak（k=0，1，2，…，n）]，多项式为：

[pn（x）=k=0nakxk] （22）

其中，[pn（x）]满足最小二乘约束，也就是待求解的多项式，则：

[r22=i=0mpn（xi）-yi2] （23）

式（23）称为拟合的平方误差。

2 实验结果与分析

实验对某体育学院艺术体操运动员的运动轨迹实施跟踪监测，将双目摄像机架于某体育院校的艺术体操运动场地中，通过左右摄像机拍摄运动员的第1帧和350帧连续的运动图像序列，如图1所示。

采用本文跟踪算法获取实验运动员的平面轨迹图，如图2所示。分析图2可以看出，艺术体操运动员运行的平面轨迹同实际运动轨迹基本一致，说明本文方法跟踪的艺术体操运动员平面轨迹具有较高的精确度。

实验得到的艺术体操运动视频帧率是18 f/s，则350帧图像内的运动员共运行14 s。为了提高运动员轨迹跟踪精确度，将图2中运动员的平均运动轨迹当成运动员的部分运动轨迹，采用双目视觉获取部分艺术体操运动员运动轨迹后，分别采用本文算法和卡尔曼滤波算法实现运动员运动轨迹的跟踪，结果如图3所示。分析图3能够获取实验艺术体操运动员的实时运动状态，能够看出，本文算法跟踪的运动员轨迹同实际运动轨迹更匹配，而卡尔曼滤波算法跟踪的运动轨迹出现显著的波动，同实际运动轨迹间存在较高的偏差，说明本文跟踪算法具有较高的跟踪精度和稳定性。

为了客观分析两种跟踪算法对实验艺术体操运动员轨迹跟踪的准确度，两种算法在300 m（200 s）内对运动员运动状态的预测误差如图4所示。其中图4（a）和图4（b）分别描述两种算法对运动员轨迹的预测误差以及运动速度的预测误差。分析图4可得，相对于卡尔曼滤波算法，本文算法轨迹预测误差小，跟踪精度高，在艺术体操运动员轨迹跟踪中的性能较高，收敛效率较高。

为了更好地检测两种算法的艺术体操轨迹跟踪精度，实验通过蒙特卡洛迭代1 000次，预测两种算法对实验艺术体操运动员轨迹的预测误差以及速度的预测误差的均方根误差（RMSE），结果如表1所示。

从表1中能够看出，相对于卡尔曼滤波的轨迹跟踪算法的轨迹跟踪均方根误差，本文算法的轨迹跟踪均方根误差更小，本文算法的艺术体操运动员轨迹跟踪的准确性更高，算法复杂度更低。

3 结 论

本文提出基于计算机视觉的艺术体操轨迹跟踪方法，先通过ViBe运动目标检测算法获取视频中的运动目标，再使用改进的KCF跟踪方法跟踪运动目标，解决了跟踪过程中存在的漂移问题，最后基于立体视觉原理得到目标的三维空间位置，拟合轨迹点得到运动目标轨迹。

参考文献

[1] 熊建平.基于计算机视觉的墙地砖表面缺陷检测[J].电子测量技术，2015，38（5）：53?55.

[2] 华贵山，梁栋，葛浩.基于改进光流算法的机器人目标跟踪系统[J].控制工程，2014，21（5）：634?637.

[3] 蔡壮，张国良，田琦.基于函数滑模控制器的机械手轨迹跟踪控制[J].计算机应用，2014，34（1）：232?235.

[4] 李龙，白瑞林，吉峰，等.结构光视觉引导的轨迹跟踪系统的标定技术[J].计算机工程与应用，2014，50（16）：259?264.

[5] 于淼.基于行为视觉分析的运动角度规范性智能判断[J].科技通报，2015，31（12）：199?201.

[6] 侯向丹，董永峰，坎启娇，等.基于运动轨迹的视频目标跟踪算法[J].计算机工程与设计，2015（4）：995?998.

[7] 柯文德，彭志平，蔡则苏，等.仿人机器人相似性运动轨迹跟踪控制研究[J].自动化学报，2014，40（11）：2404?2413.

[8] 杨建华，刘卫东.遥控潛水器轨迹跟踪自适应模糊滑模控制方法研究[J].计算机测量与控制，2014，22（8）：2447?2450.

[9] 于宏啸，段建民.关于车道线图像识别轨迹规划跟踪仿真[J].计算机仿真，2015，32（4）：144?148.