基于VR技术的全景视频运动目标精确追踪

徐建伟

（中海油信息科技有限公司湛江分公司，广东 湛江 524000）

随着虚拟现实（Virtual Reality，VR）技术的不断发展，VR 技术已应用于教育、医疗以及交通等领域[1-2]。在视景仿真方面，VR 技术能够对全景视频区域进行重构，在此基础上对运动目标进行精确追踪和识别，提高对全景视频视觉信息的识别能力，因此研究VR 全景视频运动目标追踪对提高视频成像的清晰度和运动目标识别的准确性具有十分重要的意义[3]。

VR 全景视频技术快速发展。为了提高体育教学的乐趣，兰青等[4]将VR 全景视频技术应用于体育教学实践中，使体育教学具有创造性，给学生带来了良好的交互式体验。韩圣千等[5]利用VR 全景视频技术对时空切片的传输流量进行建模，提出了一种基于VR 技术的全景视频嵌套优化方法，采用实际算例进行仿真分析，验证了该方法的可靠性和实用性。任靖娟等[6]采用Canny 算子处理图片边缘信息，并利用角点匹配进行全景视频拼接，提出了一种基于VR 全景视频的目标可视化仿真模型，仿真结果验证了该模型能够广泛应用于多种场景。目前，VR 全景视频技术在目标追踪方面的应用较少，如何实现全景视频运动目标精确追踪还有待进一步研究。

1 VR 技术

1.1 VR 的基本概念

VR 技术是集多媒体、计算机、图像处理、仿真和电子等多种技术于一体的新技术[7]。它由实体虚拟、虚拟现实和相对复杂的计算处理组合而成，属于计算机模拟系统，利用计算机建模构造与现实世界基本相同的虚拟场景。VR 技术具有4 个基本要素：1） 基本模型。基本模型是将现实场景虚拟化的基础元素之一，利用建模将现实世界虚拟化，并保留其物理属性。2） 空间定位。根据体验者佩戴的工具定位他的实际位移情况，利用传感器传输信息，系统界面接收信息后及时进行反馈。3） 声音跟踪。利用传感器接收声音并确定声源位置及其传播方向，从而提高交互性。4） 视觉追踪。视觉追踪是将现实场景虚拟化的核心元素，跟随体验者的视觉移动呈现相应的画面，该技术主要是通过投影来实现的，根据时间和地点投影不同的画面，从而确定追踪对象的位置和方向。

1.2 VR 全景技术的特点

VR 全景技术具有以下3 个特点：1） 沉浸性。体验者处在虚拟场景中，可以观察周围环境，其注意力容易被周围环境吸引，从而拉近体验者与虚拟场景之间的心理距离。VR全景技术通过刺激体验者的感知，使体验者产生共鸣，体验者在虚拟场景获得更强的视觉冲击力后，产生身临其境的感觉，从而获得沉浸性的体验。2） 真实性。VR 全景技术通过虚拟场景对现实画面进行还原，体验者可以从任何角度观看，获得多维度感观和体验，体验者感觉自身处于真实场景且不受空间和时间的束缚，时空体验感更好。3） 交互性。与传统视频图像相比，VR 全景技术使体验者由被动接收转化为主动参与，通过一些设备和VR 设备提高体验者的主观能动性，提高其体验感，体验者与周围环境的交互感更好，从而打破空间的局限性。

2 VR 全景视频运动目标成像及特征分析

2.1 目标成像

目标成像是指在VR 全景视频中建立运动目标的成像模型，在图像的边缘轮廓提取特征值，结合特征分解方法进行信息融合和目标成像，并利用高斯模板进行匹配，建立基于VR 技术的全景视频运动目标融合模型。

假设在运动区域共分布N 个特征点，每个特征点均满足图模型G=（V，E）。其中，运动区域的模型用dG=（u，v）表示，在成像区域对图模型G=（V，E）进行特征分割并进行分块匹配，得到的像素序列u（2）如公式（1）所示。

式中：u1（2）～u4（2）为4 个像素点。在像素序列中输入特征数据，并利用公式（2）计算运动目标的像素序列u。

式中：y0、z0、λ 和φ 为4 个光线参数。

得到的新像素序列u（3）如公式（3）所示。

式中：u1（3）～u4（3）为4 个新的像素点。

利用像素排序方法对像素序列进行重组并进行滤波处理，就可以得到公式（4）。

式中：c 为滤波后的像素序列；X（3）为特征点。

对公式（4）进行逆映射，可以得到目标图像分布均匀的像素点，如公式（5）所示。

式中：θ*、ρ*为2 个光线坐标；p为均匀分布的像素点；X(cs2)为新的特征点。

在空间坐标系中建立运动目标的三维融合模型，如公式（6）所示。

式中：θe、ρe分别为基准线的横、纵坐标。

在成像区，以运动目标的灰度特征为x轴重构图像目标，可以得到灰度特征，如公式（7）所示。

式中：EX(cs2)、EY(cs2)和EZ(cs2)分别为X、Y和Z方向上的灰度特征；h为边缘像素集。

根据上述步骤可以得到全景视频运动目标的三维流行分布图，如图1 所示。

2.2 特征分析

当提取目标成像的特征值时，可以用矩阵T表示VR 全景视频的虚拟成像模型，如公式（8）所示。

式中：T11、T12、T21和T22均为特征矩阵中的元素。

采用时频特征分解法[8]对公式（8）进行特征分解，根据特征重组步骤可以得到VR 全景视频运动目标成像的分布条件，如公式（9）～公式（12）所示。

式中：A为关联规则集合；N为标量序列的个数；s、t为2 个二阶特征量；κ（A）为分块融合模型；P为调整系数；ai为特征元素。

考虑全景视频的灰度图像，采用模糊信息融合法[9]对任意像素（x，y）进行处理，得到VR 全景视频运动目标成像的拓扑结构，如公式（13）～公式（15）所示。

式中：h为方向比；s为扁平度；v为椭圆长短半轴的和；θ为成像区的主方向角；λ1为成像区椭圆的长半轴长度；λ2为成像区椭圆的短半轴长度。

采用对称分割法对运动图像进行分割处理，就可以得到该图像的分块融合模型，如公式（16）所示。

采用公式（16）就可以对目标图像进行特征提取和追踪识别。

3 全景视频运动目标精确追踪

3.1 提取目标特征

在运动目标成像模型的基础上，设计目标精确追踪的优化算法，该文提出了一种基于VR 技术的全景视频运动目标精确追踪方法。首先，对运动目标的边缘轮廓特征进行提取。其次，利用角点跟踪法进行融合处理。最后，对运动目标的图像像素进行进一步融合。对Harris 角点来说，采用分块检测法进行处理，得到运动目标的像素集，通过特征匹配得到灰度邻域，并对目标成像进行加权融合，提取其中的关联信息，可以得到全序列特征量GD，如公式（17）所示。

式中：L为高斯尺度；I为全景视频运动目标的灰度值；di为特征元素。

对运动目标进行融合处理，并对其向量进行量化编码，得到的编码集如公式（18）、公式（19）所示。

式中：ω为方向；ω0为初始方向；σr为方向关联系数；θ为角度；σθ为角度关联系数；j为编码；J为编码容量；θj为关联规则特征集。

对目标成像进行加权融合，就可以得到其信息熵H'（X），如公式（20）所示。

式中：H为信息熵集合，Xt为信息熵集合中的元素。

利用灰度窗口进行匹配，建立运动目标特征分割模型，确定其融合特征Eθj（x），如公式（21）所示。

式中：Fθj（x）为水平融合特征集；Hθj（x）为垂直融合特征集。

采用时频融合法对运动目标的像素进行特征分析，以提高对运动目标进行追踪的准确性。

3.2 输出跟踪目标

对VR 全景视频运动目标的关联特征量进行提取，并对其进行追踪融合，得到运动目标图像的关联算子，关联特征集如公式（22）、公式（23）所示。

式中：δBT（F）（x，y）为关联特征集；<（S，I）为条件“或”；>（S，I）为条件“与”；A（x，y）为特征量。

根据关联映射F：E→R3，令特征集为T：E→PDS（2），得到运动目标的高维分割张量模型（S，I），重构后的全序输出如公式（24）、公式（25）所示。

式中：Ai为分割后的张量；Aj为分割前的张量；h（S，I）为张量模型；S为张量元素。

对全景视频运动目标进行梯度分解，得到相应的梯度模型，对边缘像素进行重建，即可得到重建系数SP，如公式（26）所示。

式中：d为像素点间的距离。

根据上述步骤，基于VR 技术对全景运动目标的特征量进行提取，在虚拟仿真模型中实现运动目标的精确追踪和准确识别，得到优化输出如公式（27）所示。

式中：T为优化后的特征点集；B为特征点集。

4 仿真分析

为了验证该文提出的全景视频运动目标精确追踪方法的实用性，采用仿真试验进行验证，将图片的像素值设置为120 px，运动目标的最大迭代次数设置为300 次，利用高分辨率光谱分析仪进行视频采样，在Vega Prime 平台中进行运动目标跟踪识别。其中，像素值a1=（0.4，0.9，0.9）、a2=（0.6，0.7，0.6），特征分割系数α=0.35，关联系数σ=0.41，图像匹配系数β=0.32，分割张在不同帧数下全景视频运动目标追踪结果如图2 所示。

图2 不同帧数下全景视频运动目标精确结果

从追踪结果上来看，该文提出的基于VR 技术的全景视频运动目标精确追踪结果较好，能够很好地识别追踪目标的特征。采用ITV 跟踪方法进行对比，对比结果如图3 所示，由图3 可知，当追踪目标不超过3 个时，该文提出的方法与增量视觉跟踪法（ITV）的效果一致。当追踪目标较多时，该文提出的方法进行运动目标追踪的精度更高。

图3 WPA 优化结果

5 结语

该文提出了一种基于VR 技术的全景视频运动目标精确追踪方法，通过提取运动目标的边缘轮廓特征来建立VR 全景视频运动目标融合模型，利用像素排序方法对运动目标的特征进行重组，采用分块检测法进行处理，根据特征匹配结果得到灰度邻域，并对目标成像进行加权融合，提取其中的关联信息，实现了在虚拟仿真模型中精确追踪和准确识别运动目标的目标。仿真分析结果表明，该文提出的基于VR 技术的全景视频运动目标精确追踪结果较好，能够很好地识别追踪目标的特征，获得更高的追踪精度。