基于数据融合的虚拟现实位姿追踪系统

任荣琴 申菊 马召换 王添 李念

摘要：本课题针对虚拟现实应用的特点，将光学数据与IMU数据相结合，研究基于数据融合的位姿追踪系统，通过位置信息与姿态信息的相互补偿或矫正，实现更准确的姿态追踪、更平滑的位置输出以及更少的图像延迟，提升VR体验效果。

关键词：虚拟现实;数据融合;位姿追踪系统

1.引言

近几年，人们对于VR体验不断增长的期望与需求，给位姿追踪技术的发展带来了挑战与机遇，不同样式的追踪技术与设备竞相亮相。其中，光学追踪与IMU追踪是两种最常见的追踪方式。一般来说，位置追踪以光学方法为主，姿态跟踪以IMU方法为主。

通过光学、IMU以及其它相关器件，可获得多种数据（包括：位置、运动、姿态、角速度、加速度、地磁等数据），根据各种数据的特点，在算法上可取长补短，从而实现更佳的VR体验。例如，从IMU中提取加速度数据，可用于光学位置预测;再例如，从光学数据中得到运动信息，可用于IMU的姿态矫正。本课题，即是研究这种基于数据融合的虚拟现实位姿追踪算法，不同于位置、姿态分别解算，而是通过相互补偿或矫正，兼顾位姿的准确性与平滑性;并可通过多种数据预测位姿，从而降低延迟。

2.研究背景

在位置、姿态追踪领域，单说姿态解算或者光学定位，分别有一些成熟的实现方式;但是，对于数据融合算法，特别是针对VR这一特定应用的实现方式，相关的研究却较少。

人眼对于VR场景的变化相当敏感，通常情况，如果VR场景有1mm以上的抖动，或者20ms以上的延迟，或者姿态有0.1度的抖动，人就会明显感觉到眩晕;所以，位姿追踪的精度需达到一定的程度，才能满足VR应用。本课题的研究重点，正是针对VR这一特定应用，尽可能的充分利用多种数据，提高位姿追踪精度、降低延迟，以实现更佳的VR体验效果。位置与姿态（位姿）的实时追踪，是虚拟现实（VR）的关键技术。

本课题就“基于数据融合的VR位姿追踪算法”进行系统地研究，不同于通常的位置、姿态分别解算，而是针对VR这一特定应用，通过多种数据相互补偿，提高位姿追踪精度。因此，在VR追踪方面，具有一定的科学意义和学术价值。通过VR追踪融合算法的研究，将整理出从传感器校准、到姿态解算、再到数据融合、最后预测输出的整套算法，可直接应用于VR头戴或者VR配件的位姿追踪，具有实际意义与应用价值。

3.系统设计流程图

“位姿追踪融合算法”的流程，如下图所示：

磁力偏航角矫正是可根据磁力计数据矫正姿态偏航角。温度漂移补偿是配有温度传感器可针对陀螺仪作温漂补偿。姿态计算主要依靠陀螺仪积分，在一定条件下，可根据加速度计数据与重力的关系矫正姿态，这里指矫正倾斜角的偏差。工厂校准主要是陀螺仪、加速度计需要针对零偏和敏感度分别进行校准;磁力计需要连同头戴或手柄、控制器作整体校准。光学定位算法，此处可有多种不同算法，对应于不同的追踪形式。常用到的有双目视觉算法、PNP算法。

角速度、角加速度预测姿态是利用历史信息预测姿态，或者进一步，利用历史信息计算出角加速度用于预测姿态。光学运动信息矫正IMU姿态是利用光学运动信息，按照一定权重矫正IMU姿态，可防止姿态偏移。光学姿态矫正IMU姿态是利用光学姿态，按照一定权重矫正IMU姿态，可防止姿态偏移。IMU加速度预测位置是利用加速计及姿态信息，预测位置。说明：IMU更新速率通常快于光学，因此，用IMU数据补偿光学数据、预测位置。速度、加速度预测位置是针对图像方面的延迟而作的预测，或者说是为软件应用的调用而即时作的预测。

4.系统设计

位置与姿态（位姿）的实时追踪，是虚拟现实（VR）的关键技术。不同样式的追踪技术与设备竞相亮相。其中，光学追踪与IMU追踪是两种最常见的追踪方式。一般来说，位置追踪以光学方法为主，姿态跟踪以IMU方法为主。

通过光学、IMU以及其它相关器件，可获得多种数据（包括：位置、运动、姿态、角速度、加速度、地磁等数据），根据各种数据的特点，在算法上可取长补短，从而实现更佳的VR体验。例如，从IMU中提取加速度数据，可用于光学位置预测;再例如，从光学数据中得到运动信息，可用于IMU的姿态矫正。本课题，即是研究这种基于数据融合的虚拟现实位姿追踪算法，不同于位置、姿态分别解算，而是通过相互补偿或矫正，兼顾位姿的准确性与平滑性;并可通过多种数据预测位姿，从而降低延迟。

5.系统测试

我们将实现一个由传感器主板，以及相关代码实现的一个3D模型，在此实验中，我们主要用到的硬件仪器有主板，传感器。在传感器当中我们置有陀螺仪，以及加速度计。在主板与传感器之间用线来连接主板的二引脚，它的主要作用是当数据准备就绪用于中断。再分别把A4，A5引脚与传感器相接，以及接地的引脚和vcc引脚接好，有一个引脚需要接电源来提供电压。用usb光缆把数据输回电脑。用arduino和processing软件来进行测试，先把代码上传成功之后打开串口监视器输入任意字符，可以看到来自传感器的xyz轴的位置在随传感器位置的变化而变化。下面是具体的测试图。

综上，本课题针对虚拟现实应用的特点，将光学数据与IMU数据相结合，研究基于数据融合的位姿追踪算法，通过位置信息与姿态信息的相互補偿或矫正，实现更准确的姿态追踪、更平滑的位置输出以及更少的图像延迟，提升VR体验效果。

参考文献

[1]黄鹏程，杨波，万新军等.基于双目视觉的多点三维振动测量系统[J].光学技术，2018，44（4）：448-452.

[2]邱志成， 肖骏， 刘金国.柔性臂振动的双目三维检测和主动控制[J].电机与控制学报，2019，23（10）：129-138.

[3]曹姝清，卢山，刘宗明等.基于目标特征的单目视觉快速相对位姿测量系统及方法：中国，CN201711242992.9[P].2017-11-30.

基金项目：本文系贵州师范学院课题“基于数据融合的虚拟现实位姿追踪系统”