基于虚拟现实的定位技术的研究与应用
2022-05-13陈淑玲
[摘 要]随着科技的发展,计算机用户不再满足于使用键盘、鼠标实现基于WIMP界面的交互方式,在人机交互上出现全新的技术——虚拟现实技术。虚拟现实技术是可以创建和体验虚拟世界的计算机仿真技术,其采用的定位技术直接决定用户的体验感,是整个技术的重要依托。文章首先介绍虚拟现实技术,然后分析对比目前虚拟现实系统中的经典定位技术,研究定位技术使用的算法,再介绍主流虚拟现实设备,最后分析目前定位技术存在的问题、未来发展的趋势和方向。
[关键词]虚拟现实;计算机技术;定位技术;动作捕捉
[中图分类号]TP399 [文献标识码]A [文章编号]1008-7656(2022)01-0032-05
引言
近几年,随着传感技术、图像处理技术、5G技术等发展及相关产业链的成熟,虚拟现实(Virtual Reality,VR)技术得到快速发展,并广泛应用于教育、娱乐、商业、工业等领域。例如,针对青少年的虚拟消防逃生课、心脏搭桥模拟手术等,利用虚拟现实技术搭建虚拟课堂或虚拟实验环境,系统中设置虚拟智能角色,带领学生在虚拟环境中学习交流、体验探讨,降低实验操作的风险,提升学生的主观能动性和自主学习能力。
一、虚拟现实技术
虚拟现实技术是基于计算机技术、传感技术、仿真技术、图形学、三维场景构建等学科的新兴技术,其目标是通过计算机硬件和软件人工合成三维视觉空间,用户通过使用虚拟现实设备与之进行人机交互,从而获得视、听、触、嗅、味的感觉,营造出一种与现实世界一样的感官体验,从而产生身临其境的感觉。
虚拟现实系统是沉浸式交互仿真系统,如下页图1的虚拟现实系统的构建过程图所示。在整个系统中,虚拟现实设备是实现用户与虚拟世界交互的重要技术节点,是使虚拟现实系统具有3I特性的关键环节[1],其核心技术就是空间定位技术及动作捕捉。
二、虚拟现实定位系统
目前的虚拟现实设备主要是穿戴式设备,由头戴式显示器、手柄、数据手套、数据衣服及定位器组成。头戴式显示器在为用户展现3D场景的同时,捕捉用户头部的定位和方向、眼睛的凝视点;手柄或手套用于捕捉用户手的位置及动作;将虚拟设备检测捕捉到的数据信息回传到3D场景空间,虚拟场景及目标事物做出相应的反馈,实现用户与虚拟世界的交互;而定位器用来捕捉穿戴式设备的位置等信息,其在整套设备中起着重要的作用。
虚拟现实定位系统的主要功能是将用户在三维视觉空间的位置、方向、位移等信息以高精度、低延时、低复杂度的方式提供给虚拟现实系统[2],继而呈现在虚拟空间中,用户沉浸于虚拟世界时感觉到的和看到的一致。
当前相对成熟的室内空间定位技术包括激光、红外线、可见光、超声波、惯性传感器和计算机视觉定位等,但由于定位精度和部署条件各异,能应用于虚拟空间的定位技术有限。VR空间定位的核心性能指标是定位精度高且时延低,定位精度要达到mm级,定位系统时延必须要小于20ms[3]。如何精准地获取用户位置信息并捕捉到其动作,如何使时延尽量短不影响用户体验的流畅性,且快速地反馈到VR内容中,这是VR普及的关键。对比能够满足虚拟现实定位需求的相关定位算法、定位精度、抗干扰性、部署成本及对环境的依赖程度,如表1虚拟现实定位技术表所示[4],其中,光定位技术,激光定位技术、红外光学定位技术、可见光定位技术已应用于HTC、Oculus、索尼三大厂商的主流产品中,使其VR设备成为消费级商品。超声波定位技术有着高性能,但由于较高的成本,使许多虚拟设备商望而却步。惯性传感器定位技术和计算机视觉定位技术具有高精度定位能力,但需要复杂的算法程序实现,时延较长,目前其还处于改进阶段。
三、光定位技术
(一)激光定位技术
激光定位技术使用激光扫描法,在定位空间内安装数个激光发射器,利用光塔固定,向横竖两个方向扫射激光,测定激光发射器间的距离;在目标物体上设置多个激光感应接收器,收集计算两束光线到达目标节点的角度差,利用三角公式计算节点与激光发射器之间的距离,再利用离线理论值进行比较匹配,解算出待测节点的三维坐标。在扫描过程中遇到障碍物,只需修正匹配方法,仍可以实现高精度定位。
相对于静态扫描,扫描物体的动态过程可以省去较为复杂的计算和匹配过程,在位置估计时间内,根据测定的转向角度、速度、加速度等信息可以估算出位置,判定物体的移动,从而完成动作捕捉。由于各种干扰的存在,该位置会存在误差,用估计到的位置信息,理论计算出被定位物体的距离并得到期望列表,再通过设置物体估算距离阈值进行加速匹配[3],得到更为精准的位置坐標。
激光定位利用机械方式控制激光扫描,必须保障光塔的稳定性,如果光塔发生移动或抖动,要重新对焦匹配,否则无法定位。另外其耐用性较差,机械结构磨损也会导致故障。但激光定位精度和宽容度高,可避免复杂的程序运算,延迟短,反应速度快,可以定位多个目标物体,且可移动范围广。该定位方法已在虚拟现实中得到推广应用。
消费级产品HTC Vive的Lighthouse是激光定位技术的代表产品之一,由定位光塔、头显、手柄组成。在活动空间的对角线上利用支架安装两个光塔,高度大约2m,对角距离3~5m,光塔每秒发出6次激光束,内置水平方向和垂直方向两个扫描模块,分别轮流对空间发射激光扫描定位物体[2]。在头显和两个手柄上安装多达70个光敏传感器,根据接收激光的时间计算得到传感器相对于激光发射器的精准位置,利用头显和手柄上不同位置的多个光敏传感器得出头显和手柄的位置及方向。
(二)红外光学定位技术
红外光学定位技术实现原理:在空间内布置安装多个红外发射摄像头,发射调制红外线,并对整个空间覆盖拍摄,在待测目标节点布置红外反光点接收反射红外信号,摄像头捕捉反射影像,经过处理计算,最终得到目标节点的空间坐标。最具代表性的产品是OptiTrack的摄像头,属于被动式红外光学定位技术。
随着红外光学定位技术应用的深入,该技术得到了改进,发展成主动式红外光学定位技术。例如,Oculus Rift产品在头显和手柄上增加可发射红外光的红外灯,实现主动式定位,提高定位精度;并配备由三轴陀螺仪、三轴加速度计和三轴磁强计组成的九轴传感器,当目标物体被遮挡或者模糊时,可以通过九轴传感器获取目标的空间位置信息,解决红外光无穿透能力等问题,提升抗遮挡能力。Oculus Rift产品中配备高拍摄速率的摄像头,能够得到目标节点在当前空间的三维坐标,因此,定位系统不存在累积误差[1]。但定位角度受限于摄像头的视角,用户可活动的空间较小,也不支持多目标节点定位。Hypereal研发360°无死角三摄像头定位系统,将活动范围扩大到12.8m2。该主动式红外光学定位技术定位精度高、部署容易、成本低、耐用性高,在虚拟现实领域很适合推广。
(三)可见光定位技术
可见光定位技术的原理与红外光学定位技术类似,在不同的目标节点上安装可以发射不同颜色的可见光的发光灯,利用摄像头捕捉追踪各种颜色的光点,区分不同的目标节点,并获取目标点的位置信息,计算出其空间坐标。例如,索尼PS VR的两个体感手柄上分别发射天蓝色和粉红色的光,头显上发射蓝光。
可见光定位技术灵敏度高、稳定性好、成本低、技术难度小,且无需后续复杂的算法,但对环境高求高,抗遮挡性差。如果周边光线太强,手柄和头显的灯光被削弱到一定程度,则无法定位;如果定位空间出现同色光则可能导致定位错乱;当灯光被遮挡,位置信息无法准确传递,则无法定位。另外,受灯光数量和摄像头视角的影响,可追踪目标有限且目标移动范围小。
四、前沿技术
为了优化虚拟现实中的定位和交互系统,业界着力研究惯性传感器定位技术和计算机视觉定位技术,使定位精度更高、范围更广,捕捉姿态更细腻。
(一)惯性传感器定位技术
惯性传感器定位系统在目标物体的重要节点安装集成加速传感器、陀螺仪和磁力计等运动传感器设备[4],用于捕捉采集目标节点的运动数据,包括姿态、方位等,再将数据传给数据处理设备,通过惯性导航原理修正、处理数据信息,最终建立起三维空间模型,完成目标物体的位置、姿态、角度的测量。该系统可以实现多目标捕捉,灵敏度高、动态性能好、空间范围大、环境适应性高,但用于测量传感器运动参数的惯性测量单元(IMU)易受噪声干扰,会出现角度偏差;MEMS器件存在零偏和漂移,测量得到的信息存在步态判断误差和步长估计误差,这些误差会随时间推移而累积,导致系统不能长时间地进行精准定位跟踪[5]。有效消除累计误差是该技术在VR领域走进消费市场的关键。
(二)计算机视觉定位技术
計算机视觉定位技术在捕捉空间里采用各种光敏摄像机作为感知器,设计各种成像系统模拟人体视觉器官作为敏感信息的输入方式,再由计算机代替人脑对捕捉到的姿态、位置等信息进行处理,同时使计算机像人一样通过观察理解环境从而具备自主学习和适应环境的能力,实现高精度捕捉定位目标节点和解析目标姿态[6]。在系统中用户无需穿戴传感器就能精细地捕捉到动作,可以轻松舒适地沉浸在VR世界。由于使用光敏摄像机,对环境光、视角等都有高要求。另外使用计算机视觉软件创造精度的同时,必须缩短处理信息时间,缩小反馈时延,技术要求高。
五、发展趋势和方向
对比采用各种光定位技术的主流产品,发现没有完美的传感器,所有的光定位技术都有自身的局限性及技术壁垒。要打破其局限,应使用融合算法融合多种定位技术的优势,提高定位精度及检测反馈速度。当前融合定位算法是VR定位技术的研究热点,主要分为两种模式:基于贝叶斯滤波的融合定位[7]和基于机器学习的融合定位[8]。
基于贝叶斯滤波的融合算法在传感器定位存在可能误差的情况下,运用统计学的方法进行评估测算,使定位系统捕捉到的众多信息有统一的接口,从而估算出目标点的当前位置。基于机器学习的融合算法使虚拟设备模拟或实现人类的学习行为,使用从定位系统中获取的位置和动作信息,利用机器学习算法重新组织并改善自身定位性能,以得到更准确的三维坐标,如下页图2的基于机器学习的惯性传感器定位系统图所示。这两种模式可以将精度提高50%左右[5],都是基于算法实施,增加复杂的程序运算和内存的使用率,在反馈时延上没有优势,需要固化算法,提高了运行成本。
六、结语
本文分析虚拟现实定位系统的任务和性能,剖析虚拟现实应用于消费级VR产品的典型定位技术,阐述目前定位技术存在的问题和未来发展趋势。从商品价值和技术成熟度来看,VR定位技术处于高度关注期,定位技术日趋完善成熟,VR将给人们的生活方式带来新的变化。
[参考文献]
[1]张亚龙.光学定位在虚拟现实中的研究与应用[D].郑州:河南大学,2017.
[2]张宇翔,任爽.定位技术在虚拟现实中的应用综述[J].计算机科学,2021(1):308-318.
[3]DAI S.Design and implementation of indoor positioning system based on ultrasonic[D].Chengdu:Southwest Jiaotong University,2017.
[4]CHEN Y.Active visual positioning technology in immersive virtual reality[D]. Chongqing:Chongqing University of Posts and Telecommunications,2017.
[5]王奇,黎海涛.基于机器学习与惯性导航的室内定位技术研究[J].电子测量技术,2016(8):138-143.
[6]石红岩,王江涛.计算机视觉技术在目标航拍定位中的应用[J].长春大学学报,2017(4):8-11.
[7]董为浩.基于目标定位的数据融合算法研究[D].杭州:杭州电子科技大学,2015.
[8]程默.基于机器学习的室内定位与数据融合算法研究[D].成都:电子科技大学,2019.
[作者简介]陈淑玲,闽西职业技术学院讲师,硕士,研究方向:虚拟现实技术、计算机技术。
[责任编辑 韦书令]