基于增强现实技术的虚拟气象装备移动可视化与交互方法研究

雷晓妹 雍 玖 王阳萍 雍 芳

1(甘肃省气象局 甘肃 兰州 730020) 2(兰州交通大学 甘肃 兰州 730070) 3(甘肃省人工智能与图形图像处理工程研究中心 甘肃 兰州 730070) 4(四川大学 四川 成都 610065)

0 引 言

近年来,随着新一代人工智能技术的快速发展,气象保障设备的信息化建设随之迅猛发展,各气象台站相继配备了气象卫星广播数据接收、自动观测站、新型气象雷达、风洞、温湿度监测仪等气象信息化装备,但是气象装备的维护与操作工作关键在于维护与操作技术、操作人员、外界因素的稳定。因此,通过研究气象装备管理、可视化与应用,全面掌握新设备的操作、维护,才能实现气象保障设备的信息可视化,使气象设备能充分有效地发挥其在气象装备管理、应用中的功能和作用。

增强现实(Augmented Reality,AR)是将计算机建立的虚拟物体信息叠加在真实的现实场景中,通过三维注册技术来实现对真实场景的增强[1-2]。基于人工标识的AR系统注册方法利用视觉标识跟踪库ARToolkit和ARTag中的四边形黑白标识。虽然标识容易被检测和识别,但是易出现追踪区域受限、不稳定并且在复杂的环境下注册效果不佳等问题[3]。而基于自然特征点的注册技术不需要在真实环境中放置可识别的标识,并且可以增强跟踪稳定性以及扩展跟踪范围[4],但是目前三维注册技术中由于目标跟踪识别对于尺度和光照变化的鲁棒性较低,导致增强现实系统跟踪注册误差较大,甚至无法完成虚拟信息叠加。因此,通过改进待注册位置环境变化时自适应跟踪算法,利用尺度自适应跟踪、光照自适应跟踪及光照和尺度自适应跟踪算法,降低运动目标模型跟踪误差,为实现气象装备交互可视化提供技术支撑。

通过构建真实的三维气象装备模型和交互环境[5],基于改进自适应跟踪算法的增强现实三维注册,在移动端将AR人机交互、三维全景漫游、音视频多媒体元素三者结合,研究虚拟气象装备移动可视化与交互方法,提高虚拟气象装备保障及操作的可视化和信息化水平,让工作人员通过人机交互可视化系统不受时间和地域的限制快速学习新的技术和设备,达到快速认知了解气象装备结构以及工作原理的目的。

1 虚拟气象装备移动可视化与交互

基于增强现实技术的虚拟气象装备移动可视化与交互方法主要由增强现实交互、三维全景漫游、音视频讲解三个模块组成,具体如图1所示。

图1 基于增强现实技术的虚拟气象装备移动可视化 与交互方法

增强现实交互主要包括三维建模和AR系统交互可视化的两个部分:(1) 三维建模通过建立相关的气象装备3D模型,对模型渲染、贴图、优化及加入动画[6]。(2) AR跟踪注册将实现对现实世界中培训教材、宣传册、操作手册中添加相关的标识,利用移动终端或PC进行三维注册、人机交互等操作[7-8]。增强现实交互模块采用Unity3D引擎和改进Vuforia插件进行研发,但是Vuforia插件在环境尺度和光照发生剧烈变化时无法及时有效地跟踪到待注册位置信息,因此本文将采用改进自适应跟踪算法与Vuforia插件结合实现待注册区域的特征跟踪、检测、投影位置变换,最后集成发布到移动端。而三维全景漫游通过构建出气象装备三维全景空间,让气象装备操作人员可上下左右任意角度观看气象设备及现场整体运行环境。此外,音视频讲解具有信息量大、表现力强、直观性好等优点,可让使用者能够更加深入、便捷地对设备进行了解。

2 增强现实交互模块

增强现实交互模块如图2所示主要分为增强现实三维注册、模型建立及导入、交互功能添加三部分。增强现实三维注册通过利用AR开发工具对待注册标识图像进行特征点检测,并将数据特征集储存,并且AR SDK利用摄像头对现实世界待注册标识图像进行捕捉,然后将捕捉的图像转换为适合OpenGL渲染格式,然后利用追踪模块调用数据库信息,对检测的特征点实时跟踪;模型建立及导入部分通过将之前建立的3D气象装备模型叠加,最后将3D气象装备模型渲染叠加到摄像头采集的标识图,最终将真实还原的3D气象装备模型呈现到移动设备和工作人员的面前,实现对现实世界的增强;交互功能添加主要是人机设备的交互,目的是与虚拟气象装备的可视化交互操作。

图2 增强现实交互模块

2.1 三维模型建立

3D模型构建是气象装备可视化的关键,通过采用插件丰富、拓展能力出众、兼容性能较好的3dsMax作为气象装备建模的工具[9],需要利用减少面数和线条数等方法对虚拟气象装备模型优化。图3为建立的气象雷达三维模型。

图3 气象雷达三维模型

2.2 Frame Marker与待注册位置修改

将Vuforia中的Frame Marker不需要单独制作标记,大小可调节,并且其边界区域是以二进制的格式编码成的唯一的ID,导致还原Marker的ID对AR设备处理能力要求较低。图4为Frame Marker的案例模板,图5为雷达设备的待注册区域块。图6为将待注册区域块叠加至气象雷达维护与维修相关的培训资料。

图4 Frame Marker模板 图5 Frame Marker内容修改

图6 修改待注册区域块结果

2.3 改进自适应跟踪算法的增强现实三维注册

增强现实技术的核心是三维注册,三维注册方法的优劣决定增强现实系统性能[10]。本文采用如图7所示的基于自然特征点识别的三维跟踪注册方法,主要包括特征检测和注册跟踪两大模块,通过特征点的检测、描述、匹配、剔除误匹配点,同时通过摄像机的标定和虚实匹配完成对现实模块的增强。但是在环境尺度和光照发生剧烈变化时目前已有跟踪注册方法无法及时有效地跟踪到待注册位置信息,因此,本文将采用自适应跟踪算法改进Vuforia插件进行AR系统的跟踪注册。

图7 基于自然特征点的三维跟踪注册方法

2.4 目标变化时自适应跟踪算法

(1) 运动目标跟踪模型。对于基于自然特征点的注册方法而言,通过跟踪算法以运动的某个模型为目标(带注册位置),并且相邻帧运动目标位移不大,可采用二阶常速模型来描述目标运动规律,因此可采用矩形表示目标轮廓,具体参数描述为:

P=[x,y,hx,hy]

(1)

式中:矩形的中心分别为x和y;矩形的长或宽分别为hx和hy。运动目标位置状态可表示为:

(2)

(3)

式中:ΔT为采样周期;Wt是高斯白噪声;t为变量。

(2) 目标尺度自适应跟踪。可采用Chamfer距离方法[11]评价矩形目标位置相似程度,若当前帧图像的二值图为It,矩形模板二值图为T,距离图像为DIt,根据文献[12],可知目标位置之间Chamfer距离计算公式为:

(4)

式中:在当前帧图像中的中心位置和长宽为矩形模板T(Xt);T中像素值为“1”的像素数为|T|;k为T中第k个像素值为“1”的像素数;DIt(k)为T放于DIt上时,T中第k个像素值为“1”的像素位置下DIt中的灰度值。运动目标图像的二值图像、三维立体散点图和距离图像分别为图8(a)、图8(b)和图8(c)。则有Chamfer距离后定义尺度观测似然函数为:

(5)

(a) 二值化处理图像

(b) 三维立体散点图

(c) 距离图像图8 三种图像状态

(3) 目标光照自适应跟踪。通过采用带空间位置信息的光照直方图方法,将光照信息在RGB空间划分成m=8×8×8等级,仅考虑运动目标区域内光照分布情况。若Xt为运动目标状态,目标区域中心为x=(x,y),目标区域内像素位置为xi=(xi,yi),i=1,2,…,nh,nh为目标区域内像素的总数,半径为h=(hx,hy),则目标区域内光照分布可表示为[13]:

u=1,2,…,m

(6)

式中:Delta函数为δ;xi处像素在直方图上光照等级索引的映象为b(xi);直方图中光照等级索引为u;权值函数为k(·),则有:

(7)

式中:r为输入像素变量特征。由于矩形模板与位置目标相似度越高,则为真实目标可能性越大,则当像素离目标中心越远,k(·)函数赋予该像素点较小权值。

(8)

(9)

得到两种目标模板分布间Bhattacharyya距离后,有光照观测似然函数为:

(10)

2.5 目标自适应跟踪

(1) 目标自适应跟踪信息融合。提高目标跟踪的鲁棒性可利用光照和尺度融合信息描述运动目标观测信息,当目标状态为Xt时,运动目标观测似然函数为:

p(Zt|Xt)=αpc(Zt|Xt)+βps(Zt|Xt)α+β=1

(11)

式中:pc(Zt|Xt)和ps(Zt|Xt)为光照和尺度观测似然函数。两种特征信息融合时的权重为0≤α,β≤1。权值α大表示光照信息在跟踪期间可靠,反之亦然。因此可利用模糊逻辑根据前期跟踪结果自适应调节α和β权值的大小,实现光照和尺度变化时信息间的自适应融合。

(2) 目标自适应跟踪权值调节。模糊逻辑主要由模糊规则、模糊化、模糊推理、解模糊四部分组成。通过采用单点模糊化、乘积推理和重心解模糊,并定义为:

其中:Rj为第j条模糊规则;L为模糊规则数,e=(e1,e2,…,el)和u分别为模糊逻辑输入和输出。

若模糊逻辑输入为当前帧目标光照和尺度信息的可信度,则模糊逻辑输出为下一帧光照信息权值α,根据式(11)可得到尺度信息权值β,光照和尺度信息的可信度可根据式(10)和式(5)得到ec和es,并将α模糊化为{ST,VS,SR,S,M,B,BR,VB,BT},ec和es模糊化为{SR,S,M,B,BR}。其中:ST为很小;VS为小;SR为较小;S为微小;M为中等;B为微大;BR为较大;VB为大;BT为很大。图9为输入和输出变量的隶属度函数,表1为模糊规则,则对跟踪期间不可靠的特征信息模糊逻辑赋予较小权值,反之亦然。

(a) 输入变量ec和es的隶属度函数

(b) 输出变量α的隶属度函数图9 隶属度函数

表1 模糊规则表

2.6 改进目标自适应跟踪的注册结果及分析

将待注册区域块的叠加图像(图6)打印并录制相关的视频,图10为运动目标原始跟踪,图11为在目标位置变大或变小时尺度自适应跟踪的结果,图12为在目标位置光照变亮或光照变暗时光照自适应跟踪的结果,图13为在目标位置变大和环境变亮、目标位置变大和环境暗、目标位置变小和环境变亮、目标位置变小和环境变暗时光照和尺度自适应跟踪的结果。

图10 运动目标原始跟踪

(a) 目标位置变大 (b) 目标位置变小图11 尺度自适应跟踪

(a) 环境变亮 (b)环境变暗图12 光照自适应跟踪

(a)目标位置变大和环境变亮(b)目标位置变大和环境暗

(c) 目标位置变小和环境变亮(d)目标位置变小和环境暗图13 光照和尺度自适应跟踪

对图11-图13中尺度自适应、光照自适应、光照和尺度自适应分别做3次实验,并对相对应的变化情况进行中心位置x和y轴方向上的误差采集并取平均值,分别用MDx、MDy和MD表示。表2为在第50、100、150帧时相对应的运动目标自适应方法跟踪误差。表3为在第50、100、150帧时相对应的运动目标自适应方法跟踪注册过程中特征提取、图形检索、特征匹配、矩阵求解的时间。

表2 运动目标自适应方法跟踪误差 单位:mm

表3 运动目标自适应方法跟踪注册时间 单位:ms

由表2可知,尺度自适应跟踪、光照自适应跟踪、光照和尺度自适应跟踪对于运动目标模型的跟踪误差低,并且运动目标自适应方法跟踪平均误差基本都保持在2.5 mm以内,使得候选目标与目标矩形模板,更加适用于虚拟气象装备AR系统Vuforia SDK环境的三维跟踪注册中,而对于比较精细的操作,可通过移动交互指令操作控制模型的位置,并且将移动设备放置于待注册位置的正上方即可完成相对应的操作。因此,本文方法对于提高AR系统的稳定性和鲁棒性具有重要作用。

如表3所示,在第50、100、150帧时相对应的运动目标自适应方法跟踪注册过程中特征提取、图形检索、特征匹配、矩阵求解的平均时间分别为2.98 ms、1.34 ms、3.60 ms、11.13 ms。其中特征提取时间基本上在3 ms左右,特征匹配时间基本上在3.5 ms左右,而随着帧数的增加,图形检索、矩阵求解的时间呈现上升趋势,这与图像跟踪信息的增加有重要关系。因此,本文注册方法可以达到实时要求。

最后,可将虚拟气象装备模型、标识图像、改进Vuforia SDK环境的Adaptive Tracking Algorithm、AR Camera、Frame Marker等组件配置资源导入到Unity3D中实现虚拟气象装备的可视化,并添加对应的交互操作指令。

2.7 AR可视化人机交互操作

为了真实还原和全方位展示设备,让工作人员可真实直观地了解气象装备动作原理、功能结构、性能特点,可在气象装备建模过程中加入交互动画,并在Unity3D系统中编写脚本,实现虚拟气象装备模型相关的人机交互。由于气象装备内部复杂,可以设计不同的交互指令进行操作,如图14所示通过添加碰撞体,利用手指进行三维虚拟模型的旋转以及放大缩小的交互操作。

(a) (b)

(c) (d)图14 三维注册及交互功能效果

可以看出,当目标发生尺度或光照变化时,本文尺度自适应跟踪、光照自适应跟踪及光照和尺度自适应跟踪算法都能跟踪到待注册区域,完成气象装备可视化显示,并进行相对应的移动端人机交互操作。

3 三维全景漫游模块

三维全景漫游模块通过构建与气象装备相关的三维虚拟场景空间,在虚拟空间里进行场景的观看和交互,达到气象装备真实场景中的位置、运行环境和整体结构。图15为通过拍摄与气象装备相关的全景图像进行拼接、全景虚拟空间的构建和发布后生成气象装备三维全景漫游系统。

图15 三维全景漫游模块

如图16所示,气象装备全景虚拟空间将多个离散视点空间通过双向的空间链组成复杂网,然后采用热区链在虚拟空间上加入交互操作(如地图索引、热点、导览、语音等)。

图16 三维全景虚拟空间的搭建

利用Google VR SDK For Unity3D插件添加三维VR(Virtual Reality)模式的全景并发布在移动端。图17为三维全景漫游模块的效果,图18为三维全景漫游的VR模式效果。

图17 三维全景漫游模块

图18 三维全景漫游的VR模式

4 音视频讲解模块

音视频讲解使得工作人员可深入认知和了解气象装备,视频能展现文字、动画、声音甚至特效,更容易为人所接受,同时音视频具有信息量大、表现力强、直观性好的特点。通过在Unity3D中创建“Movie_1”脚本和mTexture,将视频放到“mTexture”中即可。为防止在没有光照或者光照弱的情况下无法观看或者看不清,可将交互界面更换shader为“Unlit/Texture”。具体效果如图19所示。

图19 音视频讲解

5 结 语

通过研究基于增强现实技术的虚拟气象装备移动可视化与交互方法,从增强现实交互、三维全景漫游、音视频讲解三个模块实现气象装备的虚拟化、可视化和信息化。通过改进待注册位置环境变化时自适应跟踪算法的增强现实交互模块使得工作人员更好地学习设备的功能和内部结构,运动目标模型在尺度、光照发生变化时的误差控制在2.5 mm以内,提高气象装备移动增强现实交互可视化跟踪注册时的适应性和精确度;三维全景漫游模块使得工作人员可以观看设备的外观和工作环境;音视频讲解模块可以更直观地对设备进行深入了解和认知。因此,基于增强现实技术的虚拟气象装备移动可视化与交互方法可以让用户不受环境和时间的限制,更好、更快、更高效地完成工作。