仿真技术在我国旅游领域应用现状的研究

宁孟丽,樊亚栋

(山西旅游职业学院, 山西, 太原 030036)

1 引言

近年来,VR技术在各行各业都得到了广泛应用, 例如文物重建、古建筑重建、工业、环境、地理、游戏 等等。虚拟现实技术(VR)作为仿真技术的一种衍生应 用,可通过电子技术和计算机技术联合创造一个新世 界。在这个世界中, 有模拟的真实环境和声音,用户可 通过智能穿戴传感设备在模拟世界中进行游览和操作, 实时且自然感知这个虚拟世界又能深度参与。旅游过程 实际上是体验文化、体验生态、体验环境、体验景观、 体验娱乐、体验情感、体验健康等多方面体验的过程, 传统景区互动性差、景区流量受限、过度开发的旅游产 品造成古代建筑承压。差异化旅游发展亟待创新发展思路。由 VR 技术和信息技术共同发展起来的虚拟旅游技 术, 彻底改变了传统旅游方式。大大缩短了游客与旅游目的地之间的距离,使一些未被熟知的景区逐渐进入大 众视野。

当 VR 技术应用在虚拟旅游业中时, 主要有以下三 方面特征:

1)构想性:指的是虚拟环境主要由人想象得到, 这种环境主要依托于人的某种思想,因此可以用来构建 移动的虚拟目标。

2)交互性:用户可在多种传感设备的辅助下, 与虚拟环境中的事物、主体进行自然交互,同时也可感 受到环境变化带来的感受,与真实环境中的感受相差无 几。

3)沉浸性:指的是用户可从多方面感受到虚拟 环境中的事物, 仿佛置身于其中。

在大力推进旅游数字化、网络化和智能化的今天,对于虚拟环境的重建效果仍不尽如人意。为此, 孙保燕[1]等人利用空地多数据互辅融合算法,针对旅游景区古 建筑提出一种三维重建方法。通过倾斜摄影和三维激光 扫描获取古建筑图像,同时建立古建筑三维模型电子档 案, 对图像与档案中的数据进行融合并计算偏差,以此 完成对景区古建筑的三维重建。刘德儿[2]等人通过融合 异源的方式将三维激光点云数据与倾斜摄影结合起来, 实现对建筑的三维重建。利用倾斜摄影获取建筑图像, 并生成影像点云,在三维激光扫描仪的基础上分析其立 面数据,并对其进行去噪处理;将激光点云与影像点云 凭借TrlCP算法进行配准,使建筑物位姿实现完美融合, 进而完成建筑物的三维重建。

应用上述两种方法在对旅游景区建筑物重建时难 以取得理想的重建效果,因此,通过双目视觉系统采集 旅游景点数据,经过特征点提取和匹配后,完成建筑物 的虚拟三维重建。

双目视觉系统有四个基本步骤:

1.相机标定。单相机的内参标定可以获得每个相机 的畸变系数、焦距、光心等参数;双目相机的外参标定 可以获得相机之间的相机坐标系的平移和旋转关系。

2.立体校正过程。使用标定结果,对两个相机采集 的原始图像进行校正,使之位于同一平面且互相平行。

3.立体匹配过程。对校正后的图像进行像素点的匹 配, 匹配成功的点表示真实世界中的某点在这两个图像 中的不同位置。匹配代价计算的方法有很多,有 A(Absolute Differences )、 SAD(Sum of Absolute Differences)、 NCC(Normalized Cross-correlation)等方 法。

4.深度计算过程。根据立体匹配结果得到视差图计 算每个像素对应的深度取得深度图。

在实验测试中,利用仿真技术重建后的建筑物效果 要远远优于其他两种方法,可为用户提供最真实的虚拟 旅游体验。

2 景区三维重建

在虚拟现实技术中,需要对旅游景区建筑物进行模 拟,那就必须用到三维重建技术[3],本文通过构建双目 视觉系统来采集景区环境各类数据信息。

2.1 数据采集

仿真技术使用的双目视觉系统包含了硬件和软件 两部分,主要模块有影像获取模块、视觉测量处理模块 以及结果显示模块。其中,影像获取模块[4]由安装在系 统前端的两台工业摄像机构成,这两台摄像机之间方向 相同, 具体参数如表1 所示。

表1 工业摄像机具体参数

视觉测量处理模块的构成主要有两部分,分别是 CPU 和存储器,作用是接收影像获取模块传送过来的立 体影像数据[5],分析计算后以三维信息的形式传送至结 果显示模块。影像获取模块与视觉测量处理模块通过千 兆网线和路由器进行连接,实现实时影像数据的传送。 视觉测量处理模块的参数如表2 所示。

表2 视觉测量处理模块计算机参数

由于工业摄像机不会产生特别严重的镜头畸变,所 以选择了张正友标定法[6]对两个摄像头进行标定。双目 视觉系统两台摄像机的工作流程如图1(a)所示,由该 系统获取的景区建筑图像如图1(b)所示。

图1 双目视觉系统

2.2 特征点提取

在建筑物三维重建中,特征点提取的作用是将建筑 物的 2D 图像转换为 3D 模型。提取的特征点可以用于 确定建筑物的位置、形状和结构,可以作为计算机视觉算法的输入来识别不同部分的建筑物及其空间关系。对 于建筑物的复杂结构或特殊形状部分,特征点提取还可 以帮助计算机更好地识别和分割出这些部分,从而更准 确地重建建筑物的 3D 模型。对于获取的旅游景区图像, 利用改进后的 Harris 算法分别将 0°、45°、90°以及 135° 四个方向上绝对值小于阈值F 的像素点剔除掉,仅针对 剩下的像素点进行 Harris 角点检测。假设景区建筑图像像素点(x,y)的灰度强度[7]为I(x,y),那么在 0°、45°、 90°以及 135°四个方向上,对该像素点 4 个不同方向上 的灰度梯度Ix、Ir、Iy、Id进行推导,计算公式如式(1)所示:

(1)

Ix、Ir、Iy、Id四个值的范围在[-255,255]之间。 通过查阅相关资料, 将阈值设定为F=25。判断 0°、 45°、90°和 135°四个方向的梯度值,当满足Ix< 25、Ir< 25、Iy< 25、Id< 25 时,证明该点不是角点,除此之外的所有点被看作是候选角点[8],同时放入集合A中。对集合A进行扩展得到集合B,对集合B中的 像素点计算 8 相邻像素角点响应函数R,经过非最大值 抑制后,得到满足条件的角点。在对两个集合像素点R。

值计算完成后,按照大小顺序排列,利用相邻像素角点 最大值Rmax计算基础阈值T0：

T0=C0×Rmax

(2)

式中,C0表示阈值系数[9]。由经验可知,当C0的取值范围在 0.02～0.04 之间时角点检测效果最好, 满足R>T0且R为局部极大值像素点,由此得到的角点为基础角点。

由基础角点将景区建筑图像划分为若干个图像块, 接着再对基础角点以外的候选角点计算R值并排序,找出Rmax,将其作为补充角点[10],其周围的邻近点需要剔除掉。通过该方法可以很好地提取到图像特征点,便于 后续进行特征点匹配。

2.3 特征点匹配

在建筑物三维重建中,提取特征点是为了确定建筑 物的位置、形状和结构,但提取的特征点可能并不完全 准确,尤其当建筑物形状比较复杂或者存在遮挡或光照 变化等情况时,提取的特征点的位置、数量以及质量都 可能存在误差。因此, 在提取特征点之后,需要对得到 的特征点进行匹配, 以便消除误差并找到匹配的点对。 匹配可以通过将特征点描述符进行比较的方式实现。匹 配的结果可以用来确定不同视角的特征点之间的对应 关系, 从而使得建筑物的 3D 模型更加精准和完整。特 征点匹配是在一定搜索范围内,找到左、右两幅图像的 对应点,并将其进行匹配,仿真技术通过 SAD(Sum of absolute differences)算法[11]来实现。将左、右摄像机采 集的图像分别定义为参考图像和匹配图像。选取参考图像中的一个坐标点(u,v),将视差搜索范围设定为d, 图像中点(u,v,d)的像素代表了点(u,v)与匹配图像中点(u+d,v)之间的距离。SAD算法作为一种局部特征匹配算法[12],在匹配图像块方面具有非常突出的优势。SAD算法的表达式为:

(3)

式中,s、t分别表示待匹配两幅图像的轴斜率,M、N分别表示待匹配两幅图像的旋转矩阵,S表示立体校正矩阵[13]。

基于SAD算法的特征点匹配具体实现步骤为:

步骤一:建立一个与卷积核作用相似的小窗口;

步骤二:将左、右两幅图像分别用窗口覆盖住,同时提取覆盖区域内的所有像素点;

步骤三:对左、右覆盖区域内的像素点计算绝对值的和;

步骤四:适时调整右边图像上的窗口位置,反复操作步骤二、步骤三,直到满足差值最小条件时停止,此时得到的窗口即为与左边图像相匹配的像素块,提取其中的特征点进行相互匹配即可。

2.4 三维重建实现

提取得到左、右两幅图像对应的特征点后,利用双目立体成像理论对特征点的深度值进行计算,同时建立一个初始控制网格,利用插值的方式计算网格点坐标[14],以此实现虚拟环境中景区建筑的仿真三维重建。初始控制网格如图2所示。

将Φij看作是某个控制点的值,由此可得到逼近函数的表达式为:

(4)

式中,k=|x|-1、l=|y|-1分别表示左、右两幅图像的平移向量,s=x-|x|,t=y-|y|,Bk、Bl分别表示双三次B样条的基数。

将三维模型的像素值看作是Φij的逼近点集记为Φp。对于Pij中的所有点P,构建三维重建模型为:

ΦP=∑Pf(x,y)2ΦP/D(i,j)

(5)

由于双三次B样条函数曲线可以更加突出图像细节特征,对于配准后的特征点具有较高的接受度。所以在每一次的特征点匹配后,都会生成一个控制网格,经过一级一级的匹配,由粗到细的对旅游景区进行仿真三维重建,为虚拟旅游创造最接近现实的仿真环境。

3 实验测试

为了验证仿真技术在我国旅游领域应用的实际效果,选取某知名旅游景区作为研究对象,将仿真技术与文献[1]提出的空地多数据互辅融合技术和文献[2]提出的PCA-TrICP技术。首先,从特征点匹配方面对三种算法展开实验测试,对比结果如图3所示。

通过对比图3中的三幅图像可以看出,利用仿真技术得到的特征点数量最多、最全,左右两幅图像中的特征点匹配效果最好。而其他两种算法选取的特征点数量普遍较少,且左右两幅图像匹配的特征点出现了偏差,没有实现精准匹配。这是由于仿真技术不断调整SAD算法中的窗口位置,使待匹配的两幅图像像素块完全吻合,因此取得了优秀的特征点匹配效果。

接下来,对三种重建算法在虚拟现实技术中的应用效果进行对比,结果如图4所示。

图4 三种算法重建效果对比

从图4中可以很明显地看出,三种算法中,利用仿真技术取得的重建效果最好,使得在仿真虚拟旅游中得到完整体现。而其他两种算法重建图像完整度不高,细节处理得较为模糊,在虚拟旅游中的表现并不好。由此得出结论,应用仿真技术可以为虚拟旅游提供效果更好地模拟体验,使用户的感受更加真实。这是由于仿真技术取得了优秀的特征点匹配结果,使得重建后的图像保留了更多的特征点,因此重建效果更好。

最后,利用三种算法分别对不同环境下的建筑物进行1000次三维重建,并将重建后的建筑物长度与实际长度进行对比,得到如图5所示的结果。用来进行长度对比的是某古楼门框,实际长度为200cm。

图5 三种算法三维重建长度与实际长度对比结果

从图5中可以看出,三种算法重建后的长度与实际长度之间都存在着一定的误差,但是仿真技术取得的误差要小于其他两种算法,且1000次误差较为平稳,未出现特别突出的波动。再看另外两种算法的重建长度曲线误差普遍较大,且每次实验都不平稳,说明这两种算法稳定性较差,重建后的效果在虚拟旅游中无法得到平稳展现。

4 结论

目前,在我国处于起步阶段的双目视觉主要应用于四个领域:机器人导航、微操作系统的参数检测、三维测量和虚拟现实,就双目视觉的发展状况和目标(达到类似于人眼的通用双目视觉)而言,需要解决以下问题:①灰度失真、噪声去除、新的算法。②技术方面提高立体视觉的真实性。③不同场景的视觉标准与方法,约束信息参与立体匹配的模型。SGBM算法使用sobel算子对源图像进行处理,并将经sobel算子处理后的图像映射为新图像仍可做为后续研究。