虚拟现实文化体验系统设计与应用

付康 余日季

摘 要：近年来，虚拟现实技术作为一种新媒体技术，受到众多研究机构的关注与青睐，应用文化领域的虚拟现实技术也成为研究热点。以Unity3D为开发平台，构建一种虚拟现实文化体验系统，并重点分析其系统架构与关键技术。以黄鹤楼文化为实例设计并实现了基于虚拟现实的黄鹤楼文化体验系统，对系统各模块进行分析与测试，结果表明其稳定性比传统系统更高。相比传统虚拟现实结合文化的应用，该系统增加了虚拟现实交互体验，为进一步推进大众对虚拟现实技术的认知、推动虚拟现实技术在数字文化领域的交互体验提供了案例参照。

关键词：虚拟现实; Unity3d; 文化体验

DOI：10. 11907/rjdk. 191922 开放科学（资源服务）标识码（OSID）：

中图分类号：TP319文献标识码：A 文章编号：1672-7800（2019）008-0096-05

Design and Application of VR Cultural Experience System

FU Kang1，YU Ri-ji2

（1. School of Computer and Information Engineering， Hubei University;2. College of Art， Hubei University， Wuhan 430062， China）

Abstract：In recent years， virtual reality technology， as a new media technology， has attracted the attention and favor of many university research institutions.virtual reality technology based on cultural field has also become a hot research topic recently. Taking Unity3D as the development platform， this paper constructs a virtual reality cultural experience system， and focuses on analyzing its system architecture and key technologies. Finally， a virtual reality based experience system of yellow crane tower culture is designed and implemented with the yellow crane tower culture as an example. The system modules are analyzed and tested， and the stability is better than the traditional system. Compared with the traditional application of VR combined with culture， the innovation of this paper has increased VR interactive experience， providing a case reference for further promoting the public's cognition of VR technology and promoting the interactive experience of virtual reality technology in the field of digital culture.

Key Words： virtual reality; Unity3D; cultural experience

基金項目：国家重点研发计划课题项目（2016YFB1101702）

作者简介：付康（1994-），男，湖北大学计算机与信息工程学院硕士研究生，研究方向为计算机技术;余日季（1976-），男，博士，湖北大学艺术学院数字媒体系教授、博士生导师，研究方向为AR/VR/MR数字交互设计与开发、动画与数字媒体创意设计、数字媒体技术与产业化应用、文化遗产数字化保护。本文通讯作者：余日季。

0 引言

作为一项全新的技术，虚拟现实（Virtual Reality，VR）技术结合了计算机图形学、人机交互技术、传感器技术等多种技术与学科知识[1]。虚拟现实技术在视觉、听觉、触觉上给体验者提供了一种全新体验，而基于文化可视化技术的虚拟现实文化体验系统主要解决人们无法实景体验的问题[2-3]。目前大多数VR结合文化的应用基于虚拟现实技术还原历史事件，集中于对历史遗迹的保护和开发[4]。传统文化体验大多以纪录片、实地参观、照片浏览等方式实现。为了进行更深入的文化体验，利用VR技术将文化以可视化方式呈现的文化数字化研究吸引了大量关注。

国外VR技术在文化领域应用的研究开始较早，如英国自然博物馆以“科技+文化”为基准，利用三维扫描技术重建了文物数字模型，并实现了虚拟文化博物馆;美国加州大学洛杉矶分校的William 教授带领团队在以色列展览中心完成了古耶路撒冷部落虚拟重现[5]。相比之下，国内相关研究还处于初级阶段，但在国家提出文化强国的理念后VR技术在文化应用方面的研究取得长足进步，并积累了一定的成果。为了响应国家“一带一路”的号召，作为古代“丝绸之路”的延续，“一带一路”以“科技+文化”的独特新颖发展模式，将虚拟现实技术应用到文化传承中[6]。通过虚拟现实技术，对历史文化进行可视化呈现，便于更好地保存、弘扬和传承历史文化，如湖南省旅游业应用“文化+科技”模式宣传当地旅游文化;由于自然因素、主观因素、手工失传等因素，闽南红砖古厝文化未能得到有效传承和保护，而借助虚拟现实技术一方面可以增加民众沉浸感与交互性，另一方面将历史文物以一种数字化的方式展现给民众，便于更好地保存文化产物[7]。

本文在已有研究基础上，结合VR技术的交互特点构建VR文化体验系统，使体验者既可以了解文化特色，还能进行VR交互操作。VR文化体验系统新颖的体验方式在一定程度上提高了体验者对文化产业的兴趣，同时也有利于文化发展和传承。

1 VR文化体验系统架构设计与关键技术

1.1 VR与VR文化体验

VR是一种能够体验和创建虚拟世界的计算机仿真技术，其通过数字媒体技术生成一种多源信息融合交互式的模拟环境。VR仿真平台是VR技术实现的载体，被广泛用于工业仿真、房地产销售、旅游教学、数字文化复原等多个领域[8]。

作为一项前沿技术，VR技术有独有的特性：多感知性，即除了计算机具有的视觉感知，还有听觉、触觉、运动感知。理想情况下，VR技术还应该具有一些感知功能，包括：沉浸性，即體验者在虚拟场景中有身临其境的感觉;交互性，即体验者与虚拟环境中物体交互的反馈程度;自主性，即虚拟环境中物体在物理运动定律作用下表现的物理动作程度[9]。

1.2 VR文化体验系统架构设计

VR文化体验系统层次架构如图1所示。

图1 VR文化体验系统层次架构

第1层为数字化文化三维建模层，用于构建文化数字化模型;第2层为虚拟环境数据库层，用于保存文字、图片、动画、影像等文化资源;第3层为三维跟踪注册技术层，用于定位体验者位姿数据信息并构建虚拟三维空间到头显世界坐标空间的三维几何参数模型;第4层为三维显示输出层，用于以可视方式展现数字化的三维场景、语音、以及人物动画等数据，其中，输出层包括场景漫游、语音导览、动画播放和物品交互;第5层为虚拟现实集成系统层。

1.3 VR文化体验系统关键技术

VR文化体验系统关键技术包括三维显示输出技术、三维跟踪注册技术和文化数字化三维建模技术[11]，这些关键技术是实现整个VR文化体验系统的基础。

1.3.1 文化数字化三维建模技术

随着“科技+文化”模式的实施，文化数字化概念也随之出现。在VR文化体验系统中，文化数字化三维建模技术是整个系统实现的核心技术[10]。数字化三维建模方式主要有3D Max建模、三维扫描建模、实景三维建模。其中3D Max建模以影像为参照物，对影像实物的立体轮廓进行人工描述，并通过特定贴图制作工具实现物体贴图绘制;三维扫描建模是全自动高精度立体扫描技术，通过高精度扫描得到三维坐标数据，进一步获取物体表面的点云信息，从而描绘出整个3D实物的立体轮廓。实景三维建模利用激光测量物体在空间中的深度信息以获取准确位置数据[11]，根据获取到的位置数据信息即可描绘出整个物体的轮廓及构造。

本文提出的文化数字化三维建模技术在三维建模基础上发展而来，结合文化特征构建数字化三维模型。数字化三维模型构建以实际文化表征建筑或者场景为标准，根据实物基本信息，在建模软件中创建数字化三维场景模型。数字化文化三维建模则将实际文化以一种数字化方式呈现给体验者。

1.3.2 三维跟踪注册技术

三维跟踪注册技术通过构建虚拟世界到头显世界的几何映射模型，结合三维图像实时生成技术，实现在图像世界中的三维显示输出。三维图像生成原理由CPU与GPU相互协作完成，具体步骤是：CPU对渲染的状态与队列进行设置，当成功设置完相关状态后，与GPU通信并发送渲染指令，此时GPU根据收到的渲染指令调用底层图像渲染库，实现图像图形的绘制渲染。渲染流程主要包含3个阶段：应用阶段、几何阶段、光栅化阶段，其中涉及到世界坐标空间、摄像机坐标空间、成像平面坐标空间、屏幕坐标空间等一系列坐标转换[12]。为保证实时性，图像刷新率需达到15帧/s以上[13];若要实现更好的表现效果，刷新率需达到30帧/s。现阶段研究重点是在不降低图像质量的前提下，提高三维图像实时生成的刷新率[14]。

1.3.3 三维显示输出技术

三维显示是能实时显示3D动态效果的技术。三维显示技术主要分为体扫描技术和静态体技术[15]。在体扫描中，一组含有二维图像的光投影到一个旋转的半球显示器中，经过光学定位系统的扩展，最终以三维立体的形式显示在旋转的半球内。静态体技术基本原理与体扫描技术相似，不同之处在于其无需半球体运动，直接将两束光照射到半球体内即可形成三维图形。为了实现更精准的动作捕捉，需要高精度的人机交互设备和稳定的传感器。现阶段由于设备获取数据的精度问题还无法实现最理想状态，所以对三维显示技术仍需进一步研究[16]。

2 VR文化体验系统应用实例开发

2.1 黄鹤楼VR文化体验系统设计

黄鹤楼VR文化体验系统层次架构如图2所示[17]。

（1）第1层为模型创建层，通过数字化文化三维建模技术构建黄鹤楼主楼与辛氏酒楼三维数字化场景。

（2）第2层为数字文化资源层，用于存储黄鹤楼主楼和辛氏酒楼场景三维数据、人物动画以及音频资源。

（3）第3层为三维跟踪注册技术层，用于定位体验者位姿数据信息并构建虚拟三维空间到头显世界坐标空间的三维几何参数模型。

图2 黄鹤楼VR文化体验系统层次架构

（4）第4层三维显示输出层，用于将黄鹤楼三维数字化场景、人物动画等数据，以可视方式呈现。具体内容模块为：①黄鹤楼历史建筑造型艺术数字化复原VR展示，通过数字三维建模技术，对唐、宋、元 、明、清朝各个朝代不同的黄鹤楼建筑造型艺术进行数字化三维复原重构与VR展示; ②黄鹤楼建筑景观艺术数字化VR展示，既包括对黄鹤楼公园与黄鹤楼外部景观、胜像宝塔 、碑廊、山门、亭台、雕塑等建筑艺术的数字化VR展示，也包括对黄鹤楼内部建筑细节的VR三维空间漫游展示; ③国家级非遗“黄鹤楼传说”VR数字三维动画艺术展示，通过数字化体验的方式展现“辛氏修楼谢恩”传说，深刻表现了天人合一、少贪寡欲、惩恶扬善的故事主题[18];④黄鹤楼代表性壁画场景三维数字化VR展示。对黄鹤楼巨大的壁画作品中的情景进行数字化三维构建与壁画场景的VR三维空间展示，如二楼大厅的“孙权筑城”和“周瑜设宴”，三楼大厅的“人文菩萃，风流千古”等，以实现游客对壁画场景身临其境的文化体验;⑤黄鹤楼代表性绘画藏品VR水墨动画艺术展示。对水墨画中的场景进行数字化VR三维呈现，实现人在画中游的水墨动画艺术漫游观摩体验。

（5）第5层为功能应用层，用于实现场景交互、场景传送、飞行轨迹、陆地漫游、坐骑导航等功能。

（6）第6层为虚拟现实集成系统层。

2.1.1 系统需求分析

系统需求包括用户需求和系统功能需求[19]。其中，用户需求指突破时间和空间的限制，实现黄鹤楼景区文化体验。针对用户需求提出基于VR技术的黄鹤楼文化体验系统，可有效解决无法到场进行黄鹤楼文化体验等问题，同时也有助于黄鹤楼文化推广与传承。系统功能需求根据用户需求对整个系统应具有的功能进行分析。为实现用户在无时间和空间限制的条件下进行黄鹤楼文化体验，系统功能需求需实现景区漫游与文化物品的交互。

2.1.2 系统功能模块设计

针对用户需求与系统功能需求，对整个系统进行功能模块设计，如圖3所示。整个系统由5个模块组成：①陆地漫游。该模块主要实现黄鹤楼场景漫游，使体验者深度了解黄鹤楼文化，体验者触碰手柄上的Touch Pad即可实现场景游览;②场景传送。该模块实现黄鹤楼场景至辛氏酒楼场景的传送;③场景交互。在该模块中，体验者在场景中通过控制器发射射线实现文化物品交互;④飞行轨迹。该模块主要让体验者以仙鹤视角从云端飞向黄鹤楼入口的牌坊处，为体验者创建不一样的观赏视角;⑤坐骑导航。在该模块中，体验者乘坐白马实现场景漫游，进入辛氏酒楼传说中的故事场景，进行文化故事可视化体验。

图3 系统功能模块

2.1.3 系统工作流程

系统工作流程如图4所示。启动系统之后，体验者以仙鹤视角体验从云端飞行到黄鹤楼牌坊的过程;在牌坊处触发坐骑导航功能，体验者切换视角至马模型上，游览黄鹤楼场景;接着体验者通过手柄控制器上的Touch Pad操控，实现场景漫游;漫游完成后，体验者通过触碰控制器上的Touch Pad走动到传送门处，触碰传送门触发器实现场景跳转;跳转至辛氏酒楼后，体验者通过头盔体验辛氏酒楼神话故事的起源以及发展过程;体验完成后，体验者可通过传送门跳转至黄鹤楼主楼，与主楼场景物体实现交互;最后，关闭系统结束体验。

图4 系统工作流程

2.2 黄鹤楼VR文化体验系统应用实现

黄鹤楼VR文化体验系统应用实现包括黄鹤楼文化数字化三维建模以及系统功能实现。

2.2.1 黄鹤楼文化数字化三维建模

三维建模在VR系统中占据主要地位。本文系统使用文化数字化三维建模。三维数字化指运用三维工具实现模型的虚拟创建、修改、完善等一系列数字化操作，从而达到用户需要的效果[20]。本文系统以黄鹤楼为研究对象，因此，将黄鹤楼融入数字化建模概念中，即产生了文化数字化三维建模的概念。系统中文化数字化三维建模对象包括[21]：主楼模型、辛氏酒楼模型创建（见图5、图6），以及场景人物、黄鹤楼壁画搭建。

图5 黄鹤楼模型

2.2.2 系统功能实现

系统功能实现是系统的核心部分，其实现过程可分为6个部分。

（1）轨道搭建。飞行的首要条件是轨道搭建，需用到Track Rail插件。系统利用unity中自带的cube作为轨道。为让cube有轨道效果，需要绑定Track Rail插件中的Track脚本，加入脚本后，cube将作为轨道。轨道的建立需要将多个cube搭建在一起，所以本文系统应用多个cube根据场景需求调整cube方向。通过脚本的Toolbox调节轨道大小与方向，具体设置在Track Blender中进行。方向与大小调节完成后即实现了轨道搭建。

图6 辛氏酒楼模型

（2）仙鹤飞行。轨道搭建完成，需要载体才能运行。本文系统以仙鹤为模型，为了实现轨道飞行，需在Track Rail插件中找到Track Cart脚本并挂载于仙鹤上，接着设置snap to track选项即可将仙鹤与轨道适配。为达到飞行效果，需要将轨道隐藏。所以，最后设置cube隐藏完成轨道设置。

（3）陆地漫游。陆地漫游是系统第二个部分，可让体验者实现在场景中自由走动和场景游览。体验者在场景中通过头盔能看到黄鹤楼全部场景。在场景中，体验者通过手柄控制器上的Touch Pad控制人物在场景中的行走。需要在Unity中加入Steam VR插件包和VRTK插件包实现虚拟场景观看，将Steam VR插件包中Camera Rig导入Unity中，即可通过VR相机看到虚拟场景。在VRTK中导入VRTK_Controller Events与VRTK_Controller Actions完成人物走动。

（4）场景切换。场景切换也称为场景跳转。场景切换需要利用Unity Engine.Scene Manger中Scene Manager.Load Scene。该脚本需要挂载在cube上，为了让传送门实现跳转效果，需要将cube放置在传送门处。为满足实际效果，需要隐藏cube。为完成场景切换的最后一步，需要在unity的Buildings and Setting中添加需要跳转的场景，最后设置Scenes in build完成跳转。

（5）背景音乐播放。神话故事场景中需要设置音乐播放功能。因此将音频下载后以MP3格式导入unity中。音乐设置在Audio Source中，而Audio Source为unity自带组件，从unity拖入即可。为了实现音乐自动播放，需要在跳转之后的场景设置Audio Source 激活状态，没有进场景前为未激活状态，进入之后通过场景设置为激活。

（6）坐骑导航。漫游部分主要是以马模型进行。实现马模型漫游需设置Navigation自动导航系统。自动导航系统设置需在马模型中添加Navigation Mesh Agent组件，Navigation Mesh Agent组件主要设置漫游的起点跟终点。路径设置完成后，需对全部场景进行烘培[22]。烘培是自动导航系统的首要条件，否则自动导航系统无法完成。首先需确定烘培范围，系统烘培范围指整个场景。为使马模型在场景中有碰撞效果，增加逼真程度，还要设置可行走区与不可行走区。在可行走区域，马模型能自由行走;在不可走区域中，马模型将不会从该区域走过。系统自动根据最佳路径设置可走区域。

（7）射线抓取。在辛氏酒楼场景中，体验者可通过手柄扳机发射射线抓取场景里的物体，实现与模型物体交互。利用VRTK插件包实现物体抓取，还需给手柄添加脚本，Interact Grab和VRTK Interact touch脚本需要绑定在手柄游戏对象上，同时手柄也需要绑定VRTK_Controller Events脚本，这些是实现物体抓取的必要条件。

3 应用系统测试

3.1 功能测试

根据用户需求和功能需求，功能模块测试如表1。

表1 模块测试

3.2 测试结果分析

如图7（a）所示，体验者在场景中以马模型视角在场景内实现坐骑导航功能;结合图7（b）、（c）所示，体验者在场景中能实现跳转场景功能，在辛氏酒楼场景能实现陆地漫游功能。不同于传统方法的纪录片观看、水墨画欣赏及实地浏览，VR技术体验可提高体验者对文化产业的兴趣。结合需求分析，体验者通过手柄控制，在计算机上能够实时显示动作;由于体验者在室内操作，也可解决受限于天气的问题，满足了功能需求。

（a）坐骑导航                   （b） 场景传送效果              （c） 陆地漫游

图7 在头显中不同场景体验效果

4 结语

本文设计了以黄鹤楼文化为基础VR文化体验系统，结合三维虚拟环境，在虚拟场景中实现黄鹤楼游览及交互。系统功能齐全，以沉浸式、交互式和多感知性等特性为基础，可极大提高体验者对文化的兴趣，相信未来会有更多的科技融入文化应用[23]。随着虚拟现实技术的进一步完善，“科技+文化”模式将产生更大的实用价值。

参考文献：

[1] 肖建新. 虚拟现实技术支持下电机装配培训MCAI的设计与开发[D]. 长沙：湖南大学，2009.

[2] RONG W Q. Some thoughts on using VR technology to communicate culture[J].  Open Journal of Social Sciences，2018，6（10）：88-94.

[3] 杨平利， 王建国.  虚拟现实的技术基础[J].  计算机仿真， 2005（s1）：44-47

[4] 陈晶. 当代革命文化传播的新方式——以虚拟现实技术为例[J]. 闽南师范大学学报：哲学社会科学版，2018，32（4）：109-112.

[5] 赵能.  虚拟仿真技术在建筑设计中的应用研究[D]. 长沙：长沙理工大学，2009.

[6] 李修彤. “一带一路”背景下中国传统文化的影像傳播——以VR虚拟现实技术应用为例[J]. 今传媒，2018（7）：21-22.

[7] 杨欢，刘小玲. 虚拟现实系统综述[J]. 软件导刊，2016，15（4）：35-38.

[8] 姜学智，李忠华. 国内外虚拟现实技术的研究现状[J].  辽宁工程技术大学学报， 2004（2）：238-240.

[9] 周忠，周颐，肖江剑. 虚拟现实增强技术综述[J]. 中国科学：信息科学，2015，45（2）：157-180.

[10] 莘月.  女装数字化设计及立体成型方法的研究[D]. 重庆：西南大学，2015.

[11] 毕硕本，张国建， 侯荣涛，等.  三维建模技术及实现方法对比研究[J].  武汉理工大学学报， 2010（16）：26-30.

[12] 王榆.  基于多信息融合的移动机器人定位技术研究[D]. 西安：西安电子科技大学，2015.

[13] 熊红凯，苏辉，余松煜，等. 面向应用层QoS的实时视频优化码率控制[J]. 上海交通大学学报，2004（11）：1785-1791.

[14] 基于虚拟现实的数字三维全景技术的研究与实现[D]. 成都： 电子科技大学， 2011.

[15] 张屹东，饶鹏. 体三维显示技术及其特点[J]. 红外，2018，39（6）：34-39.

[16] 丁剑飞，刘永进.  三维立体显示技术综述[J].  系统仿真学报， 2008（s1）：132-135.

[17] 余日季. 基于AR技术的非物质文化遗产数字化开发研究[D]. 武汉：武汉大学，2014.

[18] 余日季，唐存琛，胡书山. 基于AR技术的非物质文化遗产资源产业化开发研究——以黄鹤楼传说为例[J]. 湖北社会科学，2014（4）：50-54.

[19] 吕弘. 一种用于需求过程评估的需求分类法[J]. 微计算机信息，2008（6）：191-193.

[20] 饶金通.  古建筑的三维数字化建模与虚拟仿真技术研究[D].  厦门： 厦门大学， 2006.

[21] 贾智辉.  GIS下数字化校园的三维技术研究与应用[D]. 大连：大连海事大学，2012.

[22] 潘光洋，马焕坚. 烘焙技术在X3D虚拟场景的应用研究[J]. 科技广场，2012（1）：76-79.

[23] ASHLEY T. A scoping review of the use and application of virtual reality in pre-clinical dental education[J].  British Dental Journal，2019，226（5）：358-366.

（责任编辑：江 艳）