自然手势交互技术在虚拟现实博物馆中的应用*

2020-03-05黄昌正陈曦周言明刘润锋

广东科技 2020年2期

文/黄昌正陈曦周言明刘润锋

0 引言

历史文物是先辈劳动与智慧的结晶，博物馆承载着向大众传播文物所蕴含历史文化的社会责任。历史文物的保存、展示、运输均有着严格要求，以防止出现损坏或丢失的情况。随着技术的发展，博物馆数字化发展经历了从实物到照片存档、胶片电子影像档案、数码视频影像档案等阶段，而随着虚拟现实技术的快速发展，虚拟现实博物馆建设日渐成为了一个重要的研究课题。虚拟现实博物馆通过三维建模构造出文物的虚拟影像并在虚拟现实场景中进行展示，参观者通过体感交互设备即可观赏虚拟现实场景中的虚拟文物，获得身临其境的参观体验。

当前，虚拟现实文物展示所采用的交互设备多为手柄设备或体感控制器，虽然可协助参观者在虚拟现实场景中完成一些简单交互操作，但在以沉浸性、交互性和构想性为基本特征的虚拟现实场景中，上述设备所采用的按键操作模式使参观者失去了人手自然交互的代入感。在未来的文物展示与虚拟现实技术结合应用中，通过穿戴式自然手势交互设备，既可提高参观者的体验代入感、与文物的互动感，又可将文物更为全面地向参观者进行展示，大大缩小虚拟与现实的界限，将成为虚拟现实博物馆交互模式的主要发展方向。

1 虚拟博物馆发展沿革

虚拟博物馆的发展历史包括电子相片、录影带、数码影像、全景视频、虚拟现实博物馆等过程，从体验感上进行区分可分为三大类：二维电子展示博物馆、全景VR博物馆、虚拟现实博物馆。

1.1 二维电子展示博物馆

在起步阶段，博物馆将收藏文物排成照片或视频，做成电子相册、数码影像形式，配以文字说明或语音介绍，形成电子博物馆，供参观者通过电脑端进行浏览。这一阶段所采用的技术手段相对简单，仅展示文物的图片、视频，而图片、视频的拍摄视角相对有限，介绍文字虽然可以做得足够详实，但是参观者只能被动地查看所展示的内容，容易带来枯燥乏味的观感；此外，展示内容在缺乏更新素材的情况下往往一成不变。

在这一阶段，文物展示领域开始探索不同于实物展示的文物展示形式，但受限于当时的技术条件，其体验感相比实地参观博物馆相去甚远，仍需开拓更为新颖的展示形式。

1.2 全景VR博物馆

全景VR博物馆是虚拟现实博物馆的早期形态，采用全景视频的方式进行沉浸式浏览。其制作方式采用全景拍摄来完成，具有制作周期短、有一定的沉浸感；缺陷是缺乏人与展示文物的互动交互，同时由于全景拍摄采用的是球面的鱼眼摄像头，全景视频图像存在畸变，严重影响参观体验。

1.3 虚拟现实博物馆

当前，虚拟现实技术已发展得相对成熟，在文旅文创、游戏娱乐等方面已获得广泛应用，在虚拟文物展示中也开始了一定探索。相比于早期的电子展示博物馆的平面化、灵活性差、展示内容死板等缺点，虚拟文物展示极为生动有趣，参观者可在虚拟展馆中从不同视角观察虚拟文物，甚至可通过交互设备与虚拟文物进行交互，对虚拟文物进行抓取、翻转等操作，获得沉浸式的参观体验。

目前，虚拟现实技术凭借其在沉浸程度与交互体验上的巨大优势，预示着虚拟现实博物馆是数字博物馆未来一段时间内文物展示的一个重要发展方向。虚拟展馆将是传统博物馆的重要补充，可大大降低博物馆在文物维护保养、安全保护、接待参观者等方面投入的资金和人力成本。随着虚拟现实技术、网络技术的进一步发展，虚拟现实设备实现小型化与便携化，虚拟现实博物馆的建设也将摆脱了场地与设备的限制，人们可以实现随时随地地参观虚拟博物馆。

在现有虚拟现实博物馆应用案例中，参观者与虚拟文物的交互通常采用交互手柄来完成，通过按键操作来达到人与展示文物的互动，虽然能达到较高的沉浸体验，但是缺乏通过手部自然动作的交互体验。为了让更自然的人体交互动作带入到虚拟现实博物馆的交互体验，需要尝试更新颖的交互方式来提升虚拟现实博物馆的交互体验。

2 虚拟现实交互技术分类

2.1 3DOF体感手柄

在虚拟现实发展初期，“VR Box+智能手机”是普通大众所理解的虚拟现实，用于观看VR视频。由于其缺乏交互，发展出了3DOF体感手柄，可以实现在“VR Box+智能手机”所营造的虚拟现实环境中的交互功能。

2.2 6DOF交互手柄

3DOF体感手柄在虚拟现实交互中体现出了一种缺陷，即缺乏空间位置跟踪能力。基于此交互功能需求，各个厂家开展了6DOF交互技术研发，利用外部辅助定位设备实现交互手柄的6DOF交互。代表性产品包括HTC VIVE、大鹏DPVR。

2.3 VR自然手势交互

VR中的自然手势交互改变了传统手柄“按键+触摸板”的交互方式，采用与人们日常生活中双手的动作完全一致的交互操作，无需像手柄交互那样付出大量学习成本，去记住按键、触摸板在不同场景可能具有不同的操作功能。

VR中的自然手势交互根据技术方案不同，分为光学和惯性两种动作捕捉手势交互。光学动作捕捉手势交互采用双目视觉图像识别技术，具有手势识别精度高、使用方便的优势，但是由于光学动作捕捉的固有缺陷，无法解决遮挡的问题。惯性动作捕捉手势交互采用了MEMS传感器动作捕捉技术，通过穿戴式设计，完全使用人们的自然手势交互动作实现与虚拟现实场景进行交互，还可设置交互力反馈装置，具有设备小、精度高、使用方便的特点，同时很好地解决了遮挡的问题，是未来虚拟现实交互产品的重要发展方向，应用前景极为广阔。典型产品为广州幻境科技2017年发布的NullTouch、handy手势交互产品，已被广泛应用于文旅交互、虚拟主播直播、虚拟展厅文物展示等，如图1所示。

图1 VR自然手势交互产品

3 自然手势交互在虚拟文物展示中的应用

目前已有博物馆开始尝试将虚拟现实技术应用于文物展示，通过三维建模或三维扫描生成文物的三维模型，通过高精度三维模型表面纹理处理，可以制作出1:1真实还原的文物模型。结合虚拟博物馆大场景建模，实现高沉浸度的文物虚拟展示，其优势是可以实现大量珍贵文物展示且不受场地限制；虚拟博物馆场景还可以根据文物特点及文化背景营造虚拟的历史环境，结合文物的文字和语音介绍，让参观者沉浸在历史背景环境中，感受文物的文化气息。但是在现有的虚拟博物馆建设中，参观者与文物的交互所采用的交互设备绝大多数仍采用手柄样式，参观者无法以双手抓、拿、放、转动或在双手间交换等自然动作来与文物进行交互操作，交互体验较差。

图2所示是参观者在“南海一号”虚拟现实博物馆体验虚拟文物展示。自然手势交互技术则为虚拟文物展示提供了很好的自然动作交互手段，参观者以双手自然动作即可完成与虚拟文物的抓、拿、放动作，也可以把虚拟文物拿起后，在双手间任意交互进行全方位鉴赏；在虚拟场景中还可以营造文物出土环境，模拟文物挖掘场景，让参观者用自己的双手拿取各种挖掘工具，亲自把文物挖掘出来，形成高度逼真的虚拟文物鉴赏交互体验。

图2 参观者在“南海一号”虚拟现实博物馆体验

对于大型或大规模出土的文物，一般在文物出土地点就地建设博物馆，但是建设博物馆的规模有限，出于文物保护的目的，可展示的文物数量有限；同时部分文物的修复与保护难度大，长时间展示、频繁搬动等都可能对文物造成不可逆的损坏，因此大量的文物一般处于密封保存状态，普通人无法参观学习，且通常博物馆的文物展示环境缺乏气氛烘托，显得过于平淡。此时虚拟现实博物馆即具有明显优势，通过在虚拟现实场景下构造出与文物历史、文化内涵相融合的展示环境，通过高精度建模构建出与实体文物一致的虚拟文物，参观者还可基于文物历史、文化内涵与虚拟环境中的文物进行互动学习，有利于历史文化宣传与传承保护，提升参观者的参观体验。

另一方面，历史文物基本都是从地下挖掘或从水下打捞出来，由于各种自然环境变化，很多珍贵文物出现了破损，虽然现代工艺可以从体量、质地、纹饰、文字、图案等各方面制作出与文物原件非常接近的复制品，具有较高的收藏价值，但从法律层面，国家也出台了《文物复制拓印管理办法》，规定复制文物后的复制品应该有明确的标识，表明复制年度和“复制”字样，但是难以杜绝不法分子利用高精度文物仿制品冒充真品进行诈骗活动，不利于文物市场健康发展。此外，某些珍贵文物以现代工业流程也很难进行复原修复，或者修复工作可能会对文物本身造成损伤而不适合修复，或者因工程巨大而无法进行文物复原，使得人们无法观赏文物本身原貌而生出遗憾。虚拟现实技术的发展，则很好地解决了此问题，基于文物的材质、纹理、图案、尺寸数据等，通过三维建模可以在虚拟环境中完美地复原文物。

以圆明园遗址为例，其作为重要的历史证据，直接在原址进行修复是不现实的，而世人面对着遗址又无法真切感受到昔日万园之园的魅力，因此可通过虚拟现实/增强现实技术，在不实际改变遗址的情况下对圆明园遗址进行虚拟修复，让参观者可透过遗址与修复后的虚拟影像，在铭记历史的同时欣赏圆明园的宏伟。清华大学建筑学院郭黛教授和她的团队采用数字化建造，用15年时间重现了圆明园的历史原貌。2017年4月，由香港新锐创作团队奇诺文化创意有限公司、北京成龙国际集团及台湾德武国际开发股份有限公司三方合作，筹备推出共同开发创作的“走进圆明园的未来”科技体验展，推出零距离高互动性VR虚拟现实体验，让体验者可以亲手打造海宴堂十二兽首，将三百年来中国第一座喷泉“海宴堂”及“十二兽首”的历史遗迹，通过体验者的双手亲自重建，栩栩如生的喷泉即刻启动、再现眼前，让观众亲身体验乾隆皇帝设计园林的巧思与美学。

虚拟现实技术让原本遥不可及的历史遗迹、文物或艺术品变得平易近人，而虚拟现实博物馆中参观者与虚拟文物的互动交互，为枯燥平淡文物赋予了灵魂，使得文物鉴赏兼具了历史文化底蕴、典雅而又不失娱乐性。