博物馆光场夜

虞晶怡

摘要博物馆是人类历史和智慧的浓缩与结晶，承担着传播知识、收藏研究及服务社会的职责。随着科技水平的不断进步，虚拟现实技术开始成为一种新的展示手段，为扩大并增强博物馆藏品的传播范围与效果提供了新的方式。介绍了光场虚拟现实技术及其在博物馆行业中的应用，从光场的拍摄、渲染和显示角度解决虚拟现实领域中双目视差、运动视差和动态对焦的問题，从而带来一种全新的人机交互模式。其在博物馆中的成功应用，能够带给观众无与伦比的真实感，在保护展品不被损坏的情况下，让人们以前所未有的方式与博物馆进行互动。

关键词虚拟现实 光场技术 博物馆

引言

《博物馆奇妙夜》系列电影描绘了主人公与意外复活的博物馆藏品之间的各种有趣故事，庞大凶猛的史前生物、强壮威武的古代战士、光怪陆离的传奇神兽等等，从死气沉沉的物件变成了活灵活现的生命，而这一切都来自于电影中一块具有魔力的法老黄金碑。这些只存在于影视作品中的场景，在不久的将来也许就会出现在每一座博物馆里，呈现在每一个人的眼前，而能够产生这种神奇效果的“法老黄金碑”则是当下正在改变我们生活的虚拟现实技术。

博物馆为虚拟现实技术提供了展示平台。各式各样的博物馆陈列着自然、历史、科技等不同领域的丰富藏品，虚拟现实技术能够将这些藏品活化，赋予冰冷的物件以生命力，增强博物馆本身的传播和教育功能。例如大英博物馆推出的虚拟现实漫游活动，使远在天涯海角的人们也可以在网站上浏览博物馆，参与古人的祭祀仪式，探索古老的青铜文明。美国达利博物馆开发的“达利梦境之旅”项目完美还原了艺术作品里的情景，让观众能够走入超现实主义大师所描绘的世界，将艺术欣赏提升为身临其境的难忘体验。

如今，虚拟现实技术已经取得了长足的进步，并且广泛应用在博物馆行业，但仍有不少难题使得虚拟现实尚未达到人们期待的效果。近年来，一种新兴的光场技术给虚拟现实领域的发展带来了新的动力，有助于解决虚拟现实中长期存在的各种问题。本文以光场虚拟现实技术在博物馆中的应用为例，介绍光场技术为虚拟现实博物馆带来的全新体验、理念及应用前景。

1虚拟现实的发展历程

虚拟现实是一种存在于计算机和互联网环境中人工制造的虚拟环境，人们能够以接近自然的方式与这个虚拟环境进行交互，从而产生身临其境的沉浸感。由于虚拟现实有着传统人机交互无法比拟的真实感，使人们能够如同感知真实世界一般接触虚拟空间，为人类文化的传承和发展创造了新的可能，对教育培训、文化旅游、社交活动、电子商务、生物医学等领域都有深远的意义。光场虚拟现实技术在传统虚拟现实技术的基础上，结合计算机图形学、计算机视觉、计算机摄影学中涌现的最新成果，不仅能让人无法区分虚拟和现实，还能实现人与虚拟环境的自然互动，进一步增强用户的真实体验。

自从墨子发现了“小孔成像”现象以来，人们逐渐掌握了用光学成像技术观察和记录世界的能力。1826年，法国人约瑟夫·尼塞福尔·尼埃普斯发明了世界上第一台照相机，并在巴黎拍摄了现存最早的一张照片。此后，各式各样的光学仪器如雨后春笋般纷纷出现。其中，双目立体镜的出现标志着虚拟现实雏形的诞生。人们能够通过双目立体镜观看三维图像，相比平面照片而言真实感更为强烈。最著名的双目立体镜诞生于1861年，美国人奥利弗·温德尔·霍姆斯发明了一种借助木质支撑结构镶嵌两个透镜的双目立体镜，显著降低了成本，在当时大为流行。而真正意义上的现代虚拟现实技术起源于1965年，被誉为“计算机图形学之父”的美国人伊万·萨瑟兰发明了一台名为“达摩克利斯之剑”的机器，能够向双眼显示不同视角的图像，实现立体显示，同时对头部能够进行位置跟踪，实现人与虚拟环境的简单互动。进入21世纪以来，伴随着可穿戴设备等移动终端的爆发式增长，个人设备的计算能力越来越强大，虚拟现实头戴式显示设备得以迅速兴起，虚拟现实从科学家的实验室一跃进入万千大众的视野。经过近两年的快速发展，虚拟现实技术相关的产业生态链逐步形成，Oculus Rift、HTC Vive、PlayStation VR等硬件产品相继走入市场，各种应用也随之产生并推广。

2虚拟现实的三大难题

虚拟现实之所以成为万众瞩目的焦点，就是因为它能够创造出一种全新的虚拟场景，使人们产生身临其境的切身体验，并且沉浸在这种虚拟的环境中，如同在自然状态下感受真实世界一般。而这就要求虚拟的场景必须是立体的全景式图像或视频，能够适应人类头部的运动，同时还要提供深度信息和聚焦变化，使大脑能够判别近景和远景。

然而，要制作优秀的虚拟现实内容并不简单，必须满足人类在自然状态下观看外部世界的条件。人的眼睛是获取外界信息最主要的渠道，经过长时间的生理进化和日常训练，形成了感知外部世界的一种本能，而且这种本能对外界信息是非常挑剔的。其中很重要的一点就是感知深度信息，这包括双目视差、运动视差、遮挡和聚散等几种方式。当人在自然状态下观察目标时，眼睛在不断地变焦，并且通过前庭眼反射消除画面切换时的抖动和模糊。这是因为在人眼的周围有无数的光线，眼睛通过改变焦距，采集来自不同方向和位置的光线，聚焦在不同的平面。加上头部的运动，人可以在很大的范围内聚焦在所关心的物体上。在佩戴头盔的情况下，人眼实际是聚焦在头盔的屏幕上，而虚拟现实技术则试图“欺骗”挑剔的人眼和大脑，仿佛双眼是聚焦在不同的距离。一旦显示的内容稍有差错或延迟，人眼就会敏感地察觉到，并造成相应的神经系统功能紊乱，引发诸如头痛、眩晕、疲劳等不适症状。

传统的虚拟现实技术目前还远远不能达到这些要求。人工合成的360°全景图像或视频无法产生立体视觉效果，即便采用立体相机拍摄三维空间信息，取得双目立体视差，也仍然缺乏运动视差，不能形成进入走出的沉浸感。还需要加入聚焦变化，即人眼对焦在不同深度时，由于双眼的聚散程度不同，对焦所在的平面是清晰的，而其他平面则是模糊的。真实世界的景物是一个高维度的复杂数据，只有完全记录其中的所有信息，并且进行不失真的重现，虚拟环境才能淋漓尽致地表现出来。因此，虚拟现实要取得成功，就必须解决立体视觉、运动视觉和动态对焦这三大问题。

3光场虚拟现实的最新成果

为了创造出人眼难以分辨的虚拟现实，人们需要运用光场技术，并结合计算机视觉的方法，来实现这一目标。光场技术是计算成像/摄影领域发展起来的最新技术，下面就对其进行具体阐释。

光场的概念早在1936年就被提出，是指光通过空间中某一点时在给定方向上的辐亮度。如图1所示，人眼在观察世界时无时无刻不在收集周围的光场信息。我们可以用全光函数的概念来描述光场（见图2），其包括3D的空间变量和2D的方向变量，即全光函数是一个5D函数。在自由空间传播时，光的辐亮度沿光线传播方向保持不变，用光线在两个任意平面上的交点坐标表示，可以将光场简化成一个4D函数（见图3）。

光场记录了光线的所有空间信息和方向信息，因此可以很容易地通过光场重建不同对焦平面的图像，或渲染不同视角下的图像，甚至合成一个不存在的虚拟图像。在虚拟现实中，相比传统的双目视觉法，通过光场构建的立体图像效果更加真切。这是因为通过双目视觉合成的立体图像本质上还是平面的，而通过光场合成的立体图像则真正是立体的。

光场技术的发展给虚拟现实领域带来了巨大的变革，它几乎满足了人们对于虚拟现实的所有要求：立体视差可以带来最真实的感受；运动视差让进入走出更加自然；重对焦使人们更加惬意地体验而不至于引起任何身体的不适。

光场虚拟现实需要解决三个方面的关键技术问题：光场的拍摄、光场的渲染和光场的显示，这也是当今国际上的研究热点。

3.1光场的拍摄

光场虚拟现实技术的核心目标就是记录光场，并且把光场无损地再现给人眼。光场的拍摄主要通过两种方式实现：一是采用相机阵列拍摄，二是采用光场相机拍摄。

采用相机阵列的方式，可以捕获来自不同视角的高分辨率图像，每一幅图像相当于4D光场的一个2D切片，如果采集足够多的不同2D切片，就可以重建完整的4D光场。得到的光场信息可用于渲染新视角下的图像，或渲染不同对焦位置上的图像，甚至得到更高的分辨率，或更大的动态范围，或更高帧率的视频。区别于面阵式的相机阵列模式，如图4所示，上海科技大学和叠境数字科技（上海）有限公司合作搭建了一种向内环视的光场拍摄系统，能够对小型文物进行拍摄和建模，可用于精细展示。该系统采用80个单反相机同步触发，拍摄处于中心区域的目标，再利用光场重建技术对目标进行处理和建模，得到被拍摄物的3D模型。

另一种获得光场信息的方法是采用基于微透镜阵列的光场相机。光场相机是一种全新的相机，可以实现先拍照后对焦的全新成像模式。单镜头的光场相机通过微透镜阵列来采样角度信息。如图5所示，每个微透镜覆盖一定数量的像素，对应来自主透镜一个子孔径的光锥，经过每个微透镜成像在探测器的不同位置，这种位置的变化就记录了光线的方向。以此类推，将主透镜的孔径划分为若干采样单元，每个微透镜本身便记录了光场的位置信息，从而实现四维光场的记录。

光场相机能够通过对光线的重新排布实现对任意平面的重对焦。如图6所示，光场相机记录了光场的位置信息和角度信息，采用两平面光场表示法，我们就可以根据几何关系，计算并渲染出一个虚拟的重对焦平面上的图像。计算时，指定重对焦平面上的一点，可以找到在透镜平面和探测器平面的坐标位置，从光场中取出这些对应的光线进行积分，就能得到在该平面上的图像。这个虚拟的重对焦平面可以任意指定，因此便实现了一定景深范围内任意平面的重对焦功能。

事实上，这些光场拍摄系统也能应用在博物馆行业。例如，谷歌公司的360°全景摄像装置Google Jump采用16个GoPro相机，形成了一个向外观看的环形相机阵列，能够实现3D全景高清视频的拍摄，可以展示整个展厅甚至整个博物馆的全貌，提升虚拟博物馆的体验。不管采用相机阵列还是光场相机，一旦4D光场信息能够完整记录，就可以在后端的显示设备中进行光场复现。

3.2光场的渲染

记录的光场信息必须经过软硬件处理，才能复现给人眼观看，其中一项重要的技术环节就是光场的渲染。由于光场信息包含了重要的方向信息，在任意指定的对焦平面和视角方向，通过简单的积分方法就可以渲染出所需要的场景。然而，光场信息具有很高的维度，往往会由于采样不足，而造成混叠现象，尤其是在几何信息错误的情况下，在渲染的图像上会出现鬼像。如图7所示，这种鬼像问题严重影响了渲染出的图像质量，而解决办法就是通过几何信息辅助进行校正。而这些辅助几何信息的获得并不困难，可以直接通过光场信息进行深度估算得到。

首先，通过相机阵列或光场相机可以得到同一物体或场景在不同视角下的一系列图像，再通过多视角几何关系就可以估计出场景中的深度，获得粗略的几何信息。同时，光场相机通过重新排布光线，可以实现先拍照后对焦的功能，在一系列的焦平面位置进行图像渲染，相当于对场景进行焦平面扫描。这个虚拟的焦平面扫描过程就可以帮助我们获得图像中的深度信息。

其次，在光学成像系统中，焦平面附近的发光强度分布具有对称性。具体来说，在对焦清晰的焦平面附近光强是对称分布的。利用这个性质，我们通过检测不同对焦图像附近的光强分布，就可以计算出不同物点的深度信息。比较而言，这种方法在图像噪声和采样欠缺的情况下具有更强的抗变换性。

另外，还可以利用场景中的遮挡性進行深度估计。在无遮挡的情况下，场景中的物体颜色分布是均匀的，而有遮挡的部分则会出现颜色混合。在光场相机中，从不同视角下渲染出的图像具有不同的统计特性，根据表面统计数据检测遮挡情况，作为评判一致性的指标，就可以计算出深度信息。

所有这些检测图像中几何信息的方法，综合起来就可以帮助我们获得完整的几何信息来辅助光场渲染，得到逼真的图像。采用这种方法对博物馆进行建模和处理，所产生的渲染图像可以方便地显示在虚拟现实头盔的屏幕上，为观众呈现藏品的全部光场信息，从各个角度自然地观看藏品的虚拟模型，再配合手柄等操作设备，就能产生进入走出的运动视觉，提高互动感受。

3.3光场的显示

由于光线可逆，光场显示过程与光场成像过程互为对偶关系，因此将捕获的光场信息通过光场显示器件表现出来后，人眼即可看到“真实”的虚拟世界。美国英伟达公司最近发明了一种近眼光场头盔。该头盔采用微透镜阵列和光场渲染技术，使人们能够自由调节对焦，观察到正确的聚散程度、双目视差和深度信息。其基本原理是在有机发光二极管显示器上覆盖一层微透镜阵列，在人眼的调节距离内快速合成虚拟的3D景物。由于此类显示设备的尺寸小、佩戴轻便，为下一代光场显示和虚拟现实设备的开发提供了新的思路。尽管这种光场头盔的分辨率较低，还不足以实现商业化用途，但随着硬件器材和计算机算法的不断完善，未来将有巨大的发展潜力。

另一种光场显示技术称为压缩光场显示，也是光场显示方向颇具潜力的解决方案之一。例如，麻省理工学院开发的多层压缩光场显示装置（见图8），采用若干层掩膜和透明间隔实现光场显示，通过张量分解的方法优化每层掩膜板的透过率，将二维图像投射到三维空间。

4结语

光场虚拟现实是世界上最新的虚拟现实制作概念与技术，从光场的拍摄、渲染和显示角度有效解决了使用过程中的双目视差、运动视差和动态对焦等难题，对提升虚拟现实体验具有极大的作用。尤其是应用在博物馆行业，其能够大力推动博物馆的数字化水平，让人们以更具知识性和趣味性的方式与藏品进行互动。随着虚拟现实技术的普及和完善，相信虚拟现实博物馆将在不久的将来走进大众视野，进一步加强博物馆的功能。