谷歌VR光场技术实验

Paul Debevec

直以来，人们相信VR（虚拟现实）可以让我们身临其境，足不出户就可游历大千世界。正因如此，我们创造了VR探险，人们只需戴上VR设备，五光十色或奇幻、或险峻、亦或是难以触及的精彩场面就可近在眼前。此后，谷歌进一步推出了“Jump”——一项实现360全景拍摄的完整VR录制系统。而VR180全新视频格式的推出，更是一次全新的体验，即使对那些不熟悉VR技术的人来说，也能够用它轻松制作出VR内容，留住生活中每一个珍贵的瞬间。

不过，想要创造出最真实的存在感，我们在VR中所呈现的景象就需要尽可能地近距离呈现，犹如你置身其中所看到的一切一样。当你真实地站在一个地方，只要头来回转动，整个世界就会回应你：光以不同方式从各个物体表面被折射出来，观众就可以从不同角度看到物体。为在VR中营造更加逼真的存在感，谷歌一直在进行“光场”（Light Fields）技术实验。

光场的本质

光场是捕捉、线迹和渲染等一系列计算的组合。目前仍有许多部分有待完善，不过由于运动视差的产生以及超真实的纹理和光照，它们呈现的效果仍然能够给你一种极高品质的存在感。我们生活在一个充满光线的世界，无论来自太阳还是人造光源，光线在我们周围沿着每一个方向传播，形成一个连续的光场。简单来说，光场是整个三维空间内所有光线的总和，如果能将光线的传播过程记录下来，并且能在显示端还原，就是完整的光场技术。

事实上，人眼对感知深度信息是非常敏感的，这包括双目视差、运动视差、遮挡和聚散度等几种方式。当人在自然状态下观察目标物体时，眼睛是在不断变焦的，并且能够通过前庭视反射消除画面切换时的抖动和模糊。

而现在的一些电影中采用了120帧4K的拍摄手法，本以为可以满足人眼的要求，却忽略了投影的电影屏幕是一个固定焦距，迫使观众长时间将眼睛固定在一个焦距上而产生大量的不适感。可见，只有当我们能真正采集和显示完整的光场信息，才能创造真正的虚拟世界。

而与全景视频相比，VR视频允许人们在视频里自由移动观看——提供场景中任意位置的360度自由视角。而全景视频是传统视频单一的观看视角，拍摄机位在哪儿，观看者就必须在哪儿。而如果是一部VR电影，那么传统的“镜头运动、场景切换”可能都将被取代，由观众来决定镜头位置。你可以把VR视频看成是“3D全景视频+自由移动”。

为验证光场技术的市场潜力，谷歌推出了“欢迎来到光场”App——在HTC VIVE、Oculus Rift和Windows 混合现实耳机上均可使用。下面我们来看一下它具体是怎样操作的。

捕捉和处理光场

光场的特别之处在于，可以生动地呈现现实中捕捉的2D连续镜头，并形成VR体验，因为光场可以记录进入空间体量中的所有不同光线。同时，VR头显还可以支持定位追踪。

这款相机设备仅需1分钟就能四周摆动，记录下70厘米范围内数以千计的对外视角，这些提供了2英尺宽直径的光线体量，同时决定了顶部空间的大小，一旦画面处于处理状态，用户就需要转动头显捕捉画面。从球体表面上的相机定点抽取光线，构建一种从球体内部向外看的独特视角，配合用户头部的转动。它们被排列好，压缩进一个定制的數据库中，由专业的绘制软件读取。目前谷歌已经将它应用于一项统一游戏引擎的插件中。

光场记录世界

我们选择了一些特别的地方试验光场记录相机。其中，最喜欢加州帕萨迪纳市的盖博住宅中，那些用上漆柚木和红木装潢的室内，威尼斯马赛克房子上光滑的陶瓷片和闪耀的镜子，西班牙格拉纳达山上的St.tephen教堂里画满太阳的彩色玻璃窗。最重要的是，在史密森学会航空航天博物馆和3D 数字化办公室的帮助下，我们进入了NASA的发现号宇宙飞船内。他们提供给我们在人造卫星驾驶舱内宇航员的视角，这是之前从未对公众开放过的。此外，谷歌还记录了多种光场，并试验眼神交互如何能够应用在六自由度的物体空间内。

“欢迎来到光场”试水

在《欢迎来到光场》中，7分钟的导视体验，帮助用户学到更多关于这项技术和位置的知识。之后，他们可以在走廊上自由地探索空间。

作为虚拟现实领域最具有变革性的新技术，光场同时提供双目视差、移动视差、选择性聚焦三方面的视觉信息，从传统的2D平面图像提升到了4D光场图像，极大地提升沉浸感和逼真度，模糊了虚拟和现实的边界。尽管只是处于实验阶段，但光场仍然达到了体验虚拟现实的新高度，希望“欢迎来到光场”得到大家的认可。目前这款App已经在Steam VR上推出。

可是，光场技术从拍摄到重建，再到显示都需要从软硬件各方面的共同配合。而如何从冗余的光场信息中实现超分辨率光场成像，也是亟待解决的一个问题。不过，现在我们由衷地为VR向更真实画面迈进了一步，感到无比兴奋。

编译自《谷歌博客》《Tech crunch》

（责任编辑 姜懿翀）