光场技术:让用户拥有更自然的景深
2017-10-19
当你走过一扇窗,你会发现什么?也许是窗外色彩缤纷的景色,也许是徐徐吹来的凉风,但最重要的是,你在窗子的正面和左右角度看到的东西有很大差异。
那么,如果说你刚才经过的不是窗户,而是一台电视机呢?当然,眼下的电视机是无法达到这种体验的——因为它只是单纯的2D平面。要让电视机真正实现“窗户”的感觉就要倚仗光场技术,而这也很有可能是未来VR(虚拟现实)/AR(增强现实)的显示技术。
“严格来说,国内VR领域的企业缺乏核心技术。”谈及技术,叠境数字科技(上海)有限公司创始人、上海科技大学教授虞晶怡毫不留情地说。
目前,VR内容制作主要有两种主流方法:一是利用全景相机拍摄360度视频,即360度环拍技术;二是利用更加高端的软件建模技术,利用计算机工具打造更具沉浸感的VR游戏或视频。但在虞晶怡看来,这些都不是VR内容制作最理想的方法。
大约20年前,出现了一种影响深远的虚拟现实技术叫QuickTime VR。这项技术很简单:拿手机拍一圈,把照片拼成一个360度的图片,现在手机上就能实现这个功能。“现在市面上很多做虚拟现实的公司就是用的这样的技术!1996年的技术!”
“360度环拍技术最大的问题就是无法实现动态视觉。”虞晶怡解释,人眼重叠的区域特别大,在重叠区域里,由于左眼和右眼看到的东西一样,就会形成动态的视野,这就是人眼的3D识别。然而,360度环拍技术无法实现这一功能。
早在1995年,苹果就发布了一款主要拍摄360度图片的QuickTime VR相机。虞晶怡试图将QuickTime VR相机的技术运用到旅游上,并用360度环拍技术拍摄了拉斯维加斯赌场等地的全景照片,但最后却发现做出来的全景照片并不怎么吸引人。虞晶怡认为这个问题直到今天依然存在。
同样,软件建模技术虽然更高端,但不够真实的缺点依然存在。现在很多虚拟现实应用场景,如VR看房,都是采用三维建模实现的——需要先建模、贴“皮肤”以及大量的人工,而且不可能做到非常精细,导致最后的效果相当粗糙。
光场技术应用到VR领域,给VR带来了巨大的发展变革(图/东方IC)
什么是光场技术?虞晶怡举了个例子:“人眼就是两个天然的光场捕捉器。”人眼观看3D世界觉得真实,是因为双目视觉看到的是立体而非平面图像,在三维空间围绕观看可实现360度的视觉构建,而且人眼具有对焦功能。
人眼之所以能实现这些复杂的功能,是因为人眼采集光线空间。而光场技术就是把人眼看到的光线空间采集下来,再将光线进行重组,可以让虚拟现实模拟出人眼基于距离对物体聚焦、移动的效果,捕捉光线信息,重现三维世界,让用户拥有更自然的景深。
其实,光场技术已经有几十年的发展历史。1936年,一个名叫Gershun的人提出用光场来描述光通過空间中某一点时在给定方向上的辐亮度。后来,多位科学家轮番登场,想用各种公式告诉人们光场到底是什么,但受限于技术水平的发展,光场一直处于小打小闹、不温不火的状态。直到20世纪末期,光场技术得益于计算机科学与技术的迅速发展而实现了技术上的又一次飞跃。
近几年,光场技术搭上VR/AR这趟高速行驶的“列车”,吸引了资本和巨头的广泛关注。至此,这项起源于20世纪初期的技术,在经历近一百年的寂寞浮沉之后,才真正迎来了高速发展的春天。
光场技术应用到VR领域,给VR带来了巨大的发展变革,它几乎满足了人们对虚拟现实的所有要求:立体视差可以带给人们真实的体验,运动视差让走入走出更加自然,对焦功能可以让人更加舒服地感受VR内容而不至于引起任何身体的不适,大大改善了目前VR沉浸感不足、头痛、眩晕等问题,保证最真实的VR体验。因此,业界普遍认为,光场VR是未来虚拟现实行业发展的大趋势。
需要特别注意的是,光场并不是一项只能应用于VR/AR领域的技术。它的应用极具想象力,并革命性地渗入虚拟电商、影视制作、教育、医疗、旅游、博物馆展示展览等各个领域。它的底层技术和计算机视觉有很多重叠,因此光场技术方面的突破也会促进甚至颠覆一些计算机视觉方面的进展。
前景虽好但需下功夫。国内光场技术还处于发展阶段,仍存在诸多不足。
上海科技大学虚拟现实与可视计算实验室博士曹煊认为,光场显示现在面临的最大困难就是显示器件的革新,这需要材料学、光学、半导体等多个基础学科的共同努力。光场采集不依赖于特殊的光学器件,用传统的单反相机组成阵列即可采集光场,算法才是光场采集的核心。换句话说,光场显示更依赖于特殊的显示器件(硬件),而光场采集更依赖于算法(软件)。所以光场技术必须采取软硬兼施策略,缺一不可。
中国增强现实联盟秘书处主任牛一鸣表示,光场本身还处在概念验证阶段,目前显示设备及光学组件、计算设备满足不了光场技术的要求,自然没有成型的光场产品。
而且光场产品要往高分辨率、轻型化和小型化方向发展,这其中还有很多的问题需要解决。例如,如何能在单个场景中以快速、方便、低廉的形式来采集光场信息就是很大的难点。即使光场采集之后,这些庞大的光场信息也需要计算,并将虚拟物体呈现出来,叠加在一定场景中。其次,将这些光场信息从采集设备中输出,这对计算机图形算法提出了高要求。最后,目前光场显示设备还没有达到小型化程度,这也是个不小的难题。
牛一鸣认为,光场技术还处于发展初期,相比之下,国外取得了领先优势,但国内外差距可能只有三五年。国内如果要追赶,既可从成像技术、光学等方面切入,也可以从材料、设备制作工艺方面下手,发挥国内制造优势,实现光场产品的率先规模化生产。(本刊综合)※