虚拟空间设计中的关键技术分析

薄一航

(北京电影学院美术学院,北京 100088)

1 虚拟空间

空间作为一种蕴含各种元素结构的场域,与人的生存、行为之间具有不可分割的存在关系。在数字技术革命之前,人们所讨论的“空间”,主要涉及以可见的物理世界为主要参照的各种空间场景,诸如自然空间、文化空间、社会空间,甚至是心理空间等。虽然分类模式不同,但在观念与认知层面,诸如此类的空间模式,都被称为是真实环境下的空间存在。

数字技术、人工智能技术以及电影虚拟制作技术日益成熟的今天,电影中的空间场景设计也逐渐从全实景搭建,经由实景加虚拟制作,向着纯虚拟制作的方向迈进。从某种意义而言,人类几千年文明的发展历史,正是以这种“真实环境”为依托,不断推进和发展的。而进入数字技术文明之后,数字技术有效地僭越了真实世界的边界,创造出一种与真实环境相对的虚拟空间,或可称之为数字化的虚拟世界。就虚拟空间本身而言,它与真实环境既具有存在模式的差异性,同时也在属性和特征上具有一定的相似性。它可以是对真实空间的重构,也可以是超出现实、完全虚构和想象出来的。理想状态下,人们在虚拟空间中所感受和感知到的一切与在真实环境中完全一致。随着观影形式越来越多样化,观众对沉浸式、互动式观影体验需求的不断提升,势必对电影中虚拟空间的设计提出更多、更高的要求。

图1 虚拟空间构成示意图

总的来讲,完整的虚拟空间构成较为简单,主要包括计算机、输入/输出系统、网络连接、相关数据库和人等几个组成部分(图1)。其中,计算机可以说是虚拟空间的“大脑”和中枢系统,控制和管理着虚拟世界中各类数据的输入、输出和处理工作,同时也是人与虚拟空间之间进行沟通和互动的桥梁。输入系统负责将现实空间中的数据输入至虚拟空间,模拟人与现实世界的感知互动过程和形式,虚拟空间的输入主要包括摄像头等视觉输入设备、麦克风等听觉输入设备,以及不同类型的感应器等触觉或嗅觉输入设备等;输出系统则是负责将计算机处理后的结果反馈给人们,比如通过投影、显示器等视觉显示设备将视觉反馈结果输出,通过音箱等设备将听觉反馈结果输出等。当然,各种感官之间并非独立,比如声音的输入可以通过视觉形式反馈输出,触觉的输入可以通过声音等听觉形式反馈输出等。除了上述物理构成部分之外,虚拟空间中还有两个无形的组成部分:网络连接和相关数据库。其中,网络连接是沟通一切数据连接的基础,而相关数据库则包含了所构造的虚拟空间中各种物理模型、几何模型等数据,以及实时从外界接收的各种感官数据等,时刻为整个虚拟空间补充亟需的各种能量。人作为虚拟空间存在的“灵魂”,将现实空间与虚拟空间有机地融为一体,失去了人,虚拟空间也便失去了其存在的意义和价值。

图2 虚拟空间的特征示意图

与现实空间相比,虚拟空间有其特有的特征,主要包括存在性、交互性、沉浸性和自适应性四种(图2)。

(1)存在性:心理学家马斯洛曾经提出,当一个人产生了“高峰体验”时,他便会用全部身心感知到一个不同寻常的世界,原本平庸的一切都变得神圣与美好了,马斯洛称这种行为和现象为“存在性认知”。当人们置身于虚拟空间当中时便会产生一种不一样的体验,人们可以用心去感知虚拟空间中的一切,去体味它如同真实空间一般的存在。理想状态下,处在虚拟空间中的主体能够自主按照自己的意愿行事,自由表达自己的意志,做出独立的决定,并可以自行地推进事物的发展进程。

(2)交互性:虚拟空间的理想状态就是让人们与虚拟空间的互动如同在现实空间中一样,人们可以通过视觉、听觉、触觉、嗅觉甚至味觉等不同感官形式与虚拟空间中的万物进行交流与互动。人与虚拟空间之间并非独立的个体,二者之间存在信息反馈的回路。当然,更多的时候指的是人机交互,也包括人与人的交互、人与物的交互。近几年人工智能技术突破瓶颈式的发展使虚拟空间的交互性越来越智能化和人性化,因此也再次拉近了人与虚拟空间的距离。未来,人们与虚拟空间的交互不再是冷冰冰的互动,虚拟世界中的事物同样能够感受到人世间的冷暖,感知到我们的喜怒哀乐。当然,虚拟空间情感性的研究还不够成熟,处于比较初级的阶段,这也是未来虚拟空间所要着重发展的方向和目标之一。

(3)沉浸性:沉浸性指的是当人们作为主体存在于虚拟环境中时所感受到的真实程度。虚拟环境越逼真,越接近于现实,人们所体验到的沉浸性就越强。虚拟空间交互性的强弱直接影响着其沉浸感的程度。

(4)自适应性:与真实空间不同的是,虚拟空间中的一切事物都会随着与人的互动与想象而无限地延伸和扩展,进而不断地更新虚拟空间自身的性能与形态,让人们始终置身于一个变幻莫测、存在无限可能性的空间当中。自适应性可以说是虚拟空间比真实空间更具吸引力的主要因素。

2 虚拟空间设计中的关键技术

虚拟空间设计是以新技术变革下的电影为核心,拓展到视听未来形态的艺术与科技范畴,着力于视听叙事表达的前瞻性、技术和理念的前沿性、思维和手段跨学科的交叉性。这里,虚拟空间并不是特指虚拟现实,而是泛指虚拟现实、增强现实、混合现实、人机接口、人工智能、大数据、超强计算等新技术手段构建的非传统的视听体感交互空间。因此,在未来电影虚拟空间艺术设计中会涉及到各种相关的新兴技术和理念。

按照虚拟空间的构成与特性,主要涉及三个方面的技术问题:虚拟环境设计、虚拟空间的交互设计以及虚拟空间中的大数据与云计算。

2.1 虚拟空间的环境设计

虚拟空间中的环境可以是虚拟现实环境,即完全由计算机生成的数字化环境,也可以是现实场景与虚拟场景相融合的混合现实环境。其中完全虚拟的环境可以是对真实环境的仿真,也可以是完全虚构出来的;混合现实环境将真实世界中不存在的事物以数字的形式呈现出来,并将其通过传感技术融入到真实场景当中,从而形成一种新的虚拟环境。电影《阿凡达》中使用了大量混合现实的虚拟场景,如图3所示,不仅极大丰富了镜头的表现形式,增强了镜头的真实感,还提升了观众的沉浸感。

图3 电影《阿凡达》虚拟场景示例图

虚拟空间的沉浸性给全景技术提出了更高的要求。通常,我们所讲的全景指的是360°全景。虚拟空间的全景技术将全景范围扩展到720°,甚至360°+360°全景,将人们完全置身于一个完整的虚拟环境当中。一般情况下,全景的实现主要是通过图像拼接技术实现对场景的环视以及对其中物体的三维拖动显示,通过鼠标、键盘或者其它输入设备对该物体进行放大、缩小以及变换观看角度等操作。不仅具有较强的动感和透视效果,而且还能极大地提升虚拟空间的沉浸感。

图4 电影《星球大战》全息技术示例图

虚拟空间环境的显示中还涉及一个必要的技术,即三维显示技术。从原理上讲,三维显示是模拟人类双眼的视觉功能与特征,通过人脑对于从左眼和右眼分别接收的视差图像进行处理之后所形成的立体图像。尤其是近几年全息技术的出现和广泛应用,为虚拟空间的建设提供了新的可能性。全息技术早在电影《星球大战》中就曾经出现过,全息的莱娅公主通过虚构的机器人被投射到光场当中(图4)。该技术利用干涉和衍射原理,记录并再现真实物体的三维影像,将虚拟物体立体地投射在现实空间当中。我们依旧可以通过交互技术与立体的虚拟物体进行沟通和互动。全息显示技术将会成为未来虚拟空间的主要显示技术之一。

2.2 虚拟空间的交互设计

要想让人们在虚拟空间中找到在真实空间中的沉浸感和融入感,如何让人们与虚拟空间产生更加自然、更加人性化的互动过程,增强交互体验尤为重要。当然,前面我们提到,关于虚拟空间中的交互包括人机交互、人人交互以及人物交互等,本文所讨论的主要是人机交互技术。虚拟空间中的交互设计已跨越手工作业、命令行交互界面,甚至图形交互界面,朝着更加自然和多样的交互界面发展。这其中,涉及到人机接口、认知复杂性理论、数据输入、数据显示、接口检索以及接口控制等诸多方面的技术内容。

深度学习等机器学习算法的出现和发展让人工智能各个领域逐渐突破曾经的瓶颈向着更加广阔的方向前进。在虚拟空间交互设计中,也已经不再局限于通过鼠标、键盘以及手柄等输入设备与虚拟空间进行互动,而是通过各种不同的、更为自然的感官形式去感知虚拟世界中的一切。对于视觉交互形式来说,普通摄像头、深度摄像头、红外摄像头等均可以作为视觉输入设备,而投影、LED 屏以及全息影像等则可以作为视觉互动反馈的输出设备。计算机视觉方法为视觉交互提供了极大的支持,比如,表情识别方法可以帮助虚拟空间识别出人们的表情和情绪状态;目标跟踪方法让虚拟空间可以实时跟踪定位到人们及其具体肢体部位在空间中的位置;姿势识别则可以通过不同的姿势信息给虚拟空间发出不同的交互命令等。对于听觉交互形式来说,麦克风和音响可以作为虚拟空间听觉的输入输出设备,语音识别、自然语言处理等方法可以帮助虚拟空间听懂人们的语言,用声音与人进行互动。另外,计算美学、美学计算以及情感计算等技术还可以赋予虚拟空间审美能力,以及情感的判断与理解的能力。

2.3 大数据与云计算

各种感官形式的交互数据势必决定了虚拟空间输入数据形式的多样化和复杂化,大数据可视化技术为这些海量且结构复杂的数据之间的转化和表达提供了坚实的基础。而面对海量结构复杂的数据,我们根本无法通过单台计算机进行管理、分析和处理,必须采用分布式的架构对其进行计算,即云计算。大数据与云计算之间的关系密不可分,对于大数据的处理必须依托云计算的云存储、分布式数据库、分布式处理以及虚拟化技术等。从技术角度讲,云计算属于分布式计算的一种,也就是说将整个计算过程分成若干个小的运算,分别交由不同的处理器处理,然后再将这些小的运算结果综合在一起得到最终的反馈计算结果。我们可以把“云”看作是一个虚拟的、资源可以共享的网络,每个虚拟空间中的人都可以根据自己的需要向“云”中申请可用资源。在虚拟空间的交互过程当中,无论是单人的还是多人的,都会实时产生大量不同结构、不同类型的输入/输出数据,比如,图像、视频、声音、语音、文本等。面对这些复杂、海量的数据,数据可视化以及云计算技术直接影响着虚拟空间能否快速、准确地完成交互数据的分析与处理,进而影响着整个虚拟空间的交互性、沉浸性以及智能性和构想性。

3 新技术对未来虚拟空间设计影响

技术的进步、新技术的出现无疑给虚拟空间的设计带来了各种新的可能性,同时,虚拟空间的未来走向也极大程度地取决于新技术的发展。尤其是在人工智能技术蓬勃发展的今天,虚拟空间的形态和互动方式正在突破原有的设计瓶颈,发生着革命性的变化。

20世纪80年代以来,世界上与人工智能密切相关的有两件大事:一是日本第五代计算机计划,另一个是中国的863智能计算机计划。对此,钱学森先生提出了人机结合的重要性,并提出应该开始研究人机结合的智能系统。他曾经说到:“智能系统是非常重要的,是国家大事,关系到下一世纪我们国家的地位。如果在这个问题上有所突破,将有深远的影响。我们要研究的问题不是智能机,而是人与机器相结合的智能系统。不能把人排出在外,应该是一个人-机智能系统。”戴汝为院士在中科院第七次院士大会上正式提出“智能科学与工程(人-机结合)”为一个新的科学技术研究领域。从某种角度讲,虚拟空间也是一个人-机共存的体系,在人与虚拟空间互动的过程中,将人的作用引入到虚拟空间智能系统的计算回路当中,使得人与计算机可以协同工作,让人的感知与认知能力同计算机强大的计算与存储能力相结合,从而形成“1+1＞2”的增强智能的形态。目前,人机协同技术已经应用在人机共驾当中。未来融入了人的认知与智能的虚拟空间可以更进一步地增进人与虚拟空间之间的距离,大大提升虚拟空间的智能性和交互性。

目前的人工智能水平还停留在弱人工智能阶段,尽管深度学习方法的出现让人工智能技术发生了质的飞跃,但与人的智能相比,尤其是在艺术创作方面,人工智能距离人类的情感、创造力以及想象力等还相距甚远。近几年来,情感逐渐成为人工智能领域关注的重点。著名的人工智能哲学家玛格丽特·博登(Margaret A.Boden)认为情感与创造力对实现强人工智能是不可缺少的。虚拟空间设计中,在智能空间实现的同时,对增进虚拟空间与人的友好关系的情感设计也提出了新的要求和更高的要求。人工智能的创始人之一麻省理工学院的明斯基(Minsky)教授最先提出让计算机拥有人工情感(Artificial Emotion)的问题,Minsky教授指出我们的问题不在于智能机器是否能够拥有情感,而在于当机器实现智能的同时又怎么可能保持没有情感。同样的道理,能够读懂、分析和理解人的情感状态的虚拟空间势必是未来智能虚拟空间的发展趋势,与情感计算(Affective Computing)、感性工学(Kansei Engineering)等人工情感的研究领域密切相关。

另外,人们与虚拟空间的互动还存在一个问题,人们往往只通过单一的交互形式与虚拟空间进行互动。单一的交互形式会在一定程度上影响智能体对交互内容的认知与理解。比如,仅仅通过人们的手势和姿势,智能体很难判断人们当前所要表达的内容,手势配合上语音信息会能够更完整地表达人们的意图。因此,单通道的交互形式存在很大的局限性。近年来,人机交互技术正朝着将文字、语音、图像、体感触觉以及情绪等多种通道深度融合的方向发展。中科院自动化所的陶建华研究员等人提出了面向自然交互的多通道人机对话系统和多通道人机交互信息融合的智能方法;路璐等人提出了融合触觉、听觉和视觉的多通道认知和交互模型等。另外,在具体应用方面,多通道人机交互方法已经成功地应用到了驾驶当中。虚拟空间交互性的优劣在游戏领域都直接影响着游戏的体验感和沉浸感;在电影虚拟制作方面,影响着电影虚拟拍摄和虚拟制作过程的智能化、人性化程度。以往单一的交互模式通常无法很好地让计算机准确全面地理解人们的意图,多种通道的融合,使得各个通道的信息可以互补、互促,从而让计算机能够更加直观、精准、全方位地理解人们的想法和需求,同时也能够让人们可以更加自如、自然地沉浸到更为智能化和人性化的虚拟空间当中。

未来虚拟空间设计的发展方向与各种相关新技术的出现和发展有着密不可分的关系。从某种意义上来讲,相关新技术的发展直接影响和制约着未来虚拟空间设计的各种可能性和可行性。