虚拟现实环境的视听体验设计

文/欧阳盛劼

虚拟现实（Virtual Reality，简称VR）这一概念产生于人类对现实世界的探索与模拟，是人类一直寻求通过艺术或技术的方式再现现实的体现。它从一项主要用于军事、航天等领域仿真演练的尖端科技逐渐普及为人类日常。如今，人们可通过使用VR头戴设备或进入VR体验区等来感受VR世界亦真亦幻的魅力，尤其是逼真的视听效果，让体验者们仿佛置身幻境。

虚拟现实是以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、 触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应真实环境的感受和体验，即在数字化环境中产生在真实环境的认知。知觉研究著名学者吉布森（J·J·Gibson）认为，我们周围的环境为我们的生存提供了足够的充分的信息，人体感官的构成也使人具备获取信息的能力。现实世界中，环境信息直接刺激人的感知器官，在VR环境里，这些信息需通过技术手段被复制或模拟，借助传输设备作用到使用者的感知神经。从本质看，虚拟现实系统是包含各种认知信息的综合体，这些信息越逼真、越丰富，带来的认知感受越贴近现实。

人的感官主要有视、听、嗅、味、触等，分别对应获取环境中的光线、声音、味道、质地等信息。独立的感官系统或多感官协作还可产生空间感、方向感等。其中，视觉和听觉是人体获取外界信息最重要的两大渠道，人们通过看和听能基本完成对外界环境的认知感受。因此，在VR环境构建中，视听系统的仿真模拟是虚拟环境真实感的重要着力点，需充分参考人视听感官的生理机制和VR体验特征来设计实现。

1.虚拟现实中的视听体验特征

1993年，Heim 提出“VR是一种在效应上而不是事实上真实的或实体”，同时刻画了VR的7个特征：模拟性、交互作用、人工现实、沉浸性、遥在、全身沉浸和网络通信。1994年，Burdea 等出版了《Virtual Reality Technology》一书，书中他们用3“I”——沉浸感（immersion）、交互性（interaction）、构想性（imagination）概括了VR的基本特征，这也是VR视听系统的体验诉求。

其中，沉浸感与VR技术对现实世界的模拟程度成正比，仿真度越高，体验者的认知活动越不被干扰，沉浸感越强。如前文所述，视听是VR系统中最重要的部分之一，人可能接收到的所有真实视、听信息是实现VR沉浸感的重要参考。此外，沉浸感体现出使用者对VR环境是被包含、被融入的关系，从感知角度强调了VR环境应是一个立体空间，因此，VR视听系统需满足人对纵深、方位等空间信息的需求。

VR沉浸体验不仅来自于立体空间感，也来自使用者与环境间的互动行为，VR的交互性特征可为用户带来行为系统的沉浸感。VR的交互性不仅指对体验者有意识的操作给予反馈，还应在体验者发生无意识的行为时，及时模拟真实环境做出变化。如使用者转动头部，设备中的画面随之转动，以模拟视野的调整。

构想性是VR“源自现实又超越现实”的体现，强调了设计者在其中的主导地位。虚拟现实本质上是人类寻求感官模拟和复制的一种途径，在模拟过程中也存在对现实世界物理性的超越。从视听角度看，VR“允许我们以前所未有的丰富细节与深度，观察和跟踪真实世界”，并通过技术手段“安排”人们的视听活动，这进一步满足了体验者的审美诉求并形成情感共鸣。

2.虚拟现实的视听体验设计

以VR的3“I”特征为指导，VR视听体验设计应从人感知活动的生理机制和体验诉求两个角度出发。其中视觉部分主要有视觉逼真、空间视觉和位置/方向跟踪三个方面，听觉部分主要为视景伴音、方位信息两个方面。

2.1 视觉部分

VR对现实世界的模拟包括模拟目标对象、对象间的关系和相互作用、与对象发展变化遵循的规律。VR视觉系统针对于人眼所见的画面，可从这三个层面分为视觉逼真、空间视觉和位置、方向跟踪。

视觉逼真指VR技术对现实视觉画面的仿真。从视觉信息构建方面，模拟对象的静止、运动形态、环境景观等构成VR画面主要内容，要求数字建模合理、可辨。从视觉信息传输方面，头显设备的显像能力也对视觉逼真感有影响，主要为技术因素。一是画面视域。人的正常单色视域约为水平200度，垂直130度，其中，人眼主要对中心为20度的视域敏感。因此，设计VR视觉系统时应确保中心20度的显像水平，并尽可能开拓周边视域。二是帧频和分辨率。VR视觉系统形成实时画面是通过相互独立的序列帧图像，由大脑视觉残留能力形成连续画面，由VR显示器传达至人眼。受到摄像机和显示器性能的限制，VR显像存在细微的帧频滞后与传感显示的延时，因此，过于复杂的显像环节将带来VR场景的失真。

空间视觉指人类通过视觉可在大脑形成空间深度感，以此判断自己和关注物体间的空间距离。空间深度感主要由四种基本类型的深度线索而得。一是静态深度线索，指通过静态图像就能获得的深度线索，如物体的相互位置、物体清晰程度、物体的相对大小等；二是运动深度线索，指在动态图像中获得的深度线索，如看到物体由小变大可感觉到物体的由远而近；三是生理深度线索，既通过大脑监视眼球和眼周肌肉的调节程度产生深度感觉；四是双目视差线索，指由于双眼的水平瞳距，使景物中的任意点在两眼中形成的图像存在水平位置的差异从而形成双目视差，进而感知到目标物体的远近深度。前两者需在环境的三维坐标中寻找参照，根据目标对象与参照对象间的差异获得线索。目标与参照可是同环境下的不同对象，或对象与整体环境，也可是同一对象运动的不同状态。后两者主要利用人类视觉系统多种机制交叉协作，更多从体验者内部产生效应。

位置/方向跟踪是VR对现实世界视觉规则的模仿，是VR显像对体验者行为的动态响应，为体验者带来行为系统的沉浸感。这主要体现在VR体验者转动头、眼时，头显画面根据转动角度及时做出调整，模拟真实环境中视角的变化。这不仅从视觉活动上紧密关联体验者与虚拟环境形成临境感，从视觉信息角度，模拟视角变化时VR环境中事物透视关系的变化也将丰富体验者的视觉空间感。这一方面要求软件技术对使用者眼球、头部运动捕捉的精确及时，硬件设备不得对人眼、头的运动产生阻碍；另一方面要求VR显示系统具备一定运算成像能力，减少模拟透视变化带来的延时滞后。

综上，可获取以下几点VR视觉体验设计思路指导：

对于模拟对象，数字建模应做到物体静态时外形特征清晰可辨，动态时遵循合理的运动原理，同时充分考虑硬件设备的技术瓶颈，在有限的技术条件下充分利用成熟、稳定的实现手段。人眼视域敏感区为视角中心20度左右，为减轻头显设备运算负担，可适当简化、弱化边缘区域的事物模拟。例如，在微鲸VR影视作品中常将有效信息集中显示在一定范围的虚拟舞台上，四周加入三维光影效果延伸出画面，从而控制VR视频的技术难度，弥补显示设备视域的不足。

对于对象与对象、对象与环境间的关系，空间视觉是使人眼获得的二维图像信息形成空间深度感的重要能力，当体验设计对虚拟环境建设提出体现空间距离的需求，可通过着重乃至夸张表现环境中单个物体本身或多个物体之间的位置、大小、虚实、运动的变化。例如，2012年央视春晚中的《因为爱情》歌曲表演节目中加入的花瓣飘洒特效，就是通过夸张放大的花瓣运动与男女主角虚实变焦来营造广阔的舞台空间。

对于对象与环境的变化规律，眼、头运动的捕捉和VR系统的反馈及时是最重要的两点，但除了对视线跟踪技术的研发使用，也应关注显现设备是否舒适稳固。目前VR头戴设备主要分为自带处理器的VR一体机、搭配智能手机使用的VR手机盒子与其简化版的纸盒。VR一体机大多笨重，长期使用会造成眼部、颈部肌肉的疲劳，VR盒子虽轻便但存在手机位置固定不稳等弊端。这些都影响了VR视觉系统对自然状态下体验者眼、头运动及其视觉反馈的模拟。

2.2 听觉部分

听觉是人类仅次于视觉的第二大感知来源，人类对客观世界的感知信息有15%左右来自听觉。听觉信息的作用一方面为实时生成的视景伴音，产生视觉和听觉的叠加效应，达到声像融合；另一方面三维声音信息可补充由于视野所限、视景未显示到的信息，使人可监控、识别来自任何方位的信息，不仅仅是视野内的方位信息。

VR 系统中作为视景伴音的声音信息直接产生于体验者的听觉感官，体验诉求主要有声音仿真与声音图像间的同步两方面。声音仿真指计算机生成的声音应尽可能的逼近真实，模拟声音在不同密度介质中的音速变化、反射、折射，还有不同声源同时发声时，多种声音的叠加与混合。声画同步的概念源自影视艺术，指声音由画面中人、物体或环境产生，与画面协调一致。保持声音与画面的同步融合，可极大地增加视听系统的逼真度。

声音信息向方位信息的转化则主要由人的“单耳效应”与“双耳效应”实现。“单耳效应”即“耳廓效应”，是指经过人类不对称的耳廓反射之后，到达耳膜的声波频谱特征与其声源的方向有关。这也就是说，人凭一只耳朵，就能初步辨出声音的方向，从而对声音进行定位。“双耳效应”（Duplex Theory）是指双耳位于头的两侧，两耳之间有一定的距离，那么声源发出的声音到达两耳的路径距离不一样，声音的延时和衰减就不同，声音到达的时间和强度也就不同，从而产生听觉的空间感。对此，VR听觉系统在模拟声音环境时，一可通过改变目标声源与环境声传入人耳的时间差来模拟虚拟环绕效果，二可配合眼、头转动的方位角度调整左右耳接收声音信号的时间、强弱，来模拟声源至体验者头部中心距离方向的变化。

因此，为达到VR听觉系统作为画面伴音与突显空间感的体验效果， 需从三个角度进行声音数据的储备：模拟目标对象的仿真音源；当前虚拟场景下的环境音，包括多种声音的叠加混响与不同传播介质中声音传播规律变化的体现；对体验者头部运动的动态响应。前二者结合目前发展成熟稳定的环绕声技术可提高听觉的的真实感与临场感，后者则再次强调了VR系统对体验者头部活动的跟踪与反馈。

3.总结与展望

虚拟现实带来的视听体验越过了传统人机交互需借助的象征符号，直接介入人本能的感知活动中，通过模拟真实环境对人体感官的刺激与互动，构建了一个源自现实又可人为干预的数字世界。VR视听通过对感知的模拟复制使体验者的身心沉浸于数字技术构建的虚拟空间，这是人类使用媒介技术再现现实世界的尝试，也是媒介形态沿着“虚拟化”脉络发展的体现。随着VR技术的发展，VR视听体验还将在仿真基础上打破现实存在与主观想象的界限，带来超越现真实的审美体验，解放人类受限于现实条件的理解、情感、想象，甚至改变人们对自我、世界、时空的看法。

[1] 周逵.虚拟现实的媒介建构：一种媒介技术史的视角[J].现代传播（中国传媒大学学报），2013，35（08）：29-33.

[2] 赵沁平. 虚拟现实综述[J]. 中国科学（F辑：信息科学），2009，39（01）：2-46.

[3] 彭聃龄.知觉的现代理论[J].哲学动态，1989（07）：26-29.

[4] David Gelernter， Mirror Worlds：or the Day Software Puts the Universe in a Shoebox…How It Will Happen and What It Will Mean， Oxford University Press， USA， 1993.

[5] 蒋庆全.头盔显示器视觉机理与视域设计[J].电视技术，2004（04）：81-84.

[6] 徐伟忠、刘辉、谈正，三维立体显示系统的开发研究，中国图像图形学报，Vol.2，No.2，3，Mar.1997，PP.144-148.

[7] 罗福元，王行仁，彭晓源.声音渲染技术及其在虚拟环境中的应用[J].系统仿真学报，1999（05）：364-367.

[8] 刘光明，刘汐，窦维蓓.对虚拟环绕声产生的研究与简单实现[J].电声技术，2003（04）：43-47.

[9] Stevens SS，Newman EB. The localization of actual sources of sound. Am J Psychol，1936，48：297-306.

[10] 王生九. 虚拟听觉空间和虚拟环绕声技术的研究及其DSP实现[D].东南大学，2006.