虚拟现实电影中穿越事件对观众感知的影响

田 丰, 戴帅凡, 董凤龙, 张芷依, 褚灵伟

(1.上海大学上海电影学院,上海200072;2.上海大学上海电影特效工程技术研究中心,上海200072;3.上海文广互动电视有限公司,上海200072)

近年来,虚拟现实(virtual reality,VR)技术深受影像创作者的青睐.威尼斯国际电影节、戛纳国际电影节、翠贝卡电影节和圣丹斯电影节都相继设置了VR作品单元[1-4].VR在影像领域中的应用为人们探索自由视点的共情效应,尝试全新的视觉效果和叙事手法提供了一条新的途径.

VR影像中的运动事件分为旁视、环绕和穿越3种类型,如图1所示.旁视事件中,事件始终发生在视点前方120°范围内,而环绕事件和穿越事件则往往离开当前可见区域,同时伴随观众的眼动扫视或跟随运动等适应性行为.眼动扫视通常涉及恒定深度范围,而跟随运动则包含了快速深度的变化.为了减少视觉习惯与肢体局限等外部属性对叙事进程的影响,目前大多数的VR作品采用旁视视点来构成布局环境.例如,在影视工作室Oculus Story Studio的VR动画电影《Lost》中,丛林里迷茫的机械手臂所发出的微光与场景氛围灯营造出一层朦胧的舞台感[5].虽然旁视视点可以使得观众最大效率地接收并处理事件信息,但是存在旁观效应引起的沉浸感不足等问题.环绕事件在一定程度上会加深视点中心感,为观众带来环境融入的体验,但同样存在沉浸感不足的缺陷.例如,VR动画工作室Baobab制作的《Asteroids!》,该影片的剧情点以“监视器-窗口-入口-休息区-培养舱”为环形排布,但其中的距离克制仍易使得观众处于场外暗示中.

图1 VR影像中的运动事件类型Fig.1 Moving event type in VR movies

VR影像的运动事件中,穿越事件的视觉沉浸感最强,其本质是近年3D影像中兴起的“突显美学”在虚拟现实影像中的延续.突显美学是指对屏幕外影像的设计,例如坠落的直升机、迎面而来的子弹、漫天飞舞的雪花等[6].传统的3D影像中,负视差区影像能够通过唤起观众的触感,极大地缩小心理距离并唤起即时情绪.这种手法在VR作品中也较为常用.例如,Google公司的VR电影《Help!》中,外星生物受到电击后向视点扑来,越过观众后在地上挣扎变形,这一镜头加强了环境的紧张感.跃轴事件往往存在两个相互联系的事件兴趣点,如出发与到达、发射与接收、触发与响应等.传统影像的剪辑技术或摄像机自主旋转,可以保证观众事件理解的连续性,而自由视点则极大地受限于观众本体.因此,布局或运动设计的不足将会在目标捕捉率、空间沉浸感以及运动舒适感3个方面影响观众的观影体验.

目前,VR影像的研究多集中在渲染技术[7-8]、转场方式[9-10]和视觉引导[11-12]等方面,而缺乏对具体的运动类型及观影反应的针对性探索.因此,本工作针对VR影像中的穿越事件,通过设计射击型任务驱动实验,探索观众的响应时间与事件触发起始点位置、跃轴时间以及事件静止深度的关系,同时考虑不同影响因素给用户带来的沉浸感、舒适感和情绪水平.研究结果将有助于理解用户在虚拟现实环境中的搜寻规律,为进一步探索空间因素提供良好参考.

1 相关工作

传统的3D影像运动分析多集中在基于显著度分析的舒适度评价、预测与改善[13],主要是通过主观评价[14]、人眼状态测量[15]、大脑活动信号分析[16-17]等方法建立观众对3D运动影像的生理与心理反馈模型.Du等[18]将视差、深度运动、屏幕平面运动以及亮度作为研究变量,构造了立体影像运动视觉舒适度的评价方法,要求受试者按顺序观看不同样式的深度纹理动画,并由李克特量表定义眼部的疲劳状态以及观影体验的舒适程度.Mu等[19]将舒适度研究进一步拓展到深度跳跃变化的观影反应时间层次,其中实验变量包括视差、视差变化、亮度和亮度变化.受试者观看不同变量组合的纹理动画,并在跳切后辨认波纹运动方向后按下确定键,最后通过拟合双线性模型量化响应时间,验证了模型在实际3D影像剪辑中的良好效果.

目前,VR影像及体验的相关研究主要分为两部分:①运用VR技术探索行为规律,揭示VR环境与正常环境下人类行为的联系;②研究VR影像与现实世界观看规律的呼应关系.VR技术快速覆盖了医学、心理学、计算机科学等多个研究领域,拓展了即时数据采集的方式,丰富了刺激形式,并加大了实验的可控力度,使得众多行为研究变得更加便捷.Rai等[20]证实了自下而上与自上而下效应交替发生的视觉搜寻规律.Mucke等[21]研究了眼动过程中视觉抑制的问题,证明由会聚眼动引发的视觉抑制可能与扫视抑制有着相同的时空特征.Klinghammer等[22]探索了虚拟现实环境中异我信息与深度维度上记忆引导的关系.Quinlivan等[23]验证了虚拟现实环境下波斯纳线索范式的作用.Yang等[24]提出了VR中针对移动物体搜索和检测的周边视觉模型.Hu等[25]研究了VR环境中自然图像的视觉探索与头部运动的关系,发现头部的运动频率、持续时间与运动峰值等参数趋于相同.Diaz等[26]设计了VR网球拦截任务实验,其中受试者通过头戴式显示器观看虚拟网球场,而真实网球的轨迹则通过运动捕捉系统实时反馈在虚拟影像中.实验证实,VR环境下基于记忆的预测能够有效帮助人们完成运动跟踪.

2 实验设置

2.1 变量设置

目标立方体自受试者前方14 m处匀速直线运动到后方某一深度处静止,其中肢体响应在穿越事件发生时达到最大幅度,故此时注意力高度集中,外设压力最大.将立方体分布变量定义为受试者所在平面(半径为1.20 m)彼此均匀相隔60°的6个点,如图2所示.通过多次的实验,并结合影片常见穿越范围和实际可捕捉运动速度,设置如下3个变量:①起始点分布 θ=0°,60°,120°,180°,240°,300°; ② 运动速度v=10,20,30m/s; ③ 静止深度d=3,14,25m.

2.2 实验步骤

实验硬件包括Dell Precision T5810型工作站,HTC Vive头戴式显示器以及aGlass眼动跟踪仪,使用3D引擎Unity 5.6.0.f3实现工程编写.实验受试者共38人,其中男性22人,女性16人,年龄为19∼37岁.受试者均为上海大学的师生,视力正常或矫正视力正常.

实验流程如图3所示.实验进行前,受试者佩戴头戴显示器,并保证面部无明显不适感.在跟随屏幕提示校正眼动仪后,受试者呈默认姿势:右手手持操作手柄,双手放松下垂,面向正方向站立,身体无向左或者向右旋转趋势.预设实验场景为晴天时的开阔荒草原,正式实验场景为晴天时的教学楼走廊(室内尺寸为3.40 m×3.45 m×55.00 m).模型资源取自Unity Asset Store,测试程序的界面如图4所示.

图2 实验变量设置示意图Fig.2 Schematic diagrams of for the Experimental variable setting

图3 实验流程Fig.3 Experiment pipeline

图4 测试程序界面Fig.4 Interface for testing program

在实验过程中,实验人员触发目标立方体的发射,但其位置、速度以及静止深度状态随机.当目标立方体静止后,受试者使用手柄射线点击目标立方体,并在完成一次消除任务后恢复默认姿势,此时系统自动记录响应时间以及眼动数据.连续完成54次消除任务后,实验结束.受试者根据任务体验填写主观问卷,其中问卷记录了个人信息(性别、年龄、身高),VR使用经历(使用次数、用途)以及实验体验结果(对具有不同运动特征的目标立方体产生的沉浸感、生理舒适度、放松程度).

3 实验结果

3.1 数据处理

实验过程中,实验数据会产生异常,无法完全反映实验意图.产生数据异常的因素有多种,主要包括:①受试者(尤其是虚拟现实体验次数较少的人群)不熟悉操作,导致手柄响应延迟;②未考虑人眼视觉特征,忽略了中央凹效应,导致实验记录时间大于实际认知时间;③设备画面刷新率与数据记录频率的不稳定导致数据噪点;④受试者在视力水平、运动调节、空间感知、任务学习等方面的个体差异.基于此,本工作通过反应时间约束与异常数据筛除两个步骤获取“干净”数据.

为了消除手柄操作延迟对反应时间结果的影响,定义校正反应时间为目标立方体静止与正确的凝视事件开始的时间差值.反应时间的校正流程如图5(a)所示.另外,考虑人眼中央凹的视觉特性,在精度为0.10 m的眼动数据中定义半径为0.14 m的视觉簇,如图5(b)所示.当眼动数据稳定在最后一个视觉簇时,凝视事件发生.同时为了使设备刷新率对实验结果的影响最小化,通过眼动数据记录频次与记录时长获得每回合平均刷新频率,再结合凝视视觉簇记录序号获得凝视事件发生时间.为了进一步减小个体差异带来的影响,采用五数概括法(f i ve-number summary)进行异常数据的筛查.

图5 实验数据处理Fig.5 Processing of experimental data

3.2 数据分析

3.2.1 数据分布

实验反应时间的均值和标准差变化曲线如图6和7所示.由图6和7可以看出:①在同一出发点,随着速度的增加,整体反应时间呈上升趋势;②速度较慢时,对静止中部(14 m)目标的反应时间最短,静止远处(25 m)时最长;③速度较快时,反应时间随深度的增加而变长;④数据扰动范围(即受试者个体差异)随深度的增加而显著扩大.

图6 反应时间的均值变化曲线Fig.6 Mean change curves of reaction time

图7 反应时间的标准差变化曲线Fig.7 Standard deviation curves of reaction time

图8为实验的丢失率数据分布.由图8可以看出:①丢失率随速度变快而显著增加;②静止深度在中部(14 m)时更容易丢失目标;③当目标出发位置在正上方时平均丢失率最低(2.45%),而在正下方时丢失率最高(5.85%);④从右侧穿越的目标,丢失率显著高于左侧.根据受试者属性与丢失率的Pearson相关性分析可得,本实验中受试者使用VR的次数、使用VR类型(游戏/影视/商业展示)、性别、年龄与丢失率并无显著关系,而受试者身高与丢失率存在显著相关性.

3.2.2 相关性分析

根据反应时间的均值变化曲线(见图6)可以看出:①随着静止深度的增加,速度不同情况下的反应时间变化曲线不平行,表明速度与深度二者之间存在交互作用;②这种交互作用在不同出发位置中表现不同,表明三因素交互作用存在.为了减小实验样本误差对图形的影响,通过一般线性模型进行三因素交互分析.F检验(F-test)的结果为

式中:p=0.004＜0.05,表明角度、速度和深度3个变量的交互作用存在统计学意义;20为三因素交互项自由度,1 667为误差项自由度,2.075为F统计量.

图8 丢失率数据分布Fig.8 Distribution of loss rate

进一步分析3个变量简单两因素交互作用.研究结果表明:当目标立方体出发位置分别为θ=60°,120°,180°,300°时,其p值＜0.050,即此时角度与速度具有简单两因素交互作用.同理可知:当目标立方体速度最慢时,出发角度与深度之间具有强烈交互作用;当目标立方体静止深度最远时,出发角度与运动速度之间具有强烈交互作用.

3.3 主观问卷数据分析

问卷中采用李克特五级量表研究不同变量的主观影响,其中部分指标的分数说明如表1所示.分数越高,表示沉浸感越强,生理舒适度越高,带来的情绪更放松.最后通过费希尔(Fisher)精确检验验证分值与项目的关联程度.

表1 主观评价等级标准Table 1 Subjective evaluation standard

主观评价结果表明:①当速度适中(20 m/s)时,沉浸感和生理舒适度最强,而当速度最慢(10 m/s)时,感受最放松;②目标从左上方穿越时沉浸感最强,从两侧上方穿越时舒适度最高,而正下方的沉浸感、舒适度和放松度显著低下;③静止在远处(25 m)时,舒适度和情绪程度最低;④除了针对深度的沉浸感评价未通过费希尔精确检验,其余分数皆因量值变化产生明显差异;⑤不同个体对slow与fast的沉浸感评价、up与down以及near与far的情绪程度评价差异明显.另外,问卷同时询问了受试者关于影响任务完成因素的问题,包括直接追踪至目标静止、根据运动状态(速度、路径等)的判断、根据本体特征(颜色、体积等)判断.研究结果表明,运动因素对目标搜寻的影响大于目标特征.

4 实验分析

上述分析过程验证了目标事件出发位置、运动速度及静止深度对用户反应时间的显著交互作用.部分实验结果如表2所示.

表2 实验结果分析Table 2 Analysis of experiment results

虽然实验对3组变量进行了充分分析,但依旧存在一定局限性.

(1)为了加强凝视时间的模拟效果,实验采用任务型驱动的事件,其视觉认知过程自上而下,识别规律同主观情感与纯粹浏览影片可能存在一定差别.

(2)单次实验(共计54组任务)全部在4～7 min内不间断完成,未考虑各组任务间无关因素的累积效应,如疲劳感、经验学习等,以及相邻组间自变量变化带来的刺激;

(3)数据处理阶段消除了设备刷新率对实验数据记录造成的影响,但未考虑刷新率不稳定是否会影响受试者的感知与任务表现.

5 结束语

VR影像经历了视点从静止到运动、环境由固定到切换、事件由自发到互动等的变化.VR影像的创作潜力基于自由视点特征和影像时空无限性,因此如何突破传统影像画幅限制、探索虚拟环境与自然环境行为与心理的联系、认识传统影像创作技巧与艺术规范在VR影像中的继承,是未来观影研究的重要内容.VR影像艺术给观众交付更多自由权利的同时,应当充分结合面向群体实际观影特征,这也是用户观影行为研究的意义所在.因此,后续的研究工作主要包括:基于本次实验,进一步设计精确的变量取值,并通过量化变量之间的影响,建立影像的运动可预测模型;针对现存影片,考虑运动后期矫正;考虑环境因素对受试者行为的影响,其中包括环境的开放性、封闭环境尺度、环境亮度、环境复杂度、跃轴半径、起始深度等;针对可交互影像,研究自主触发式运动与被动触发运动的感知区别.