VR影像镜头组接的轴线规则

张婷婷, 张 焱, 田 丰,2

(1.上海大学上海电影学院,上海200072;2.上海大学上海电影特效工程技术研究中心,上海200072)

作为影片剪辑的一般规则,“轴线”是影像在拍摄时规定的一条假想的关系线,影响镜头的调度,而且能保证空间的统一感.观众在观看传统影片主体时无法同时观看到四周的其他物体,摄像机拍摄同一场景的同一主体时,镜头需要在轴线的同一侧,这样才能保证观众在观看时不会产生空间位置不对的错觉[1].观众在观看VR影片中主体时,可以自主选择观看主体周围的其他物体.因此面对新兴的VR影片,必须探索适合VR影像的剪辑手法.本工作研究VR影像镜头组接的轴线规则,了解VR影像内容的编辑如何影响用户的视觉连续性感知、空间感知、沉浸感和舒适度等,以便提供有助于VR影像编辑过程的指导.

1 相关工作

目前,镜头组接方面的研究主要针对于传统影片的连续性剪辑、色彩对观看者的视觉影响.研究发现注意力被重复的视觉内容所吸引,而不是新颖的或令人惊讶的内容[2].进一步实验发现,颜色有助于剪辑后注意力的引导[3],但其主要好处在于加强对视觉信息而不是记忆.视觉连续性强时,有助于更快地重新定向到场景物体.颜色对人视觉的影响被认为是引导注意力的最有力的特征之一[4-6],并且在视觉搜索中发挥至关重要的作用[7-11].2016年,Nuthmann等[12]研究了颜色在视觉引导中的作用.2015年,Mu等[13]提出了一个深度感知模型,用以确定人类视觉系统适应立体视差的突然变化(如出现在场景剪辑中)所花费的时间.

VR视频区别于传统的2D和3D视频,当剪辑发生时,观众需要对整个空间进行重新适应,而不仅仅是平面和立体画面.目前,对于非沉浸式影片的镜头组接的研究较多,而研究VR环境中镜头组接的较少,主要包括:VR影视剪辑系统[14]、显示设备对观看体验的影响[15-16],VR影视拼接技术[17-22]和VR影视播放技术[23-28]等.2017年,Serrano等[29]研究了传统电影的连续性剪辑是否适用于VR影视.Chen等[30]分析VR电影语言时发现VR视频增强了角度的效果,尚未发现VR电影中的镜头顺序是否与对象的发展或引人观察的顺序一致,剪辑前后的ROI位置、色调和影调以及声音是否匹配等研究.

目前可以用于研究的VR作品数量有限,且针对于VR影片镜头组接的轴线规律的研究较为零散,没有完整的体系.本工作通过unity中摄像机的旋转实现VR影片的各种剪辑效果,获取一系列数据来探索规律.

2 实验设计

现在详细介绍VR轴线实验设计,这些实验用于获取所需要的客观数据和主观数据.

2.1 实验变量

本工作使用Unity搭建3个不同的场景,如图1所示.通过摄像机的位置的旋转,达到剪辑的效果.每开始观看一个新场景时,先给实验者5 s时间熟悉场景,用以减少各个实验者对环境熟悉的差异程度.

本工作所研究的轴线分别为运动轴线、关系轴线和方向轴线.对于关系轴线,研究的主体数量是两个,拍摄方法有外反拍、内反拍、骑轴和平行拍摄.关系同时需要考虑观察者与主体的距离.对于运动轴线实验,本工作首先考虑的是角度,其次是速度.结合30◦规则,研究的越轴角度分别选取 −30◦,−60◦,−90◦,−120◦,−150◦和−180◦,不越轴的角度选取 30◦和60◦作为对照组,如图2所示.运动轴线需要考虑物体的运动速度,由于主体的运动速度越快,运动轴线所起的作用越明显[31].结合实际的物体运动速度,本工作研究慢(10 km/h)、中(30 km/h)、快(50 km/h)3种速度.对于关系轴线和方向轴线实验,主要研究外反拍和内反拍.因为骑轴拍摄不存在越轴行为,而平行拍摄只涉及一种越轴情况(越轴90◦),所以本工作把平行拍摄放在内反拍中一起研究.对于外反拍方法,本工作选取角度和距离作为变量,选取的角度分别为30◦,60◦,90◦,120◦和 150◦,不越轴的角度选取30◦和60◦做为对照组,如图 3所示.将距离分为近、中、远,将camera的视角固定为90◦(HTC VIVE宣传视角为110◦,但是真实使用时并非如此,且VR头盔上添加了眼动仪,会影响视角,因此选择90◦),对应的拍摄距离一般为1.5,2.3和3.5 m(1.0 m/1.5 m/2.0 m).对于内反拍方法,本工作主要研究角度为30◦,60◦和90◦.因为拍摄距离差别不大,均为近距离(约为1.5 m)拍摄.

图1 3个不同实验场景截图Fig.1 Experimental screenshot

图2 运动轴线角度划分Fig.2 Division of the angle of the motion axis

对于运动轴线,本工作将3种速度分别以8个角度进行采样;对于关系轴线和方向轴线外反拍,本工作将3种距离分别以7个角度进行采样;对于关系轴线和方向轴线内反拍,将3个起始角度分别以6个结束角度进行采样.采用上述方法采样一共产生63种不同的条件,每个条件包括不同的场景和动作,以最小化特定场景的影响,最终产生63个视频.

假设研究的变量影响用户对VR环境的连续性感知、空间感知、存在感和舒适度,而且影响程度不同,但都不会造成严重的不适感;别外,针对不同的轴线类型,存在一个角度和相应的速度或距离范围或在这几个变量范围能够得到较好的平衡.

2.2 硬件设备

VR环境在Unity 3D的2017.3.3版本中实现,并在装备有3.5 GHz Intel Xeon E5-1620 v3处理器、8 GB内存和NVIDIA GTX 1060显示器的电脑上运行.HMD头戴显示器使用HTC VIVE,使用HTC VIVE手柄与虚拟环境交互.眼动仪使用aGlass DKII.

图3 内反拍和外反拍角度划分Fig.3 Division of the backhand angle and outside backhand angle

2.3 参与者

参与者为上海大学的学生,平均年龄为23.6岁,共30名,男女比例3∶2,其中本科生4人,硕士生26人.参与者中28人拥有虚拟现实经验,其余2人仅体验过电脑游戏.对于没有VR体验经验的参与者,给与其足够的时间适应VR环境和一些操作.在正式实验之前,参与者们有5 min的时间熟悉实验环境,之后按指示观看VR影片.

2.4 评价方法

(1)视觉连续性,本工作主要记录眼球运动轨迹和追踪运动物体的好坏程度.针对运动轴线实验,分析剪辑后追踪拍摄主体的轨迹和物体运动轨迹的差距,记录参与者跟随物体的眼动轨迹,并与运动物体的实际运动轨迹进行比较,以0,1,2,3,4共5个等级(分别对应较差、差、一般、好、较好)记录跟踪情况;针对关系轴线和方向轴线实验,分析剪辑后视线到达运动物体的时间,并结合主观问卷.

(2)空间连续性,本工作记录拍摄主题的正确位置和参与者标记方向之间的角度偏移.参与者必须跟踪场景中的拍摄主体,当剪辑完成后,要求他们用手柄射线指出剪辑前一帧拍摄主体的位置.

(3)存在感和舒适度,本工作设计了一个调查问卷评估主观经验.评价使用5点Likert量表(1=根本不,5=非常):沉浸感程度(Q1),没有感觉到视觉跳跃(Q2),没有感觉到空间跳跃(Q3),我感到舒适(Q4).在最后一次测试完成后,参与者根据不同标准对上述方法进行评价.

3 实验结果

本工作使用SPSS软件对主观数据和客观数据的统计结果进行单因子和多因子方差分析,使用Bonferroni检验对其进行成对比较.

3.1 运动轴线

图4为运动轴线的眼动追踪、空间标记的客观数据统计结果以及对沉浸感、视觉连续性、空间感知和舒适度影响的主观评价的结果.

由图4(a)可以看出:对于慢速,各组之间不存在显著性差异(p>0.05);对于中速,与30◦和 60◦无显著性差异的是 −180◦,−150◦,−120◦和 −90◦;对于快速,与 30◦和 60◦无显著性差异的是 −180◦,−150◦和−120◦.

由图4(b)可以看出:3种速度条件下,30◦与60◦并无显著性差异.对于慢速,与30◦和60◦无显著性差异的是−30◦,−60◦和−150◦,最差的是−90◦和−120◦,二者并无显著性差异;对于中速,与 30◦和60◦无显著性差异的是−30◦,−60◦和 −150◦,最差的是 −90◦和 −120◦;对于快速,与30◦和60◦无显著性差异的是−30◦和−150◦,最差的是−90◦和−120◦.

由图4(c)∼(f)发现,不同速度之间具有显著性差异并且不同速度下的角度之间也存在显著性差异(p<0.05).对于慢速,Q1,Q2和Q3中仅有−180◦与其他角度存在显著性差异,Q4中仅有−180◦与30◦和60◦存在显著性差异;对于中速,Q1和Q3中仅有−180◦与其他角度存在显著性差异,Q2中仅有−180◦和−30◦与其他角度存在显著性差异,Q4中仅有−180◦和−30◦与30◦和60◦存在显著性差异;对于快速,Q1中仅有−180◦和−30◦与其他角度存在显著性差异,Q2中仅有−180◦和−30◦与其他角度存在显著性差异,Q3中−180◦和−90◦与其他角度存在显著性差异,但二者并无显著性差异(p>0.05),其他角度也不存在显著性差异,Q4中−180◦和−30◦虽然评分稍低,但与30◦和60◦角度并不存在显著性差异.

图4运动轴线实验结果Fig.4 Motion axis experimental results

3.2 关系轴线和方向轴线–外反拍

图5 为外反拍跨越关系轴线和方向轴线的眼动追踪、空间标记的客观数据统计结果以及对沉浸感、视觉连续性、空间感知和舒适度影响的主观评价的结果.

由图5(a)可以看出,不同距离对空间标记的影响具有显著性差异,而近和远距离之间并无显著性差异.3种速度条件下,30◦与60◦并无显著性差异.对于近距离,与30◦和60◦有显著性差异的是−90◦;对于中距离,与30◦和60◦有显著性差异的是−90◦;对于远距离,与30◦和60◦有显著性差异的是−90◦.

由图5(b)可以看出:不同距离对空间标记的影响具有显著性差异,而中和远距离之间并无显著性差异.3种速度条件下,30◦与60◦并无显著性差异;对于近距离,与30◦和60◦有显著性差异的是−150◦和−120◦,二者并无显著性差异;对于中距离,与30◦和60◦有显著性差异的是−150◦和−120◦,二者并无显著性差异;对于远距离,5种角度都与30◦和60◦无显著性差异.

由图5(c)∼(f)可以看出:Q1和Q4中,中距离评分总体高于近和远距离,而近和远距离之间并无显著性差异;Q2中,近距离、中距离与远距离间都存在显著性差异;Q3中,近距离、中距离与远距离间都存在显著性差异,并且不同距离下的角度之间也存在统计学差异.对于近距离,Q1,Q2中除−90◦之外,其他4个角度都与30◦和60◦无显著性差异;Q3中与30◦和60◦不存在显著性差异的有−30◦和−60◦,而其余3个角度都与对照组有显著性差异;Q4中与30◦和60◦不存在显著性差异的有−30◦,−60◦,−120◦和−150◦,而其余3个角度都与对照组有显著性差异.对于中距离和远距离,Q1,Q2,Q3,Q4中5种角度都与30◦和60◦无显著性差异.

图5关系轴线和方向轴线的外反拍实验结果Fig.5 Experimental results of external backlash of relationship axis and direction axis

3.3 关系轴线和方向轴线—–内反拍

图6 为内反拍跨越关系轴线和方向轴线的空间标记的客观数据统计以及对沉浸感、视觉连续性、空间感知和舒适度影响的主观评价的结果.

由图6(a)可以看出:越轴和不越轴对比的角度(如−30◦至30◦和30◦至−30◦)之间不存在显著性差异;当起始角度为30◦或60◦,结束角度为30◦,−30◦,60◦或−60◦时,它们之间并无显著性差异;当起始角度为90◦时,结束角度无论是多少,它们都没有显著性差异.

由图6(b)∼(e)可以看出:越轴和不越轴对比的角度(如−30◦至30◦和30◦至−30◦)之间不存在显著性差异.Q1中,当起始角度为 30◦,结束角度为 30◦,−30◦,60◦或 −60◦时,它们之间并无显著性差异;Q2,Q3,Q4中,当起始角度为30◦或60◦,结束角度为30◦,−30◦,60◦或−60◦时,它们之间并无显著性差异.Q1中,当起始角度为60◦或90◦时,结束角度无论是多少,它们都没有显著性差异;Q2,Q3中,当起始角度为90◦时,结束角度无论是多少,它们都没有显著性差异;Q4中,当起始角度为90◦时,结束角度为60◦,−60◦,90◦或−90◦时,它们之间并无显著性差异.

图6 关系轴线和方向轴线的内反拍实验结果Fig.6 Experimental results of internal backlash of relationship axis and direction axis

4 讨论

4.1 运动轴线

实验结果证实了本工作中假设的正确性.通过主客观评价结果发现,用户的视觉连续性和空间感知的主客观评价结果大致上是一致的.

(1)视觉连续性,中速稍优于慢速和快速.这是由于主体运动速度越慢,剪辑点更容易被观众捕捉到,而当速度过快时,人的眼睛跟不上剧情的发展,以至于有视觉不连续的感觉.而不越轴的两个角度在不同的速度下表现稳定.对于慢速,−30◦条件和−180◦条件表现一般,一般认为:−30◦条件观看时观众需要大幅度转动头部甚至身体才能更好地跟踪运动的物体;而−180◦稍有违反常规的拍摄角度,观众感受一般,其实它在各个角度和速度的表现下都较为一般.另外,−60◦,−90◦,−120◦和−150◦表现同于不越轴的30◦和60◦镜头.对于中速,发现−180◦的主客观评价差异较大,考虑到观众的真实感受,将其归类为表现一般.此外,表现一般的还有−30◦.对于快速,表现一般的有−30◦和−180◦.

(2)空间感知,主体运动速度越快,观众的空间感知就越差.3种速度条件下,30◦和60◦表现一致,二者并无明显差异.不同速度下的不同角度的表现存在差异.对于慢速,表现较好的是−30◦,−60◦和−150◦,最差的是−90◦和−120◦,说明与轴线偏差角度越小,空间感知越好.对于中速,表现较好的同样是−30◦,−60◦和−150◦,最差的也是−90◦和−120◦.对于快速,表现较好的是−30◦和−150◦,说明随着速度的加快,偏离轴线角度越小,空间感知越好;最差的还是−90◦和−120◦.

(3)沉浸感和舒适度,二者的主观评价结果较为一致,但也存在少许差异.在3个条件下都是淘汰掉了−180◦(不常见)拍摄角度;而快速条件下,由于−30◦影响视觉连续性,观众的沉浸感同样受到影响.

综上分析结果,这里给出优异的镜头组接方案:慢速,越轴0～60◦和150◦～180◦;中速,30◦～60◦和 150◦∼180◦;快速,30◦～60◦和 150◦～180◦.

4.2 关系轴线和方向轴线——外反拍

(1)视觉连续性,主客观评价都显示中距离比近距离和远距离能保持更好的视觉连续性,但3种距离的主观评价和客观评价得分都处于比较舒适的范围内,因此认为VR影片镜头组接时越过关系轴线采用外反拍的方式时,无论观看者距离与主体的距离(在一定距离范围内)如何,观众都能保持比较好的视觉连续性.通过眼动追踪结果的分析,3种距离条件采用−90◦拍摄都稍差于其他条件,而主观评价显示,−90◦条件仅在近距离时明显差于其他条件.这种主客观的差异是由于观众感受的粗粒度性,对较小的差异自己感受不到,因此以客观评价结果为准.

(2)空间感知,主观评价显示中距离优于近距离、远距离,而客观评价显示中距离和远距离并无显著性差异.因此以客观评价为准,在空间感知方面,中距离和远距离稍优于近距离.但3种距离的主观评价和客观评价得分都处于比较舒适的范围内,因此认为VR影片镜头组接时越过关系轴线和方向轴线采用外反拍的方式时,无论观看者距离与主体的距离(在一定距离范围内)如何,观众都能保持比较好的空间感知,且在合适的距离范围内,观众距离主体越远空间感知越好.对于近距离和中距离,对空间感知影响最大的是−150◦和−120◦,因为这种情况下,观众正对的主体从一个人物切到了另一个人物,所以会导致观众的空间感知的准确性降低;远距离使人看到的周围参照物更多,即使是−150◦和−120◦条件也能保持比较好的空间感知.

(3)沉浸感和舒适度,问卷调查Q1和Q4结果皆显示中距离最好,而近距离和远距离无显著性差异.因为近距离使得空间感知和视觉跳跃相对明显,所以会降低观众的沉浸感和舒适度,而远距离使得观众旁观者意识明显沉浸感会低于近距离和中距离,观看舒适度方面也会少有降低.近距离0◦～−60◦较好,小于等于−90◦就会明显降低沉浸感和舒适度,而−150◦～−120◦对沉浸感和舒适度影响并不明显.中距离和远距离时这些差距都不明显.

根据以上结果,优异的镜头组接方案为:拍摄距离选择不要过于近或远.如果因为实际需要近距离拍摄,越过轴线采取0◦～90◦;对于中距离拍摄,越过轴线采取0◦～60◦或120◦～180◦;而对于远距离也尽量不选择越轴90◦左右的拍摄角度.

4.3 关系轴线和方向轴线——内反拍

研究结果显示,与不越轴的拍摄组合相比,越轴组合相对应的拍摄角度并未出现降低观众观看的视觉连续性、空间连续性、沉浸感和舒适度的现象.而且起始角度是30◦或60◦时,切至90◦或−90◦的组合对观看的影响稍大于切至30◦,−30◦,60◦或−60◦;而当起始角度为90◦时,视觉连续性、空间连续性和沉浸感的差异不明显,但是对舒适度方面的影响还是有差异的,当切至90◦,−90◦,60◦或−60◦时是优于其他组合的.因此我们也能发现一个规律:起始角度与结束角度比较相近时(如30◦切至30◦或−30◦左右)对于用户的体验最为友好;起始角度与结束角度的偏差越大对用户的观看体验影响越大.

通过对以上3个实验的数据分析,发现虽然不同角度和不同速度的组合对观看体验的影响程度存在差异,但是所有的组合结果也不至于导致严重的不适感,因为无论是评分(都大于2)、空间标记偏差(都小于15◦),还是视觉追踪程度(都大于2)都在可以接受的范围内,说明在VR里面越过传统的运动轴线拍摄是完全可行的.

5 结束语

本工作创新地将传统影片的轴线规则引入VR影像的镜头组接中,试图探索VR影像的轴线规则,丰富了VR影像的剪辑语言,使用了眼动追踪、空间标记的客观数据以及视觉连续性感知、空间感知、沉浸感和舒适度等方面的主观数据,详尽地阐述了按照不同轴线规则的VR影像的镜头组接带给受试者的体验.本工作通过分析发现在VR影片中没有受到传统影片的轴线规则所限制,因为VR影片是360◦全景视图,人的视觉不再受传统框架的限制.研究的所有情况都没有给用户造成不适感,只有在一些方面显示出一些好和一般的差异.VR影视编辑中不存在“轴线”,其拥有自己独特的空间跳跃规则.

在影像中应用时,本工作更建议根据实际情况,选择合适的拍摄和组接方式,同一影片中多种方式可以结合使用,用以丰富影片的表现方式.

目前VR影视剪辑的研究相对较少,还有很多值得深入研究的地方,例如:进行更大规模的综合研究并收集更多相关的详细数据;可以探索许多其他的变量和参数,比如其他类型的电影剪辑,更长的电影,更复杂的视觉内容,或镜头组接顺序、构图规律、色彩、影调、运动、声音等镜头组成元素对用户观看VR内容的影响.因为用户的观看体验会受到多种因素的影响,所以考虑更多种因素综合研究是一个正确的方向.此外,更多的主观数据和客观数据也可能是一个有价值的信息来源,今后也要多加测量和分析.