基于VR360°影视作品的创作及应用研究——以《魅力山西・魅力五台》的拍摄为例

侯 明

基于VR360°影视作品的创作及应用研究
——以《魅力山西・魅力五台》的拍摄为例

侯 明

一、360°VR影视作品的创作背景

（一）创作源起

近年来，随着中国经济的不断发展，以电影产业为代表的中国文化市场也获得了巨大、高速的发展。2012年，中国内地电影票房超过170亿人民币；2015年则超过440亿元人民币；2016年的第一季度更是达到了145亿元人民币。使得2016年的2月份让中国电影票房成为了世界第一名。①内地电影票房数据库.http://58921.com/alltime.

2015年，全球资本市场大规模的投入资金抢占工业4.0与互联网+时代的新型视听传媒市场，使虚拟现实技术迎来了第三次大爆发。新媒体技术带动了电影电视的转型，由此派生出360°全景视频、增强现实、混合现实和影像现实等虚拟现实新概念及创新型的视听影像艺术作品。

2016年，由五洲传播中心及北京电影学院主办的“遇见中国”青年VR视频影像大展于暑期展开。本次VR视频影像大展的作品主题范围广，可以包括历史文化的风景旅游区的内容、具有仪式感的节日文化内容、饮食文化、运动技艺、现代生活和工作场景。为了促进中外年轻人对中国优秀文化的了解，推动中国文化的国际传播[1]，本文作者为了迎接这个影像大展，决定组织以北京电影学院研究生为主体的VR创作团队用360°VR影视作品的创作形式来表现中国优秀的文化景观，参加该大展的在线展播及中美旅游年活动的国际交流。同时，借此机会一并开展基于VR的360°影视作品视音频创作应用的理论研究工作。经再三斟酌之后，我们决定将创作主题定位为展示中国世界遗产目录中的重要文化景观之一的山西省五台山。在介绍和展现五台山的自然风景、文化底蕴的同时，引入山西省歌舞剧院民族乐团的实地艺术表演，以360°影视及MV的形式表现参展作品的主题和意义，拍摄完成一部名为《魅力山西·魅力五台》的原创 360°VR影视作品。

（二）拍摄内容

五台山位于山西省忻州市五台县境内，距省会太原市约230公里，最高处海拔达3061.1米，为山西省最高峰，有“山西屋脊”之称。

据文献记载，东汉永平十一年（公元68年），印度高僧迦叶摩腾、竺法兰从洛阳来到了五台山。由于山里很早就有阿育王的舍利塔，再加上五台山又是文殊菩萨演教和居住的地方，他二人想在此建寺。到了隋朝，隋文帝又下诏在五个台顶各建一座寺庙。目前，五台山是中国唯一一处青庙（即汉传佛教）与黄庙（即藏传佛教）交相辉映的佛教道场，因此，汉蒙藏等民族在此和谐共处。现存五台山的寺院共47处。台内39处，台外8处。其中，多为敕建寺院。著名的有显通寺、塔院寺、菩萨顶、南山寺、黛螺顶、广济寺、万佛阁等。[2]

作为中国传统文化和自然景观结合的代表，五台山历经千百年来的传承被完好地保留了下来。因此，利用最新型的360°VR技术对五台山进行影视的拍摄和制作，可以让更多的人通过新科技孕育的虚拟现实360°VR影视作品，来了解五台山内的古代建筑和自然风韵、了解中国传统文化，领略民族精神的内涵和真谛，达到传播中国文化的和平目的。

二、360度VR影视作品的前期拍摄及视音频的设计应用

（一）虚拟现实（Virtual Reality，简称：VR）技术简介

是综合利用计算机系统图形技术和各种显示及控制设备接口，在计算机上生成可交互的视听媒体三维环境，结合空间感知定位技术（Simultaneous Localization and Mapping，简称：SLAM）、即时定位与地图构建技术，使得设备在实时获取周围的环境信息时，能精确地将虚拟物体放在正确的位置，利用观者的实体行为数据提供观者沉浸在虚拟环境中的感觉的一种新媒体技术。

虚拟现实技术的特点是实时（Presence）、交互（Interaction）和自主（Autonomy）；特征是沉浸（Immersion）、交互（Interaction）和构想（Imagination）。

利用来自多源的信息融合交互式三维动态视听虚拟及真实场景和实体行为的系统仿真技术，可使用户沉浸于该环境中。因此，360°VR影视作品又被称为360°全景作品（360 Virtual Reality or 360VR）。360°VR影视作品也可以被看作是简版的虚拟现实，或称为VR Lite。它是一种利用多镜头的摄像机拍摄视频后，再经过视频素材的缝合而成的全景动态视频影像。后期观看时，观者需要佩戴着全景眼镜入户在前后左右上下自由地选择方位来观看影像内容，从而会自主地沉浸在被拍摄下后放映的虚拟真实的世界中。但是，由于是简版的VR技术，所以观者是无法与全景动态视频内的角色及道具交流互动的。

目前，已开发出商业产品的360°VR影视拍摄系统和公司的产品非常之多。如JAUNT CINEMATIC VR、NEXTVR、NOKIA、强氧360、得图等。一般都是采用多摄像机的组合拍摄，然后拍摄下来的视频素材在后期制作时利用全景图缝合制作软件“Autopano Giga”之中完成影像的缝合调整，之后再进入全景视频剪辑制作软件“Autopano Video Pro”或“Adobe Premiere Pro”之中完成最终的影像剪辑，再经过特效合成软件“NUKE”的擦除与视觉效果合成技术完成360°VR影视作品的视频制作。当然，最后还要结合音频工具软件将处理过的声音与画面影像合成为最终成片。放映时可以通过计算机连接VR头戴式全景眼镜或者智能移动客户端内的App结合头戴式VR BOX进行观看。

（二）现有的360°VR影视专业全景相机的分类和拍摄时的常见问题

1. 国外品牌的专业全景相机，整体来说成本昂贵或者体积庞大。如NEXTVR是由多台的RED数字摄影机组装而成的，外形笨重，操作复杂。

2. 而轻型组装类摄影机目前全景爱好者们推崇的是Go Pro相机。该相机原本是运动型照相机，通过配件可将6个甚至更多的Go Pro照相机组合在一起进行拍摄。但是，该组合照相机在拍摄高清质量的图片或者视频时不能做到统一曝光，因为包括组件在内的组装设备太多。这样后期制作时就回产生大量复杂的拼接影像的工作。而且该组合的稳定性欠缺，价格也比较高，没有配套的直播服务和SDK服务。

3. 一些国内的品牌主要使用两个鱼眼镜头来完成拍摄任务。但是在鱼眼镜头的边缘处通常会有较为严重的图像信号失真与畸变，达不到专业影像的要求。而且通过屏幕录制器进行分享的影像像素较低，内置的风扇还会影响到声音的同期录音。

（三）得图F4全景照相机技术简介

在本次的360°VR影视作品创作中，摄制组联合五洲传播中心及北京电影学院使用了得图网（http∶//www.detu.com）全程提供的360°VR影视作品拍摄器材，即得图F4全景照相机（图1）来进行VR的拍摄任务。

图1：得图F4全景照相机

得图F4全景照相机的功能特点如下：

1. 高品质的四镜头全视角镜头组；

2. 360°X360°全视角全景拍摄模式；

3. 高解像度鱼眼镜头；

4. 超过6K的高画质全景视频；

5. 总数4800万像素的索尼背照式图像传感器；

6. 每路视频最高支持2880⋆2160分辨率；

7. 支持生成6500⋆3250分辨率的全景视频；

8. 可直播的全景摄像机；

9. 提供DeLive软件支持4K分辨率的网络直播；

10. 配套的直播主机支持专业级别的直播服务；

11. 5400 mAh锂电池可以支持3小时以上工作时间；

12. 145⋆75⋆75 mm的轻巧机身尺寸设计；

13. 670g的机身自重；

14. TF卡可扩充容量128G⋆4=512G，支持云储存、支持同步录音。①得图F4手册.http://cam.detu.com/zh/f4.

得图F4全景相机可用无线遥控或一键同步方式进行录制，同时具备画面画框的部分拼接和缝合功能。完成的影像作品则利用了智能移动客户端中的VR类App分屏显示，可在头戴式VR BOX的双镜眼镜中进行观看。在应用了H.264实时硬件编码器和搭载的新型图像传感器后可以呈现高清的画质。拍摄时采用了6K的高清画质，并优化了制作性价比，降低了部分功耗。由于F4的重量为670g，所以无法进行航拍处理，但是可以借由支架或者全向平衡车进行移动摄影。由于F4全景相机的画框安全距离在距摄影机支架轴心1.2米范围之内，所以，在进行拍摄时，所有的工作人员必须采用遥控模式进行拍摄，要躲避自身，防止自身入画相机的取景框。

（四）360°VR影视作品《魅力山西·魅力五台》的视频拍摄

《魅力山西·魅力五台》360°VR影视作品的主要拍摄地点为南台、北台、湖、塔院寺内外、龙泉寺内外及泉水处和南山寺；次要拍摄地点定为东台、西台、中台、显通寺、殊像寺、万佛阁、黛螺顶和普华寺。

由于现阶段的360°VR影视作品创作类似于电影初创之期的爱迪生电影和卢米埃尔电影时代，还没有形成较为系统的艺术创作体系，而作品的内容则类似电影初创之期的梅里爱时代之前，需要实验炫技和猎奇杂耍的成分居多，一般是无故事情节、无造型设计、无美学体系的，而声音也只有简单的环境声效和背景音乐，无刻意的研发创作立体声体系。因此，在360°VR影视作品的拍摄中，要意识到导演赖以剪辑视频的技法和镜头语言、音频制作的改变。例如，不仅远、全、中、近、特的景别选择权交给了观者来自主选择，而且像推、拉、摇的镜头运动选择权也一并交给了观者，包括但不限于俯、仰、平的视角选择权也属于了观者，仅剩下移动和跟拍方法由剧组来掌握，而这恰恰就决定了在360°全景范围内导演重点推荐给观者所展示的画面内容。当然，观者也可以选择反向运动观赏内容。

另外，在360°VR影视作品拍摄中，延时摄影和高速摄影技法会受到局限，长时间的延时和超高速的拍摄模式在现阶段实施还较为困难。而夜空星斗变化和日出日落、云层流动的常见镜头在3小时电池使用期内可以进行无人看管式的拍摄。所以，在拍摄技巧上创作者需要注意多次拍摄和补拍的镜头中天气的变化和植物的状态是否有太大的差异？如有太大的差异则以有效镜头数量多的为准。通过剪辑，创作者可以硬性地打断单一的空间沉浸感进行空间自由切换。

（五）360°VR影视作品《魅力山西·魅力五台》的音乐设计

借助音乐可以有效的表现出五台山特色的文化气质。因此，本次的360°VR影视作品的艺术创作创新点在于部分内容结合了山西省歌舞剧院民族管弦乐团的以MV形式体现的实地演奏。

经实地演出协调后，确定声音由三首民族音乐配合五台山的秀美风光画面组成。三首民族音乐分别为古琴曲《欧鹭忘机》、民族乐器合奏《人说山西好风光》和琵琶独奏《新十面埋伏》。其中，《鸥鹭忘机》这首琴曲是规劝人们要心地善良。这无形中贴合了五台山悠久的佛教文化传承；而《人说山西好风光》的合奏曲则开宗明义，可以立即唤起观者对山西的第一音乐印象。

三、360°VR影视作品的后期视音频制作与播放设计应用

（一）图像缝合

360°VR影视作品的后期制作主要包括图像缝合、剪辑、三维特效合成、字幕设计和视听内容合成。最终完成作品后上传网站在新媒体中播出。

所以，后期制作的第一步是将所拍摄的视频素材进行360°的缝合。一般来说，采用主流拍摄工艺的基本是推荐“Autopano Giga”来完成缝合和调整、在“Autopano Video Pro”中剪辑素材。本次使用的得图F4照相机具备一定的缝合能力，视频素材可以在“Adobe Photoshop”中首先被制作成一个全景缝合的图像静帧。然后再利用此静帧可以在“Adobe Premiere Pro”中进行视频剪辑，这样可以省却大量的手工工作。在制作时需注意的是视频素材片段之间的衔接是否合理、剧情是否流畅、及转场效果是否统一等问题。

（二）剪辑合成

后期制作的第二步是剪辑。需要将在南台、北台、湖拍摄的视频素材的部分内容来贴合乐曲《人说山西好风光》《新十面埋伏》的实地演奏，以及将塔院寺内外到龙泉寺内外及泉水处拍摄的视频素材的部分内容来贴合乐曲《鸥鹭忘机》。所以，第二步要借助于“NUKE”软件对部分扭曲及人物穿帮的视频素材进行擦除或恢复。

（三）音频制作

360°VR影视作品的音频部分绝大部分的制作与传统影视作品相同。如在VR的外景拍摄阶段，要使用电容指向性话筒来纪录特定的声音素材，如鸟鸣等；在录取环境背景声时要使用带有海绵或塑料防风罩的电容话筒；在录取大动态的声音时，如录制钟声时要使用动圈话筒。由于360°VR影视作品的拍摄中有乐队和乐手的现场表演，所以，还要置现场播放的扬声器躲在摄影机的画框安全范围外来播放前期已录制好的音乐来配合演员的表演（该方式被称为前期录音同期现场播放）。

而在音频的后期制作阶段则与传统的制作方法略有不同。由于传统的影视录音采用的是立体声录音技术，观者对银幕不会产生360°的头部旋转模式。所以，录还音的声道数量和扬声器的定位关系则相对较为简单，使用全景电位器即可进行还音声场的设置。可是在360°VR影视作品观片时，头部运动的自主权交给了观者本身。因此，传统的左、中、右立体声还音的声场也会跟随观者头部的运动而进行一定的位移。所以，在最后声音经过全景电位器的设置后还需要对观片移动客户端的音频部分进行软件开发工具“SDK”（Software Development Kit）的项目开发，使得观片移动客户端装置中的陀螺仪和GPS全球定位器或动作捕捉系统能够实时地跟踪对应观者脸部的正向位置，从而将观者的头部运动自动地转化为第二次的全景电位器的合成效应，正向面对观者脸部的多声道声音信号自动推高若干电平，以造成观者收听到的声音信号类似于自然听到的声音，来满足头部阻挡与双耳正向位置所造成的听音差异体验。从而让观者在观看360°VR影视作品《魅力山西·魅力五台》时可以尽情地饱览祖国的大好河山之美。

结语

在互联网+时代，通过虚拟现实的360°VR影视作品的艺术创作手段来展现文化与自然内涵，有利于大众对大自然留给人类的世界遗产形成直观的认识与了解。

虚拟现实技术为当下的互联网传播提供了很好的观者体验模式。虚拟现实创造的虚拟空间不仅为视听传媒形态提供了新的技术手段和新的艺术表现空间，而且，三维动态化仿真的实时交互沉浸式体验还可以大大丰富影视艺术的理论语言和发展影视美学思维，能带给观者更加丰富多彩的艺术感受。因此，360°VR 影视作品的艺术创作大有所为。

伴随着虚拟现实技术中的画面移步易景，声音艺术的新疆域也逐渐清晰地展现在了影视艺术和技术工作者的面前。

[1]北京电影学院动画学院.“遇见-中国”VR影像大展暨VR影像创作扶持计划报名启事[EB/OL].(2016-06-07)[2017-04-02]http:// animation.bfa.edu.cn/content/2016-06/07/content_93707.htm.

[2]凤凰网华人佛教.数字五台山：现存47座寺院有8处藏传黄庙[EB/OL].(2014-09-19)[2017-04-02]http://fo.ifeng.com/a/20140918/ 40813058_0.shtml.

侯 明，男，北京人，北京邮电大学世纪学院讲师，中国高校影视学会会员，中国电影家协会电影声音艺术工作委员会常务理事、中国录音师协会电影录制制作专业委员会常务理事；主要从事新媒体声音研究。

本文系北京电影学院“中国文艺评论基地”《中外电影理论评论研究》（项目编号：CLACA-2015-010）阶段性研究成果。