虚拟现实技术在电视节目中的应用

智卫

【摘 要】基于虚拟现实技术的呈现形式和设备，阐述电视拍摄制作中运用的关键性的虚拟现实技术，以及虚拟现实技术在广电领域的发展前景。

【关键词】 虚拟现实；实时缝合；虚拟植入；增强现实；交互模式；沉浸式；互动

【Abstract】Based on virtual reality technology rendition and equipment，explained the virtual reality technology which used in the television production，and the development prospect in the field of virtual reality technology in radio and television.

【Key Words】virtual reality； real-time suture； the virtual implants； augmented reality； interactive mode； immersive； interaction

1 引言

虚拟现实（Virtual Reality， VR）技术是指用户借助特殊的输入/输出设备与以计算机技术为核心的科技手段生成的虚拟环境中的物体进行交互。VR技术被称为“下一代互联网计算中心”以及“下一代移动计算机平台”，带来人机交互的内容、方式和效果的革新。它提供了除电视屏、电脑屏、手机屏之外的第四块屏——即第一视角屏，通过各种交互设备使交互模式从单向转为双向互动，将体验者带入虚拟环境，获得沉浸式的交互体验。

VR技术以其沉浸式和互动式特点给传统电视观看模式带来极大冲击，同时为电视业创新与升级创造了难得机遇。2016年，VR技术在电视节目中得到了快速发展和应用，巴西里约奥运会的直播就使用了VR技术，为世界各地的观众提供一种独特的视觉体验。制作项目包括奥运会开闭幕式、篮球、体操、田径、沙滩排球、跳水、拳击等，每场比赛提供三个不同VR机位的视频流，用户可以通过APP观看直播或点播。

虽然当前VR技术的发展和应用仍处于起步阶段，供应链及系统配套还不成熟，但发展前景引人想象，国内外科技巨头都在加速虚拟现实生态系统布局。整个VR技术应用的生态圈包括用户、技术、硬件、内容等已初步形成，在电影、电视、网络、纸媒等传统媒介的基础上构建出新的媒体形态。

笔者基于VR技术的呈现形式和设备，分析在电视节目制作中的所采用的关键技术及其运用。

2 虚拟现实技术的分类

VR技术创造的核心内容是构建一个虚拟的环境，图1为VR技术的工作原理图。比如采用VR头盔，通过切断体验者输入现实世界的视觉路径，将用户带入创造的虚拟三维空间，打造“完全在场”的错觉。

从VR技术的呈现形式可分为四类。

2.1 桌面虚拟现实

桌面虚拟现实利用个人计算机和初级工作站进行仿真，计算机屏幕作为观察虚拟环境的窗口，通过鼠标、追踪球、力矩球等输入设备实现虚拟环境与现实世界的交互，操纵其中的物体。这种VR技术会受到周围现实环境的干扰，参与者缺少完全的沉浸感。常见桌面虚拟现实技术有基于静态图像的虚拟现实QuickTime VR、虚拟现实造型语言VRML、桌面三维虚拟现实等。

2.2 分布式虚拟现实

分布式虚拟现实系统是通过计算机网络连接使多个用户同处于一个虚拟空间，共同体验虚拟经历。这种VR技术提升到了一个更高的境界，可以达到协同工作的目的。在中国中央电视台（以下简称央视）音乐频道《音乐公开课》节目中，为了让更多的用户同时体会音乐的魅力，采用VR技术对节目进行制作并通过计算机网络将多个观众汇集在同一空间，共同感受同一个虚拟世界，参与同一场音乐公开课。

2.3 沉浸式虚拟现实

沉浸式虚拟现实系统的体验，使用户有置身于虚拟境界之中的感觉，是目前最常用的方式。它利用头盔式显示器或其他设备，把参与者的视觉、听觉及其他感觉封闭起来，提供一个全新的虚拟感觉空间，并利用位置跟踪器、数据手套等手控或声音输入设备，使参与者产生一种身临其境、全心投入和沉浸其中的感觉。常见的沉浸式虚拟系统有基于头盔式显示器的系统和投影式虚拟现实系统。

2.4 增强现实性虚拟现实

增强现实（AR）性虚拟现实系統不仅模拟现实世界，而且要增强参与者对真实环境的感受，增强了现实中无法感知或不方便的感受。在央视综合频道《生活圈》节目中，主持人在介绍互动数据时面前出现实时数据板，数据的展示就是通过AR技术来实现的。在央视中文国际频道《国家记忆》纪录片中，也使用AR技术在嘉宾面前显示相关的媒体数据信息，极大地丰富了荧屏效果。

3 沉浸式虚拟现实系统的主要设备

沉浸式虚拟现实系统设备主要包括拍摄制作、用户体验两个部分。

3.1 拍摄制作设备

拍摄制作的设备包括多目VR摄像机和视频缝合器、VR视频切换、字幕机、编码和推流服务器等。

VR拍摄制作流程如图2所示。拍摄时通常在一个环境里布置多台VR摄像机，每台摄像机连接一台VR视频缝合器。摄像机可以安装在固定位置，也可以安装在摇臂或轨道上，以便提供移动镜头。VR视频切换台切出最终的一路信号经过字幕包装后进入到推流编码器直接推送到云端，最后分发到各播出平台。

3.2 用户体验的终端设备

对于用户体验的终端部分主要分为与虚拟世界进行交互的输出和输入设备，如图3所示。

（1）输出设备

目前输出头显设备主要分为三类。

外接式VR头盔：外接个人计算机、智能手机、游戏机等设备作为计算与存储设备，具有独立屏幕，产品结构复杂，技术含量最高，代表产品有Facebook 的OCULUS和HTC的VIVE等。

一体式VR头盔：自带屏幕、计算与存储设备，可独立运行，此类产品较少，代表产品有戴尔BOSSNEL和小黑灵境等。

智能手机VR眼镜：将手机放到盒子中，当作屏幕、计算及存储设备的作用，产品结构简单，制作成本低廉，国内大部分产品属于此类，代表产品有Googlebox和暴风魔镜等。

图像的刷新率在很大程度上决定了VR头显设备体验的好坏。因为高刷新率会降低延迟，从而减少晕动症的发生，可为用户获得更为灵敏的体验。目前要求VR显示设备的刷新率至少在每秒60帧，市场上主流VR显示设备会维持在每秒90帧以上。

（2）输入设备

VR输入设备是与虚拟世界进行主动交互时发出指令的控制器，主要包括手柄、手势识别设备、动捕设备、跑步机、方向盘、传声器等。

4 电视拍摄制作中的VR关键技术

4.1 前端拍摄技术

VR摄像机均为无盲点全覆盖拍摄，它通常由两目以上朝向不同的普通镜头拼接而成，拥有360°全景视场。通过调研市面上的主要VR拍摄设备的性能及各项指标，将VR拍摄设备分为消费级、专业级、广播级，如图4所示。

消费级VR拍摄设备：以双目180°鱼眼一体相机为主流，可以达到实时硬件设备缝合全景画面，分辨率为2K的高清画质。

专业级VR拍摄设备：用多个GoPro（或小蚁等）级别运动相机组合而成，一般在4目～8目，拼接后的画面可以达到4K的超高清画质。

广播级VR拍摄设备：一般采用专业单反相机进行组合，由于相机体积庞大，一般情况下多为4目相机组合，拼接后可达到6K的超高清画质。

基于各项参数的对比，通常用于演播室类电视节目的制作时VR拍摄设备至少应达到广播级VR产品要求，用于ENG外拍电视节目的制作时VR拍摄设备至少应达到专业级VR产品要求。

4.2 VR图像缝合技术

VR图像缝合技术是指将不同传感器在不同视点和视角拍摄的具有一定空间重叠的图像拼接起来，形成一个合乎视觉效果的大场景图像，主要包括图像匹配和图像融合两方面。其中，图像匹配技术是VR图像缝合的核心技术，直接关系到图像拼接算法的成功和效率。

图像缝合拼接按拼接的投影基准可以分为柱面拼接、球面拼接和正方体拼接。其中柱面拼接由于柱面坐标的变换比较简单，并且投影图像与其投影到圆柱表面的位置无关，用其描述的柱面图像可在水平方向上满足360°环视，具有较好的视觉效果而被广泛采用。

在电视节目的运用中，图像缝合分为实时缝合和后期缝合两类。目前国际上主流的缝合软件有Vahana VR（法国）、Kolor Panotour Pro（美国），国内也有GO PANO VR等软件。实时缝合设备是将2目以上全景相机录制的多个画面实时拼合成全景画面的设备，解决了全景拍摄不能用于直播的问题，同时也给全景拍摄者提供实时拍摄效果的预监功能。图像缝合服务器主要包含多目摄影机拼接和多画面视频的实时缝合、全景缝合视频的实时预览、全景视频实时录制和声音实时采集、RTMP实时推流和SDI信号实时输出、拍摄安全距离可调整以及多目摄影机的手动曝光与白平衡调节等功能。

4.3 虚拟植入技术

结合广电传统的制作特点，节目经常将VR拍摄与虚拟植入（实时渲染）结合运用，尤其是在现场直播中，实时呈现植入的全景虚拟效果，无需进入后期制作合成，为传统电视节目的制作提供更多的可能。图5为虚拟效果植入的全景演播室的VR+AR解决方案。

虚拟植入技术可以在各类电视节目中得到应用：演播室节目中利用实时虚拟植入效果可以将导播间、摄像机位、顶部灯光等无效内容遮挡；在体育赛事直播中，可加入与运动员有关的数据等植入效果；在大型晚会节目中植入灿烂的光效或与节目有关的虚拟效果；在军事节目中可以在四周同时植入军舰、飞机、战胜沙盘等效果；在节目中可以植入立体效果广告内容，并可以为节目增加更多的广告植入空间。

4.4 VR节目制作及分发技术

实时缝合技术的发展推动了VR节目的直播，用户可以产生亲临其境的现场感受。VR节目直播首先需要通过多目摄像机在演播室或新闻发生现场进行VR拍摄，同时通过缝合服务器将多个画面进行全景实时缝合，再通过虚拟渲染系统将缝合好的全景视频叠加上虚拟植入的效果（缝合与虚拟叠加是同时进行），然后直接通过推流编码器推送到云端，最后分发到播出平台。VR节目可支持多平臺分发，包括VR头显设备、计算机、智能手机、电视机顶盒；也支持多种传输路径的分发，包括RTMP推流云端分发、IP网络传输、HFC宽带网传输，并且支持高画质、高码率传输。VR视频直播云端分发视频格式为1 920×960，码流为3M至8M。VR视频格式高画质、高码率传输不仅需要通畅网络、足够带宽，终端接收硬件设备也需要配置较高，图6为基于IP直播和点播的VR节目方案。

5 VR技术在广电领域的发展

央视2016年专门设立科研项目《虚拟现实技术在电视节目中的研究》，目的是跟踪研究当前虚拟现实技术的发展及对电视节目制作的影响，通过节目制作的各个应用场景，提供VR拍摄、实时缝合、传输及呈现的完整方案。 目前，央视已经开始在融合媒体节目《中国舆论场》和2016年欧洲杯《豪门盛宴》中尝试VR节目制作，并计划在近期逐步应用到更多节目中。

图7为央视音乐频道《全球中文榜中榜》节目的VR制作系统图。系统中有2台拍摄近景的VR摄像机，1台专业级8目一体化VR摄影机，用于近景固定机位的拍摄；1台小型一体化4目VR摄影机，用于隐藏机位或近景运动机位的拍摄；1台远景摄像机，用于全景的拍摄；2台外景拍摄摄像机；1台带有稳定装置的运动型VR摄像机，采用7目及以上的运动型摄影机拼接成VR摄影机，配置陀螺仪自稳定系统，以便提高运动视频的拍摄质量；1台采用4目运动型相机拼接的VR摄像机。系统中缝合器均带有4K SDI实时输出，并支持最高8K文件形式输出。

视频切换台使用10路以上小型4K切换台，带有1级ME和2路下游键功能，提供多画面监看功能，并支持Tally输出。系统配置4台4K硬盘录像机，其中2台主要作为放机，另外2台主要作为录机使用，采用可插拔SSD硬盘作为存储介质，便于素材交换和扩充。此外，配置1台55英寸4K显示器作为多画面监看，并配置2台17英寸4K监视器，用于PGM节目和PVW预选监看。配置2台主备的VR字幕机用于直播中字幕信息的播出，支持4K SDI VR视频输入输出，可以与互动信息系统连接，显示多种交互信息。

VR视频编码器支持4K SDI VR视频输入，带有上下黑边自动裁剪功能，至少支持H.264和H.265编码格式，带有RTMP推流播出功能，可以实现多种分辨率同步输出功能。图8为演播室VR节目录制效果。

目前，VR技术已经开始应用到各个电视台，很多VR企业也有针对性地研发VR产品，但能达到广电级的却寥寥无几，多数公司将消费级产品推向广电领域，无法达到广电标准和要求。造成此现象的原因有以下几点。

（1） VR技术研发团队不了解广电领域中的应用特点

现阶段很多VR技术研发工程师都是IT行业转型，没有广电应用的经验和意识，研发的很多产品只能达到民用级，同时其分辨率、清晰度、安全性都不具备广电行业标准。

（2） 研发广电级标准产品难度大

广电级VR产品要求技术含量很高，研发周期相对较长，对技术人员也有一定的要求，而多数公司现在只是在做一些技术比较低端、容易实现的产品，通过低端产品达到短时间占领VR市场的短期目的。

（3）拍摄方式单一

大部分VR公司没有广电节目拍摄制作经验，仅仅认为在舞台中央架设一台VR設备就能完成节目制作。所以要改变这种思维和应用模式还需结合广电传统的拍摄手法及经验。

（4）偏后期少完整的直播方案

很多VR的公司都是从游戏或动画的开发公司转型，转型后更多的是在做VR视频的后期制作，而广电节目直播性较强，需要完整的一套VR直播系统技术方案。

6 结语

VR技术带来的绝不仅仅是媒体产品形态的改变，而更可能是一个全新产业的到来，且规模远超现在的广电行业。VR由于其沉浸式、互动式的特点，给了受众接触媒体产品的全新方式，并产生了巨大的吸引力，从而给传统的电视观看模式以极大冲击，同时也是电视业创新与升级的难得机遇。面对这个巨大的机遇，包括Google、Facebook以及BAT在内的互联网公司都在进行积极的布局与尝试，都期待未来在VR的产业中占尽先机。作为电视媒体，发展VR的发力点是VR内容制作或者构建VR内容平台，为此，要对新闻事件直播、体育赛事直播、综艺娱乐节目进行VR制作的探索，同时要加快对VR人才引进与培养，只有这样才能在VR领域抢得先机并获得更大发展。

参考文献：

[1] 中央电视台发展研究中心. VR发展现状及在媒体领域的应用[Z]. 2016.