虚拟现实技术在电视节目中的应用

何 方

（晋中职业技术学院，山西 晋中 030600）

0 引 言

随着虚拟现实（Virtual Reality，VR）技术的飞速发展，电视节目正在迎来一场前所未有的变革。本文旨在深入研究虚拟现实技术在电视节目中的应用，探讨其如何重塑节目制作、提升观众互动性、创造全新的娱乐体验，着重关注音乐、舞蹈、文化和新闻领域的节目，并分析虚拟现实技术对这些节目的影响，以揭示虚拟现实技术对电视节目的潜在价值，为电视节目行业的创新和进步提供参考。

1 虚拟现实技术概述

1.1 虚拟现实的概念

虚拟现实是一种计算机技术，通过模拟数字环境，让用户感觉自己置身于一个完全虚构的现实世界中。这种体验通常通过头戴式显示器和传感器设备实现。用户可以与虚拟环境互动，感受到身临其境的沉浸感。虚拟现实技术创造了一种全新的感知和互动方式，涵盖了视觉、听觉和触觉等感官，扩展了娱乐、教育、医疗及许多其他领域的应用[1]。

1.2 虚拟现实技术类型和硬件设备

虚拟现实技术包括多种类型和硬件设备，以实现沉浸式体验。虚拟现实的技术类型包括实时三维计算机图形技术、近眼显示技术、渲染处理技术以及感知交互技术等。实时三维计算机图形技术是虚拟现实的基石，涉及创建和渲染虚拟世界的三维图形，以便在用户头戴式显示器中以高帧率和低延迟呈现。这需要强大的图形处理单元（Graphics Processing Unit，GPU）和专业的图形编程技能，以确保虚拟环境的真实感和流畅性。近眼显示技术是通过头戴式显示器向用户提供虚拟世界环境的关键技术，涵盖高分辨率屏幕、透镜系统和追踪传感器，以确保用户眼睛附近的视野区域能够清晰、舒适地显示虚拟图像。这有助于创造出引人入胜的沉浸式体验。渲染处理技术是实时三维图形的一部分，涉及确定虚拟场景中的光照、纹理和材质等方面，以使虚拟世界看起来逼真。高级渲染技术如光线追踪等有助于提高虚拟现实的视觉质量，使影像更具真实感。感知交互技术包括跟踪、手势识别、触觉反馈和声音等，以使用户能够与虚拟环境互动。一些传感器和控制器可用于追踪用户的头部、手部和身体动作，以实现真实的沉浸感。触觉反馈设备（如触觉手套或振动反馈控制器）可以增强用户的触觉体验[2]。

虚拟现实的硬件设备包括虚拟现实专用处理芯片，多形态虚拟现实设备，高性能3D 超高清全景摄像机、三维扫描仪、动作捕捉外设、声场麦克风等内容影音采集设备，虚拟现实视频、沉浸式音频内容压缩编码设备等。虚拟现实专用处理芯片通常被称为虚拟现实处理单元或图形处理单元，专门设计用于处理虚拟现实应用的图形和计算需求。这些处理器能够提供高性能、低延迟的图形处理功能，确保虚拟现实应用的流畅性和逼真性。一体式、分体式、车载式、云化终端等多形态虚拟现实设备是支持多种虚拟现实体验的硬件，其多用途性使其适用于各种不同的应用场景。高性能3D 超高清全景摄像机用于捕捉现实世界中的图像，以便将其投影到虚拟环境中。此类摄像机具有高分辨率和全景捕捉能力，以提供更真实的虚拟环境。三维扫描仪用于创建现实世界物体或场景的三维模型，在虚拟现实环境中使用，以创造与现实世界相匹配的虚拟对象。动作捕捉外设用于跟踪用户的身体运动和手势，如传感器、摄像机或其他相关设备，用于实时捕捉用户的动作，以在虚拟环境中进行准确的身体互动。声场麦克风用于捕捉声音的方向和位置信息，以在虚拟现实中实现沉浸式音频体验。这有助于用户感受到声音来自虚拟环境中的特定方向。虚拟现实视频、沉浸式音频内容压缩编码设备用于处理、编码和解码虚拟现实内容，以确保在传输和存储中保持高质量的视频和音频[3]。

1.3 虚拟现实产业发展现状

2022 年，工业和信息化部、教育部、文化和旅游部、国家广播电视总局等多部门联合发布了《虚拟现实与行业应用融合发展行动计划（2022—2026 年）》，总结了我国虚拟现实产业发展现状，并制定了到2026 年的虚拟现实发展目标。我国虚拟现实产业多技术融合、产学研用高效协同的系统化创新体系基本形成，虚拟现实终端销量稳步增长，2022 年发布或者曝光的VR 和增强现实（Augmented Reality，AR）产品超过40 余款，生产厂商包括联想、TCL、华为、OPPO、小米、雷鸟创新、Nreal、小派及梦想绽放等企业。虚拟现实融合应用成效凸显，在工业生产、文化旅游、融合媒体、教育培训、体育健康、商贸创意及智慧城市等领域的融合应用持续深化[4]。

2 虚拟现实技术在电视节目中的应用

2.1 虚拟现实技术在音乐类节目中的应用

通过虚拟现实头戴式设备，观众仿佛置身于音乐会或音乐视频的实际场地中。这种沉浸式的体验，让观众能够与艺术家互动，感受音乐的现场表演，甚至在虚拟环境中自己演奏乐器。虚拟现实可用于创建独特的音乐视频，通过创意的三维场景和效果，提供令人难忘的视听体验。这种技术为音乐节目注入了新的创意和互动元素，为观众带来了前所未有的娱乐享受。

以2022 年中央广播电视总台（以下简称央视）与腾讯公司联合推出的首个数实融合虚拟音乐世界节目《奋斗的青春——2022 年五四青年节特别节目》为例，节目充分运用虚拟现实技术、虚拟数字人技术及云端协同3D 技术，开创国内首个数实融合的虚拟音乐世界节目体验。用户登录“TMELAND”以虚拟数字人身份进入虚拟音乐世界，沉浸式地体验五四歌曲表演。此次音乐节目中，腾讯旗下吉莉、童和光、星瞳三位虚拟人与青年演员联合演出情境歌舞《New Youth》，带给观众亦真亦幻的音乐视听体验。吉莉、星瞳、童和光三位虚拟数字人由腾讯旗下多个工作团队联合打造，充分运用了虚拟现实引擎渲染能力、动作捕捉技术、数字角色制作以及动作捕捉动画生产等技术。

以2022 年YY 直播与百度旗下希壤深度共同打造的首档元宇宙竞演歌会《超能音乐汇》为例，节目充分运用虚拟现实技术、直播互动技术等，打造了一场虚实融合的音乐盛宴。制作团队运用Unreal虚拟渲染系统，实现虚拟场景的复杂光影渲染效果，如直播过程中的巨大月亮、玩偶模型、直播礼物特效等，都是由Unreal 虚拟渲染系统完成制作。《超能音乐汇》直播现场采用了3 套Cgangs V3D 无限版方案，采用UE4+eStudio 的双引擎技术，包含编辑软件与播出软件，兼容Aston 3D 在线包装系统以及OnDemand 播放列表；支持传感器跟踪虚拟，虚实结合，虚拟植入等丰富的使用方式；放置在摇臂、中景全景以及特写三个机位上，依托Cgangs V3D 无限版强大的虚拟制作技术，将虚拟场景全方位、细节化地呈现。《超能音乐汇》依托虚拟技术的关键技术与硬件设备、云计算、人工智能等技术，构建了荷塘月色、失落沙洲、粉色浪漫及朋克城市四个不同主题的虚实融合元宇宙场景。多位艺人在元宇宙场景中同台竞演，带给观众新奇、炫酷、沉浸式的音乐体验[5]。

2.2 虚拟现实技术在舞蹈类节目中的应用

虚拟现实技术在舞蹈类节目中的应用，为观众带来前所未有的舞蹈体验。观众穿上虚拟现实头戴设备，与舞者一同跳舞，感受舞蹈的节奏和动感。这种互动性让观众成为节目的一部分，提高了观众的参与感和身临其境的感觉。虚拟现实用于创造令人惊叹的虚拟舞台和背景，为舞蹈表演增添了视觉冲击力。

以舞蹈节目《这！就是街舞 第四季》为例，节目运用深度沉浸式内容制作技术如3D VR 及6DoF视频制作技术，完成选手采访、练习室花絮、精彩Battle、作品表演及决赛直播等超高清内容制作，依托自主研发的拍摄、拼接到播放的完整解决方案，包括VR相机、拼接软件、播放器和社交研发技术等，支持《这！就是街舞 第四季》的录播与直播工作。

以《动感地带·2022 中国街舞联赛》为例，节目依托4K 花园公司的满天星全程8K 3D VR 直播系统，带给观众超高清、沉浸式的舞蹈观看体验。《动感地带·2022 中国街舞联赛》直播活动在赛场内及周围共布置了6 个8K 3D VR 转播机位，共启用了9 套4K 花园公司自主开发的8K 满天星VR 直播服务器和1 套8K VR 直播编码器。整场转播共向咪咕平台推送了3 种不同的VR 直播信号，包括2D 4K 360°VR 全景、3D 4K 和8K 180°立体VR，依托4K 花园公司自主研发的8K VR 编码器，向咪咕平台推送最高规格的8K 分辨率3D VR 直播信号，满足了8K 高规格实时直播的稳定性和高性能实时编解码需求，完成多机位现场节目切换输出，确保观众观看8K 立体VR 影像的沉浸感和舒适感[6]。

2.3 虚拟现实技术在文化类节目中的应用

虚拟现实技术在文化类节目中提供了令人印象深刻的体验。观众沉浸在虚拟的文化景观中，无须离开舒适的环境，就可以亲临世界各地的文化圣地。这种互动体验不仅让观众深入了解不同文化，还为他们提供了全方位的学习和娱乐机会。通过虚拟现实技术，文化类节目为观众呈现了丰富多彩的文化传统、历史场景和传奇故事，创造了引人入胜的文化冒险。

以河南卫视的中国传统文化系列节目为例，充分融合了VR、AR、5G、人工智能（Artificial Intelligence，AI）等技术，带给观众沉浸式、创新性的视觉体验。《唐宫夜宴》充分运用了5G+AR 技术，实现实景舞台与虚拟场景的完美融合。在博物馆场景中，“唐朝少女”们嬉戏打闹并完成舞蹈表演，让观众通过舞台表演沉浸式地体验盛唐的文化风貌。

以中央广播电视总台综合频道的《中国考古大会》为例，作为一款新型考古空间探秘类文化综艺节目，依托虚拟现实、增强现实、混合现实（Mixed Reality，MR）、拓展现实（Extended Reality，XR）等技术构建了三重时空交叠媒介仪式，以3 条时间线索虚实交互呈现考古事件的古今故事。主舞台之外，制作团队依托扩展现实技术打造了科技感十足的副舞台，作为探秘空间模拟考古探险场景，通过地面实景与空中虚拟景象为观众带来一场沉浸式、临场感的考古体验。

2.4 虚拟现实技术在新闻类节目中的应用

虚拟现实技术在新闻类节目中的应用涵盖了多个方面，包括虚拟演播室、虚拟数字人及VR 新闻。

虚拟演播室允许新闻主播置身于虚拟环境中，而不是传统的静态背景，为观众创造更生动和引人入胜的新闻节目，同时提供互动性和实时信息展示的可能性。虚拟演播室使得新闻报道更加灵活，轻松适应不同的报道主题和风格。以广东广播电视台4K 超高清虚拟演播室为例，其虚拟系统由3 套跟踪器、3 台引擎、2 台控制服务器、3 台硬色键器以及1 台色键控制器组成。系统配置的VIZRT4 代渲染引擎支持VR、AR、MR、XR 制作，具有网络设备接口（Network Device Interface，NDI）输入输出、竖屏制作等能力，被广泛应用于体育新闻、政治新闻、国际新闻、经济新闻、社会新闻及娱乐新闻等制作中，如国际新闻新的报道栏目《全球零距离》就是运用4K 超高清虚拟演播室制作完成。

虚拟数字人在新闻领域的应用是虚拟主持人或新闻记者，通过虚拟现实技术，在屏幕上以3D 形象的方式呈现，用于实时新闻传递，为观众提供深入解说和互动，也用于多语种报道，扩大新闻覆盖范围。例如，新华社连续推出虚拟新闻主播新小浩、新小萌、新小微。新小浩的原型是邱浩，通过三维重建、动作捕捉、面部捕捉等技术，还原主播邱浩的表情和动作，通过XR 技术实现从演播室播报到三维空间中自由行走。新小浩、新小萌、新小微具备24 h 不间断新闻播报能力，负责两会报道、中国新闻、世界军情等新闻节目的主持工作。

VR 新闻是一种全新的新闻呈现方式。观众可以使用虚拟现实头戴设备沉浸式地体验新闻事件。这意味着他们可以“站在”新闻现场，观看360°视频、感受环境声音，以更全面的方式理解新闻故事。以央视网VR 浸新闻栏目为例，在VR 任意门栏目，用户可以通过手机端、电脑端点击相应的界面“穿越”到世界各地，以8K VR 视角、裸眼3D 沉浸式体验世界各地的自然景观与人文景观。

3 结 语

本文深入探讨了虚拟现实技术在电视节目中的多种应用，认识虚拟现实技术如何改变音乐、舞蹈、文化和新闻节目的制作和观赏体验。虚拟现实技术不仅提升了观众的互动性和沉浸感，还创造了新的创意和娱乐机会。未来虚拟现实技术将继续为电视行业带来更多可能性，为观众创造更加引人入胜的节目体验。