虚拟增强现实行业发展及在广播电视领域的应用

2023-12-13周俊英李文胜

电视技术 2023年10期

周俊英，张强，李文胜

（四川广播电视台，四川成都 610041）

0 引言

虚拟增强现实行业的关键技术包括虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）、混合现实（Mixed Reality，MR）以及拓展现实（Extended Reality，XR）等。本文旨在通过深入分析不同技术类型的特点以及它们在广播电视节目制作、观众互动和媒体体验增强方面的具体应用，揭示这一领域的最新趋势和未来发展前景。

1 虚拟增强现实行业关键技术及产业发展概述

1.1 VR/AR/MR/XR 技术及产业发展介绍

1.1.1 VR 技术

VR 技术旨在创造一种全新的沉浸式体验，将用户置身于虚构的三维环境中，与之互动，仿佛置身于一个与真实世界截然不同的虚拟空间。VR 技术的组成部分包括头戴式显示器，通常配备高分辨率屏幕，以提供逼真的视觉体验，还有感应设备如陀螺仪和加速度计，用于跟踪用户的头部和身体动作，以便在虚拟环境中呈现相应的视角变化。VR技术还包括手柄、手套等输入设备，用于用户的互动和控制。

1.1.2 AR 技术

AR 技术旨在将虚拟信息与真实世界叠加，为用户提供沉浸于增强的现实环境中的体验。其特点在于通过摄像头捕捉周围的真实世界，然后将虚拟元素如图像、文本或3D对象实时叠加在用户的视野中。AR 技术的关键组成部分包括显示屏、摄像头和计算设备（如智能手机、平板电脑或头戴式显示器）。

1.1.3 MR 技术

MR 技术旨在融合虚拟和真实世界元素，创建一种整合的环境，其中虚拟和现实互相交互并共存。其特点在于将虚拟对象与真实环境互动，用户能够看到并与虚拟元素在同一场景中互动。混合现实技术的组成部分包括头戴式显示器、传感器、计算设备以及特殊镜头或透明显示屏，以便将虚拟图像无缝地叠加到用户的真实视野中。

1.1.4 XR 技术

XR 是一种综合性术语，涵盖虚拟现实（VR）、增强现实（AR）和混合现实（MR）等技术，旨在拓展用户的感知和交互体验。其特点在于融合虚拟与真实元素，提供更丰富的数字体验，同时保持与现实世界的联系。XR 技术的组成部分包括头戴式显示器、传感器、计算设备和相关软件。XR 产业在软硬件、内容及应用层面实现全面升级。硬件方面，2022 年，芯片、光学模组、微显示屏等核心零部件的升级、轻薄化，VR 一体机和消费级AR 眼镜的发布，推动XR 硬件产业发展，如高通公司发布了XR 芯片。软件方面，XR 软件开发工具包（Software Development Kit，SDK）分为专业内容生产（Professional Generated Content，PGC）工具和用户生产内容（User Generated Content，UGC）工具两大类，代表企业包括Unity、UE、Roblox Studio、代码乾坤等[1]。XR 内容及应用主要体现在XR 赛事体验、XR 音乐会360°沉浸式视听等方面。

1.2 VR/AR/MR/XR 之间的关系

VR、AR、MR 和XR 是互相关联但概念不同的技术形式，它们的关系如图1 所示。VR 创造完全虚构的数字环境，使用户完全沉浸其中。AR 将虚拟元素叠加到真实环境，丰富现实世界。MR 融合虚拟和现实元素，使二者交互共存。XR 是一个综合性术语，包括VR、AR 和MR，强调整合不同技术以提供更丰富、多样的数字体验。这些技术之间的关系是从完全虚拟到完全真实的渐进连续。随着技术不断发展，它们的界限变得模糊，共同推动技术创新与发展。

图1 VR/AR/MR/XR 关系图

2 虚拟增强现实行业关键技术在广播电视领域的应用

2.1 VR 技术在广播电视领域的应用

VR技术在广播电视领域的应用领域多种多样，为观众提供了前所未有的互动和沉浸式体验。VR可用于电视节目制作，创造虚拟环境，使观众仿佛置身于节目中的场景，如纪录片中的远古历史或虚构剧集中的异星世界。广播电视公司也采用VR 来直播体育赛事、音乐会和特别活动，使观众远程感受到现场的氛围。广告业也受益于VR，创造沉浸式广告宣传，为品牌推广提供了全新的途径。

VR 技术在广播电视领域的应用场景包括VR全景视频直播、VR 全景视频点播、VR 全景视频轮播、5G+8K+VR 云直播以及5G+VR 慢直播等。2019 年1 月28 日，中央广播电视总台联合中国联通、华为公司在吉林长春启动5G 网络VR 实时制作传输测试，利用5G、VR 等技术为春节联欢晚会（以下简称春晚）长春分会场5G 直播与VR 制作提供技术支持，实现VR 全景互动、春晚VR 短视频制作，为观众带来沉浸式春晚观看体验。2022 年4 月，寿光移动联合寿光市融媒体中心，通过智能机器人+5G+4K+VR 进行菜博会实时直播活动，运用移动全景直播、VR 全景慢直播等直播形式，观众在融媒体主播的引领下720°沉浸式畅游菜博会[2]。4K花园公司的8K 3D VR 直播系统“满天星”支持8K 60P 分辨率，实现180°3D VR 或360°2D VR 拍摄及信号处理、远程控制，实现8K 广播级讯道摄像机系统与VR 直播系统的融合应用。“满天星”系统被广泛应用于大型活动、赛事、演出的8K VR 现场直播活动，如2022 中国街舞联赛、2023 世界超高清视频产业发展大会等[3]。

2.2 AR 技术在广播电视领域的应用

AR 技术在广播电视领域的应用，为观众创造了交互性、信息丰富的体验。首先，AR 用于丰富电视节目，如新闻报道。通过AR 技术，新闻报道可以呈现实时数据、虚拟图表、3D 模型等元素，以更生动地解释新闻事件。其次，广播电视广告也采用AR来提供互动广告宣传，观众可以使用移动设备扫描广告中的图像或物体，以获取更多信息或享受虚拟体验。最后，AR 还用于体育转播，为观众提供实时比分、球员统计和实况互动，增添了赛事观看的乐趣。

AR 在广播电视领域的应用场景包括AR 新闻、AR+直播、AR+电影以及AR+体育赛事等。AR新闻使新闻用户参与到AR 新闻叙事的深度互动中，如新华社2018 年的AR 新闻作品《天地工程》。2019年，国庆70周年新华社联合网易新闻推出《AR大阅兵》新闻作品，2023 年，济南报业全媒体报道推出《AR 播报看两会》特别节目。以2020 年广州越秀区打造全市首个5G+4K+AR 直播基地为例，集高端设备共享、动漫画制作、虚拟现实（AR、VR、MR）、人工智能、全息、体感捕捉及智能硬件等多种技术于一身，融合AR 数字技术，配备百万级广播级讯道系统，实现AR 直播[4]。

2.3 MR 技术在广播电视领域的应用

MR 技术在广播电视领域的应用为观众提供高度交互性、沉浸式的体验。MR 可用于虚拟电视节目制作，创造虚拟演播室和虚拟角色，使广播电视内容更加生动和互动。观众能够在现实环境中看到虚拟元素，如虚拟新闻主播或互动游戏角色，与他们互动。MR 技术还可用于实时特效制作，如天气预报、体育转播和选秀节目，为观众呈现生动的视觉效果。

MR 技术在广播电视领域的应用场景主要包括综艺节目、纪录片、新闻节目及体育节目等。以2021年新华网两会特别报道《MR 全息访谈节目：有话问两会》为例，这是MR 技术在特别报道领域的杰出应用示例。这一特别报道采用MR 技术，将虚拟主持人呈现为立体全息形象，与两会代表进行互动性访谈，使观众仿佛置身于虚拟会议室[5]。

2.4 XR 技术在广播电视领域的应用

XR 技术在广播电视领域的应用多种多样，为观众创造了前所未有的多样性和互动性体验。XR虚拟演播室已经改变了电视节目制作方式。通过XR 技术，制片人可以创造虚拟背景和场景，使主持人和嘉宾置身于各种环境中，提供更生动的电视内容。XR 音乐会和XR 赛事改变了音乐和体育节目的观看方式。观众通过头戴式显示器或移动设备，选择自己的视角，仿佛置身于音乐会现场或比赛场地，与艺术家或运动员互动。

XR 技术在广播电视领域的应用推动了XR 优质内容不断增长。以虚拟演播室为例，配备发光二极管（Light Emitting Diode，LED）显示屏、渲染服务器、合成服务器、相机追踪系统、灯光系统、摄像系统及音响系统等，具备沉浸式空间透视、相机追踪、人体捕捉（数字人）、实时渲染以及扩展现实AR特效等功能。XR 虚拟演播室可为广播电视单位提供短视频虚拟制作、虚拟扩展直播、数字人实时互动、演出及广告等应用服务。以XR 音乐会为例，2022 年12 月，中国移动咪咕联合NOLO 公司打造了一场元宇宙空间“星座·M”动感地带世界杯音乐盛典，通过多种虚拟交互技术的融合应用打造数实融合、超精度建模、全景交互沉浸式演唱会，用户使用NOLO CM1 VR 一体机、手柄等设备可360°沉浸式观看超高清音乐盛宴[6]。