游戏引擎环境下4K虚拟演播室系统设计探讨

浙江传媒学院 黄河

近年来，游戏领域中超高清实时渲染、五花八门的特效及交互等新技术被逐渐引入到广播电视行业中的电视图文及虚拟演播室包装，这些新技术的使用为该行业提供了全新的制作思路与方法，亦为广播电视行业开启了崭新的制作前景。本文以Zero Density 公司的虚拟演播室/增强现实系统为例，探讨了当前游戏引擎现状，虚幻引擎（Unreal Engine）的优势，以及游戏引擎环境下4K级别虚拟演播室、增强现实、混合现实的系统硬软件构成。

虚拟演播技术自1994年国际广播电视会议上首次出现至今不到30年的历史，期间国内外大大小小的公司研发推出了具有各自特点的虚拟演播室软硬件产品，从国外以色列ORAD 公司开发的基于图像识别的Cyberset虚拟演播室系统到国内大洋公司的Vrset 虚拟演播系统，虚拟演播室产品可谓琳琅满目，其独特的图文包装力在各行各业迅速应用。曾几何时虚拟演播室一度被用作控制制作预算的一种手段，与实景相比虚拟场景更容易实现、修改，具有可以不断的重复利用，使用成本低等特点，虽然虚拟演播室具有这些优势，但也有首期投入大、虚拟场景、抠像不够真实、摄像机跟踪有延迟、使用复杂等缺点，技术上的限制使得虚拟演播室沉寂了一段时间。近年来随着游戏领域中电影级别的视觉效果，超高清场景逼真的实时渲染、4K 级别优秀的画质、令人叹为观止的特效及交互等新技术在电视图文包装及虚拟演播室行业中的推广，为此行业带来了新发展与新希望，从而打开了崭新的应用前景，这些新技术正广泛地应用于大型综艺晚会(2021 春节联欢晚会)、竞选直播、体育转播、电竞比赛等各行各业。

1 游戏引擎与虚拟演播室技术结合

1.1 游戏引擎简介

游戏引擎其实就是一个平台，整合了完成游戏制作的各种系统，主要由以下部分组成：图像渲染引擎、物理引擎、人体学接口设备引擎、网络引擎、碰撞检测系统、音效、电脑动画、脚本引擎、人工智能以及场景管理等，它涉及到游戏制作中的所有元素，例如硬件调用、渲染、动画、贴图、交互等方方面面。游戏设计开发是一项多学科高度融合的工作，其中高度复杂的代码开发只是最基本的技能之一，它涉及的内容还有计算机图形学、三维数学、物理学等复杂的学科。若需要掌握这么多学科知识才能进行游戏制作开发，对大多数人来说是很难完成的任务，更谈不上开发游戏。而游戏引擎是引擎开发者已编写好一些代码，然后把各种复杂的代码封装起来构成了一些基础核心组件，这些组件可以被游戏开发者直接调用而不用考虑一些底层的东西，这样一般的游戏开发者制作游戏就不用掌握游戏开发的各项细节，如此以来能大大缩短开发周期、节约开发成本，使得游戏开发不是那么的高不可攀。

目前比较主流的游戏开发引擎有国外的EPIC 公司“虚幻”即Unreal Engine 简称UE（开发过“绝地求生”“使命召唤”）、Unity Technologies 公司的“Unity3D”（开发过“王者荣耀”“神庙逃亡”）、Valve 公司“起源”(制作过“半条命”)、EA DICE“寒霜”（开发过“战地”）。国内网易的“弥赛亚引擎”（开发过《天下3》）、搜狐的“黑火”引擎（开发过“代号x7”）、金山软件西山居研发的“剑三”引擎，专门为《剑侠情缘网络版三》打造的一款游戏引擎等。

1.2 Epic 公司的Unreal Engine 虚幻引擎被引入电视图文制作

Epic Games 公司于1998年发布了首款虚幻游戏引擎（Unreal Engine 简称UE），至今最新版本为Unreal Engine5。UE 作为一款游戏引擎被引入到电视图文及虚拟演播室制作，是因为它具有以下优势：

（1）UE 从UE4 开始代码是开源的，从而用户可以从最底层开发，最大限度的发挥平台的优势。（2）UE 开发的游戏画质能到达电影级，能渲染出极度逼真的超高清画面。（3）UE 从UE4 开始它是免费的，可直接从EPIC 公司官网下载使用。（4）UE 既能利用C++从底层进行开发，又能当开发者对编程不是很熟悉的情况下也可以使用它的可视化编程，即独具特色的蓝图（Blueprint），利用封装的蓝图节点实现相应的逻辑功能。（5）UE 是跨平台的引擎，支持从Xbox One 到Windows、Mac OSX、Linux 等系统。正因为以上优势，它就具有了被引入到影视图文制作的条件，目前国外比较好的把UE4 引入电视图文及虚拟演播制作的公司有土耳其注册的Zero Density公司，它于2016年全球首次推出了基于虚幻4 引擎的电影级虚拟影视制作系统Reality，它不光使用虚拟引擎进行场景的渲染，还包含基于节点的抠像、4K 级别的视频输入输出、交互性播控、摄像机跟踪系统的支持、API接口等，它充分发挥了虚幻引擎的优秀画质，实时的图形优化，它是个完善的实时电视节目及虚拟制作系统[1]。

2 虚幻引擎环境下4K 虚拟演播室/增强现实系统硬软件系统

2.1 Zero Density 系统构成

Zero Density 作为全球首家推出虚幻环境下虚拟演播系统解决方案的公司在行业内具有一定的领先优势，也是目前世界上画质最好、最真实的系统。本文以此公司的Reality 虚拟演播室/增强现实系统为例探讨UE4环境下硬软件系统。此系统构成如图1所示。

图1 Zero Density 虚拟演播室系统图Fig.1 Zero Density virtual studio system diagram

Reality Engine（渲染引擎）：Reality Engine 是一台高性能的图形工作站，主板插槽上运行高性能显卡Nvidia RTX A6000 GPU，以及AJA88 视频采集卡等硬件设备。渲染引擎的内核基于EpicGames 公司的Unreal Engine 引擎，能实时渲染输出电影级的画面，引擎包含了能利用GPU 处理能力的内置色键器进行16bit 实时抠像，可对所有输入引擎的视频进行抠像处理，并在引擎内部合成到虚拟场景之中，色键使用实时像素对比方式进行抠像，且能够指定任意形状（规则图形和不规则图形）的抠像区域和不抠像区，Reality Engine 支持行业标准的机械和光学摄像机跟踪系统。

Reality Engine 可以实现虚拟演播室、增强现实、混合现实制作，主要负责节目制作中虚拟场景的实时渲染、摄像机实拍画面和虚拟画面的合成以及视频的输入和输出，需要安装运行Reality Engine Server。

（1）Reality Editor（编辑工作站）：虚拟场景及蓝图交互设计制作的工作站，安装运行Reality Editor，此设计制作软件实际上是UE 相应版本的改装，增加了一些Reality 的封装节点及功能。因为Reality Editor 基于开放且通用的UE4 平台，而非封闭的独家制作软件，所以能从诸如C4D/Maya/3D Max4 这样的通用制作平台导入模型等对象。

（2）Reality Control（控制工作站）：Reality Control是Reality 系统的一个集成控制界面，用户可以在台式机或笔记本上操作、配置和监控系统中所有的引擎，对所有引擎进行统一设置和动画触发。它也可以通过网络远程控制节目的播出及引擎的管理。安装运行Reality Control，设置引擎、Cooker 的网络地址及端口，Control 中优化项目(Cook)，导入相应的打包项目，监控系统运行及状态。

（3）R 盘（网路存取映射盘）：作为整个Reality 系统网络的共享存储空间，是系统中素材和资源的保存盘，一些必要的配置文件也保存于该盘。

（4）Cook Server（打包服务器）：负责对制作完成的场景进行打包优化处理，并将打包完成的文件保存于指定相应文件夹下，以供引擎运行时调用。

2.2 Reality 虚拟演播系统工作流程

运行Reality Engine Server，使用ZD 自带的Reality Editor 或相应版本的UE4 制作好场景及蓝图，蓝图的GameMode 模式设置为ZD GameMode 点击运行，打开Reality Control，设置或导入RGraph 文件，根据光照情况调整好抠像，调整好跟踪信号等，然后可以控制蓝图节点从而控制场景中相应的对象。

2.3 核心硬件系统搭建

系统主要由渲染引擎（Reality Engine）、摄像机跟踪系统、4K 摄像机和同步发生器等构成，如图2所示。

图2 Zero Density 虚拟演播室硬件结构图Fig.2 Zero Density hardware structure diagram of virtual studio

以浙江传媒学院4K 电竞综合实验室为例：摄像机采用的是SONY HDC-3500 4K 超高清摄像机，摄像机上加装了跟踪系统，目前加装的Mo-Sys 公司的StarTracker光学跟踪系统，Reality Engine 虚拟渲染引擎可以支持Shotoku、Vinten、Stype、Mo-Sys、Ncam、Solid Track、Trackman、Gension、Ross Furio 等常见虚拟跟踪设备品牌。当没有跟踪设备的时候，能够以无轨跟踪的形式模拟摄像机运动，所实现的虚拟机位和运动路径没有数量限制，同一台引擎可支持多个来源的跟踪数据接入[2，3]。

3 结语

游戏引擎环境下的虚拟演播室、增强现实、混合现实是目前最优的实时广播合成系统，可在一台机器上实现具有视频I/O、键控、合成和渲染的实时视觉效果。作为最逼真的实时制作解决方案，可以创建最具沉浸感的内容，并彻底改变广播、媒体和电影行业的叙事方式。广电行业涉及的领域非常庞大，涵盖从摄像机和演播室到网络技术、后期制作服务和直播视频的方方面面，近年来随着游戏引擎在行业的引入，带来了令人难以置信的进步，这些发展预示着全新的电视图文包装和虚拟演播室技术的兴起。