用虚拟突破真实的边界——以《2060》为例谈电视虚拟技术的创新运用

宋 芾

2021年被称为元宇宙元年。元宇宙的概念引发全球资本市场和业界的广泛讨论，形成了一股现象级的热潮。热潮的背后，其实是互联网和可交互式设备高速发展的背景下，以及新冠疫情的暴发与持续，人们对生活生产方式、社交、娱乐方式寻求改变的一种诉求。元宇宙这一融合了现实世界与虚拟世界的载体，也令人们对未来的生存环境和生活方式产生了无穷的想象。

电视行业作为人们娱乐方式的支柱产业之一，也随着虚拟技术的发展和应用，不停迭代更新着全新的节目类型和传播方式。在元宇宙的浪潮中，电视行业对全新虚拟技术的落地做出了不断的尝试以适应社会的发展，这其中的成果和经验对后续虚拟技术在电视行业的运用也具有参考价值。

一、虚拟技术在电视行业的全新运用

（一）虚拟技术的革新带来制作理念的革新

虚拟技术对于电视行业而言，其实并不算是新鲜的事物。早在1993年，以色列ORAD就已经推出虚拟演播室技术，[1]随后的10年间，包括英国广播公司、法国PSY虚拟演播室等都推出了自己的虚拟演播室技术。而中国在2000年左右，大洋、新奥特等厂商也推出了国产化的虚拟演播室，产品各具特色的同时，也打开了节目制作的新思路。

近年来，随着计算机图形CG技术的普及与发展，制作团队尝试将更多更复杂的场景、特效变换运用到节目的制作中，从新闻类节目虚拟演播厅的简单场景、灯光、特效，到舞台表演类节目复杂的场景变换和舞台表演灯光、特效，用虚拟的场景、特效代替了真实的舞台效果，而逼真的灯光、特效使得舞台表演的内容和深度上都有了质的飞跃，为观众带来了更加震撼的视听感受。而节目制作的理念和主导思维也随着技术的进步产生了质的改变。

以往的舞台表演节目大多是基于真实空间的舞美、灯光、舞台机械相结合，运用包括LED大屏、各类灯光机械的配合等来呈现完整的舞台表演。在此基础上，表演者的歌曲表现形式大多基于舞台范围内，以及现有的大屏、灯光技术所能展示的极限，导演在策划每一首歌的表演内容时，往往会受限于物理空间、灯光照度角度、机械运转能力等客观因素的制约，但虚拟技术的引进，使得导演在表演的创作上可以更加天马行空，不再受到这些因素的制约，从而将想要呈现的效果与表演的主题结合得更加紧密。从内容出发，不受约束不再是一句空话，所想即所得的创作理念，让舞台表演的设计从舞台主导真正变成了内容主导，也进一步促进了内容的多样化呈现。

（二）虚拟技术在节目中的创新使用

虚拟技术的运用给舞台表演内容的创作带来了革命性的变化，节目制作团队也选取了不同的解决方案来应对不同的节目类型和需求，大致可以分为以下几类：

1.真实场景+虚拟人物

以中央电视台2015年春节联欢晚会推出的虚拟主持人阳阳，腾讯新闻数字人梅涩甜，新华社数字记者小诤，湖南卫视在2021年推出的虚拟主持人小漾等为代表。这类解决方案是将虚拟人物通过虚拟演播系统和虚拟摄像机模块映射到真实场景中，伴随实时的动作捕捉系统，可以实现虚拟人物在真实场景中的表情、动作、声音互动等功能，使得虚拟人物可以不受时空的限制，随时出现随时互动。这也是真正意义上的用虚拟表演者替代了真人，虚拟和真实之间有了普世概念中的互动性。

早期的虚拟人物受制于当时的技术水平，还无法达到神情、动作流畅度的要求，更多的只是一种全新的尝试。但随着近年来面部表情捕捉、动作捕捉技术的进步，以及计算机算力的提升，各家厂商也在不停迭代虚拟人物的制作，使得这一技术重新焕发了活力。包括爱奇艺《跨次元新星》、中央广电总台《上线吧！华彩少年》中，都运用了全新基于UE4引擎的虚拟人物舞台表演。

2.虚拟场景+真实人物

江苏卫视《2017跨年演唱会》、爱奇艺《虚实之城》演唱会中，都出现了真人歌手在宏大虚拟背景中的表演。相较于第一种解决方案，这类方案更加偏向于在场景塑造上的突破，主体内容还是基于真人表演，但用虚拟技术打造出真实舞美无法企及的空间和舞台感受。

由于跨越了空间的限制，恢宏的场景与表演者形成了极大的反差，二者都极力营造出一种史诗感的表演效果，这类解决方案对于虚拟技术而言需要更大的渲染计算量和更高的各工种协同配合要求，也是目前虚拟技术应用最具代表的形式之一，在各大平台的晚会、音乐节目中都可以看见这种技术的运用，极大地解决了舞美因为空间和制作工艺的限制，无法完美展现导演的设计构思等问题。

3.虚拟场景+虚拟人物

这类解决方案是2021年才登上电视节目制作舞台的技术应用，也是首次将全虚拟制作运用到广播级平台的解决方案。以美国福克斯电视台Alter ego、江苏卫视《2060》为代表，结合了方案一的虚拟人物和方案二的虚拟场景应用，既突破了原有真人表演单一性，也跨越了现实时空的局限，是全新的探索和尝试。

目前全虚拟的场景+虚拟人物的表演的案例还并不多见，主要是受制于此类硬件设备的高昂成本，以及电视节目制作播出周期的限制，需要大量的人力和各个全新工种的配合，对传统的电视工业流程具有极大的挑战。

除此之外，江苏卫视《2022跨年演唱会》中歌手周深和虚拟的邓丽君进行了合唱表演，《美国好声音（第二十一季）》总决赛上酷玩乐队的表演以及2021年11月加拿大歌手贾斯汀·比伯在WAVE平台开展虚拟演唱会，这三个案例代表了未来虚拟技术落地应用的一个方向——在全虚拟的场景下，将真人表演者进行数字虚拟化，用虚拟“替身”的概念进行表演。这也是“虚拟场景+虚拟人物”的一个分支方案，主要解决了虚拟人物生产后社会影响力和号召力不足的问题。将真人明星虚拟化，可以最大化地使虚拟人物继承真人明星在现实生活中的人物性格和影响力以及表演才能，省去了养成、培育虚拟人物的过程，可以高效吸引观众的关注，为节目做到引流的目的。但目前这类方案都还没有完整的广播级呈现，仅是一个节目或数个节目的尝试，其中如何保持长期有效的运转，制作周期和播出周期之间的问题如何解决，未来还有很多技术难题需要克服。

二、虚拟技术在广播级平台的应用落地——以《2060》为例

在各类解决方案的基础上，以《2060》为代表的“虚拟场景+虚拟人物”的全虚拟方案无疑是目前最大也是创新应用落地相对比较成功的一次尝试。

2021年，江苏卫视首次试水全虚拟节目的制作流程，并在此基础上研发、制作和播出了国内首档国产动漫形象音乐舞台竞演节目《2060》。节目于2021年10月22日播出第一期，共10期节目，整季节目CSM63城平均收视2.256%，位居同时段省级卫视第一。[2]同时节目在社交平台上全网热搜300余次，短视频播放总量超3亿次，阅读总量超45亿次，讨论总数超500万次。因此《2060》不论是选材、制作还是虚拟技术的落地应用上，对虚拟技术的创新发展都有一定的借鉴意义。

（一）观众对于虚拟人物的接受极限在哪里

《2060》作为国内省级广电平台的首档全虚拟综艺节目，在研发之初就面临一个重要的问题——如此新颖的内容创作，对于虚拟人物的音乐舞台表演，观众可以接受的边界在哪里？

虽然外界元宇宙的浪潮已经兴起，但对于电视受众来说，元宇宙还是一个非常新鲜的概念。江苏卫视作为一家省级广电的上星频道，受众的年龄层较之网络平台偏长，对于元宇宙和全虚拟的音乐舞台表演接受难度较大。加之节目的出发点是立足国内现有的虚拟形象或创作全新的虚拟形象进行表演，需要一个良好的平衡点维系受众的接受度与节目的效果呈现。

在经历了大量的背调、数据采集之后，制作团队决心打造一个“制作人+虚拟形象”的节目模式。把一直在虚拟人物背后的制作人员推到台前，成为观众和虚拟人物沟通的一个桥梁。同时，制作人也是虚拟形象的创作者，他们对于虚拟形象，有着“朋友”“伙伴”甚至“儿女”的复杂情感，这类天然存在的强情感联系，也令制作人和虚拟形象之间，有着超乎寻常的默契与配合。制作人作为引路人将观众带入一个全虚拟的世界中，阐述虚拟人物的制作过程和性格特点，和虚拟人物在节目的进程中共同面对挑战，完善舞台表演，让观众逐步接受这样一群在现实里没有实体存在，但又真正活在舞台上的虚拟人物们。这样既保证了节目全虚拟制作和呈现的初衷，同时也不会因为呈现过程超出认知，将原本的电视受众人群拒之门外。

（二）让“虚拟”变成看得见的“真实”

在确立了节目类型之后，主要命题就是如何在虚拟技术的加持下呈现舞台和表演内容。在舞台呈现方案上，节目主要以两个阶段为主：

第一阶段是节目的第1-3期。考虑到电视端观众和现场观众的接受程度，制作团队并没有在一开始就采用较为激进的全虚拟模式进行录制，而采用的是“全息膜+裸眼观看”的模式。

全息膜是目前市场上成熟的一种虚拟呈现技术，主要是利用光的衍射原理通过多台投影机将3D影像投射在成像膜上，最大的优势在于观众不需要佩戴3D眼镜，经过光的反射可以直接观看到3D图像。日本虚拟偶像初音未来、国内虚拟偶像洛天依等，都多次使用全息膜技术开展线下演唱会，均以较高的制作水准获得了巨大的成功，也是目前虚拟偶像市场比较通用的呈现方式。

在这一模式下，《2060》使用了4台4K投影仪，通过拼接的方式将虚拟画面投射在50平方米的全息膜上，现场观众可以直接观看到虚拟形象在舞台上的表演，如同观看真人表演一样，在第一时间感受到舞台的内容。以一种不烦琐、更轻松的方式，引导观众对虚拟节目进行观看和欣赏。但在另一方面，制作团队创新性地提出了“穿越虚实之间”的概念，通过架设在现场摄像机位上的虚拟模块实时录制出虚拟画面，与现场录制的真实画面相结合，运用节目内设置的“星环门”穿梭在真实场景与虚拟场景之间，亦真亦假，为电视和网络端观众带来不同的视听体验。

第二阶段是节目的第4-10期。在这一阶段，《2060》实现了真正意义上的全虚拟录制。

制作团队在综合比较了现有技术的实际应用情况和制作周期的情况下，选择XR技术作为节目的主要录制方式。XR融合了AR、VR、MR等多重虚拟技术，通过将三者的视觉技术相融合，可以最大限度地带来虚拟与现实之间的沉浸感。

软件方面制作团队选用了Epic Games公司的Unreal Engine 4引擎软件（虚幻4引擎，以下简称“UE4”）作为节目生产制作的主要载体。UE4不论是在制作的易用性、模块化生产、渲染效率和可用资源的数量上，都有着较大的优势，并且随着Epic Games公司的投入，更多可选择的程序插件也为节目的制作提供了很大的便利。《2060》所有的虚拟场景、虚拟人物、虚拟摄像机和虚拟舞台的表演内容都是基于UE4引擎进行研发和制作。

通过第一阶段的循序渐进引导观众进入虚拟的世界，第二阶段中，制作团队开发制作了由虚拟“星环城”为主体，包含“卡冈图雅小剧场”“水滴苍穹”“长安未央城”等5大场景在内的虚拟世界，囊括了所有的节目内容、故事逻辑和世界观表达。

在录制方面，制作团队搭建了一个包含观众席在内的总面积超过1500平方米的绿棚，开创了国内首次全绿幕录制综艺节目的先河。为了达到录制的要求，制作团队联合挪威PIXOTOPE公司自主研发了一套完整的适用于广播级录制的虚拟演播系统。在UE4引擎的加持下，将提前制作好的虚拟场景以及实时的虚拟人物互动，通过摄像机加载的虚拟模块，完全映射到现场的拍摄过程中，再通过虚拟演播系统回传给现场的4K高清导播车，完成虚拟节目录制系统的完整回路。其中最大的难点在于将真实摄像机与虚拟演播系统里的机位一比一联动起来。制作团队提前3个月进行实地测试和调整，最终确定摄像系统搭载的虚拟模块分为固定机位和移动机位两种，固定机位采用了比较常见的Freed协议，移动机位采用了激光反射电云的Mosys系统，通过红外摄像头拍摄布置在影棚顶端的众多位置点来确认自身在虚拟系统里的位置，从而达到现实里的讯道摄像机可以与虚拟机位同步实时拍摄。

在这一阶段中，由于现场是完全的绿幕录制，没有真实的舞台舞美，现场观众均通过佩戴VR眼镜的方式，通过虚拟系统的推流，观看舞台表演内容。完全沉浸式的观看过程，为现场观众带来了极为震撼的视听感受，同时为了给参与节目的制作人更加逼真的互动体验，上台参加节目的制作人佩戴的是微软公司的Holo-Lens2头显，这是一款基于MR技术的头戴显示器，通过现场无线网络的推流，将虚拟人物的动作实时同步映射在眼镜中，制作人可以看见虚拟人物如同真人一样出现在自己面前，并且具有空间和体积的交互动作，真正实现了真人与虚拟人物的实时互动。

（三）如何让虚拟人物真实地出现在观众面前

作为一档以虚拟人物为主的音乐舞台竞演节目，参加节目的选手从真人变成了虚拟人，区别于常规节目的选手海选，《2060》的选手都是制作团队从无到有制作出来的。针对不同参赛选手的情况，制作团队制定了详细的工业流程来适应各种情况的发生。

1.统一人物美术风格与制作环境

《2060》一共有26组制作人和虚拟人物，每组都是1位或2位真人制作人和1位虚拟人物进行搭档的组合，其中音乐舞台表演的部分均由虚拟人物完成。性格、画风迥异的各种虚拟人物想要完成同台竞技，首先需要统一美术风格和制作环境。

虚拟人物的来源分为已经投入市场运营的虚拟偶像形象，已有独立IP包含配套游戏、动画的虚拟形象，只有原画稿并未3D化的设计概念形象，为了达到观众审美认知的风格统一，制作团队选择了“二次元偏美型”的美术风格。

面对已有IP资产的虚拟人物，为了适应节目录制的需求，制作团队将所有的制作载体统一为UE4引擎同版本资产，对很多资产进行了重新制作，而对只有画稿而无3D资产的虚拟形象则直接在UE4里完成人物的3D化制作，确保资产可以接入UE4引擎参与录制，为完整的工业流程打下了基础。

2.面部表情采集与动作捕捉系统

完成众多虚拟人物的3D资产统一制作之后，虚拟人物只是“站”了起来，还没有达到“动”的阶段，在赋予虚拟人物行动能力的同时，神情和动作的匹配是让虚拟人物真正拥有“灵魂”的关键所在。

为此制作团队选用了国内Facegood的面部表情捕捉方案，以及基于Vicon V16光学动作捕捉摄像头的动作捕捉方案。制作团队为每位虚拟人物制作了超过100种的面部表情动画，再和每位虚拟人物的中之人（虚拟人物背后的表情动作捕捉演员，需要匹配虚拟人物的性格动作设定，一般不露面）通过Facegood软件系统进行一一匹配。再根据中之人面部肌肉的细微变化，对虚拟人物的表情进行调整，尽量使虚拟人物的面部表情可以贴合真人的表情、眼神变化，5个月的时间采集数据一百余人次，调整表情超过上千次，最终得到中之人表情与虚拟人物表情的高度匹配。

在动作捕捉方面，制作团队在录影棚的旁边搭建了超过100平方米的专业动作捕捉房，布置了50个Vicon V16光学动作捕捉摄像头，中之人在身穿动捕服装的情况下，在身体的主要关节、手指、身体肌肉块部分布置光学捕捉追踪点，将中之人的动作与虚拟人物的动作相对应，从而实现虚拟人物动作的实时生成。

选取这两种解决方案主要是考虑到节目最终效果的呈现，不论是Facegood面部表情捕捉系统，还是Vicon光学动作捕捉系统，都是依赖光学反射点成像的原理，在表情的细腻程度和动作的流畅程度上，都有无可比拟的优势。但相应的缺点就是成本比较高昂，以及前期准备的工作量都很巨大，对综艺节目很短的制作周期而言，是对制作团队协调能力、工种配合流程的一大挑战。但制作团队的出发点在于节目呈现效果优先，在保证呈现效果的前提下，如何优化工业制作流程，达到最高效率，是制作团队要解决的下一个难点。

3.挑战内容制作周期的极限

不同于以往的二维动画或者三维CG动画的制作，影视级的动画片、短剧、CG电影，都有着漫长制作周期和严格的制作流程，但综艺节目受限于播出频率和播出平台的影响，季播类综艺节目的制作周期都集中在3个月之内，一般都会采用边录边播的录制流程，可以最大化地节约时间成本，吸取观众的意见。所以相比较以往动画片、CG电影动辄10个月、18个月甚至24个月的生产周期，综艺节目的制作时间非常紧张。

《2060》总计制作生产了超过130分钟的音乐舞台表演内容，实时生成了超过1000分钟的虚拟动画数据。其中最复杂、品质要求最高的音乐舞台表演内容时长与一部动画CG电影相当，但制作时间只有常规动画CG电影的十分之一，普遍集中在15～18天之内完成，在这过程中，制作团队创新性地探索出了一条适合电视综艺节目录制的工业流程。（见图1）

图1 《2060》单集音乐舞台制作流程

上述一共12道工序，需要在短短15天内完成，并且最多同时会有8组左右的人物在同步制作，平均每集动画及特效制作量在20～30分钟。制作团队将每道工序的最短时间和可以同步进行的阶段进行统一分类、管理，每个节目有单独的PA（Program Manager，项目经理）进行管理，再和每道工序的负责导演、舞蹈编排、动画师、特效师、TA（Technical Artist， 专业技术型艺术家）进行对接，实现多个节目的统一制作，分头修改，最后统一合成的流程。《2060》虚拟技术团队总共投入超过200人，各个环节分工明确，流程清晰有序，最大限度地利用时间和资源效率，降低因沟通修改成本而产生的错误率，保证节目的录制。

三、结语

随着更多更新的技术被应用到常规节目的录制中，提升视听感受的同时，也通过新鲜的呈现效果吸引了更多年轻的观众观看电视。

《2060》是一次初步的尝试，受限于现有技术中观看设备、传输速度的影响，也只是将最新的虚拟技术以传统舞台表演的方式呈现，但虚拟技术的应用绝不仅仅止于此，带给观众更多的可能是交互方式、观看方式甚至是体验方式的改变。

虚拟技术也为电视行业打开了融合传播的新思路。未来，广电行业的传播不再局限于广播电视和网络平台，元宇宙的虚拟全媒体将为传播带来更加广阔的空间，并且现实和虚拟会向着融合一体化的方向发展。其中也蕴含着风险，包括了意识形态和舆论导向是否能跟上新技术的发展，虚拟技术发展带来的社会伦理问题等，这些都是值得行业关注和思考的问题。

创新一直是电视行业发展的不竭动力与源泉，在元宇宙的浪潮下，借助虚拟技术发展的力量，广电行业也会迎来全新的发展机遇。

注释：

[1]金丹.数字虚拟技术在虚拟演播室节目制作中的应用与研究[D].北京工业大学,2015.

[2]数据来源：CSM城市组全国网，2021.01.01-12.31，节目同时段收视率。