虚拟植入技术在电视节目制作中的应用

2021-07-15任军

电视技术 2021年5期

任军

（中央广播电视总台，北京 100142）

0 引言

1978年，Eugene L提出了“电子布景”（Electro Studio Setting）的概念，同时指出，未来的节目制作可以在只有演员和摄像机的空演播室内完成，其余布景和道具都由电子系统产生。这项技术于20世纪80年代获得专业技术认证，冠名为虚拟现实（Virtual Reality，VR）技术。

虚拟现实技术是伴随计算机技术发展的时代产物。人们利用计算机技术，设计制作并生成与现实环境在视、听以及触感等方面高度近似的虚拟化环境。用户可以借助相关设备与虚拟环境中的对象进行互动，产生与真实环境相同亦或相近的体验和感受。虚拟现实技术可以营造出可媲美现实情境的超逼真场景，使体验者产生身临其境的真实体验感。虚拟现实技术给人们提供了一种由数字信号构筑的空间并在这个空间里展开实践创作的基础技术。虚拟现实技术具有沉浸性、交互性以及构想性3个特性。

1 虚拟植入技术系统与虚拟演播室技术系统的应用特点

虚拟演播室技术与虚拟植入技术都源于虚拟现实技术，有着相同技术基因和相同的系统构造。它们都利用了计算机图形处理技术和视频合成技术，实现由计算机制作的三维虚拟场景与现场主体人物或其他元素的实时合成，使人物（主持人）与植入的虚拟场景建立互动关系，虚实相互融合、同步变化，最终获得符合节目方案要求的合成画面。

虚拟演播室技术系统应用的特征是：在蓝箱（或绿箱）环境中，运用色键技术，对主体人物抠像后与虚拟背景合成为可运动的、相互融合的且可实现互动关联的画面。随着节目形态的变化，原来一些在虚拟演播室执行的节目制作需要结合实景来完成，这就需要一种完全可以在实景区域实现三维场景植入的技术。因此，虚拟现实技术派生出一个新的电视节目制作技术——虚拟植入技术（RealSet或AugmentReality-AR）。虚拟植入技术系统是在虚拟演播室技术系统基础上扩展出来的电视节目制作系统。

在虚拟演播室制作系统中，虚拟背景在人物之后。而虚拟植入技术在实景环境下主体人物面前生成虚拟场景（或虚拟道具），虚拟场景投放在主体人物的前面，形成虚实结合的交互关系。这种技术制作形式具有很强的代入感，会使观众产生一种身临其境的感觉，也使得节目内容更加生动有趣。目前，在各类节目制作过程中，虚拟植入技术比虚拟演播室技术更受青睐。

2 虚拟植入系统的构成

虚拟植入技术与虚拟演播室技术一样源于虚拟现实技术，是虚拟现实技术发展的必然产物，也是影像合成技术发展的再一次革新和升级。

虚拟植入系统是在实景区执行的虚拟场景的投放，无需运用色键抠像技术，因此虚拟植入技术摆脱了传统虚拟演播室技术基于蓝箱的限制，适合在诸多实景节目中运用。

虚拟植入系统的基本构成包括图形图像创作系统、摄像机跟踪系统以及图形工作站，如图1所示。

图1 虚拟植入系统示意图

2.1 图形创作系统

图形创作系统利用三维动画软件在计算机中建立一个虚拟环境，在这个虚拟的三维世界中搭建模型及场景。设计人员根据设计要求设定虚拟摄像机的运动轨迹及其他动画参数，结合模型的运动，最终生成合成画面[1]。

虚拟植入系统的场景通常为三维虚拟场景。这些场景可通过常用的3d Max、Maya等三维创作软件来建模，由专业的图形处理软件编辑合成（包括建模、材质分配、光调整以及物体运动等在内的物体模型、效果及动画），一般由性能较高的电脑（如HP Z800）及专用图形创作软件配置而成。制作三维场景时需要照顾现场实景环境和灯光设计等因素，在4K/8K时代，处理好材质的细节和色调的搭配，需要预演检查合成效果。

2.2 摄像机跟踪系统

摄像机跟踪系统的功能是为图形工作站提供处理现场各元素的位置信息和运动数据，以便图形工作站能够通过这些信息，构建与现场摄像机运动一致、画面内容信息一致并能正确反映现场各元素之间位置透视关系的虚拟摄像机系统。

摄像机跟踪技术有传感器跟踪技术、网格跟踪技术、红外跟踪技术以及超声波跟踪技术4种。传感器跟踪方式有光学识别系统和机械传感式系统两种，目前使用较多的是机械光电传感跟踪方式。

摄像机跟踪系统的工作原理是通过安装在摄像机云台和镜头上的诸多传感器，识别摄像机运动和镜头焦距焦点变化过程和幅度，即通过采集摄像机推、拉、摇、移等动作信息，获取摄像机运动数据和镜头变化参数，并将这些信息实时传送给图形工作站，以便图形工作站将摄像机跟踪系统提供的摄像机综合运动信息映射到图形处理单元，形成与摄像机综合运动数据同步变化的虚拟摄像机系统。这样，虚拟摄像机与现场摄像机被相对地锁定在了一个位置，当现场摄像机运动时，虚拟摄像机受跟踪器的控制可以实时地与现场摄像机保持同步运动。

由跟踪系统提供的摄像机运动信息，经过图形工作站分析处理后，可以对包括主体位置、透视关系及景深在内的诸多合成元素给出准确的处置意见。例如，当渲染工作站识别到传来的摄像机镜头景别信息变化为近景或特写时，如果信息中聚焦点是在跟踪主体人物，那么渲染主机会给出背景虚焦的判断，生成的画面是前实后虚的效果；如果此时传感器没有识别到景别的变化，前景和背景聚焦一致，分不出前景后景，画面会产生景深不自然感。

跟踪系统需要能够及时地进行捕捉并处理现场摄像机微小的运动变化，这样才能为图形工作站提供实时的、准确的运动变化信息。因此，虚拟植入系统对于跟踪系统的传感器精度有很高的要求。

2.3 图形工作站

在虚拟植入系统中，图形图像的处理工作主要由图形工作站（HDVG）来完成。除了处理由摄像机跟踪器传来的摄像机运动数据外，图形工作站还负责调用和调整事先做好的3D虚拟场景，并向图形发生器传输图像数据。

在节目制作过程中，图形工作站是最繁忙的程序化工作系统。在处理摄像机运动数据信息的同时，图形工作站还要同时渲染加工处理动画、透明物体、灯光及材质贴图的模型文件，实时调用和调整虚拟三维场景。

由于每一帧虚拟场景只有20 ms的绘制时间，而且虚拟场景要求贴图的质感和光效要与实景保持高度一致，因此，对这些虚拟元素和模型的处理，需要比较强大的计算和渲染资源[2]。另外，随着摄像机的运动，图形工作站还需要实时计算出虚拟元素在场景中的空间位置、大小比例以及光感变化等信息，并能够实时渲染输出，因此图形工作站还需要具备较大数据量的处理能力和高强度的渲染运算能力。如果处理能力达不到要求，就会出现运动画面卡顿、虚拟元素与场景脱节等情况，达不到节目设计的效果。

3 虚拟植入技术在电视节目制作中的应用

虚拟植入技术可以将三维虚拟图形、主持人画面以及三维动画整合到演播室实景中或者外景拍摄的任何地方，具有灵活性强的特点，对新闻、体育、天气、财经及娱乐等节目可以实现完美的现场包装。近几年，在诸多体育赛事和春节晚会的节目制作现场也能看到虚拟植入技术工作人员的身影。

对于不同类型的节目，虚拟植入的场景形态类型也不尽相同[3]。虚拟植入形态类型可以分为用于大型晚会和娱乐节目的奇幻形态、新闻专题节目的道具形态以及为配合建立现场互动关系而植入的虚拟人物形态。

在晚会和综艺类节目中植入虚拟场景元素，会给观众以绚烂奇幻的感受。如图2所示，在2021年春节晚会武术表演中植入塞外场景，增加了观众的沉浸感。在体育赛事、访谈类节目及纪录片类节目中植入虚拟场景，或者植入不能实现的虚拟道具，可以配合节目内容起到强化说明的作用。如图3所示，在转播游泳赛场时，为赛道植入虚拟标识可以帮助观众全面认知赛事和轻松辨识现场环境[4]。

图2 中央电视台2021年春节晚会

图3 2012伦敦奥运会游泳比赛现场

有一些节目制作现场，结合LED大屏幕内容添加虚拟场景，既可以将一些抽象内容进行写实化处理，也能烘托现场气氛。如图4所示，在中央电视台《心理访谈》节目制作现场，访谈区域的中间位置以LED大屏幕作为部分背景，大屏两侧分别制作了两块绿板与大屏拼接在一起。设计创作人员将投放在大屏两侧的虚拟背景内容与LED大屏播放内容串接在一起，形成一个完整的访谈背景和互动场景，营造出实景与虚拟场景浑然一体的视觉效果。设计人员还结合背景大屏设计了与之互动的虚拟场景和模拟道具，将抽象节目内容进行具象化处理。通过虚实结合的技术设计，实现了虚拟背景与LED大屏实景内容的无缝连接，将实景与虚拟背景和植入场景建立了互动关联，也使主持人和嘉宾与虚实现场完美地融合在一起。这样复杂的场景是虚拟演播室技术和虚拟植入技术相结合共同实现的，可谓设计巧妙、相得益彰[5]。