基于XYNC全红外跟踪技术的高清虚拟演播室构建

单 聪，张 斌

（解放军电视宣传中心 技术部，北京 100011）

0 引言

虚拟演播室以其独有的优势，一直备受瞩目，目前几乎各省市电视台都有了自己的虚拟演播室。随着科技的不断发展，虚拟演播室技术也在不断进步。解放军电视宣传中心的三讯道全红外高清虚拟演播室采用了目前最前沿的虚拟演播室技术。下面具体阐述一下虚拟演播室的构建过程。

1 系统整体架构的设计

1.1 整体架构的设计思路

虚拟演播室系统大体是由传统演播室系统、传感跟踪系统、渲染引擎及色键抠像合成系统组成的，然而对于不同的需求又采用了不同的设计方案来构建虚拟演播室系统。虚拟演播室的整体架构基本分两种，一种是独立通道化系统结构，另一种是共用式系统结构，独立通道结构即每个讯道都使用一套虚拟设备。这种系统可以有独立的预监和摄像机返送，系统设计跟传统演播室系统类似，但是每个讯道使用一套虚拟设备，势必会增加建设成本，性价比较低，因此，选择了共用式系统结构。共用式结构即所有讯道共用一套虚拟设备，通过切换台的AUX输出选择一个机位的信号送入公用的设备通道中。这种结构具有较高的性价比，系统安装升级方便，增加讯道不用再额外增加虚拟设备，出现问题也便于查找。但是共用式架构没有独立的摄像机预监信号，针对此问题，对色键器及渲染引擎等关键部位的设备都采取了双机备份，这样既可以保证播出的安全，在一套系统出问题之后立刻切换到备份系统使用，也可以在需要的时候，使用备份系统作为独立的预监通道使用，这样，摄像师、导演及技术人员就可以在切换到下一机位之前看到合成好的图像，也可以完成2个机位合成信号的叠化特技，极大增强了系统的实用性和性价比。

1.2 系统信号流程

该虚拟演播室采用了3讯道的设计，2个固定机位，1个摇臂机位（图1），使用索尼公司最新的HDC-1580R高清摄像机系统，由于采用的是共用式的系统结构，因此3路摄像机的视频信号首先要通过1个VDI设备。VDI设备的主要功能是分别在3路视频信号的场消隐行中加入系统可以识别的标志，这样渲染引擎才可以根据标志选择对应的摄像机跟踪信号来生成背景信号。经过VDI之后，3路信号输入索尼MVS-6000切换台，切换台通过其AUX2和AUX5输出口选择适当的摄像机信号分别输出给渲染引擎，通过渲染引擎的延时后与引擎根据跟踪数据所生成的背景信号同时输入到色键器中合成完整的节目信号。在这里之所以要对前景信号进行延时，是因为系统要对摄像机跟踪数据以及背景数据进行处理，这个时间大概需要300 ms左右，因此需要对前景信号进行相应的延时，以确保前景与背景的同步。

图1 演播室全景图

2 摄像机跟踪系统的设计

演播室系统中的每台摄像机在三维空间中可以在8个不同方向上自由运动，其中平摇、俯仰、滚动以及三维空间中任意移动（X，Y，Z）是指摄像机整体的运动，变焦和聚焦是摄像机镜头的运动。这些运动参数的改变会引起拍摄图像视角与透视关系的改变，在虚拟演播室中，为了模拟人物所在的三维环境，图形工作站必须根据这些参数不断调整三维视图。而摄像机跟踪部分的作用正是用来拾取摄像机的位置信息和运动数据，实时地跟踪真实摄像机，将跟踪数据传输给虚拟背景渲染设备，以保证前景与计算机背景“联动”。

国内外不同视频公司的虚拟演播室产品采用的传感跟踪方式也不尽相同，目前较为常用的跟踪方式大体可以分机械传感跟踪系统、图像识别跟踪系统和红外跟踪系统。

机械式的传感跟踪系统是通过安装在云台上的平遥及俯仰传感器以及安装在镜头上的变聚焦传感器来测量摄像机的运动，并将运动数据通过串行接口（RS-422或RS-232）传送给计算机。这种传感方式的跟踪精度较低，由于齿轮之间的缝隙会造成误差的积累，使用一段时间就要进行校准，每次机位的变动也需要重新的定位校准，使用维护较为复杂。对于摄像机的空间位置参数，需要配置专门的高端云台，造价较高，且无法获取摄像机的滚动参数。

图像识别跟踪系统目前使用比较普遍的是傲威公司的网格识别跟踪系统，这种跟踪方式是在蓝色背景墙上使用较浅的蓝色绘制网格，位于主持人的身后，然后通过图像识别软件根据变化的网格信息准确地计算摄像机运动的方向和位置信息，同时也包括变聚焦的信息。这种跟踪方式虽然初始定位比较方便，但是一旦摄像机摇出了网格范围或者画面中摄取的网格较少（如拍摄大的特写镜头时），跟踪就会丢失，而且这种跟踪方式对于镜头要求较高，对于不同型号的镜头需使用不同的镜头文件来校准跟踪数据，在使用广角镜头时，由于边缘的变形过大，往往会引起跟踪的误差。

此外还有一种被称为CamTrack的红外跟踪方式，但是这种红外跟踪方式并不是完全意义上的红外跟踪，它无法对摄像机进行空间位置初始定位，需要借助于网格跟踪系统来对摄像机定位，然后再切换成红外跟踪的方式，无法独立使用。

从上面的分析可以看出，各种跟踪系统都有自己的缺陷，所以目前大多数的虚拟演播室都采用了两种跟踪系统相互配合的方式来确保更高的摄像机跟踪精度。但这样做无疑也增加了系统的复杂程度。

解放军电视宣传中心的虚拟演播室所采用的XYNC全红外摄像机跟踪系统是目前市场上可用到的较高端的摄像机跟踪技术。在演播室摄像机计划运动的范围空间上设置若干个红外摄像头（机位见图2），以确保在摄像机活动的任何区域都被3台以上的摄像头覆盖。摄像机的上部装有红外发射器，红外发射器主要分环形反射器和星型发射器两种，环形发射器主要用于固定机位，星型发射器用于移动机位如摇臂或者肩扛时使用，发射器所发射的红外信号被红外摄像头接收，传送到相应的Im⁃age Unit单元进行计算，由此得到摄像机的俯仰、平摇、滚动及空间位置信息。红外摄像头拍摄的红外发射器的信号，可以在控制PC上实时显示（见图3），方便对于影响红外跟踪的干扰信号及时的发现与排除。镜头的跟踪数据通过在摄像机镜头上的数据获取装置X-HALO BOX传送。所有数据传送到XYNC系统主机Main Unit，Main Unit是整个跟踪系统的中心，通过网络将最后的摄像机参数数据传送到渲染单元及控制单元，渲染单元按照相应的数据进行图形渲染。

图2 红外摄像机机位图（截图）

图3 红外摄像机拍摄的摄像机红外发射器图像（截图）

采用全红外跟踪方式的摄像机可以在已覆盖红外摄像头的区域进行自由移动拍摄，最大限度地体现摄像机的自由度，可以使用摇臂轨道拍摄，也可以肩扛拍摄，让摄像人员感觉自己正在进行的拍摄和实景方式完全相同。此外，全红外跟踪方式定位方便，系统开机便自动定位，操作使用简单。

一般认为，采用红外技术的跟踪方式往往对于使用热光源有一定的限制，当虚拟演播室灯光布置全部使用热光光源时，有可能被误认为红外发射器信号而影响数据计算。但在实际的应用中，通常虚拟演播室多使用冷光光源给蓝箱布光，热光光源仅仅用于打主持人面光和实景道具的布光，因此光源对于红外跟踪方式的影响并不大，本中心在使用中也没有因为光源而影响跟踪精度的问题出现。在使用中比较经常出现的致使跟踪丢失的原因是由于两机位距离过近或者机位移动到了红外跟踪区域以外导致的，这些都是可以人为避免的。

3 视频图形工作站的选型与设计

3.1 图形工作站的选型

虚拟演播室的背景要求是根据摄像机的运动实时渲染对应的虚拟场景，也就是摄像机每做一个运动，图形工作站会根据摄像机的运动实时渲染对应的三维背景，每秒实时渲染25帧画面。如果图形工作站的渲染能力达不到要求，在处理一些较为复杂的背景时，就会出现不实时的现象（每秒不能实时渲染25帧画面，背景出现动画效果）。在这种情况下只能牺牲画面效果，缩减虚拟场景的模型数、光效、贴图的材质等，这样会极大地影响到画面质量，因此一台好的图形工作站是实现精美画面效果的关键，可以说图形工作站是整个虚拟演播室的核心设备。

本中心选择的图形工作站是以色列傲威公司第四代硬件产品HDVG。HDVG是一款强大的高标清兼容三维渲染硬件，配合Linux平台和高性能的图形卡，达到了最佳的渲染性能，并具有VGA显示转化为视频输出的功能，可以实现“所见及所得”的效果，方便了设计和技术人员的使用。支持最多6路HD-SDI视频插入以及多种格式的视频文件播放（包括 AVI，Quick Time，DV，DVC25，MPEG）。超强的运算能力、稳定的性能以及灵活便捷的使用方式是选择HDVG产品的主要原因。

3.2 图形工作站集连技术

在军事节目的应用中，对图形工作站的要求非常高，例如，在讲解一个飞机的功能时，要求根据专家或者主持人的讲解，实时展现飞机的各个功能模块，这就要求工作站的实时渲染能力足够强才能够完成复杂模型的实时渲染。在这种情况下，可能单个图形工作站就不够了，HDVG具有集连技术，就是多个HDVG可以集连起来使用，渲染能力是单个HDVG的数倍。因此在本系统中除了1主1备2个图形工作站外，还加入了1个复杂图形处理工作站（HDVG-Graphics），通过与2个图形工作站的集连实现单个HDVG的2倍的运算能力，实现对与复杂三维模型的渲染。在实际应用中还可以将此工作站作为图形包装工作站来使用，通过索尼DVS-6000切换台的下游键来实现对节目的实时包装，丰富了节目的制作形式。

4 色键器的选择

色键器是虚拟演播室系统中不可或缺的重要环节，色键技术的优劣会直接影响最终的合成效果，色键器的抠像效果目前比较被大家认可的是美国的Ultimatte色键抠像设备，Ultimatte已经成为高质量色键器的工业标准，本中心的虚拟演播室选用了1主1备高标清兼容的Ulti⁃matte 11色键器。

5 音频系统设计

在虚拟演播室系统中，XYNC全红外摄像机跟踪系统会产生300 ms左右的延时，此外，系统中使用的上下变换器及帧同步器的也会产生2帧的延时。因此必须给音频通道加相应的音频延时，但是对于不同的视频信号，其产生的延时时间也不相同，如摄像机的信号必须经过延时器与跟踪数据相匹配，但是作为插入视频的放机信号就没有经过延时器，而如果是从外来接口输入的信号，由于经过了帧同步器又会多产生1帧的延时。因此在虚拟演播室中，不能单纯对调音台的输出信号进行延时，而是要对每个音频通道设置不同的延时时间。本中心使用的雅马哈DM1000数字调音台具有单独对各路信号设置延时的功能。通过调试，最终确定在录制标清节目时对于前景信号的音源，一般是对胸麦的信号做450 ms的延时，对于插入视频的信号做300 ms的延时，以确保声画同步，录制高清节目时，相应减少1帧的时间。

延时给声音的监控也带来了一些小问题，通常导播间的PGM监视器监看的是已经延时的视频信号，所以导播间的声音监听也应该是延时后的音频信号，而对于反送到通话系统的节目监听声，一定是没有经过延时处理的，否则在通话系统中产生不必要的回音效果而对主持人产生干扰。因此调音台需输出2路信号，一路延时信号用于导播间监听以及节目录制，另一路未加延时的信号用于通话系统中的节目声监听。

6 结语

该演播室于2010年4月竣工使用，承担着央视7套《防务新观察》、《军旅文化大视野》、《超级战士》以及央视3套《文化正午》、央视8套《第八频道》等节目的录制任务。建成以来，该演播室一直处于满负荷运转状态，在该演播室的设计过程中，始终把获得高质量的视频图像放在首位，在系统的关键部位，都选用了最高端的设备，并且配置了主控级的技术监视器以及视频示波器对视频质量进行实时监控。在此基础上考虑了系统的经济性、安全性以及实用性，通过灵活的系统设计，既节约了成本、保证了播出安全，又保证了系统能可以实现导演的各种需求，实现了其价值的最大化。