帧兼容立体电视传输技术

郑冠雯，姜秀华

（中国传媒大学 信息工程学院，北京 100024）

立体电视是一个立体的成像系统，它将左、右眼两路图像同时或近乎同时地进行播放，用户能够从视频内容中感受到纵深感，让电视播放的效果更接近于实际生活中的双眼观看感觉[1]。

作为下一代电视的发展方向，立体电视已经从几年前的实验性阶段逐步进入一个成熟的阶段，越来越多的国家开始建设立体电视的播出、传输系统。2011年2月，国际数字视频广播组织DVB针对帧兼容立体电视提出了A154文件[2]，为立体电视的传输提供了可行的技术规范，极大地推动了立体电视业务的发展，我国已于2012年1月1日试播基于帧兼容方式的立体电视。

什么是兼容？在电视的发展历史中，电视技术的发展经历了从黑白电视到彩色电视的过渡，由于考虑到用户终端接收显示设备的更新换代很可能需要很长的一段时间，因此彩色电视信号采用了兼容制彩色电视制式。也即黑白电视机可以收看彩色电视信号的节目，但看到的是黑白图像，称为上兼容；彩色电视机也可以收看黑白电视节目，看到的当然也是黑白图像，称为下兼容。

什么是帧兼容？当前电视技术正处于从2D HDTV发展到3D HDTV的过程中，也需要考虑2D HDTV与3D TV兼容的问题[3-4]。但是，由于目前从技术方面还无法实现真正的2D HDTV与3D TV上下兼容，因此，现阶段国际上普遍采用的是一种可以充分利用已有的2D HDTV的传输系统来传输3DTV的帧兼容的立体电视传输方式。

本文根据DVB A154文件，对帧兼容立体电视业务的传输技术[5]以及传输应用场景进行介绍与分析。

1 帧兼容立体电视图像空间复用原理

在帧兼容立体电视传输技术中，需要将左、右眼两路3D HDTV视频图像转变为一路HDTV图像，因此需要对左、右眼两路视频图像进行空间复用。在DVB A154当中，提出了两种空间复用方式。

1.1 并排方式（Side-by-Side，SbS）

在并排空间复用方式中，水平方向左眼图像占据空间复用的前半行，右眼图像占据空间复用的后半行。并排方式帧兼容图像具体的空间复用过程如图1所示。

图1 并排方式帧兼容图像的空间复用过程

在发射端，首先将左、右眼全分解力的图像进行下变换，成为半分解力的左、右眼图像；之后经过帧重排，将半分解力的左、右眼图像简单地排列在了一起，就形成了并排方式的帧兼容图像。复用后的图像经过普通HDTV的编码、调制之后，送入HDTV传输系统进行传输。

在接收端，经过传输系统的帧兼容立体电视图像，通过普通HDTV的解调、解码之后，需要进行空间解复用。并排方式帧兼容图像的具体空间解复用过程如图2所示。

图2 并排方式帧兼容图像的空间解复用过程

被接收到的并排方式帧兼容图像首先要进行帧重排，将左、右并排排列的帧兼容图像分解为两路水平半分解力的左、右眼图像（如图2所示）。之后对两路半分解力的图像进行上变换，得到实际显示中使用的左、右眼图像。需要注意的是，这里显示中所用的左、右眼图像仍然是半分解力的图像。

1.2 上下排列方式（Top-and-Bottom，TaB）

在上下排列空间复用方式中，垂直方向左眼图像占据空间复用的上半帧、右眼图像占据空间复用的下半帧。上下排列方式帧兼容图像具体的空间复用过程如图3所示。

图3 上下排列方式帧兼容图像的空间复用过程

在发射端，与并排方式帧兼容图像空间复用过程的不同之处在于，上下排列方式帧兼容图像的下变换过程是将图像垂直方向上的分解力减半。因此，空间复用之后的帧兼容图像是由两个垂直方向上半分解力的图像经过上下并排拼接而形成的。在接收端，通过传输系统的上下排列方式帧兼容图像的具体空间解复用过程如图4所示。

图4 上下排列方式帧兼容图像的空间解复用过程

被接收到的上下排列方式帧兼容图像首先要进行帧重排，将上、下并排排列的帧兼容图像分解为两路垂直半分解力的左、右眼图像（如图4所示）。之后对两路半分解力的图像进行上变换，得到实际显示中使用的左、右眼图像。

1.3 帧兼容空间复用方式的优缺点

由于在帧兼容立体电视传输系统中，传输的信号均为半分解力的左、右眼图像形成的一路HDTV信号，编解码设备完全可以把经过空间复用的帧兼容图像当做一帧普通的HDTV图像去处理，因此，可以采用普通的HDTV编码设备，大大降低了整个传输系统处理立体电视信号的复杂程度。

但是，帧兼容的空间复用方式是以牺牲分解力为代价换来了良好的兼容性。总的来说，在从HD到3D过渡的早期阶段，这种方式能够最大限度对已有设备进行重用，帧兼容立体电视传输方式拥有极大的优势，其优点远大于其不足。

2 帧兼容立体电视传输系统分析

一个包含帧兼容立体电视业务的传输系统示意图如图5所示。

图5主要说明了帧兼容立体电视业务与HDTV业务如何通过传输系统进行兼容，以及兼容时编码、传输、解码过程的整体概念。图5中，假设一路帧兼容的立体电视业务与一路传统的HDTV业务进行复用，通过一个MPEG-2 TS流传输系统进行传输，并最终由用户集成接收解码器（Integrated Receiver Decoder，IRD）进行接收，这些IRD有的能够接收立体电视信号，有的则不能。

图5 帧兼容立体电视业务传输系统示意图

图5中，由于使用了帧兼容的技术，“3DTV业务”所采用的视频编码方式和“HDTV业务”的视频编码方式完全相同，均为“HD视频编码”。可见，在HDTV传输系统的基础上进行3D化改造，无须为立体电视业务购置新的编码器。在传输复用过程当中，除了要将控制信息表等信令数据进行复用之外，字幕信息也要独立进行复用。也就是说，接收终端除了要重现视频信息以外，也负责对字幕等信息进行重现。不同于2D环境下字幕信息简单的叠加显示，3D环境中字幕的放置要复杂的多。经过传输复用的信号将通过标准的MPEG-2 TS流传输系统进行传输，直至用户家中的接收终端。

3 帧兼容立体电视接收应用场景分析

在DVB A154制定之前，市面上已经推出了很多3D显示设备，同时，还有大量的用户正在使用HDTV的接收与显示设备，可能遇到的具体接收情况将会是多种多样的。为分析不同类型的显示设备、IRD在接收帧兼容立体电视业务时会遇到的问题，以及帧兼容立体电视业务与已有设备的兼容性问题，在图6中列举了几种具有代表性的具体接收应用情况。

图6 几种具有代表性的接收应用情况

图6中，虚线左侧的方案中，显示设备均具有3D显示功能；虚线右侧的方案中，显示设备均不具备3D显示功能。显然，虚线左侧的方案有可能显示出3D视频，虚线右侧的方案不可能显示出3D视频，但有可能显示出经过处理的2D视频。

1）方案A：用户使用3D兼容型机顶盒，通过HDMI V1.4a[6]连接3D显示器。显然，用户能够正常接收帧兼容立体电视业务，当然也能收看HDTV业务。

2）方案B：用户使用3D兼容型的数字电视一体机（Integrated Digital Television，IDTV），这里的IDTV相当于3D兼容型机顶盒加上3D显示器。显然，用户能够正常接收帧兼容立体电视业务和HDTV业务。A，B方案没有本质区别。

3）方案C：用户拥有一个普通的HDTV机顶盒，通过HDMI连接3D显示器，这是最常见的一种情况。若在国内推行帧兼容立体电视业务，很多购买了3D显示器的用户将会面对这种情况。由于传输的是帧兼容立体电视，普通的HDTV机顶盒用户能够接收并解码输出帧兼容立体电视业务，但是，普通的HDTV机顶盒不能够识别帧兼容立体电视业务中的相关信令，故机顶盒不会输出当前节目的制式信息，因此，3D显示设备虽然能够接收到帧兼容立体电视业务，却无法自动将电视机显示模式转换为3D模式，需要用户手动来将电视机切换到3D显示模式，才能显示3D画面。

4）方案D：用户使用3D兼容型机顶盒，通过HDMI连接普通的HDTV显示器。3D兼容型IRD（机顶盒）能够将左眼或者右眼图像经过上变换后作为2D图像显示，但是，获得的是水平或垂直方向上半分解力的2D图像。

5）方案E，F：这两种方案类似，使用普通的、没有升级的HDTV机顶盒和HDTV显示器是无法接收到帧兼容立体电视业务。但如果将机顶盒升级到3D兼容型机顶盒，情况则与方案D类似。

4 新增的信令信息

在DVB A154当中规定了一系列新的信令信息[7]，用于表征帧兼容立体电视业务是否存在以及表征3DTV中3D深度效果等。

4.1 表征帧兼容立体电视业务是否存在的信令

在帧兼容立体电视传输系统中，传输层使用MPEG-2的PSI信息以及DVB SI信息，视频流中使用H.264/AVC中的SEI信息。其中，在PSI信息以及SEI信息当中均有表征帧兼容立体电视业务是否存在的信令。

在PSI信息中，TS流的PMT表中会包含参数AVC_video_descriptor，该 参 数 当 中 的 Frame_Pack⁃ing_SEI_not_present_flag能够从一定程度上表征帧兼容立体电视业务是否存在。如果该参数为1，表示TS流中不存在帧兼容立体电视业务；如果该参数为0，则表示TS流中有可能为帧兼容立体电视业务，也有可能为HDTV业务。

在视频当中，可以通过SEI信息中新增的frame_packing_arrangement_cancel_flag参数来表征帧兼容立体电视业务是否存在。如果该数值为0，表示当前视频帧为帧兼容立体电视业务；如果为1，则表示当前视频帧不为帧兼容立体电视业务。

这二者的主要区别在于，前者包含在TS流的PMT表中，只有当PMT表更新时，接收终端才能够通过该参数来判断当前视频内容的情况；而后者是视频流中的信息，其存在于每一个视频帧当中，只要有新的视频帧到来，接收终端就能够通过该信息来判断当前视频帧是否为3D内容。但是，SEI信息当中的新增参数并非所有业务都会携带，对于帧兼容立体电视业务来说，一定会携带此参数，且该参数为0；而对于一般的HDTV业务而言，则不一定会携带该参数。

除了上述两个参数之外，在A154当中还规定了新的service_type，component_type等参数，也提供了帧兼容立体电视业务的相关信令。

4.2 表征帧兼容立体电视业务视频深度范围的信令

在DVB A154文件中，新增的视频深度范围指示信息（Video depth range descriptor）是一个针对帧兼容立体电视业务而设计的新的信令参数。该参数主要用于传输3D视频中深度及视差的相关信息，IRD可以使用这一参数来控制屏幕上任何图形、字幕等信息的深度位置。目前，视频深度范围指示信息只定义了一种视频深度相关信息，即“production disparity hint information（节目视差提示信息）”，该参数包含了一个3D节目中最大/最小的视差值。节目视差提示信息是在水平分解力为11520的屏幕上进行视差数值测量而得到的，这一视差数值在不同的实际3D显示设备上（水平分解力1280，1440，1920）将按式（1）进行换算。

式中，水平屏幕分解力可取1280，1440，1920。

这样，就保证了“节目视差提示信息”这一数据能够被任何一种显示设备所使用。如果能够获得最大/最小视差值，不仅能够对屏幕上相关图形、字幕等信息进行深度控制，还能够由接收终端使用，用来提升视觉体验，把3D图形放置在一个光学上适合于显示屏幕及观看者的位置上。当最大/最小视差值之一不可知时，这一参数不能被使用。如果接收终端使用了错误的数值，将可能会重现出极其不适于观看的，甚至是超出安全区域的、危险的视频图像。

5 帧兼容立体电视业务与普通HD业务共存时所带来的问题

5.1 接收设备所存在的问题

帧兼容立体电视业务在传输过程中，采用了和普通HDTV业务极其类似的帧兼容格式对3D视频进行传输。因此，对于接收设备，尤其是传统的HDTV接收设备应如何区分业务的种类就成为了一个关键的问题。在HDTV IRD当中，有些旧式的IRD会利用component_type这一参数来分辨和过滤接收到的业务，如果该参数为“3DTV”，IRD就会过滤掉这路业务，即使这路业务可能绝大多数都是普通的HDTV节目。因此，在传输过程当中相关信令的选择上必须考虑到这一点。

一般来说，如果一路业务当中绝大多数都是HDTV业务，那么为了防止HDTV IRD过滤掉这一路业务，通常都将component_type设为“2D HD”或者不设置该参数。而当一路业务当中全部或绝大部分时间均为帧兼容立体电视业务时，如果该地区大多数用户仍在使用HDTV IRD，也可不设置component_type参数。但随着用户设备的更新换代，可以根据情况将该参数设置为“3DTV”。

5.2 视频格式转换过程中存在的问题

视频格式的转换是指从帧兼容立体电视业务转换为HDTV业务，或者是逆过程。在视频格式转换过程当中，会出现的主要问题是由于同步不当而导致的PMT表信息与SEI信息在一段时间内出现的不一致。若在HDTV业务当中的SEI信息内未包含新增的帧兼容立体电视业务提示信息时，会出现如图7所示情况。

图7 格式转换情况（SEI内未包含新增的帧兼容立体电视业务提示信息）

此时，由于HDTV业务中不存在SEI信息，IRD只能通过PMT中的PSI信息来判断当前业务的种类。而PMT表存在于TS流中，不是每个视频帧都含有PSI信息，致使从格式转换开始到下一个PMT表到来之前，IRD将无法正确对接收到的视频进行重现。而当HDTV业务中包含了新增的SEI提示信息时，情况则会有所改变，如图8所示。

图8 格式转换情况（SEI内包含了新增的帧兼容立体电视业务提示信息）

此时，由于HDTV业务中也存在SEI信息中帧兼容立体电视业务的相关提示信息，因此IRD能够由视频流中SEI的相关提示信息来判断当前业务的种类。显然，只要利用每个视频帧当中携带的该信息，就能够做到精确的视频格式转换。因此，在HDTV业务当中，也推荐携带SEI信息中新增的帧兼容立体电视业务相关提示信息。

6 帧兼容立体电视业务中的图形与字幕信息

在2D环境下，对菜单、字幕等图形信息进行重现并不复杂，IRD只需简单地将这些图形信息覆盖在原有画面之上即可。而在3DTV业务当中，这一问题将变得更复杂[8]，IRD必须要考虑如何将这些视觉元素放置在适当的深度位置上，使这些视觉元素既不会影响视频当中的3D显示效果，也不会过于靠近观看者。一般而言，根据是否能够获取节目视差提示信息，对图形、字幕的摆放有以下3种解决方案：

1）如果能够获取节目视差提示信息，并且节目视差提示信息中的最小视差信息仍距离立体电视观看安全区的边界有一定距离，就可以把图形、字幕等信息放置在最小视差与安全区域边界之间的位置上。这样，观看者将会看到图形、字幕等信息位于屏幕当中最靠近观众的位置，由IRD重现的视觉元素既不会与屏幕中其他图形产生冲突，也不会让观看者感觉到不适。

2）如果不能够获取节目视差提示信息，一个可行的方法是先将视频中的全部内容向屏幕后方进行平移，再将图形、字幕等信息放置于安全区域之内。

3）另一个可行的方法是将3D视频切换到2D模式，即只播放左眼图像，再将图形、字幕等信息覆盖在原有视频之上（或之前）。需要指出的是，这也是一般HDTV IRD显示这类视觉元素的唯一方式。例如一个用户想打开电子节目指南，而他的IRD是普通的HDTV IRD，这时该用户只能先将电视切换至2D模式，再打开电子节目指南。

7 结束语

采用帧兼容的方式对立体电视业务进行传输，能够对已有HDTV传输系统中的编码、调制、传输、解调、解码等设备进行充分的重用，大大节省了从2D HDTV到3D HDTV过渡期间所需的必要投入。DVB A154文件的推出势必将极大地推动立体电视产业的发展，为很多准备建设立体电视播出、传输系统的国家和地区提供了一个可行的技术方案。

然而，帧兼容只是2D HDTV到3D HDTV发展过程中的一个过渡方案，未来的立体电视传输标准将会以业务兼容为目标，在提高立体电视画面质量的同时，真正实现2D HDTV与3D HDTV的上下兼容。

[1]侯春萍，杨蕾，宋晓炜，等.立体电视技术综述[J].信号处理，2007（5）：729-736.

[2]DVB document A154，Digital video broadcasting(DVB)：frame com⁃patible plano-stereoscopic 3DTV[S].2011.

[3]吕朝辉，董跃.立体电视研究现状与展望[J].电视技术，2006，30（8）：39-41.

[4]张兆，杨安平，张之江，等.发展3DTV需解决的技术及其应用趋势[J].电视技术，2010，34（6）：4-6.

[5]李小兰.立体电视编码传输技术及业务实现[J].电视技术，2010，34（11）：4-9.

[6]HDMI 1.4a，High-definition multimedia interface specification ver⁃sion 1.4a[S].2010.

[7]ETSI EN 300468，Digital video broadcasting(DVB)：specification for service information(SI)in DVB system[S].2011.

[8]ETSI EN 300743，Digital video broadcasting(DVB)：subtitling sys⁃tems[S].2011.