发展3DTV需解决的技术及其应用趋势*

张兆杨，安 平，张之江，沈礼权

（上海大学，上海 200072）

1 引言

从模拟电视到数字电视、从标清电视到高清电视的变革已基本实现，不论是从企业的走向、市场的需求或技术上的可能性，下一代变革的目标无疑是人们期望已久的三维（3D）立体视频系统。目前千家万户观看的二维（2D）视频平面显示系统由于丢失了自然界中物体作为第三维的深度信息（景深），使人的视觉缺乏立体（深度）感而有与实际的自然场景不一致（失真）的感觉。这里介绍了3DTV的系统组成及其各种类型的立体图像显示方式和显示器特点；对人们关注的观看立体视频图像时会发生的视觉疲劳和不舒适感的成因作了较深入的分析，并提出了消除或改善的方法；最后，分析了今后的发展趋势和有待解决的技术，并对各类3DTV进入家庭的时间作了展望。

2 3DTV的系统组成

图1是3DTV的系统框图，由3D内容获取、编码、传输、解码合成和显示5部分组成。其中由摄像子系统摄取3D场景，由编码子系统将获取的视频信号去除冗余信息后编码成便于传输的视频流，经网络传输后送入解码/合成器，按照显示端的要求重建视频信号并分别送至不同类型的显示器以显示双目立体图像、多视立体图像或二维平面图像。

图1 3DTV系统的组成框图[1]

2.1 不同类型的3DTV系统

按照3D视频获取方法的不同，图1包含了3种3DTV系统：

1）基于双目的3DTV系统

图1的最上端是传统的双目立体视频系统，其3D场景的获取是由光轴中心相距6.5 cm的相互平行的相同摄像机组成 （或由1部双镜头3D立体摄像机构成）。左、右两路视频经立体视频编码压缩成视频流，经传输后解码复原成两路视频，再在显示器中构成与人的双眼视觉对应的稍有不同的两幅图，最后由大脑合成为有立体感的图像。

2）基于多视的3DTV系统

多视3DTV系统由N个（N>3）摄像机阵列获取3D场景，虽然N个摄像机型号相同，但其内外参数很难完全一致，且由于N个摄像机空间位置不同，各自的光照也略有差异，因此需要在进行摄像机几何参数校正和亮度/色度补偿等预处理后，再将多路视频信号经多视视频编码（MVC）压缩成视频流。由于解码后重构的N个视（每一路视频简称为一个视）不一定适合某个观众在显示屏前所在位置的观看要求，且为提高显示质量，视频解码后需选择一些合适的视经绘制合成为符合需要的两个视[2]。多视3DTV系统的优点是在显示屏前人能看到立体效果的视角（简称立体视角）远比双目3DTV系统要大，且便于应用人眼跟踪技术使人在屏前移动时所观看到的立体图像也随人的移动而改变，从而提高真实感和临场感。

3）2D转3D的3DTV系统

由于目前的3D节目源甚少，也可由2D高清晰度视频节目通过2D转3D处理和后期制作形成的多视视频送到多视视频立体显示器来播放富有很强纵深立体感的3D立体视频节目。

2.2 与二维系统的兼容性

目前所有的家庭几乎都已有了播放二维视频图像的电视机，若开播双目或多视立体视频节目，应使现有的遍及每个家庭的电视机也能接收到3D立体节目 （尽管看到的仍是二维视频图像）。为实现此种后向兼容，在图1中，无论是在立体视频还是在多视视频编码中，基本视 （双目视频或多视视频中作为参考视的1个视）应沿用二维视频的编码标准（如H.264/AVC），这样就可以由图1中标准的2D视频解码器重建双目或多视视频中的基本视，提供给标准的2DTV。

3 立体图像显示方式和显示器类型

3.1 立体显示方式

可分为需佩戴立体眼镜的立体显示和用裸眼直接观看的自动立体显示两种方式。

1）佩戴立体眼镜的显示方式

2010年1月风行全球的《阿凡达》立体影片和在美国拉斯维加斯消费电子展上展出的大多数立体电视，都采用了佩戴立体眼镜的立体显示方式。

立体眼镜分为偏振式、快门式和分色式3种：

（1）偏振式是指左、右眼分别使用极化方向相互垂直的偏振镜片，其中一只眼用垂直偏振，另一只眼用水平偏振，显示器投射相应的偏振光，从而使双眼分别看到左视和右视，由大脑融合为立体图像。此种方式的缺点是人的头部倾斜时偏振镜片难以滤掉与之正交的偏振光，使一个视的图像漏到另一个视中，导致观看者产生不舒适感。

（2）快门式是指所佩戴的眼镜为液晶制成的快门眼镜，加上一定电压时可以改变液晶分子的排列来控制开关状态，使得光线在一个镜片受阻时在另一个镜片通过，从而使双眼分别看到左、右视。此种方式的缺点是若显示器刷新频率不够高，会产生闪烁等不舒适感。

（3）分色式是指左、右眼戴的镜片分别为红光或蓝光滤色片（也有使用其他颜色的），使得戴红光滤色片的眼镜只能看到红色图像，戴蓝色滤色片的眼镜只能看到蓝色图像，由此来使双眼仅分别看到左视和右视。此种方式的缺点是彩色信息损失大，色调单一。

2） 自动立体显示方式

自动立体显示方式是指不戴立体眼镜由人眼直接观看的立体显示方式，又被称为自由立体显示方式或裸眼立体显示方式，常用的有视差栅栏式和柱透镜光栅式：

（1）视差栅栏式的原理是利用视差挡板分光，在液晶显示器的液晶层之前或之后安装视差栅栏，将其分为挡光和透光两部分，使得显示屏上各像素交替显示左、右眼对应的图像，令一幅经过匹配处理的视差图像分别投射到左、右眼，产生立体视觉。视差栅栏式的优点是工艺结构较简单，但由于被遮挡了约50%的光，因此显示屏的亮度也损失了一半。

（2）柱透镜光栅式是在显示器内部安装一排垂直排列的柱面透镜，利用每个柱透镜对入射光的折射作用，把两幅不同的视差图像分别透射到对应于双眼的视域，使左图像聚焦于观看者左眼，右图像聚焦于观看者右眼，从而产生立体视觉。柱透镜光栅式的优点是由于没有前述栅栏式那样有50%的光遮挡的损失，使显示屏的亮度几乎超过视差栅栏式1倍，但其工艺要求高，每个透镜的截面需达到微米级。

3.2 立体显示器类型

立体图像显示器可分为单用户立体显示器和多用户立体显示器：

1）单用户立体显示器对应于双目立体视频系统，双目立体视频由于只有两个视，能显示立体效果的区域范围小，即立体视角小，一般适宜于单个观众观看。这是因为若多人同时观看，有的观众会因其双眼无法同时接收到视差图像源而感受不到立体效果。

2）多用户立体显示器对应于多视视频系统，多视视频是由N个（N＞3）摄像机从不同视角同时拍摄相同场景获得的，可使多个观众在不同位置接收到不同的视差图像源，即其立体视角宽，所以可供多个观众同时观看。但是由于屏上要容纳多对视差图像源，立体显示分辨力也就相应降低。因此，要求显示器自身的分辨力很高，且使柱透镜阵列适度倾斜，以便由垂直分辨力补偿水平分辨力，相对提高立体图像的清晰度。

4 立体图像观看的不舒适感及其解决方法

观众在屏前观看立体视频图像时，常会感到头晕目眩、心情烦躁甚至恶心等视觉疲劳感和不舒适感，这会严重影响立体视频的应用和发展，如何克服这种缺陷成为当前3D显示研究的一个重点。日本经济产业省即将制定的立体电视标准就是以减轻或消除视觉不舒适感作为前提。

4.1 产生视觉不舒适感的原因之一：串扰

造成视觉不舒适的原因较多，且因人而异。主要的共性原因之一是：当左图像和右图像因分离不完善使左（右）眼视图漏进了右（左）眼视图而引起串扰。串扰会降低人眼把两幅视图融合为立体图像的能力，常出现鬼影、重轮廓、形变、模糊等，且会随着视差的增大（即立体感增强）而趋于严重。由于左、右视图的不完善分离与立体显示器的参数设置有关，可通过调整优化显示器的设计参数来降低串扰度。

4.2 产生视差不舒适感的原因之二：发散视差/负视差

在立体显示器屏前人眼感受到的深度信息ZP与双目视差H及观看距离D相关[3]

式中：e为左右眼坐标点间距。由式（1），可将视差分为如下4种：

1）零视差。当ZP=D时，H=0，双眼视线交于屏幕上一点P，如图2a所示。

2） 正视差。 当 ZP＞D 时，0＜H＜e，左右眼投影在屏幕上的距离小于双眼间距，双眼视线在屏前不交叉，感觉P点在屏幕之后，如图2b。正视差越大，图像的纵深感越强。

3） 负视差。当0＜ZP＜D时，H＜0。双眼视线在屏前交叉，感觉P点位于屏前，如图2c。负视差越大，立体图像在屏前的凸出感越强，但会使人眼产生不舒适感。

4） 发散视差。 当 ZP＜0 时，H＞e，如图 2d，屏上的成像点距离大于双眼间距，双眼视线在屏前和屏后都无交叉点，大脑无法将其融合为一点，这会使人眼产生极严重的不舒适感。

由上可知，设计立体显示器时，要防止发散视差，也不宜为追求凸出感而增大负视差。

5 3DTV的发展趋势及尚待解决的问题

3D视频立体显示系统除了可用于各种科学研究、航天航空、医疗、监控、教学、军事、艺术、博览会、3D游戏、网上商场及网上旅游和文物展示等场合外，最受人们关心的是何时能走入家庭。

5.1 双目立体视频进入家庭尚需解决的问题

戴立体眼镜式的家用立体电视由于对目前家用电视机的改动少，若预制节目以DVD为信号源，或者在发送端将一对视差图像共用一条信道交替顺序传送，并在接收端相应地将这对图像轮流在屏上显示，很快就可进入家庭。

而不戴立体眼镜的自动立体显示方式由于尚需在现有的电视机内安装如前文所说的柱透镜光栅或视差栅栏（此技术相对已较成熟），以及通过光学视角倍增器来扩大立体视角（尚在实验室阶段），预期约3～5年也可进入家庭。

5.2 多视3D立体视频进入家庭尚需解决的问题

5.2.1 限制多视视频进入家庭尚存在的主要问题

多视视频及其显示系统目前尚未解决的主要问题有两个：一是其3D内容的获取是由N个完全一致的摄像机同步同时完成的，N个摄像机同步变焦、调焦、变光圈（各参数必须相同地同时改变）在技术上并不易行，有待发展一种完全自动的、精确的基于多视的深度/视差获取系统[4]；二是多视视频巨大的数据量尽管经MVC已有较大压缩，但到3DTV广播应用尚有很大距离，进一步优化可对运算复杂度作大幅度降低，但对传输比特率的压缩却是有限的，这就需要发展一种可根据人的头部位置选择少数视而以相当低的带宽传输视频流的结构与方法[5]，以及为适配各用户差异性终端而研发的自适应可分级多视视频编码[6]方法。此外，3DTV广播不仅在节目制作费用上比二维HDTV昂贵，而且演播室设备还有相当大的部分需要更新。因此，能够进入家庭的基于多视视频的3D立体电视机预期还要等上10年或更长一些时间。

5.2.2 目前多视视频的应用

多视3D立体视频目前可应用于商业广告、各种展示会和博览会。例如，在2009年上海国际工业博览会和2010年上海世界博览会上已展示和应用了 “3D多视节目制作与立体显示系统”。该系统是在上海市科委组织和资助下，于2009年8月由上海大学主持、与清华大学联合研制成功的。图3为其中的103 in（1 in=2.54 cm）多视立体图像显示器（右下角是19 in二维图像显示器）。

：

[1]OLIVER S，PETER K，THOMAS S.3D video communication[S].England：John Wiley&Sons Ltd.，2005：23.

[2]安平，张倩，鞠芹，等.用于3DTV的图像绘制技术[J].电视技术，2010，34（1）：49-51.

[3]张兆杨，安平，张之江，等.二维和三维视频处理及立体显示技术[M].北京：科学出版社，2010.

[4]OZAKTAS H M.Three-dimensional television：capture，transmission，display[M].Berlin:Springer，2008：317.

[5]TEKALP A M，KURUTEPE E，CIVANLAR M R.3DTV over IP：endto-end streaming of multiview video[J].IEEE Signal Processing Magazine，2007，24（6）：77-87.

[6]SHIMUZU S，KITANARA M，KIMATA H，et al. View scalable multiview video coding using 3D warping with depth Map[J].IEEE Trans.Circuits System for Video Technology，2007，17（11）：1485-1495.