超高清晰度电视与三维电视进展
2011-06-25李超
李 超
(中原显示技术有限公司,河南 郑州 450001)
0 引言
早在20世纪70年代,日本NHK就在世界上率先开始了HDTV的研究,世界上第一个模拟HDTV制式为日本MUSE制[1],而此制式随着美国全数字HDTV制式ATSC制的发布逐渐退出历史舞台[2-12]。紧接着,NHK不甘心失败,随即开始了超高清晰度电视(UHDTV)的研究[13-16]。同时,各国对于三维电视的研究也有一定的进展。
就分辨力而言,显示器的最高境界到底怎样,人类视觉的极限到底怎样,一直存在争论[17]。三维和二维的关系怎样,将来的电视系统在清晰度方面又怎样?在高清晰度显示以及电视广播成为现实后,人们把目光瞄准了超高清晰度电视、三维电视和三维显示技术,更有业内专家认为,超高清加三维就是人类视觉的极限,这对不对呢?
1 超高清晰度电视的发展
1.1 超高清的提出
NHK将超高清系统称为 Super Hi-Vision(SHV)[14]。在2006年通过的ITU1769号建议书中对于超高清的使用名称是“LSDI(Large Screen Digital Imagery)[13]”,并且从建议书中可以看到全文没有强调是“电视”,强调的是在需要比HDTV清晰度更高的各种特殊场合的显示,也就是说,当时还不明确这种超高清的技术是不是可以应用于广播电视。在后来通过的SMPTE 2036(2007)标准[16]中,明确了以上3种说法都是指超高清晰度电视(Ultra High Definition Television,UHDTV)。ITU1769 建议书[8]则列出了超高清晰度电视的基本规范。
图1~图5示出了UHDTV的基本概念。有人认为,UHDTV只是在清晰度上比起HDTV提高了,这种说法未必完整,因为即便是在清晰度上,两者的差别比起HDTV和标清电视SDTV的差别要大得多。而UHDTV的音频系统更是有很大的提高。在超高清晰度系统中,采用了以SMPTE标准为基础22.2高标准现代化立体音响系统(见图6),使之得以和高标准的视觉系统相配合。另外,由图7也可以直接看出就分辨力而言,UHDTV和HDTV之间的差别远比HDTV较传统SDTV的差别更大。
图1 日本JVC 8192 ×4320 像素(SHV:7680 ×4320 )超高清投影机
ITU1769建议书[13]中还明确了UHDTV和HDTV的水平视角关系如表1所示。
具体操作中,有些文献将表1中的31°略为30°,58°略为 60°,96°略为 100°。
1.2 超高清发展的意义、现状及问题
表1 UHDTV和HDTV的水平视角关系
对于UHDTV的研究和开发,由日本放送协会(NHK)、英国广播公司(BBC)及意大利广播电视公司(RAI)等机构所倡议推动,其主要目的确实是为下一代电视技术的发展。事实上,至今为止,真正卷入或者实施UHDTV研究的仅有NHK。2006年底,NHK借由IP网络将红白歌合战(紅白歌合戦)UHDTV画面从东京传送到500 km远的大阪;2010年9月,NHK与BBC合作,由伦敦向日本传输节目。NHK认为,UHDTV的最终目标是能普及入每一家庭,并预计于2016年至2020年间实现[14-15],但是也有许多人对此表示怀疑,毕竟事实上HDTV的进展速度比起早期的预期慢了很多。现在已经进入2011年,就目前情况而言,笔者认为NHK普及UHDTV的目标很难实现。
NHK最近的研究发布了在以下方面的新进展。
1)色度[11,13,18]
在保持标准白不变的前提下,NHK发布了具有更大还色范围的三基色坐标(见表2)[18],根据这些新坐标得到CIE1931色度图如图8所示,实际上,由于NHK提出的新三基色都坐落在CIE 1931色度图的边缘上,所以仅可以用激光器产生,这些新的坐标无疑将产生大得多的还色范围。但是,NHK的新研究也引起了许多同业人士的疑问,这些问题包括但是不限于如下方面:
(1)NHK刚刚全力通过了ITU1769号建议书和SMPET 2036(2007)标准,确认了所有色度标准和白坐标完全按照和709号建议书[2]相同的1361号建议书标准[11],也就是说,UHDTV除了分辨力的主要指标外,其他的主要参数和HDTV相同,现在又提出新的说法意义何在?
(2)这些高饱和度的更大的还色范围无疑必须使用激光器得到,那么一般的家用平板电视不能采用激光技术,将如何解决这一矛盾?
(3)这两种标准中的色度还原范围相差甚大,新提出的高饱和度三基色仅仅在可发出单一波长的自发光体才会出现,而这种情况占据摄像机可能的景物范围的比例微乎其微,而标准的交叉显示必然带来很大的色彩失真,有没有必要必须考虑?如果有必要,是不是必须使用两种标准的摄像机来应对两种标准?
(4)如果用两种标准的摄像机,是不是在将来所有的家用平板电视机上增设转换呢?
对于以上疑问,目前尚无定论。
表2 NHK新近提出的专用于UHDTV的色度标准
图8 NHK新近提出的UHDTV新色域[18]及其和709号建议书[2]、SMPTE 431-2号、Adobe三基色标准的比较
2)临界非闪烁频率(CFF)[18]
这是在UHDTV得到发展后发现的新问题,由于分辨力大大提高,视场角由原来对于HDTV的30°变为对于UHDTV的100°,在60 Hz下原本不闪烁的图像发现又有闪烁感了,NHK发布的显示占空比和临界非闪烁频率的关系以及视场角和临界非闪烁频率的关系分别如图9和图10所示。
NHK发布的这两个图表明,显示占空比越小,所需临界非闪烁频率越高;屏面亮度越高,所需临界非闪烁频率也越高。视场角越大,所需临界非闪烁频率越高;相同视场角下,亮度越高,所需临界非闪烁频率也越高。由于图像显示占空比是一个变数,屏面亮度也是一个变数,对于UHDTV究竟需要多高的频率,NHK没有定论结果,但是已提出这个频率应该在80 Hz以上。
由以上可见,UHDTV尚有很多的问题需要讨论。笔者认为,尽管如此,发展是肯定的。
2 三维电视和三维显示
在高清晰度电视和超高清晰度电视技术得到高速发展的同时,各种3D显示和3D电视也得到了高速发展。以下重点讨论目前较主流的左右双图像型3D广播电视。
2.1 各种可能的三维图像编码方式
2.1.1 双路编码顺序传输
如图11所示,3D顺序传输结构特点是:3D水平像素数和与2D相同;3D垂直像素数是相应2D像素数的2倍;因此3D的时钟频率也为相应2D的2倍,这样一定要采用双路编码。在前面论述中已经提到,ITU709[2]和1120号建议书[3]都同时规定了双路编码的参数,这就给采用双路编码完全不丢失信息的逐行HDTV奠定了技术基础,SMPTE也规定了双路编码HDTV的参数(如SMPTE 372M标准)[19]。因此,采用双路编码是完全可能的,但是和普通的2D双路编码不同的是,在2D传输中,解决的是1080 p问题,而在3D传输中,解决的则是双1080 i,即左右眼图像问题。
图11 3D顺序传输结构
2.1.2 双路编码相间传输
如图12所示,双路编码相间传输特点是:3D水平像素数和相应2D相同;3D垂直像素数是相应2D的2倍;因此3D的时钟频率也为相应2D的2倍;和以上不同的是,3D在每帧有一个垂直同步,而2D则在每场都有垂直同步。和以上比起来,可以明显看出其帧结构在每帧内部又做了分割,相当于每帧内部有奇偶场,而每场又分为左右眼信息数据。
图12 3D相间传输结构
2.1.3 左右分
如图13所示,其特点是:3D的水平、垂直像素数均和相应2D相同,因此3D和相应2D的时钟也完全相同。使用单路编码,3D图像的像素数在水平方向上丢掉了一半。最简单的解码器解码时仅仅需若干行FIFO即可,实用的解码器仍采用场存储器。据悉,此种格式已经在国内南方某些城市进行广播电视开播实验。
图13 3D传输左右分结构
2.1.4 上下分
如图14所示,其特点是:3D的水平、垂直像素数均和相应2D相同,因此3D和相应2D的时钟也相同。使用单路编码,3D图像的分辨力在垂直方向上丢掉了一半。解码时需要场存储器进行差补还原。
图14 3D传输上下分结构
2.1.5 逐场轮换
如图15所示,这种格式实际上是延续下来的格式,当使用单路编码传输时牺牲的是时间轴,结构简单,易于操作,适合于早期的电子快门眼镜,使用单数场传输左眼图像信息数据,使用偶数场传输右眼图像信息数据。与前述第1种不同的是,对于传统的标清CRT彩电而言,此种可以实现最简单的解码,对于HDTV而言,可以实现最大分辨力,但是要同时得到t轴的动态平滑显示,需要多帧插补,并不能够节省存储器。
图15 单路编码逐场轮换
2.1.6 隔行排列
如图16所示,除了隔行结构外,还可以有隔列排列,只是编码、解码更加复杂,分别是在水平方向上或者垂直方向上舍去了一半内容信息数据。隔行显示和隔点显示在显示终端都是可能的,但是,如果作为传输结构,就不得不着重考虑数量巨大的家用接收机的解码器,而且在传输端对于数据进行深度压缩时,在左右图像数据可能发生的串扰是个严肃的问题。
图16 隔行传输结构
2.1.7 奇偶阵式
图17所示的奇偶阵结构是和早先的MUSE模拟HDTV有类似之处,由于每行、每列都有信息传送,而未传输的像素则可以通过查补运算来恢复,起码可以实现部分恢复,当显示相对静止的图像时,可以用最少的码率来传送最大的图像信息量。这样的编码传输方法的复杂性对于发送端带来的问题并不大,但是对于接收端,毫无疑问会带来每一台解码器的复杂性,这一点正是历代工程技术人员所避忌的,而且在传输端进行深度压缩时,在左右图像上可能发生的串扰也是个重要的问题。
图17 奇偶阵结构
实际上,图16和图17分别示出的隔行传输和奇偶阵结构,广播电视节目在存储时,为了节约资源,一般都采用压缩深度很大的MPEG-2/4,对于图像而言就是H.261/4。在表 3中,示出了 ISO/IEC颁布的全部MPEG标准,其中在各国HDTV中,仅有ATSC音频标准使用了AC3,其他3种HDTV的音频均使用了MPEG-2,而全部4种HDTV标准的视频压缩标准均为MPEG-2。在UHDTV中,由于信息量太大,采用H.264来进行压缩。那么,如果3D的传输采用图16和图17所示结构,深度压缩下,在解码端是不是能够正确还原就成了问题。
表3 各种可能的3D图像传输格式[3,19]
2.2 对于各种可能编码方式的考虑
对于广播电视而言,双路编码和单路编码传输解决的是不同的问题,双路编码2D传输和双路编码3D传输解决的也是不同的问题,那么是不是需要同时考虑双路编码和单路编码传输3D图像也是个问题。
再考虑到解码端的简单易行以及深度压缩时可能会引起左右眼图像数据串扰的问题,表3中第6~7项也就不是优选项了。笔者提出,如要成为我国3D广播电视编码传输标准,应该在第3~5项中考虑。在这3项中:第3项和第5项是在国内曾经试播过或正在试播的方式,但是如果分析优缺点,第4项也是一个值得考虑的方式,这是因为人眼的宽高比为4∶3,水平方向上较大,加之人的两只眼睛在水平方向上生长,这就决定了人眼的水平分辨力要大于垂直分辨力。对于可能的水平方向上像素点数少一半(第1项)以及垂直方向上显示行数少一半(第2项)这两种情况,理论上传输的图像总像素数都是少了一半,但是在视觉上的直观感觉可能并不相同。观察认为,如果对于前者确实感到少了一半,而对于后者则可能是感觉少了约25% ~30%。以图17为例,也是丢掉了一半像素,但是在显示端如果采用此型,无疑会得到较高的“感觉分辨力”,因为这也是另一种类型的“共享像素”,这是由于在每一行、每一列对于左右眼图像都有取样。但是上述第7项如果需要用于终端大屏幕显示是很好的,如果用于传输则会很麻烦,而且压缩和解压的麻烦可能会很大。这样,就第3和第4项而言,第3项应该是首先排除考虑的,因为其对于资源的浪费最大。但是比较起来,以上第5项和第4项毕竟是先丢掉了一半像素,第5项虽然可能在时间轴上需要处理,但是当代电子技术是可以解决的,因此,以上第5项逐场轮换制如果压缩和解压问题可以得到很好的处理,则是有希望作为国内首选的3D广播制式。
笔者还要特别提出,比较起来,可以在上述第1项的“双路编码顺序传输”上优先考虑,由于每一场都可以有左右眼图像,这样可以单数场传输左右眼的奇数行,而偶数场又可以传输左右眼的偶数行,分辨力也就不再是问题了,这样左右眼图像可以分别压缩、解压和插补,国际间节目交换(比如50 Hz,60 Hz的转换)也变得很容易了,使用相对比较简单的办法可以实现较为复杂的问题。但是,此方法在下面的问题上需要注意:
1)双路编码需要2.97 Gbit/s码率,对于芯片的要求较高,这是需要事先缜密思考的。
2)由于信息量比单路编码大了一倍,采用何种压缩标准进行压缩和解压应该首先得到确认。
3)节目录制和存储有额外的复杂性。
就发展的眼光看,将这个双路编码方案作为首选方案可能会事半功倍。
我国在天津三维显示技术公司主持下,曾经在电视台多次试播过模拟标清的逐行轮换制三维广播电视;在HDTV开播后,深圳电视台又试播了左右分制三维电视;2010年5月,由广州市科技和信息化局宣布在广州亚运会上,专门研发的三维电视播放系统将同期与广州市民见面,系统采用AVS压缩技术。中国三维科技产业园已经落户扬州,不久的将来,产业园将决定更先进的三维广播电视播出技术。
3 小结
论述了高清晰度、超高清晰度电视技术的发展,其中对于超高清晰度电视技术,国内尚没有应对措施,而这可能是下一步的发展项目。本文也介绍了目前可能的3D电视广播的各种形式,提出了在我国3D广播电视标准制定上可能会遇到的各种问题,以及笔者自己认为的应该优先选择的方式,希望能够在不久的将来制定出应用于我国的超高清晰度电视和3D广播电视编码传输标准。
[1]李超.MUSE-用单个频道进行HDTV广播的系统[J].电视技术,1986,10(5):27-32.
[2]ITU-R BT.709-5,Parameter values for the HDTV standards for production and international programme exchange[S].2002
[3]ITU-R BT.1120-7,Digital interfaces for HDTV studio signals[S].2007.
[4]ETSI EN 300744 V1.6.1,Digital video broadcasting(DVB);framing structure,channel coding and modulation for digital terrestrial television[S].2008.
[5]EBU Tech.3299,High definition(HD)image formats for television production[S].2004.
[6]SMPTE 274M,1920×1080 image sample structure,digital representation and digitaltimingreferencesequencesformultiple picture rates[S].2005.
[7]ATSC.Advanced Television Systems Committee[S].2007.
[8]ARIB STD-B32,デジタル放送における映像符号化、音声符号化及び多重化方式[S].2007.
[9]GY/T 155-2000,高清晰度电视节目制作及交换用视频参数值[S].2000.
[10]GB 20600-2006,数字电视地面广播传输系统帧结构、信道编码和调制[S].2006.
[11]ITU-R BT.1361,Worldwide unified colorimetry and related characteristics of future television and imaging systems[S].1998.
[12]ISO/IEC 13818-2,Information technology — generic coding of moving pictures and associated audio information:video international standard[S].2000.
[13]ITU-R BT.1769,Parameter values for an expanded hierarchy of LSDI image formats for production and international programme exchange[S].2006.
[14]SUGAWARA M.NHK super hi-vision — research on a future ultra-HDTV system[EB/OL].[2010-12-02].http://www.ebu.ch/fr/technical/trev/trev_2008-Q2_nhk-ultra-hd.pdf.
[15]The super hi-vision demos at IBC-2008[EB/OL].[2011-02-02].http://tech.ebu.ch/docs/techreview/trev_2009-SE_SHV-NHK.pdf.
[16]SMPTE 2036,Ultra high definition television-audio characteristics and audio channel mapping for program production[S].2008.
[17]李超.广播电视技术手册[M].郑州:河南科技出版社,1984.
[18]NHK.NHK annual report 2009-e[EB/OL].[2010-10-15].http://www.lukfook.com.hk/News_Pic/LukfookFile/2010072718053657088.pdf.
[19]SMPTE 372M,Dual link 292M interface for 1920 ×1080 picture raster[S].2002.