立体视频压缩的内参考与交叉参考比较*
2010-06-07贾振堂
贾振堂
(上海电力学院 计算机与信息工程学院,上海 200090)
1 引言
立体视频是由左右两个视频序列组成的双目视频序列。由于视差的存在,人眼在观察立体视频序列时会产生立体视觉效果,具有深度层次感和更强的身临其境感。立体视频技术可被广泛应用于数字电视、远程教育、远程工业控制、三维视频会议系统、虚拟现实系统、远程购物、自动导航等诸多方面。
立体视频逐渐成为视频技术的发展方向。其中,立体视频压缩是立体视频应用的关键技术。在压缩过程中,往往特别强调左右图像之间的相关性,认为可以带来更高的压缩率。笔者将通过试验来比较内参考和交叉参考的有效性,从而为立体视频压缩算法的设计提供借鉴。
2 立体视频序列的压缩
立体视频序列是由两个摄像机从不同角度对同一景物拍摄,形成左右两个视频序列,同时左右序列具有时间约束关系,即同一个帧号的左图像Ln和右图像Rn应是同一时刻拍摄的,这由左右摄像机的同步机制来保证(见图 1)。
立体视频序列中的任何一个序列都可采用标准的视频压缩技术(如MPEG,H.264等)。而左右序列之间存在较强的相关性,应充分考虑左右图像之间的关系带来的压缩可能[1]。然而在立体视频压缩过程中,虽然有较多的因素需要考虑,比如左右图像视觉互补[2]等,但是运动搜索和运动补偿依然是最为有效的环节。
考虑参考帧时,不但序列内的以前重建帧可以作为参考帧,左右序列之间也可以作为参考帧。通常对其中一个序列采用标准单目视频压缩方法,参考图像仅限于本序列内部,这里称为序列内参考(简称内参考);而另一个序列考虑两种参考图像方式,即内参考与交叉参考,交叉参考是参考另外一个视频序列中的重建图像。文献[3]采用视差补偿(即交叉参考)的方法,同时考虑视觉抑制原理,但是并没有对序列内参考与交叉参考作具体的比较。
3 内外参考帧的比较
3.1 试验测试
将左序列采用序列内参考方式,当编码右图像的某个帧时,比如Rn+1,则可以选择已经重建的Ln,Rn或者Ln+1作为参考帧。这里暂不考虑同序列内的多参考帧情况,仅比较 Ln+1和 Rn。
试验中,为了比较参考图像的有效性,抛开视频压缩编码的其他环节,仅考察运动搜索的效果,并采用全搜索(full-search)求运动补偿的误差。运动搜索以宏块MB为单元,一帧的全部宏块运动补偿以后的平均误差为
其中,sadi是第 i个宏块的误差。 Δx,Δy为 sadi取最小值时的运动矢量。能够说明运动补偿的效果越小说明残差越小,压缩效果就越好。
交叉参考时,由于视差的存在,左右图像之间在水平方向上存在固定的偏移Δx0,因此运动搜索时考虑这个偏移。另外,由于左右图像之间固有的水平偏移,在图像的左边缘和右边缘肯定会存在失配的情况,为了具有较强的可比性,左右图像之间交叉搜索时不把边缘部分计算在内。在实际的压缩算法中,考虑全景图在一定程度上可以弥补边缘失配带来的误差,因此这里不计算失配的部分也是合理的。测试结果如图2和图3所示。
3.2 结果分析
在立体序列1中,背景固定。前面有女士在转椅上左右转动,后面还有人进出。这是常见的视频场景。测试结果中,交叉参考带来的残差明显大于序列内参考的情况,约为2倍左右。
在立体序列2中,开始为静止的场景,内部参考的残差几乎为0,而交叉参考的残差依然较大。小女孩走进来以后坐在沙发上左右晃动,这时情况与序列1类似。后半段视频则存在剧烈的摄像机运动,造成场景的快速切换,出现了交叉参考的残差小于内部参考的情况。
从以上测试及其他类似测试 (限于篇幅没有全部列出)可以看出:
1)通常情况下,内参考可获得较小运动搜索残差;
2)特别是图像静止情况下,内参考残差甚至趋于0,而交叉参考没有明显的减小;
3)交叉参考在图像内容剧烈变化(比如摄像机运动、场景变换等情况下)时有可能小于内参考。
交叉参考的误差来源有:1)摄像机位置差异引起的图像整体错位;2)视角不同引起的遮挡差异。即使是静止的画面,这种误差也照样存在。并且与图像的运动没有关系,而仅与图像的内容有关。或者说仅是空间的差异,而不是时间上的差异。同时,由于两个摄像机的拍摄角度不同,可能带来明暗的差异。
而同序列误差主要来源于图像内容在时间上的变化,与摄像机的位置无关,并且这种误差是可变的。慢速运动的差异小,当画面静止时,误差趋于0(存在少量噪声误差)。因此,在进行立体视频编码的过程中选择内部参考方式,通常情况下都是合适的。在I帧编码或者存在场景切换的情况下,可以考虑交叉参考。
4 小结
由试验结果可知,通常情况下,序列内相邻图像间变化不大,可以得到较好的匹配结果,而左右图像之间存在图像偏移和视角差别,造成匹配误差大于内参考的情况。仅当图像内容突变时,左右图像之间的相似性大于时间轴上的相似性,交叉参考才更有效,或者当I帧编码时,可以考虑交叉参考方式。
[1]陈雪松.立体图像压缩编码技术的研究[D].上海:上海大学,2003.
[2]HARI K,LAKIS C,LIAM M,et al.Design and evaluation of a 3D video system based on H.264 view coding [C/OL]//Proceedings of the 2006 international workshop on Network and operating systems support for digital audio and video[2009-10-01].http://portal.acm.org/citation.cfm?id=1378207.
[3]PEI S,LAI C.Very low bit-rate coding algorithm for stereo video with spatiotemporal HVS model and binary correlation disparity estimato[J].IEEE Journal on Selected Areas in Communications, 1998,16(1):98-107.