视频码流的数值比特位划分
2011-06-01于文斌
周 菡,于文斌
(1.中国电信陕西公司信息技术支撑中心,陕西,西安 710071;2.西安电子科技大学通信工程学院,陕西,西安 710071)
1967年Masnick等人[1]提出不等差错保护(UEP:Unequal Error Protection)的概念,不等差错保护作为一种业务可靠传输技术得到了深入的研究。不等差错保护的目的在于对业务中的重要信息进行高优先级的保护,使之具有较高的误码恢复能力,最终获得较好的业务恢复效果。不等差错保护在视频、语音、图像等业务的传输中有着广泛应用[2-3,7]。
以视频业务信息的传输为例,在视频比特流中的各部分有着不同的重要性,某些比特对错误的抵抗能力比其它比特要差,从而需要对信号的不同部分给予不同等级的保护。在网络资源有限情况下,根据业务码流中不同部分的重要性不同,采用不同的信道保护机制,从而获得可用视频或图像业务。目前不等差错保护策略主要有两个研究方向:一是研究如何对信源编码端数据进行等级划分;二是对等级划分后的数据采用怎样的不等编码保护问题。而这其中对业务码流信息中的各个部分重要性的分析和划分显得尤为重要,码流信息按重要性划分为接下来的不平等差错编码保护提供了可能。对 MPEG -2[4-5]码流信息的不等差错保护也引起了广泛关注。
文中对MPEG-2视频码流信息的重要性划分方式进行研究,提出了一种基于数值比特高低位的视频码流划分方式。经仿真表明,基于数值比特高低位的视频码流划分方式相比层次划分及传统图像帧划分方式,经不等差错保护后有更好的视频恢复效果。
1 数值比特位划分
视频码流中变长码DCT系数的高低比特位对重建视频的贡献度不同,由于变长码DCT系数占视频码流信息的大部分,因此对视频码流的划分很大程度上是对DCT系数的划分。结合不同图像帧,及帧内变长码DCT系数的不同比特位置,分别将I帧,P帧,B帧图像的变长码DCT系数的按照比特位的高低分为两类,得到6组不同的数据信息:I帧DCT系数高位比特(Bit1~Bit4);I帧 DCT系数低位比特(Bit5~Bitend);P帧DCT系数高位比特;P帧DCT系数低位比特;B帧DCT系数高位比特;B帧DCT系数低位比特。在不同误码率情况下,分别对这6组信息引入随机错误,计算重建视频图像的平均PSNR值,计算结果如表1所示。
表1 各类图像帧不同比特位出错重建视频图像PSNR均值/dB
根据上述几类信息出错时重建视频图像的PSNR均值,以达到视频等级4,图像效果为可觉察不讨厌(PSNR=33~38 dB)为准,将占视频大部分的变长码DCT系数进行归类。I帧 DCT系数的高位比特(Bit1~Bit4)最为重要;I帧 DCT系数的低位比特(Bit5~Bit-end)和P帧DCT系数的高位比特视频恢复效果接近,作为第二类;P帧DCT系数的低位比特和B帧DCT系数的高位比特视频恢复效果接近,作为第三类;B帧DCT系数的低位比特对误码要求最低将其归为最低一类。
由于DCT系数占到视频序列信息的大部分,对于视频序列中的其他类型的信息,在进行等级分配时以按DCT比特划分的4个重要性等级为准。
在视频码流中,除了DCT系数之外,其他数据类型主要包括:头信息,控制信息及运动向量。其中头信息和控制信息在视频序列中所占比例较小,但起着重要作用,为视频编解码提供所需的一些重要参数及同步信息。这类信息需要予以重点保护,将该类信息划分到上面的I帧高位比特所处等级中。运动向量也是可变长编码,但运动向量较分散,涉及数据量较小,为减小划分复杂度起见,对该类信息以整体进行测试而不区分比特高低位。
运动向量存在于P帧图像及B帧图像中。在不同信道误码率时,分别对P帧及B帧图像中的运动向量引入随机错误,计算出错后重建视频图像的平均PSNR值,如表2所示。
表2 运动向量出错后重建视频图像PSNR均值/dB
通过对比上表中计算所得的PSNR均值,对P帧来说,运动向量出错对重建视频所造成的影响要小于P帧DCT系数中的低位比特出错对视频重建所造成的影响,按重要性将P帧的运动向量划分到第三类信息中。B帧的运动向量出错所造成影响要小于B帧DCT系数的高位比特,而接近B帧DCT系数中的低位比特,将B帧的运动向量划分到B帧DCT系数低位比特所在等级,即第四类中。
通过上面的分析验证,基于DCT数值比特高低位的划分方式最终将视频码流划分为4个不同重要性的等级,各个等级内容如下:
第一类:头信息,I帧宏块参数,I帧DC系数,I帧变长码DCT系数的Bit1~Bit4;
第二类:I帧变长码DCT系数的Bit5~Bit-end,P帧宏块参数,P帧DC系数,P帧变长码DCT系数的Bit1~Bit4;
第三类:P帧变长码DCT系数的Bit5~Bit-end,P帧运动向量,B帧宏块参数,B帧DC系数,B帧变长码DCT系数的Bit1~Bit4;
第四类:B帧变长码DCT系数的Bit5~Bit-end,B帧运动向量,零填充数据。
测试样本按照数值比特高低位方式进行划分,得到的各类信息所占比例分别为 0.171 3,0.233 8,0.388 0和0.206 9。
按照上述分析,根据视频码流信息对于重建视频所起作用的不同,最终将视频码流划分为4个不同的等级。视频信息流的划分示意图如图4所示,图中的“H”表示图像及Slice层的头信息,需要重点保护,归类到第一类信息中。
图1 视频码流数值比特高低位划分示意图
按提出的数值比特高低位结合I,P,B图像帧的码流划分方式将视频码流进行划分,划分得到的4类不同重要性的信息。在不同信道误码率情况下,对划分所得4类信息分别引入随机错误,计算重建视频图像的平均PSNR值。在不同误码时,对应的重建视频图像的PSRN均值曲线如下图2所示。
通过图2中的各类信息出错后重建视频图像的平均PSNR均值曲线可以得知,按照DCT系数比特高低位及图像帧相结合的划分方式所得到的4类信息,在不同误码时的重建视频图像效果有明显的差别。根据不同PSNR区间所体现的视频等级,以达到视频等级4(PSNR=33~38 dB),重建视频图像效果为可觉察不讨厌为准:第一类信息到达要求时误码率约在1×10-5;第二类信息所需误码率约在5×10-5;第三类信息所需误码率约为2×10-4;最后一类的误码率要求约为1×10-3。到达相同的视频效果所需的误码率要求存在差异。
图2 不同类信息出错重建图像PSNR均值曲线
2 数值比特位划分的不平等差错保护
按照数值比特高低位的划分方式将视频信息划分为4类,对不同类信息进行不等差错保护的码流传输仿真测试。在高斯白噪声信道下,信道编码分组长度为1 504 bit,根据划分所得的各类视频数据所占的比例{0.171 3,0.233 8,0.388 0,0.206 9},将信道编码分组长度划分为4种不同的长度,用于不同重要性信息的传输;设置信道编码器中不同重要性信息的重复次数分别为:Rep1=7,Rep2=6,Rep3=5,Rep4=4;信道编码码率为0.527 3。对4类不同重要性的信息进行不等差错编译码保护,图3为4类信息所体现的误码性能曲线。
图3 数值比特高低位划分方式的不等差错编码误码曲线
4类等级信息在不同信噪比时所呈现的误码性能,即为在实际信道传输时视频码流的不等差错保护传输所体现的误码性能。在不同信噪比时,按照数值比特高低位划分方式得到的各类信息经信道不等差错保护传输之后,重建视频图像的PSNR均值如表3所示。
表3 数值比特高低位UEP重建视频图像PSNR均值/dB
通过表3计算所得的重建视频图像的平均PSNR值可知,采用数值比特高低位的划分方式进行划分,对分类信息做不等差错保护所得到重建视频图像的PSNR均值,要高于不分类情况下均等差错保护的重建视频图像PSNR均值,且高于按传统图像帧进行码流划分,进行不等差错保护时的重建视频图像的PSNR均值。在信噪比为2.6 dB时,数值比特高低位划分方式的重建视频图像的PSNR均值相比不分类情况约有10 dB的提高,较传统的基于图像帧的视频码流划分方式也有约5 dB提高。
3 结束语
提出一种基于数值比特高低位的视频码流划分方式。根据视频码流中不同位置信息重要性的不同,对视频序列进行归类,对划分所得的各类信息进行不等差错保护。通过对码流信息中不同位置对视频重建所起作用的分析,根据数值比特高低位作用不同,结合不同图像帧所提出的视频码流划分方式,在给定的仿真条件下,经仿真验证表明,经不等差错编码保护后,重建视频效果相比不分类进行均等差错编码保护的恢复效果有明显提高,且效果优于按传统图像帧划分经不等差错保护的重建视频恢复效果。
[1]HUYNH -THU Q,GHANBARI M.Scope of validity of PSNR in image/video quality assessment[J].Electronics Letters,2008,44(13):800 -801.
[2]李虓江.信道自适应UEP技术在H.264视频通信系统中的应用[J].电视技术,2004(3):4-7.
[3]陈东侠.UEP在基于SPHIT图像传输的联合编码中的应用[J].福建电脑,2009(12):3-4.
[4]CHIARIGLIONE L.MPEG and multimedia communications[J].IEEE Trans.Circuits and Systems for Video Technology,1997,7(1):5 -18.
[5]HASKELL B.Image and video coding - emerging standards and beyond [J].IEEE Trans.Circuits and Systems for Video Technology,1998,8(7):814 -837.
[6]佟雨兵,张其善,祁云平.基于PSNR与SSIM联合的图像质量评价模型[J].中国图象图形学报,2006(12):1758-1763.
[7]陈孙阳,陈颖琪,王慈.视频传输不等差错保护方案设计[J].电视技术,2010(6):87 -89,105.