基于3G的视频会议中图像质量的研究
2011-10-12孙丰岳
孙丰岳,赵 辉
(山东大学信息科学与工程学院,山东济南250100)
3G视频会议由于原始视频信号数据量太过巨大,因此必须经过压缩才能在3G网络中传输。在众多的视频编码标准中,由ISO和ITU-T共同发布的国际标准H.264/AVC因其具有较高的压缩效率和良好的网络适应能力等特点,成为3G视频会议业务中首选的视频编码标准。但是H.264/AVC码流对误码非常敏感,即使是单个原发性错误,也容易造成重建后的视频质量急剧下降[1]。如何减少3G无线信道的瑞利衰落和慢衰落的影响,人们提出新的容错技术或综合已有的容错技术,从而切实有效提高视频质量,已成为该领域的研究热点。
1 H.264/AVC的主要技术特点
H.264是基于MPE-4基础上建立的行业标准,其编解码流程主要包括:帧间和帧内预测、变换和反变换、量化和反量化、环路滤波和熵编码[2]。该标准可使同等视频质量下的压缩效率比以往标准提高2倍以上,因此H.264被认为是最有影响力的行业标准。另外,H.264从概念上可分为两层:视频编码层VCL(Video Coding Layer)和网络抽象层NAL(Network Abstraction Layer)[3],其中视频编码层的主要功能是对视频编码信号进行有效的说明;而网络抽象层负责对编码后的信息进行打包封装并通过指定网络进行传输,从而使H.264文件能够轻易地在3G网络中传输。
3G网络在移动环境下的带宽为384kbps,在静止环境下可达到2Mbps。与2G系统相比,3G系统全部工作在2GHz频段。更高的频段意味着路径损耗变大,多普勒频率扩展增大,信号衰落周期减小。此外由于波长的减小导致无线电波绕射和透射能力减弱,从而使阴影衰落的效果更加显著,导致视频流中的RTP包大量丢失[4]。因此对于3G视频会议业务而言,容错技术是不容忽视的。
2 3G视频会议中的容错方案
选用合适的容错工具来提升3G视频会议中的图像质量成为亟待解决的课题。H.264/AVC视频编码标准提供了许多容错工具,但并不都适用于3G视频会议业务。即使是同样的方法,也会由于算法和参数的差异导致实验结果大相径庭。如何选择并调试出合适的容错方法是本文研究的重点。
1)灵活的宏块排序(FMO)
FMO技术是指将一副图像中的宏块分成几个片,分别独立编码。片组由一个或多个片组成,当一个片组在传输过程中由于发生错误而丢失时,可以利用与之相近的已经正确接收的另一片组的宏块进行有效地错误掩盖。FMO方式可以是隔行模式,也可以是分散模式。
2)错误隐藏技术
由于无线网络中的误码率高,很多RTP包在传输中被网关或路由器丢弃,而这些数据必须在解码器端依靠错误隐藏技术根据空间和时间上的相关性来恢复,因此在3G无线网络环境中,错误隐藏技术对于解码器来说非常重要。
3)帧内编码块刷新
由于帧内编码不依赖时间上相邻帧的数据,所以帧内编码块能有效的阻止由于包丢失甚至帧丢失引起的错误传播。对于视频会议业务来说,由于实时性要求较高,而且I帧刷新的频率较低,因此可用帧内编码块来部分代替I帧的作用。
4)冗余片技术
H.264编码器除了对片内的宏块进行一次编码外,还可以采用不同的编码参数对同一个宏块进行一次或多次编码,生成冗余片,冗余片信息也被编码进同一个视频流中。如果主片能够被解码器正确接收,则冗余片将被抛弃。反之若主片丢失,则可用冗余片来重构图像。该技术非常适合在3G网络高误码率的情况下使用。
3 基于冗余片的容错算法
在设定冗余片时,冗余片的QP值应当大于主片的QP值,即QPr>QPp。那么在失真率为p的信道环境下,假设视频序列的帧数为N,传输过程中第i帧里的宏块k丢失,随之将该宏块的冗余片补上,则由此造成的失真dt.k可以表示为
式中,f[n] 为帧内编码块刷新等原因引起的失真递减。整个过程如图1所示。
图1 冗余片传输时产生的传播失真示意图
而当QPrQPp时
因此dt,k可以表示为
因此失真的期望值为
其中,dp,k为主片传输中产生的失真,dt,k为主片丢失后,采用冗余片所产生的失真,dp,k<dt,k。因此采用冗余片技术所引起的GOP失真的期望值为
如果不使用冗余片技术,主片丢失后就没有任何补偿措施。因此,该算法确实能够提高图像质量。
4 仿真实验
本实验的编码和解码软件采用联合视频编码组(JVT)发布的H.264/AVC参考软件JM15.1[6];视频序列采用QCIF格式的Foreman序列,取其120帧进行测试,测试视频采用IPPP……格式编码。编码器中ProfileIDC=66,熵编码模式为通用可变长编码(UVLC),OutFileMode=RTP。同时使用视频编码专家组(VCEG)提出的模拟软件VCEG-N80[7],该模拟软件可以准确模拟H.264/AVC在各种3G无线网络环境中的传输。
本文采用Wcdma_128kb_3kph_5e-04.bin测试条件。在3G视频会议中,根据前面所提到的各种容错方式及参考文献,以下列出5种适合于3G视频业务的容错方案,其中方案1和方案2是参考文献[8]中所提出容错方案,如表1所示。
表1 容错方案
本文将以上五种方案分为2组。第一组为参考文献[8] 中未采用冗余片技术的方案1和2与本文提出的冗余片技术与其他容错方法相结合的方案3和4的比较,如图2(a)所示;第二组为在采用冗余片技术并且相同的参数NRH前提下,启用FMO(方案5)与放弃FMO(方案3)之间的对比,如图2(b)所示。
图2 两组方法解码后视频的峰值信噪比走势
从图2(a)所示的客观评价可以看出,采用方案3和方案4得到的峰值信噪比PSNR的平均值明显强于方案1和方案2。而在图2(b)中,在NRH都等于3的前提下,方案3的实验结果远好于方案法5。由于仿真软件的原因,在修改参数以后造成方案5在编码后通过模拟3G信道时前面一段字节没有加载错误信息,但这不影响实验结果。
从图3所示的主观评价可以看出,方案1和方案2眼角处有明显模糊迹象,方案5下巴及嘴角出现失真。方案4总体较为清晰,但边缘轮廓处仍稍有模糊迹象,方案3质量最好。
图3 五种方案的主观实验对比图
5 结语
通过仿真实验中的五种方法比较得出,通过合理参数设置的冗余片技术、错误隐藏机制以及与行帧内编码块刷新方法相结合的容错技术取得了最好的效果。而加入FMO技术以后视频质量明显下降,这充分说明了在3G信道高误码率和带宽有限的环境中,编码过程中不能仅考虑容错方案的纠错能力,而应充分利用宏块间的空间相关性,选择最适合的容错机制。
[1] 胡琳娜,范新男,孙宇.3G无线网络中H.264/AVC差错控制方法[J] .北京:计算机工程与应用.2009,45(26):101-103.
[2] Iain E.G.Richardson.H.264 and MPEG-4 Video Compression-Video Coding for Next-generation Multimedia[M] .长沙:国防科技大学出版社,2004
[3] 鲁泽钧.浅谈3G视频通信中容错技术的应用[J] .石家庄:中小企业管理与科技.2009,(7)
[4] 无线信道特性对3G系统的影响[J] .北京:通信世界.2003,(22):52
[5] Tammam Tillo,Marco Grangetto,Gabriella Olmo.Redundant Slice Optimal Allocation for H.264 Multiply Coding[J] .IEEE Transactions on Circuits and Systems for Video Technology,VOL.18,NO.1,January 2008:59-70
[6] Joint Video Team(JVT)of ISO/IEC and ITU-T VCEG.H.264/MPEG-4 AVC Reference Software Manual[S] .ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6,2009
[7] Viktor Varsa,Matrta Karczewicz,Goran Roth,Rickard Sjoberg.Common Test Conditions for RTP/IP over 3GPP/3GPP2[S] .ITU-T SG16 Doc.VCEG-N80.2001
[8] LIU Lin,ZHANG Yin,ZHANG San-yuan,YE Xiu-zi.H.264/AVC Error Resilience Strategies for 3G Conversational Video Services[J] .北京:中国图像图形学报.2006,(9):1223-1229