网络丢包对多视点3D视频质量的影响

周 圆，侯春萍

(天津大学电子信息工程学院，天津300072)

立体信息技术是下一代信息技术发展方向，有广泛的应用前景。一个多视点视频系统需要传输来自多个视点的多个视频序列。多视点视频可大大增强使用者的视觉享受，因而受到广泛的关注。多视点视频的通信意味着需要传输更多的数据和进行更多的处理运算，所以目前这个领域的研究汇集了视频编码，图像处理、计算机视觉和显示技术上所有的前沿技术。

高比特率的多视点视频处理对于内容提供商和最终用户来说是一个重要的挑战。即使经过先进的压缩技术处理后，多视点视频仍然有很高的数据量。最近在学术文献中提出了多种视频传输方案:在最终用户方面，已经有学者从事选择性数据流这方面的工作，根据观看者的头部位置，将必要部分的多视点视频编码成数据流。文献［1］使用不等重要片组以适应FMO到MVC的转换。文献［2］提出了一种率失真算法，为每个质量层确定来源和通道。其他方案，如文献［3］中提到的数据分割系统，使用Turbo码来实现通道保护。但由于RS码和Turbo码较高的计算成本，不适合在实时系统中应用。

在3DTV流通过IP网络传输的研究中，文献［4］提出利用NUEPMuT协议通过多树点对点(P2P)网络来传输多视点视频流。文献［5］提出了使用一个有效应用于可扩展的立体视频编码的层提取方法，以实现在任何给定的视频数据包之间有效分配比特率预算。文献［6］提出了递归式的多视点视频传输失真模型，对多视点视频根据网络环境进行了失真率的计算。一些学术机构和企业也展示了应用在IP网络上的多视点立体视频服务的原型系统。微软亚洲研究院提出了一个可提供实时、互动和可靠的多视点视频服务系统架构［7］。MERL(三菱电子研究实验室)提出了多视点3DTV原型系统与实时采集、传输和自动立体显示［8］。

但是，在包交换网络中，网络中某节点上的存储区溢出可能会引起丢包，也可能因为时间延迟而认为某个包丢失了。然而，被压缩的视频信号，特别是被编码的立体视频，由于其采用低比特率视频编码方案依靠帧间编码提高编码效率，在面对错误时都是很脆弱的。这种运动补偿和视差补偿的编码结构在码间预测时，对视频帧间具有很强的时空依赖［9，10］。这种传输中不可避免的丢包造成重建视频错误传播，严重影响传输质量。

无论是服务提供商还是用户，对于视频通信技术的期望都是能够获得有服务质量(Quality of service，QoS)保证的视频服务。因此，更准确理解网络特性与解码端立体视频质量的关系，就显得尤为迫切。笔者在文献［11］中首次提出了面向IP网络的多视点视频失真估计模型，以递归公式的形式在帧水平(frame－level)上建立了以MSE为指标的、任意丢包模式下的多视点视频失真估计模型。

本文以前期提出的失真模型为基础，采用理论分析与实验研究相结合的方法，研究网络传输差错对多视点立体视频质量的影响。根据人眼所能忍受的立体感，由丢包和数据包出错而减弱的程度近似确定出可接受的立体视频在IP网络传输中的丢包率和错误率。

1 多视点视频在丢包网络中的差错传播分析

视频的帧间编码模式在带来高压缩率的同时，也导致一个GOP中图像帧间的高依赖性。一旦某一个帧因信道出错而丢失，不仅该帧在重建时会出现失真，其后续帧也将因帧间的参考不匹配而出现失真，即失真将在后续帧间传播。假定一个包含当前帧压缩数据的包在信道传输中丢失，解码器采用前一帧替代的错误掩盖方法，显然，此时解码器得到的当前帧重建和编码端的重建是不一样的。需要注意的是，这个因信道丢失而受损的重建帧，仍然会在解码器端作为其后续视频帧的运动补偿参考。这种情况下，如果某一帧中的数据由于网络丢包产生了解码错误，这种相关性将导致下一帧或同一帧中相关的数据也存在解码错误，并将在后续帧之间随着运动补偿路径进行传播。而当运动矢量不为零时，失真还将在图像帧的空域进行扩散，错误扩散会在时间和空间上同时累积，严重破坏重建图像的质量。其次，目前的熵编码普遍采用可变长编码技术，这将使网络传输产生的随机比特错误向后扩散，导致后续更多的比特不可解，从而使连续的比特段损坏，引发和丢包一样的删除性错误，造成持续多帧的大面积破坏，这种错误不仅在时间轴上扩散，同时也在空间扩散。受感染的帧如果使用帧内预测，错误也会扩散至同一帧的其他宏块。这种错误的时域、空域传播会造成解码端视频质量的严重下降。

对于多视点立体视频，每个视点的视频序列与普通视频一样具有时域、空域冗余性，不同之处是某一时刻各视点之间也具有冗余性，也就是说，各视点图像数据之间有强相似性，不仅同一视点相邻帧之间存在时域相关性，而且同一时刻相邻视点对应帧之间还存在空域相关性。因而，在多视点视频编码(MVC)中，还采用了视点间预测。第一视点按照二维视频编码(H.264)的步骤进行编码。非第一视点的第一帧采用帧内预测的同时，以参考视点的第一帧为参考进行视差补偿预测，并存储视差矢量和残差。非第一视点的非第一帧，以该视点已编码帧为参考进行运动补偿预测，遍历所有模式，记录最优预测块的运动矢量、残差及开销;然后以参考视点同一时间的图像为参考进行视差补偿预测，遍历所有模式，记录最优块的视差矢量、残差及开销;选择开销最小的模式为最佳编码模式，记录矢量和残差。

2 差错传播的理论计算

多视点视频时间域上的视频帧数用t表示，视点数用s表示。设M(s，t)为第s视点的第t帧。对于帧M(s，t)(不包括第0视点和每个视点的第一帧)，前一时刻的帧M(s，t－1)和前一视点的帧M(s－1，t)都作为参考帧。

在端到端编码视频传输系统中，有两种主要的失真:一种是信源编码时的量化失真，另一种是信道差错造成的失真。方便起见，我们称这两种失真为编码器引起的失真和信道引起的失真。由编码器引起的误差可在编码端准确估计，所以，计算总失真量的挑战性就在于计算信道引起的失真，即传输失真。

令Fi(s，t)表示第(s，t)帧第i像素的原始值，令(s，t)和(s，t)分别表示在编码器和解码器处重建的第M(s，t)帧第i像素的值，则传输失真可用下式表示:

此处E{}表示第(s，t)帧内所有像素点上的期望。

在编码端，我们假设这个宏块中的每个像素Fi(s，t)都由相邻视点的对应帧M(s－1，t)中的一个或几个相邻像素的加权之和来预测，预测值为

那么接收端重建的值可表示为

设εi(s，t)=(s，t－1)－(s，t－1)。对于一定的Kp和ak，平均传输失真可由下式求得

总体来说，相邻像素的传输失真是相关的，尤其是当这些像素属于同一个片组的时候。为使分析简化，在推导(4)时假设相邻像素传输失真的相关系数都相同，用ρ表示。ρ可视为信道失真的平均相关系数。

进而假设对于不同的帧，a可取相同的值，从而一个正确接收的宏块的平均传输失真为

从式(5)中系数a的定义可知，相邻像素的传输失真之间的相关系数可假设为一个常数。

对于一个采用视差估计，即由同一视点的前一帧M(s，t－1)中的几个相邻像素的加权之和预测的宏块，可采用类似的方法计算其失真量。因此，这个宏块的平均失真可表示为

3 传输错误对立体视频播放效果影响的实验研究

3.1 丢包对立体视频播放效果的影响

为了研究丢包和数据包出错对立体视频播放效果的影响，对IP网络中数据包丢失的过程进行了模拟仿真。对合成后的八视点视频源文件进行256字节、512字节和768字节的拆包并按照一定梯度设置了丢包率，丢包率分别是0.1%和0.5%时视频经过处理后在立体播放器Simpleplay的播放效果如图1所示。

由实验结果可得到这样的结论:拆包的大小对立体视频播放的流畅性有一定的影响，拆包小的视频文件在接收端播放时，流畅性没有拆包大的好，有很明显的停顿。而且网络丢包率对立体视频的播放效果也有很大的影响:丢包率越大，失真越严重。另外，通过肉眼观察，可大致确定出当网络丢包率在0.1%以下时，人眼可忍受立体视频由于网络丢包而产生的失真。

图1 丢包对立体视频播放效果的影响Fig.1 The impact of packet loss on the 3D video

3.2 数据包出错对立体视频播放效果的影响

本节主要讨论IP网络传输中数据包出错、损坏的情况并对其过程进行模拟仿真，在这个基础上再讨论它对接收端视频的播放效果造成的影响。

与整个数据包都发生丢失的情况不同，这里的数据包出错指的是包中的某个字节的某个比特位发生错误，即原比特位上的“0”变为“1”或者原比特位上的“1”变为“0”。一个字节对应八个二进制位，即1 Byte=8 bits，因此在网络传输过程中由于物理信道的失真或者外部条件对信道的干扰都有可能造成数据包的损坏或出错。在视频传输应用中，物理信道的失真会使解码端接收到的码流遭到破坏，从而导致重建图像失真。尤其是在最常用的编码标准MPEG和H.26x中，都采用变长编码(Variable length coding，VLC)以达到提高压缩效率的目的，由于VLC的使用，使得视频码流对信道错误十分敏感，甚至单比特的错误都有可能带来灾难性的后果。为此，有必要对IP网络中数据包出错的情况进行研究，探究某个字节中的比特位出错后对接收端立体视频的播放效果造成的影响和程度的大小。

图2 数据包出错对立体视频播放效果的影响Fig.2 The im pact of bit-error on the 3D video

实验分别对视频源文件进行了512字节和768字节的拆包，并按一定的梯度设置了错误率。图2是错误率不同时视频经过处理后在立体播放器Simpleplay上的播放效果。

由实验结果可得到结论:立体视频对数据包出错非常敏感，即使一个数据包中仅有一个比特位出现错误也会造成很大的失真，这主要是由于在标准MPEG或H.26x中普遍采用变长编码(Variable length coding，VLC)以达到提高压缩效率的目的，由于VLC的使用，使得视频码流对信道错误十分敏感。另外，拆包大小对立体视频播放的流畅性有一定的影响，拆包小时的播放流畅度没有拆包大时的好。

4 结论

多视点视频的编码方式虽然极大地降低了原始信号的时域和空域冗余度，使得高压缩比编码技术成为可能，但同时也降低了编码码流对抗网络传输错误的鲁棒性。在丢包网络中，其误差将向两个方向传播，传播模式由一维变为二维，因而对错误更加敏感。

在网络信道环境相同的情况下，数据包出错对接收端立体视频播放效果的影响要比丢包的影响更大，这主要是因为丢包是将整个数据包都丢弃，而其它没有发生丢包的数据包仍然保存有视频的重要信息;而数据包出错是数据包中某个字节随机发生错误，当网络的信道环境很差时可能造成几乎每个数据包都发生错误，因而数据包中某些关键信息(如相邻帧之间的预测信息、运动补偿信息、运动矢量信息等)发生错误的概率要比丢包更大。因此，数据包发生错误对立体视频播放效果的影响要比丢包影响大。

［1］Thomos N，Argyropoulos S，Boulgouris N V，et al.Robust transmission of H.264/AVC streams using adaptive group slicing and unequal error protection［J］. EURASIP Journal on Applied Signal Processing，2006 (1):1－13.

［2］Fu C M，Huang W L，Huang C L.Efficient post－compression error－resilient 3D－scalable video transmission for packet erasure channels［C］∥IEEE Int Conf on A－coustics，Speech，and Signal Processing，Philadelphia，PA，USA，2005:305－308.

［3］Yip P Y，Malcolm J A，Fernando W A C，et al.Joint source and channel coding for H.264 compliant stereoscopic video transmission［C］∥Canadian Conf on Electrical and Computer Engineering，Saskatoon，Canada，2005:188－191.

［4］Kurutepe S，Sikora T.Feasibility of multi－view video streaming over P2P networks［C］∥3DTV Conference，Berlin，German，2008:157－160.

［5］Ozbek N.Inter－View rate allocation using efficient layer extraction for stereo video stream ing over IP［C］∥3DTV Conference，Berlin，German，2008: 153－156.

［6］Zhou Y，Hou C P，Xiang W.Modeling of transmission distortion formulti－view video in packet lossy networks［C］∥IEEEGlobal Communications Conference(GLOBECOM)，Miami，USA，2010:1－5.

［7］Lou JG，Cai H，Li J.A real－time interactivemulti－view video system［C］∥Proc ACM Multimedia，2005:161－170.

［8］Matusik W，Pfister H.3DTV:A scalable system for realtime acquisition，transmission and autostereoscopic display of dynamic scenes［J］.ACM Trans on Graphics，2004，23(3):814－824.

［9］Zhang Q，Zhu W，Zhang Y Q.End－to－end QoS for video delivery over wireless internet［J］.Proc the IEEE，2005，93(1):123－134.

［10］Girod B，Farber N.Feedback－based error control formobile video transmission［J］.Proc the IEEE，1999，87 (10):1707－1723.

［11］Zhou Y，Hou C P，Xiang W，et al.Channel distortion modeling formulti－view video transmission over packetswitched networks［J］.IEEE Transactions on Circuits and System for Video Technology，2011，21(11):1679－1692.