无线视频传输的容错编码研究*

柴鑫刚，郑冬冬

（中国移动通信集团有限公司研究院 北京100053）

1 引言

基于无线视频监控技术，可以将各个监控点的现场图像信息实时地通过无线通信手段传送到监控中心。目前无线监控系统主要应用于不易、不便或无条件布设有线网络的监控场所，增强了监控系统的灵活性、便利性和可扩充性，所以现在市场对于无线视频监控有大量的需求。采用H.264/AVC高压缩性能的编码器，无线视频监控可满足大部分用户对视频监控的需要。但是无线信道属于不可靠传输信道，具有时变、易受干扰等特点；无线信道的视频数据容易受到干扰和破坏，导致数据包错误或者丢失，需要采取高效的容错算法保证数据的有效传输。

SVC作为H.264/AVC的可分级扩展，通过时域、空域和质量的分层机制，分成基本层和若干增强层，具有很强的抗误码能力。基本层上的图像数据最重要，增强层的数据对图像质量起到增强作用，当基本层和增强层的数据受到影响时很容易误码扩散到其他层和下一帧数据,并最终导致图像错误累积，因此有必要在SVC中采用有效的抗误码方法保证可伸缩视频流的鲁棒性。目前视频传输的容错技术主要有以下几种。

（1）自动重传机制

属于无失真的容错技术，对丢失或错误数据包采用重传方式，可以完好恢复图像并保证图像质量不失真，自动重传机制要额外占用网络资源并且增加延时，特别是在低网络带宽时，虽然能完整恢复图像质量，但是占用的网络资源会导致后面需要编码的图像可使用的网络资源减少，使得视频帧率降低或者图像质量下降。

（2）前向纠错编码方式

用来克服信道错误，当信道出错概率波动比较剧烈时，为了获得一定的传输质量，前向纠错编码必须根据当前估计的最差情况增加冗余校验比特，这会导致带宽资源的浪费。对带宽资源本来就有限的无线信道而言，显然是不能满足要求的；对于丢失的数据包无法恢复，且无法保证无失真的恢复。

（3）解码端端图像错误恢复技术

利用视频的时间和空间相关性，恢复丢失或有误码的图像，不会占用额外的网络资源，但当需要恢复的图像之间的相关性不好时，恢复图像的失真度非常大且图像质量差，进而形成了错误累积，导致多帧图像错误，图像质量下降，影响用户使用。

本文在自动重传、可伸缩视频编码和解码端图像错误恢复技术的基础上，提出了一种基于B-D率失真代价函数的对增强层有选择的重传算法，增强层的视频流重要性不如基本层，当有些数据包对图像质量影响较小时，可以对丢失或有误码的增强层数据包采用基于B-D率失真代价函数判断是否重发，失真代价函数充分考虑失真度、带宽和延时信息，决定当前的数据包是否需要重新传送，当接收端发现错误后，利用解码端图像错误恢复技术进行图像恢复，如果错误恢复得很好，恢复后图像的失真度在人们容忍的范围内，则向发送端传送当前包接收成功的反馈信息，这样可以有效避免信道带宽的浪费。反之，恢复后的失真度很高且在当前带宽允许的条件下，则要求编码端重新发送，恢复出完好的重构图像，保证了图像质量，可以尽早防止图像的错误扩散，避免占用额外网络带宽，减少延时。

通过上面的分析可以看出，本文的方法充分克服了已有方法的缺点，能够有效降低无线信道的丢包、误码等对视频传输质量的影响，同时大大提高了视频码流的抗误码能力，对推动无线视频传输的广泛应用具有重大意义。

2 H.264/SVC介绍

H.264/SVC以先进视频编解码器标准H.264 AVC为基础，高度利用了运动估计等各种工具及概念，结合了分层编码 (layer coding)和精细度伸缩编码 (fine granular scalability，FGS)，实现了空间、时间和质量的完全伸缩。空间上是通过上/下采样滤波器实现空间分辨率的变化，时间上是通过运动补偿预测的编码结构具有的内在时间可伸缩性实现的，质量可伸缩则采用基于嵌入式位平面的精细编码实现。也就是说，能够产生不同帧率、分辨率或质量等级的解码视频。

（1）空间可伸缩性

空间可伸缩性采用分层编码的方法，将原始空间分辨率的视频序列分解生成多个不同空间分辨率的视频子图像序列，如 4CIF、CIF、QCIF，每个空间分辨率都是一个新的空间编码层。为了去除各空间层之间的冗余信息，采用了层间预测（即帧内预测和帧间预测），可以跨层进行，对低空间层的纹理信息和运动信息进行插值。

（2）时间可伸缩性

每个空间层通过时间分解实现时间的可伸缩性，需要重建已编码的帧作为下一步预测的参考帧，有些重建帧不作为下一帧的参考帧，就可以根据系统需要进行取舍，实现时间轴播放帧率的可调性，也是时间的可伸缩性。

（3）质量可伸缩性

质量基本层采用了与H.264相同的变换、量化及编码方法；而增强层则采用以较小的量化步长进行重新量化的方法减小量化误差，生成精细度由大到小的质量层，这种质量可伸缩的编码方法也叫做渐进精细化，实现了质量可伸缩性。

3 基于B-D率失真代价函数的自动重传机制

采用帧内预测和运动估计的帧间预测方法，可以有效去除图像之间的空间和时间冗余信息，借鉴H.264/AVC的率失真算法，在编码器中对运动矢量、参考帧选择和宏块编码模式的判决中都使用了率失真判决策略，有效抑制误差扩散。下面是H.264/AVC的率失真算法：

其中，C表示率失真代价，D表示失真度，R表示熵编码后的码率。

编码器通过计算率失真判决函数，将最小的代价函数对应的宏块编码模式确定为率失真最优宏块编码模式：

由于信道的错误率和重传次数有密切的关系，而每次重传都要耗费一定的带宽，考虑到这个因素，利用带宽失真代价函数的概念，在一定的丢包率、信道带宽和传输延时限制的条件下，接收端接收质量和传输中所用的带宽不仅和视频信源的率失真性能相关，而且和信道的错误率(丢包率)及终端错误恢复技术相关，将其作为衡量视频包是否予以重传的准则。视频数据流根据恢复后的失真度对图像质量的影响决定是否重发，这样可以有效避免有限信道带宽的浪费，提高可伸缩视频流的鲁棒性。

综合考虑失真度、带宽和延时信息，下式为B-D率失真代价函数定义：

其中，Ro包含了重传比特需要的总体带宽资源；Dec为增强层数据的编码失真度；Ddc为增强层数据错误恢复导致的失真度；ωec是权重系数，根据不同层的重要性进行调节；Bs=TmaxBw，Bw是当前层视频流的有效带宽，Tmax是当前层的最大延时。

Dec可用图像的均方误差表示,是增强层编码后重构图像与基本层重构图像的均方误差。

Ddc可用图像的均方误差表示,是增强层错误恢复后重构图像与基本层重构图像的均方误差。

当有误码发生时，Ddc通过错误恢复的失真度及所消耗的带宽值得到，如果大于某阈值，则表明此误码包需要重传，否则不需要重传。

通过网络传输，最终耗用带宽比特和失真分别为R、D,经过丢失率为p的信道传输后，最后的阈值计算如下：

对于SVC的视频数据流，通过无线信道传输，设其满足Shannon率失真理论的比特和失真分别为R、D,经过丢失率为p的信道传输后，其理论上最终耗用带宽R0和对应的接收端失真D0关系如下：

其中，γ、σ是与信源本身相关的统计量，对于特定的视频图像可以看作常量。

通过上面分析可知，率失真代价函数对丢失或有误码的增强层数据包，采用基于带宽失真代价函数判断是否重发，带宽失真代价函数充分考虑失真度、带宽和延时信息，决定当前的数据包是否需要重新传送，这样可以有效避免浪费有限的信道带宽，错误恢复后的失真度很高且在当前带宽允许的条件下，则要求编码端重新发送，恢复出完好的重构图像，保证了图像质量，可以尽早地防止图像的错误扩散，避免占用额外网络带宽，减少延时。

4 实验结果及仿真

为了验证本文算法的性能，选用foreman （YUV 4∶2∶0，30 f/s，逐行扫描）作为测试序列，实验仿真采用基于H.264/SVC的参考软件JSVM作为对比，编码结构采用低延时应用IPPP，每个序列编码和解码300帧，GOP是30，仅第1帧编码为I帧，不使用FMO，错误恢复使用前帧拷贝，基本层是QCIF格式，增强层是CIF格式。亮度的信噪比随着码率和丢包率变化的曲线如图1、图2所示。

从图1可以看出，对于foreman序列，丢包率相同时，本文算法结合率失真优化并根据B-D代价函数决定自动重传的机制，更好地考虑可恢复图像的失真度和带宽资源，误码扩散得到有效的控制，得到较高的重建图像的PSNR值。

从图2可以看出，信道丢包率不同时，本文算法得到较好的PSNR值，丢包率较高时，应该考虑在带宽允许的情况下，采用B-D代价函数决定是否自动重传的机制，对图像失真度影响比较大的视频数据包进行重传处理，有效地防止了误码扩散。

5 结束语

本文结合率失真优化算法以可伸缩编码作为容错工具，利用带宽失真代价函数的概念，在一定的丢包率、信道带宽和传输延时限制的条件下，同时考虑可伸缩视频编码的分层机制，不同层的视频数据对图像的失真度影响不一样，接收端接收质量和传输中所用的带宽不仅和视频信源的率失真性能相关，而且和信道的错误率(丢包率)及终端错误恢复技术相关，所以提出了一种基于B-D代价函数的对增强层有选择的重传算法，将其作为衡量视频包是否予以重传的准则。仿真实验表明，其能有效抑制误码的扩散，对图像质量影响较大的数据包进行重传，有效保证了图像质量，较少占用网络带宽，同时大大提高了视频码流的抗误码能力和鲁棒性。

本文方法不足之处在于运算量大，图像的失真度Ddc是通过图像的均方误差得到的。本文目前只对增强层的数据采用B-D代价函数决定自动重传的方法，如果对基本层图像数据采用B-D方法代价函数决定自动重传，可能会进一步提高本文算法的效果，这是下一步的研究工作。

1 Schwarz H,Hinz T,Marpe D,et al.Constrained interlayer prediction for single-loop decoding in spatial scalability.In:Proc ICIP’05,Genova,Ital,Sep 2005

2 Kwok W,Sun Huifang．Multi-directional interpolation for spatial error concealment.IEEE Transactions on Consumer Electronics,1993,39(3):455～460

3 Schwarz H,Marpe D,Wiegand T.Overview of scalable video coding extension of H.264/AVC standard.IEEE Trans on Circuits Syst Video Technol,2007,17(9):1 103～1 120

4 Zhang Qian,Zhu Wenwu,Zhang Ya-Qin.Channel adaptive resource allocation for scalable video transmission over 3G network.IEEE Transactions on Circuits and Systems for Video Technology,2004,14(8):1 049～1 053

5 Lu J.Signal processing of Internet video streaming:a review proceedings of the SPIE image and video.In:Communications and Processing,San Jose,CA,USA,2000

6 Cheng H S,Fairhurst G,Samaraweera N.Efficient partial retransmission ARQ strategy with error detection codesby feedback channel.IEEE Proceedings on Communications,2000,147(5):263～268

7 ITU-T Rec.H.264.Advanced video coding generic audiovisual services,2005

8 Wang Y,Zhu Q.Error control and concealment for video communication.Proc IEEE,1998,86(5):974～997

9 Lam Wai-Man,Reibman A R,Liu Bede.Recovery of lost or erroneously received motion vect.In:IEEE Proceedings of InternationalConference on Acoustics,Speech and Signal Processing(1CASSP93),Minneapolis,USA,1993

10 ITU-T H.264.Wiegand T,Sullivan G,Reichel J,et al.Joint draft 11of SVC amendment.Joint Video Team,JVT-X201,2007

11 WangY,Ostermann J,ZhangY Q.Videoprocessand communication englewood cliffs.In:NJ,Prentice Hall,2002

12 Wenger S,Wang Y K,Schierl T.Transport and signaling of SVC in IP networks.IEEE Trans Circuits Syst Video Technol,2007,17(9):1 164～1 173

13 Kallel S,Haccoun D.Sequential decoding with an efficient partialrestransmission ARQ strategy.IEEE Transactions on Communications,1991,39(2):208～213

14 Sun Huifang,Kwok W.Concealment of damaged block transform coded images using projections onto convex sets.IEEE Transactions on Image Processing,1995,4(4):470～477

15 Tian D,Hannuksela M M,Wang Y K,et al.Error resilient video coding techniques using spare pictures.In:Proc Packet Video Workshop’03,Nantes,France,Apr 2003

16 Wang Y,Wenger S,Wen J,et al.Error resilient video coding techniques.IEEE Signal Process Mag,2000,17(4):61～82