无线网络中基于H.264/SVC的RoI视频流传输

袁 涛，樊 丰

（成都电子科技大学 电子工程学院，四川 成都 611731）

0 引言

随着无线设备得到越来越广泛使用，无线视频通信的需求也日益强烈。然而，无线终端的多样性对网络传输的稳定性、视频编码速率、视频信息质量都提出了不同的要求；无线网络信道固有的特性，如易受干扰、带宽多变、多径效应等，给视频传输带来巨大挑战，视频无线通信需要很好的错误保护。很多时候，基于视频内容重要性的不同，不等差错保护（Unequal Error Protection，UEP）方案用来优化资源的使用，要使这种方案有效发挥作用，必须定义一个可靠的数据重要性，这种数据重要性一般是指编码过程产生的数据优先级。

视频编码传输技术在不断发展，这些问题将会得到解决，视频分层编码是一种有效的方法。H.264具有较高的编码性能[1-2]，而在此基础上发展起来的H.264/SVC分层编码算法已趋近完善[3]。随着通信技术的不断发展，特别是第三代移动通信网络的普及，视频分层编码已经进入实际应用，H.264/SVC可以称为第一种进入大规模应用的视频分层编码标准。现在H.264/SVC提供时间、空间和质量可分层，这些分层机制使得时间分辨力、空间分辨力和图像质量在不同带宽需求和不同种类终端之间能很好地权衡。此外，这些分层机制还非常适合在UEP中应用[4]，对编码之后不同层的码流设定不同的保护优先级，可以很容易实现UEP。

当人眼面对一幅画面时，并不是对整幅画面的关注度一样，特别是在视频序列中，其注意力会集中在一部分画面区域，这部分区域就是视觉感兴趣区域（Region of Interest，RoI）[5]，把图像序列中的 RoI提取出来，单独编码，减小量化参数，那么质量就有所较高，客观上，RoI区域的PSNR会有所提高；主观上，图像整体视觉效果会有所改善。

笔者提出一种在无线网络中对已编码视频流进行传输以及传输时的码率控制优化算法，并通过仿真实验进行论证。

1 H.264/SVC及RoI相关原理介绍

1.1 H.264/SVC简介

作为H.264编码标准的可分级扩展，H.264/SVC可提供时域可分级、空域可分级和质量可分级。时域可分级一般采用分级B帧结构编码。编码时，在一个图像组（GoP）中先对关键帧I帧和P帧进行编码作为基本时间层，接着其余各帧都是B帧，根据GoP的大小，分级编号进行，编码以后的码流中可以根据用户要求，提取出某一帧率的码流进行解码。空域可分级在编码时将图像进行下采样，先对低分辨力的编码作为基本层，再利用内容的相似性对增强层编码，不同终端的显示分辨力不同，可以相应地选择不同的空间分层，基本层分辨力最低，加上增强层后分辨力增大。笔者所用的测试序列为foreman_cif.yuv，编码工具为JSVM 9.18，编码时，为了提高效率，进行了一定的优化[6]，编码后的码流结构如表1所示，其中空间域分为2个等级，可以在CIF和QCIF两个不同的分辨力尺寸中进行选择。时间域有4个等级，帧率从3.75～30 Hz，传输优先级别分为7个等级。空间和时间分层具体情况如表1所示。

表1 空间和时间分层

表1中的优先序列号是使用JSVM编码之后的优先级排序号，优先级随编号增大而减小，0为最高优先级。

1.2 RoI简介及转码

H.264/SVC标准中的质量增强层编码是对序列中整幅画面进行编码，这样编码简单，但是会带来两个问题：1）没有码率控制，编码之后的码率不可预知；2）当网络可用带宽变小时，丢掉整个质量增强层会使视频质量降低很多。如果在增强层编码时将其中的RoI区域提取出来进行单独编码，或者将编码后的增强层的码流分为RoI和非RoI，那么在网络传输中将会有更多选择，在带宽不足的情况下，可以先选择丢掉非RoI码流，这样视频的视觉质量也不会降低很多。现今RoI区域分割技术研究比较多，也比较成熟，解决了传输过程中丢失背景信息不能正确解码RoI的问题[7-8]，本文所用的码流是把预编码的码流进行转码，提取出RoI区域后，非RoI的QP与原编码时的QP0相同，而RoI的QP为QP0减去6，同时对每一层码流重新设定优先级编号，转码后的码流结构如表2所示。

表2 转码后的码流结构

1.3 RTP/RTCP简介

RTP协议是IP网络中针对实时业务的一种传输协议[9]，一般构架在UDP协议之上。另外，它也是一个数据封装协议，实时业务数据封装于RTP包的数据域中。RTP提供实时数据端到端的网络传输服务，但它不为实时业务保留资源，也不保证服务质量。RTCP的主要功能是提供关于服务质量（Quality of Service，QoS）的信息反馈，网络终端系统可根据这些反馈信息来适应不同的网络状况。实时传输协议RTP和传输控制协议RTCP一起为网络提供流量控制和拥塞控制服务。

2 算法描述

为了适应无线网络中不同终端和多变带宽信道，设计的算法通过两方面的控制来优化视频质量和充分利用带宽。服务器端通过RTCP协议获得终端信息和信道状态：1）终端信息包括终端的显示分辨力和处理能力（能处理的最大帧率）；2）信道状态主要是丢包率，通过丢包率可以估计出相应的有效带宽。估计出最大可用带宽之后，再提取合适的码流进行发送。

2.1 估计有效带宽

估计有效带宽的算法如下：

1）计算网络丢包率 Ploss（i）

式中：Nexpect是期望的数据包的个数，由RTP中的序列号可得；Nloss是丢失包的个数；Nreceived是收到的数据包的个数。

2）估计最大可用带宽

式中：β是权重系数，典型值为2～5。K是循环次数，Kup是步长。在试验中，接收端检测网络拥塞，把丢包率通过RTCP传送给发送端，发送端计算出可用带宽。

2.2 调整发送码流

为了充分利用带宽，选择提取合适的码流进行发送，应该满足

式中：Rt为t时刻的可用带宽，Rx为提取出的码流比特率。算法由以下伪代码实现：

代码中k为优先级编号。

3 实验平台描述

笔者设计的是一个无线网络环境，通信系统结构如图1所示。每个终端直接与服务器相连，使用一个单独的传输地址、一个IP和一对端口号，RTP/UDP使用x号端口，RTCP使用x+1号端口；建立链接之后，客户终端通过RTCP发送请求，将终端的信息传到服务器端，服务器端响应请求；通过RTCP获得信息后，计算可用带宽，式（2）中 β 值取 3，Kup值取 1，K 取 3；可用带宽估计出之后，提取码流并调整发送速率，再通过RTP进行发送；接收端接收到码流后进行解码播放。

图1 视频传输系统结构

4 试验结果分析

本文通过使用两种不同的算法在NS2[10]仿真平台上做实验，并对结果进行比较：一种使用表1所示的预编码码流和3GPP Release7 TR 26.937[11]中提出的传输控制调整方案，另一种使用经转码实现的RoI增强码流（表2）和本文第2节中描述的传输控制算法。可任意提取一帧图像作比较，图2为提取出的第142帧。

图2 不同编码及发送方式的效果比较

通过图2中的对比可以看出，比起采用SVC码流，采用RoI码流采用使得图像中人的脸部区域更清晰，主观质量有所提高。通过比较图3和图4可以看出，在无线网络这种恶劣的环境下，使用笔者设计的算法能及时调整发送速率，选取尽量多的码流进行发送，很好地提高了QoS性能。

5 总结展望

笔者提出的基于丢包率的码流控制算法使得视频流在无线网络中传输时能及时调整发送速率，很好地适应了无线网络的带宽易变的特性。RoI码流结构使得视频的主观质量得到很好的改善，但是同时编码复杂度提高了一些，在多个RoI的情况下效果不太好，需要进一步改进。

图3 采用SVC码流和3GPP TS 26.937

图4 采用RoI码流和本文所提码率控制算法

[1]WIEGAND T，SULLIVAN G J.Overview of the h.264/avc video coding standard[J].IEEE Trans.Circuits and Systems for Video Technology，2003，13（7）：560-576.

[2]毕厚杰.新一代视频压缩编码标准——H.264/AVC[M].北京：人民邮电出版社，2005.

[3]SCHWARZ H，MARPE D，WIEGAND T.Overview of the scalable video coding extension of the H.264/AVC standard[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（9）：1103.

[4]SCHIERL T，HELLGE C，MIRTA S，et al.Using H.264/AVC-based scalable video coding （SVC）for real time streaming in wireless IP networks[C]//IEEE International Symposium on Circuits and Systems 2007.[S.l.]：IEEE Press，2007：3455-3458.

[5]WANG Zhou，BOVIK A C，LU Ligang.Wavelet-based foveated image quality Measurement of region of interest image coding[C]//Proc.IEEE 2001 Int.Conf.[S.l.]：IEEE Press，2001：89-92.

[6]王日霞，朱伟兴，陈先勇.H.264基于宏块自适应的快速模式选择算法[J].电视技术，2009，33（2）：14-17.

[7]LIN T，RAO K R.Region of interest based H.263 compatible codec and Its rate control for low bit rate video conferencing[C]//Proc.2005 InternationalSymposium on IntelligentSignalProcessing and Communication Systems.[S.l.]：IEEE Press，2005：249-252.

[8]周磊.视频通信中ROI视频压缩算法的研究与应用[D].长沙：中南大学，2007.

[9]SCHULZRINNE H，CASNER S，FREDERICK R.RTP：a transport protocol for realtime applications[EB/OL]. （2003-05-05）[2010-04-10].http：//www.ietf.org/rfc/rfc1889.txt.

[10]The network simulator-ns-2：version 2.33[EB/OL].[2010-04-10].http：//www.isi.edu/nsnam/ns/.

[11]3GPP TS 26.937，Transparent end-to-end packet-switched streaming service（PSS）； real-time transport protocol （RTP）usage model：Release 7[S].2007.