一种改进的基于时间戳的空间音视频同步方法

薛 彬， 徐 京， 王 猛

（中国空间技术研究院航天恒星科技有限公司 北京 100086）

音视频同步，就是通过一系列多媒体同步技术，维持发送端采集的音视频流的时间关系，并在接收端正确播放显示，在一定的时间偏差范围内，保证音频和视频在时间上的对应关系[1]。近些年，音视频同步技术已经开始应用于卫星直播、视频点播、飞机和飞船驾驶舱的视频通话、空间站与地面站的视频会议等领域[2]。由于空间多媒体通信产品的音视频同步难度远远高于在互联网上实现音视频同步，不仅需要在QoS[3]规定的多媒体同步偏差内保证音视频同步传输，还要尽可能的在可靠传输的基础上，减少同步算法的复杂度，保证多媒体通信的实时性，因此，专门针对空间通信产品的音视频同步技术的研究已成为各个国家国防通信技术研究的热点和难点[4]。

目前应用于互联网的基于时间戳的音视频同步方法主要是采用全网同步时钟，并且需要反馈通道对发送端进行流量控制，由于空间音视频传输要求在带宽低、信道环境恶劣的情况下实现实时通信，因此，这种传统的基于互联网的时间戳同步技术还需要进一步改进来适应复杂的空间传输环境。

文中针对空间音视频传输的特点，假设音视频在采集编码阶段保持同步，提出了一种基于时间戳的音视频同步方法，这种方法采用新的时间戳映射模型，优化了传统的音视频同步算法，不仅不需要全网同步时钟，而且无需反馈通道，以更小的开销，使音视频传输不仅能够达到同步要求，而且有较高的容错能力。并对该方法进行测试，测试结果满足音视频同步的指标。

1 时间戳映射模型

文中采用RTP/RTCP协议[5]对音视频数据进行打包并传输，且提出的时间戳映射模型用于确立音视频数据帧之间的时间关系。

RTP协议规定，不同的RTP媒体流是分开进行传输的，且使用各自独立的时间戳进行同步。单个媒体会话流中的RTP时间戳只能保持媒体内同步，如图1所示。

图1 音视频RTP时间戳对应原理图Fig.1 Correspondence principle diagram of audio and video’s RTP－timestamp

图1展示了音频RTP时间戳、视频RTP时间戳与绝对时间的对应关系。由于不能直接将不同RTP会话流中的RTP包中的时间戳进行比较，因此，如果要实现媒体会话流之间的同步，必须将媒体数据的RTP时间戳和RTCP SR包中NTP时间戳[6]进行对应，将所有媒体流中的RTP时间戳对应到一个NTP全网时间上。

根据 RTP协议得出公式（1），其中 tStamp（i）表示第 i帧多媒体数据的时间戳，StampleN表示一帧多媒体数据的采样点数量。

而一帧媒体数据的采样点数量可以由公式（2）计算，可以得到：

其中，f为采集时钟的频率，T为一帧媒体数据的表现时间，frameRate 为媒体流的帧率，则由公式（1）、（2）、（3）可以得出：

则有：

根据公式（5），L Bertoglio提出一种时间戳映射模型[7]（详见公式（6）。这种模型定义了RTP时间戳增量与RTCP SR包中的NTP时间戳的对应方式。

其中，ΔtsInci（k）代表相邻两个RTP包中的时间戳增量，由此又可以得出：

tsi（j）表示第i个RTCP SR包发出后，第j个媒体数据包的RTP时间戳，NTPtsi（j）为其对应的 NTP绝对时间，f为发送端时钟频率。

根据公式（6）、（7），推导以下公式：

NTPtsi（1）可由下式计算：

将公式（7）、（8）带入（6）得到：

假设发送端编码速率频率是恒定的，因此可以认为在一段时间内，媒体流在编码后产生的时间戳值呈线性增长，可以得到：

由式（9）、（10），可得媒体报对应的NTP绝对时间戳：

通过公式（11），将音视频包的RTP时间戳映射到同一绝对参考时钟，即发送端系统时间上。因此，文中算法不需要全网同步时钟支持，可直接利用发送端系统时钟。

2 接收端同步检测算法

接收端同步检测算法用于音视频同步检测判决，即判断音视频帧的媒体间偏差是否在QoS规定的同步偏差[－80 ms，+80 ms]内。文中采用基于播放时限的同步机制[8]，视频流根据音频播放时间戳来调整自己播放的速度，并采用第一部分介绍的时间戳映射模型，根据QoS规定的媒体同步偏差许可范围，建立音视频同步检测判决规则。

接收端的同步检测判决及相应的同步控制算法的伪代码为：

3 测试结果

1）测试场景:

测试平台：DELL OPTIPLEX 745

操作系统：Windows XP

仿真工具：VC++6.0、MATLAB 2009a

2）参数配置：

测试发送端以25帧/s的帧率发送视频流，同时以100帧/s的帧率发送音频流，它们通过网络传输到接收端，接收端分别以25帧/s和100帧/s的帧率播放视频流和音频流。音视频参数如表1所示。

表1 音视频参数表Tab.1 Parameter list of audio and video

3）测试结果及分析

文中通过测量SPD值对音视频同步效果进行评价，其中，SPD值是H.Liu提出的对于媒体间同步性能的度量，计算公式如公式（12）。同步性能分析结果用同步性能的测量标准中的同步相位失真SPD （Synchronization Phase Distortion）来衡量。SPD值也就是QoS规定的媒体间同步偏移量，它体现了相关音视频帧之间的失步程度。SPD定义为两个强相关对象也即两个时间上最邻近的对象与其原始时间间隔，发生的时间间隔变化如公式（12），其中 Pv（n），Gv（n）是视频流中第 n个媒体单元 （Media Unit，MU）的产生时间和播放时间，Pa（m），Ga（m）是音频流中的第m个MU的产生时间和播放时间，Ma是音频流中MU的总数目。

如图2所示，对比较同步前（左图），本文同步方法（中图）与L Bertoglio方法（右图）的SPD值，经计算，同步前，媒体偏差SPD有的帧超过了150 ms，远远达不到QoS规定的同步偏差标准，同步后，采用文中时间戳映射模型的SPD值控制在60 ms以内，同步偏差平均缩小了30.197 2 ms，同步偏差缩短了66.96%了；同步后，采用本文时间戳映射模型的SPD值控制在60 ms以，经过L Bertoglio模型处理的SPD值控制在100 ms以内，同步偏差平均缩小了8.227 6 ms，同步偏差缩短了30.75%了。

图2 SPD值对比图Fig.2 Contrast diagram of SPD

4 结 论

文中介绍了一种不需要全网同步时钟，且不需要反馈机制的基于时间戳的音视频同步方法。本方法同过采用一种新的时间戳映射模型，根据RTP/RTCP协议有有关时间戳的定义，仅用发送端系统时间表示NTP时间，就可将音视频数据的RTP时间戳映射到一个统一的绝对时间轴上。并且通过对接收端进行同步控制以及缓冲区的优化，解决了在无反馈机制条件下进行播放同步的问题。文中给出了同步前、其他同步方法与文中方法比较分析，结果表明，该方法无需全网时钟和反馈机制就能将同步偏差控制在QoS规定的[-80 ms，80 ms]范围内，并且复杂度较低，同步偏差较小，受空间丢包率影响较小，可应用于空间音视频传输领域。

[1]崔莉，王敏，吉逸.流媒体同步机制的研究[J].计算机应用研究，2005，22（1）：73-75.CUI Li，WANG Min，JI Yi.Study of synchronization of streaming media[J].Application Research of Computers，2005，22（1）:73-75.

[2]姜康林.中国卫星通信未来十年展望[J].中国航天，1999（5）：3-4.JIANG Kang-lin.Prospect of satellite communication in China in next ten years[J].Aerospace China，1999（5）:3-4.

[3]甘仲民，张更新.卫星通信技术的新发展[J].通信学报，2006，27（8）：2-9.GAN Zhong-min，ZHANG Geng-xin.Current development of satellite communications technology[J].Journal on Communications，2006，27（8）:2-9.

[4]Altunbasak Y，Kamaci N.An analysis of the DCT coefficient distribution with the H.264 video coder[C]//Proc.IEEE.InternationalConferenceonAcoustics，Speech，andSignalProcessing，2004:volume 3.[S.L]:IEEE Processing，2004:177-180.

[5]Blakowski G，SteinmetzR.A Media Synchronization Survey:BderenceModelspecification and case studies[J].IEEE Journal on Selected Areas in Communications，1996，14（1）:5-35.

[6]许延，常义林，刘增基.多媒体同步技术研究[J].西安电子科技大学学报.2000，27（4）：504-509.XU Yan，CHANG Yi-lin，LIU Zeng-ji.Study on the multime dia synchronization[J].Journal of Xidian University，2000，27（4）:504-509.

[7]BertoglioL，LeonardiR，MiglioratiP.Intermediasynchronization for video conference over IP[J].IEEE Tansaction on signal Processing：Image Communieation，1999，15（1）:149-164.

[8]Bomnat F，Lloret J，Garcia M.Multimedia groupand interstream synchronization techniques:A comparative study[J].Information System，2009，34（1）:108-131.

[9]Schuhrinne H，et a1.RTP:A transport pmtocd for real-time applications[S].IETF RFC 3550，2003.