基于互联网的多路实时流媒体同步合成技术

李观胜

（珠海城市职业技术学院 广东 珠海 519090）

1 引言

网络宽带不断提升和音视频压缩技术进步，也使得流媒体技术得到发展，并且得到广泛的应用。在全球流媒体市场下，而且提供交流媒体的公司和服务受众也比较多。与此同时，在实时传输技术不断发展的背景下，对于网络流媒体直播业务来说，也逐渐广泛化，如开展监控和视频会议等业务。基于互联网媒体同步应用，受到了人们的关注，从虚拟乐队直播系统的角度上来看，对于不同的地理位置等能起到支持的作用，而且通过网络的应用，可实现线上直播，进而获得良好的效果。在以往传统流媒体系统中，从多路实施流媒体直播系统的角度上看，在多媒体内，要同步维持，在其他同类型媒体间实现基于同步合成等方面还无法实现。

2 流媒体技术

所谓流媒体指的是在网络上，主要就是通过对多媒体文件等流式传输技术进行使用。在流媒体传输方式系统中，从用户的角度上来看，其文件下载上不必将其都下载完就能看到文件中的内容，只是经过几秒的启动延时，在用户计算机上，通过相关硬件的运用来解压流媒体文件，如动画和音视频等，并进行播放进而观看，而且在后台中，还能继续下载多媒体文件剩余的部分。这与以往下载的方式相比，其多媒体文件通过边下载边播放的流媒体传输方式，具有一定的优点而且体现得较为明显：一方面，在启动延时等方面，时间比较短；另一方面，在系统容量等方面，对其需求不高，仅需要特定的实时传输协议。

3 多路实时流媒体系统架构

对于多路实时流媒体系统进行分析，此系统的构成，主要包括采集端、流媒体服务、客户端、合成服务器和控制管理平台等。在不同地理位置下，多路实时流媒体系统会有多个采集端。对于流媒体服务来说，能使得实时流式更好地实现，并提供这项服务。在合成服务器中，主要有多个采集端合成，并展开发送，其中主要发送音视频，还可实现同步。从客户端的角度上来看，为了使播放软件顺利的完成，还离不开音视频，在解码上，实现同步，并将其显示出来，这在用户对流媒体观看上，也带来一定的便利。在控制管理平台中，主要将用户作为核心，开展相应的管理，其网络环境等方面开展相应的监测；控制好合成资源等，以上这些也是平台主要负责的。

4 多路实时流媒体同步合成机制与实现

在音视频数据流处理的采集和发送以及接收等环节中，其同步机制等方面，需要将其贯穿其中，在系统的各个环节中，其同步控制必须要实现。在控制管理平台中，通过TCP套接字传输命令的应用下，在系统各个组件中，使其组件之间的通信更好地实现，而且在对待同步媒体数据采集时，在对网络状态监听时就已经开始。采集端将指令发送给控制管理平台，而且还是具有权限的，如果效验成功的话，针对此通知对于其他采集端而言就能接收到，进行倒计时，其同步合成处理等方面开始相应的启动。当启动同步合成后，对于每一个RTMP音频包装来说，各采集端会给额外时间戳。合成服务器开展容错处理时，主要就是通过媒体加载的初始化时延的实现，还有就是差错控制机制恢复流内，而且来对其合成多路媒体时，主要就是在RTMP下，基于改进的时间戳同步机制[1]。对于合成的音视频信号来说，其对音视频实时同步机制合成流媒体等方面，主要就是各自编码器在各自编码后，对于时间戳重新安排，并推流直播。而且在整个多路实时流媒体系统中，从流媒体合成器的角度上来看是非常重要的，其具有重要的意义。在多路实时流媒体等方面，其主要负责三个方面，为同步、合成以及转发。

4.1 基于RTMP改进时戳同步机制

在其多路实时流媒体直播系统等方面，对于有同步需求的直播系统来说，在线直播应用中是最合适的。从这类应用等方面，其业务特点上有相同之处，在伴奏等方面，可通过对基准音频文件进行运用，其视频旋律和节奏等方面，使其能做到相统一。从采集端用户的角度上来看，登录之后，对于合成服务器来说，针对多路流数据开始合成，并推进流之后。针对同步合成，当启动之后，在同类媒体同步操作等方面，使其不断增加[2]。

通常情况下，在流媒体编码机制中，其参数上，都是以一个参数为时间基参数，在视频帧和音频帧播放时间等方面可用进行计量。对于这种戳来说，其生成主要根据的是采样频率，与帧是有直接关系的，在按照顺利的编排下，为视频的顺序提供重要的保障。在多路实施流媒体同步的过程中，对于某个采集端而言，如果一旦发生了故障，或者是网络发生了中断的现象，基于同步合成等方面，在重新参与合成的过程中，从这种时间戳的角度上来看，在其重新接入点上，是难以将其确定下来的，这与采样是有直接关系的。

在其音频间和视频间等方面，文本在两者之间同步实现等方面，主要利用实践戳同步技术，将其不断地改进，而且在信道和全网同步化实现上，省去了附加这一步。从采集端用户的角度上来看，当登录成功之后，在控制管理平台中，下载基准音频文件，并下载到本地，当加载完之后，其合成方面基于同步。之前对于多路数据流来说，只能使其合成处理更好地实现[3]。

在各采集端启动同步合成之后，在其本地基准音频相关文件等方面，开展相应的播放。各端对于字节数生成时间戳已经播放，这主要结合的是基准音频文件[4]。对于音频来说，其编码完成之后将其进行包封，装成RTMP，并将额外时间戳附加在RTMP音频包尾部分。在自定义时间戳数值等方面，在实际开始时，主要从0开始，对于单调线来说，其不断增长，其主要的原因与音频采样有直接的关系。在各路媒体流的音频中，为了使得采样率能相一致，对于多路音频流来说，在音频包等方面，其自定时间戳上，能为其提供保障。随着时间不断流失，在各路时间戳中，会产生一定的误差。基于此，在采集端中设置参数时，一定要联想起基准音频文件，而且此文件主要包括的是此文件已播的字节数。所以，当时对此字节数播放之后，从0开始，从已播放字节数入手，展开相应的计算，并生成时间戳。通过基准音频文件生成与内容相关的实践戳运用，对于已合成的阶段来说，可以将其判断出来，在同步情况下，其恢复直播数据流等方面可以准确接入，在各路音和视频间等方面，为实现同步提供重要的保障。

4.2 基于同步容限的媒体流合成机制

在流媒体系统中，其声音失步等方面，从人们的角度来看，是非常敏感的。基于此，在音频处理模块中，其音频合成等方面需要为合成的同步性提供重要的保障。在性能和质量上，确保两者能实现平衡，在对系统的实时性需求满足的基础之上，使其合成质量获得提高。在同步阀值设置上，要结合实验结果动态，在阀值范围中，对于多路音频对应的音频包的额外时间来说如果在此范围内，其音频包在同一时刻合成。

4.3 音视频实时同步机制

在流媒体播放的过程中，对于视频和音频来说，两者的传输通道具有一定的独立性，而且在发送和接收时，主要采取的是穿插方式。在音视频同步处理的过程中，通常情况下，以发送模块和接收模块为主。而且在媒体同步实现等方面，多路复用技术是最有效的方式，其媒体流间的同步上能将其简化，将额外信息道来对同步进行传输这一步省略。

5 互联网的多路实时流媒体同步合成技术应用

5.1 视频会议

对于视频会议来说，省去了人们到某一地方聚集事件，充分利用网络实现面对面沟通。基于此，对于有的学校来说，为了节省开支，使得工作的效果获得提高，逐渐运用了视频会议。尤其是在流媒体技术不断发展下，其视频会议组播技术方面的难题通过此技术进一步得到解决，其中主要的难题为安全等。可以听到多个发言者的声音，且对于会场的视频和图像等省去了传送时间，实现实时接收，一定程度上，促使视频会议系统更好地发展。

5.2 视频点播

在互联网中，对于视频点播来说，是非常重要的应用，在VOD视频点播要求下，其播放视频节目的过程中，可结合用户的实际要求。但是对于以往传统的技术来说，其音视频信息等方面，相对而言比较大，服务器终端离不开大量的存储系统。与此同时，在大量数据源传输等方面，出现了超过负荷的现象，服务器在点播上，使其不能做到大规模点播。在当今社会，随着宽带不断发展，在视频点播系统中，也逐渐应用了流媒体技术。对于流媒体来说，其对互联网运输适合主要原因就是经过了编码压缩，而且此编码还具有一定的特殊性。并通过先进的机群技术，可发点播要求，而且还是大规模的，在大规模的点播环境下，能够更好地适应。所以，充分运用流媒体技术，在家中或者是学校对于自己的喜爱的视频等，通过宽带网交互式个性服务，可进行点播。

5.3 远程教育

在当今社会，随着计算机和互联网技术的不断发展，也使得远程教育得到了发展，这其中离不开流媒体技术的应用。对于远程教育来说，不受时间和空间的限制，促进学生自主学习，充分发挥出学生的主观能动性，其教育资源方面，实现共享，促使学生更好地接受。在远程教育中，主要由教师开展相应的设计，将优秀的网络课程设计出来，而且还是文本和图片以及视频等为一体的，通过流媒体技术的应用，使得宽带限制性有所突破，通过在线的方式，教师就可为学生传授相关的知识，结合信息反馈，便于对教学内容进行相应的调整，便于学生更好地学习，促进师生之间的沟通。