即时通信系统中的音视频处理技术

翁国川



即时通信系统中的音视频处理技术

翁国川

极帆迅腾工作室,广东 珠海 519088

近年来，我国通信系统的发展越来越成熟，其中，音视频通信技术更是发生了质的飞跃，有着明朗的发展前景。传统的音视频通信技术要想正常运行不仅需要客户端程序，还需要服务器以及数据库的帮助。目前利用服务器来处理问题已经不是明智的做法，它与当前的用户需求仍然存在一定的差距。基于此，主要阐述了当前音视频处理技术的发展以及它在通信系统中的影响。

通信系统；音视频；处理技术

随着互联网的不断发展，即时通信工具从曾经简单的聊天转变为具备音视频功能的应用程序。我国现在主要运用的音视频通信方式非常多样化，如：视频会议系统、语音通话等。许多通信公司都在争相往这个方向发展，同时传输服务质量成为了主要的评价指标。在整个即时通信系统中，音视频通信功能的实现离不开视音频处理框架以及即时通信协议的存在。这两者构成了这项处理技术的核心[1]。

1 音视频处理框架

1.1 Gstreamer音视频处理

目前，音视频主要是运用模块化的设计理念来进行处理，同时可以更好地构建流媒体程序。其中，Gstreamer音视频的处理原理是先将每一个模块进行封装，然后再通过元件的方式呈现在用户面前。用户在使用的过程中，可以运用库中的元件来进行编程，除此之外，还可以用这种方式来编写元件，最后进入调用程序。如果仅仅以元件的方式来实现许多功能，编写应用程序也会相应简化，只要采用模块化方式来进行编写即可。这种音视频处理是通过局域网来进行简单的多媒体传送。Gstreamer在传送视频数据流的过程中，首先要先将采集到的数据进行色度空间转换，然后再依次进行荷头添加、视频编码等步骤，对数据进行整合的过程发生在gstrtpbin中，同时要显现出报告的发送时间，以便音视频能够同时在接收端得到同步播放， 进而传导UDP中。另外，在接收端，由UDP采集到的数据要经过多个步骤来进行解码，如：数据包解析、解码器解码等，最终利用插件来将这些数据呈现在窗口。其中，会话管理的核心构件就是指的是gstrtpbin，它能够进行数据包的传输、音视频的分流、传输控制等，这些功能让它在音视频处理过程中起着重要的作用[2]。

1.2 Farsight视频处理

在Gstreamer开发库中，可以利用基础元件进行音视频的处理过程，而且能够在一定的局域网范围内进行视频通信。但是这种处理方式仍然存在一定的局限性，一般情况下，视频会议的进行需要多个多媒体同时进行会话，这个过程需要各个多媒体之间要进行相互协调，彼此进行良好的配合，实现会话管理，进而为高层提供更加便捷的工作方式。而Farsight视频处理指的是在Gstreamer的基础之上提出的视频会议理念，进而构建出相应的框架，它能够实现各个多媒体相互协调、配合，有利于插件程序的编写，另外，还能够提供API给用户来调用插件。当高层运用这种方式进行音视频会议的时候，存在一个显著的优势，能够保证底层数据流的稳定以及NAT穿越的问题。为了能够实现视频会议功能的多媒体框架，Farsight在对元件开发的时候要注意与Gstreamer元件的整合度，只有当整合度越高，视屏会议功能的实现才能更有保障。Farsight中包括多路音视频会话流，里面存在许多会话参与者，使得音视频会话管理的功能更加强大。采用模块化设计的方式来实现通信软件的音视频服务，为多媒体处理提供了更广阔的渠道，同时使得视频会议功能能够实现不断地发展。就目前情况而言，大多数即时通信客户端都是采用这种处理方式来实现音视频通信。

2 音视频处理技术在即时通信系统中的发展

为了创造出更便捷地开发方法，一些软件开发者开始将带有图形的用户界面与通信部分进行分离，将它们的核心代码提炼出来，成为通信客户端开发的重要组成部分，俗称Libpurple。现如今，Adium与Proteus这些客户端都采用这个程序库。他们先完成分离工作，再将自己的图形程序添加进去，形成一个新的客户端接口。在Libpurple中，多媒体通信成为最主要的目标，所以软件开发者要Udine整个处理框架进行稍微地处理，继承和封装。并通过即时通信协议，来为用户提供使用接口。同时用户可以通过应用程序接口的方式来进行程序的编写，从而完成网络层与网络层之间的衔接。除此之外，程序操作者还可以直接通过Libpurple来编写程序的核心代码，进而完成整个应用程序的建设。而且Libpurple实现的即时通信协议非常多样化，如： MSN、AIM等。并且对于媒体后端流处理的协同工作也能够顺利完成。Libpurple是以实现具有自身特色的流媒体模式为主要目标来进行开发，但是要想完成这个目标需要站在Farsight的基础上来进行设计。

在Jingle协议中规定了RTP通信的许多标准，同时为用户提供了两种不同的数据通道，RAWUDP和ICE—。注意要根据具体的视频通信情况来选择数据通道，程序的不同会导致对通道的选择不同。为了让音视频通信进行地更加顺利，Libpurple需要在原有的基础上构建一个新的组件对象酬emedia，再利用这个对象来对Farsight组件中参数信息进行提取，提炼出精简的、有用的信息，如传送目的地址、解码器信息等。在完成这个步骤之后，将过滤后的信息传递给Jingle协议，进而不断地在通道内对协议进行完善。当出现新的即时通信协议时，要利用Farsight完成视频通信，此时，开发者通常都是以Libpurple为前提进行开发，结束后再进行移植，实现完整的视频通信。

3 结束语

综上所述，以当前的形势来看，即时通信系统的出现十分频繁，如：腾讯、Skype等通信公司都具备一个完整的系统框架。一般情况下，开源特性较强的即时通信开发速度比较快，重视技术的发展，不断更新技术，进而为用户创造一个富有个性化的应用模式。而音视频处理在即时通信系统中显得尤为重要，其中以Farsight／Gstreamer音视频处理框架是实现多媒体通信的重要技术基础，它能够让音视频通信工作变得简单化。目前我国的这项技术在通信系统中的应用还不够成熟，还需要一段时间进行磨合，所以相关的研究人员必须要加大研究力度，提高两者的整合度，相互促进，相互发展。

[1]张晨. 关于即时通信系统的相关研究[J]. 中国科技纵横，2016（1）：55.

[2]刘克轩. 基于FPGA和DSP的音视频采集处理系统设计[J]. 电子器件，2016（3）：32.

Audio and Video Processing Technology in Instant Communication System

Wengguochuan

Jifan xunteng studio, Guangdong Zhuhai 519088

In recent years, the development of communication system in our country is more and more mature, among them, the audio and video communication technology has been a qualitative leap, has a bright future. The traditional audio and video communication technology to normal operation not only needs the client program, but also need the help of the server and the database. At present, it is not wise to use the server to deal with the problem, it still has a certain gap with the current user needs. This paper mainly expounds the development of the current audio and video processing technology and its impact on the communication system.

communication system; audio and video; processing technology

TN912.3

A

1009-6434（2016）10-0089-02

翁国川（1994—），男，汉族，籍贯为广东省潮州市，学历本科，研究方向为软件音视频通信，图像处理。