基于多传感器融合技术的视频音效智能控制系统设计

徐群磊，侯建萍

（商丘学院 计算机工程学院，河南 商丘 476000）

0 引言

为了更好地实现信息传递与实时共享，应用多媒体网络技术进行视频会议，成为目前常用的流媒体信息共享模式[1]。视频会议系统，又称会议电视系统，是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互传，实现即时且互动的沟通，以实现远程会议的系统设备。视频会议对视频音效控制系统的要求较高，现有的控制系统在控制精度和控制效率等方面仍有待提高，因此，本文基于多传感器融合技术设计新的智能控制系统[2]。为了使视频会议在会议控制、音效等方面得到质的提升，引入多传感器融合技术，设计视频音效智能控制系统。

为实现对视频中的音效进行智能化控制，在引入多传感器融合技术后，提出一种全新的控制系统，其硬件基本结构如图1 所示。

按照图1 所示的方式完成所有硬件的连接，将监测主机与系统内各个自动控制主机相连接。通过网络通信的方式，对获取到的视频中的相关数据进行实时监测，同时能够实现与不同场景中控制主机的数据交换，形成一个小型的控制集群结构。在实际应用中，通过对系统权限的设定，实现对系统中各个控制设备的运行状态调节。

图1 视频音效智能控制系统硬件结构示意图

1 系统硬件设计

1.1 音频处理器选型

针对本文控制系统中的音频处理器进行选型，首先明确该处理器的主要应用目的是实现对视频中音效的处理。为了确保处理精度，选用TMS320F28027FPTT 型号音频处理器，该型号音频处理器的基本性能描述如表1 所示。

表1 TMS320F28027FPTT 型号音频处理器性能描述

本文选择的TMS320F28027FPTT 型号音频处理器主要与音效控制模块相连接，利用该处理器对获取到的音效控制指令进行识别，并将识别后的结果传输到音效控制模块当中，完成相应的指令动作[3]。该型号的音频处理器可以有效调节输入增益，更有利于输入均衡。根据系统需要设置分频，确定工作频段，TMS320F28027FPTT 型号音频处理器的最大频率在60 MHz，因此将LPF 设置为60 MHz，以满足实际系统运行需要。

1.2 数字调音控制台设计

基于数字调音控制台的应用优势，本文选择将型号为NFZY ESP880A 的数字调音控制台应用到控制系统当中。该型号数字调音控制台输入为18路，输出为10 路，可支持多种操作系统对其进行操控[4]。NFZY ESP880A 型号调音控制台上集成了模拟调音台、反馈抑制器以及均衡器等多种调音装置，且其主体结构上安装了告警电容触摸显示屏，能够方便控制系统的用户完成各项操作[5]。

1.3 传感器选型

为了确保控制系统的控制指令设置具备更可靠依据，需要对图像、视频、音频等进行采集。通过获取到的综合信息，确定控制策略[6]。针对图像的采集选用AT2L00XEGA0-DR 型号图像传感器；针对视频的采集选用SUNPN 型号视频传感器；针对音频的采集选用MP34DT05TR-A 型号音频传感器。其中SUNPN 型号视频传感器需要利用CCD 摄像头采集视频图像信息，并通过其内部的DSP 芯片实现对视频每一帧图像的处理和检测。为了实现三种传感器的同步运行，针对提取信息的数据层、特征层以及决策层进行处理。从多个传感器获取的信息中提取特征，并实现对不同特征的属性判决，确定相互之间的关联关系，对属性进行融合，最后给出联合判断结果。通过三种传感器的相互配合，实现对视频文件后端高质量的采集。

2 系统软件设计

2.1 基于多传感器融合的视频音效数字信号处理

由于利用多种不同采集对象的传感器对视频音效的信息进行采集时，多种具备不同功能的传感器所提供的信息存在极大差异，而这些区别较大的信息在融合时会造成控制系统无法实现对音效的有效控制，针对这一问题，在上述硬件条件基础上，基于多传感器融合技术，对各个传感器获取到的视频音效进行数字信号处理。将传输速率在1.5 Mb·s-1以下的数字存储和媒体用视频以及相关音效进行编码，针对宽带音频信号提供不同的压缩比进行压缩。将获取到的音频信号左声道和右声道以左环绕立体声和右环绕立体声代替，以此实现对视频音效的数字信号处理。

2.2 视频音效自动增益控制

在本文的控制系统当中，针对音效特质按照档次进行划分，分别为低复杂性档次、可分级取样率档次以及主要档次。将增益控制设定在可分级取样率档次中，通过正交多项滤波处理，将输入的视频音效信号按照带宽进行划分，针对最低频带以外的信号进行增益，以此提升其在瞬时状态下的信号质量。利用滤波装置将时间信号转变为1 024 线MDCT 系数，并利用预测模块对主要档次的预测误差进行编码处理。针对音效当中的自然音频进行编码，采用参数编码的方式完成，将码率在24～64 kb·s-1的音频作为语言信号，将小于24 kb·s-1的信号利用预测编码将其作为音频信号。最后，根据音频的幅度和波形响应，将完成增益处理的音效输出，以此实现对视频音效的智能控制。

3 对比实验

为了验证该系统在实际应用中的效果，选择基于单一视觉传感器的控制系统作为对照组，将本文提出的基于多传感器融合技术的控制系统作为实验组，开展如下对比实验。

利用基于S3C2410 的流媒体服务器作为运行环境，搭建一个控制系统的运行环境。将话筒和具备USB 接口的摄像头与该服务器连接，通过该服务器完成对视频的获取。将PC 端作为用户端，测试两种控制系统对视频音效的控制效果。分别从控制效率和控制精度两个方面对系统运行效果进行对比分析。首先从控制效率方面对比，将两种控制系统对相同视频文件当中的音频获取速度作为评价指标，在实际应用中，若系统能够对视频当中的音频进行快速采集，则能够为后续音频识别和音效调节提供更有利的条件，从而促进控制效率的提升。计算得出两种控制系统的音频获取速度，如表2 所示。

表2 实验组与对照组控制系统的音频获取速度

从表2 的数据可以看出，在对5 个视频文件中的音频获取时，实验组的音频获取速度均在30 f·s-1左右，而对照组音频获取速度最高仅为16 f·s-1。因此，从这一实验结果可以看出，实验组的音频获取速度更快，控制效率更高。

其次，从控制精度方面对比，将两种控制系统对相同视频文件中的音效控制分贝作为指标，分贝的计算公式为：

式中：dB表示为音效的控制分贝，vref表示基准值，v表示控制系统的音效控制强弱水平参数。

根据上述公式，对比两种控制系统的音效控制情况，结果表3 所示。

表3 实验组与对照组视频音效控制精度对比

从表3 记录的数据可以看出，本文设计的基于多传感器融合技术的控制系统无论是在控制效率还是在控制精度上都明显优于传统控制系统，在实际应用中可充分满足视频音效调节和控制需要。

4 结语

本文提出了一种全新的视频音效智能控制系统，并通过对比实验的方式证明该系统的应用优势。本文提出的控制系统可应用到当前各企业或高校的视频会议当中，为用户带来更好的会议体验，并降低会议现场周围嘈杂性对会议质量的影响程度。在后续研究当中，将针对系统在实际应用中的自适应性进行进一步探究，从而使该控制系统能够应用到更多领域，促进多传感器融合技术的全面发展。