基于FPGA的多路音视频控制系统的实现

张丽红

（厦门视诚科技有限公司，福建 厦门 361101）

0 引言

伴随远程会议、在线教育、网络直播等深入人们的日常工作、教育和生活之中，越来越多的场景对大规模实时音视频技术提出更高要求。因此，需要强有力的视频处理设备，对视频进行高效处理，尤其是对多路音视频的实时处理。而mini设备就具备这一特点。

1 概述

mini设备是一款用于直播的迷你信号切换器，图1是mini视频处理器的系统连接简图。mini设备自带 TFT 屏幕可以实时预监4路HDMI1.4输入源，输入源可以来自电脑、笔记本、摄像机、DVD等，输入的模拟音频可以链接话筒；mini设备有两种输出接口，分别是HDMI1.4和USB3.0，其中USB3.0输出口可用于直播推流，整体输出相当于常规USB网络摄像头，可顺利搭配视频软件来使用。mini设备支持音控台的音视频同步切换功能，可以灵活运用在会议、小型化录播、直播、小演艺厅等场景中。

图1 min视频处理器的系统连接简图

2 系统总体框架

作为一个完整的音视频处理系统，mini设备不但具备音视频信号的采集功能，更重要的是能对图像和音频进行实时处理。mini设备选用XILINX公司的Artrix7系列XC7A200TFFG1156-1型号的FPGA芯片作为核心处理单元，硬件系统框图如图2所示。整机设备具有速度快、集成度高、功耗低、可靠性强、可测可验证等特点。

如图2所示，1路模拟音频经过CS5340音频A/D转换器转换成数字音频，再进入FPGA主芯片；4路HDMI IN输入源经过IT6604解码芯片后输出RGB视频流和IIS数字音频，再并行进入FPGA主芯片；MCU作为整个系统的主控制器，负责驱动系统的外围芯片，并通过SPI协议配置FPGA主芯片的各种参数，如输出视频的行场时序，图层的大小和位置等。mini设备提供了1路模拟音频输出口，芯片采用CS4344音频D/A转换器；1路TFT LCD屏幕接口，用于实时预监4路HDMI IN输入源；2路输出端口分别是HDMI1.4和USB3.0，可以输出多种不同分辨率的信号，时序部分严格遵守CEA-861标准[1]。

图2 mini的硬件系统框图

3 FPGA设计方案

由mini的硬件系统框图可知，FPGA芯片输入端有4路TTL视频流和5路数字音频；输出端有3路TTL视频流和3路数字音频；DDR3（Double Data Rate 3）作为输入模块与输出模块之间的视频数据缓存器，FPGA芯片作为主控制器，采用硬件描述语言verilog[2]实现了整个设计的功能。

3.1 FPGA设计流程图

mini设备的FPGA设计流程图如图3所示，FPGA主芯片主要完成5路数字音频切换输出，包含音量调整和音柱显示功能，及4路视频信号无缝切换输出，包含图层缩放、图层叠加、特效切换等功能。

图3 FPGA设计流程图

3.2 FPGA视频处理

FPAG视频处理方案如图4所示，视频处理[3]主要涉及到图像缩小、放大[4]和叠加处理。LCD液晶屏[5]可以实时预监4路HDMI 1.4输入信号，4路视频源缩小后田字拼接显示，且每路信号都画了边框，绿色边框是分界线，红色边框是主输出正在显示的画面，黄色边框是当前正在编辑的画面，每路信号都有OSD字幕，显示输入源的分辨率信息。

图4 FPGA视频处理方案

PST（PRESET）是预切画面，PGM（PROGRAM）是主输出画面，即实际播放的画面。PST和PGM之间可以做各种特效切换，PST和PGM都可以实现画中画输出，可在任意设置进行图层缩放操作，可裁剪选取图像的任意部分以供输出，第2个图层可以实现抠图效果，主输出画面可以添加LOGO[6]。

PVW（PREVIEW）是预监画面，它由4路输入源，和PST、PGM画面组合成，可以对主输出提前设置，看效果是否可以。PVW画面上每个子图层都有音柱，可以直观显示每路信号的音量大小。PVW画面上的边框和OSD字幕定义同LCD屏一致。

3.3 FPGA音频处理

FPAG音频处理方案如图5所示，音频标准采用IIS Philips标准，音频格式是将24位数据封装在32位帧中，音频处理主要涉及到音频解码、音频编码和音频混音处理。音频侦测模块用于侦测是否有音频输入，选择有音频输入的3个时钟分别作为混音处理的主时钟、串行时钟和帧时钟。

图5 FPGA音频处理方案

4 验证与测试

测试平台的实物如图6所示，4路HDMI输入源的状态可以通过TFT LCD屏实时监看。板子通过USB3.0接口连接到电脑上，将视频信号采集到电脑中，然后通过推流软件将视频流通过网络直播出去，图8是板子通过OSB推流软件打开USB3.0正在播放的视频源。从图7和图8可以看出红色边框信号源是PGM主输出画面，黄色边框信号源是PST预切画面。板子通过HDMI1.4输出口连接到液晶显示器上显示，图9是第4个信号源抠图之后的PVW画面效果。

图6 测试平台

图7 USB3.0输出的PVW画面

图8 HDMI1.4输出的PVW画面

5 结论

基于FPGA的多路音视频控制系统的实现是在充分的理论分析与市场需求基础上做出的系统设计，是一款小型现场制作切换台，方便携带。测试结果表明，本系统工作稳定可靠，可满足于多路的高性能的实时图像处理系统要求。此外，系统采用了FPGA设计方案，集成度高、设计灵活，可以根据客户的要求进行系统重构，方便快捷，具有较高的应用价值。