基于FPGA+DSP 的高速视频实时处理系统设计

(北京青云航空仪表有限公司,北京 101300)

0 引言

随着经济的快速发展,各个领域对高速视频图像实时处理的速度与精度提出了更高的要求,譬如:机器人导航领域、现场监控领域、安防领域等。在此背景下,高速视频图像实时处理技术得到了长足的发展[1]。20世纪70年代,人们开始利用高速摄像机来记录运动的物体,但当时高速摄像机是以胶片的形式作为记录介质,无法实现数据的实时处理[2]。现如今,高速工业相机的采样频率高达1000FPS(Frame Per Second)[3],由于高速视频图像实时处理系统具有数据量大,数据相关性高,而且对图像的帧、场时间具有严格的限制,因此,高速视频图像实时处理领域对中央处理芯片、外部存储芯片的工作速率以及核心算法的运算复杂度等都提出了极大的挑战[4]。

1 系统设计

如图1 所示,高速视频实时处理系统采用Xilinx公司的K7系列FPGA芯片作为核心控制器,采用TI公司TMS320 C6455作为图形处理器。通过Camera Link总线接收高速视频数据,并将视频数据缓存在由4片DDR3-SDRAM 构造64 位宽的外部动态存储器内,同时根据接收视频的帧位置向DSP发送中断。DSP根据中断信息通过DMA 的方式从DDR3 中读取视频数据进行实时跟踪处理。并将跟踪波门信息反馈给FPGA。FPGA 利用视频叠加技术将波门叠加在输出的VGA 视频中实时显示。

图1 高速视频实时处理系统框图Fig.1 Block diagram of high speed video real time processing system

1.1 高速视频输入

高速视频采用Camera Link Full接口输入,视频分辨率1280×1024、位宽8bit、帧频520f/s。

Camera Link标准由数家工业级相机及采集卡制造商共同制定,该接口具有通用性,标准规定了引脚分配及相应的接插件规范,能够确保兼容设备的接口实现无缝连接。Camera Link标准基于Channel Link技术,在传统LVDS(Low Voltage Differential Signaling)传输数据的基础上加载了并转串发送器和串转并接收器,利用SERDES 技术,数据传输速率可达到4.8Gb/s,能够有效解决视频数据输出和采集之间的速度匹配问题。LVDS信号是一种符合差分电平标准的低电压摆幅传输技术,它通过350 mA恒流源驱动器在平衡线对上传输约为350mV的低压差分信号。外界噪声以共模方式同时耦合到2条差分信号线上,而接收端只关心发送信号和接收信号之间的差值,故噪声能够得到有效抑制。由于LVDS 电压摆幅很小,差分线对上的数据能以相对较高速率传输。LVDS驱动器和接收器还能实现热插拔,恒流源驱动能够有效避免设备的损坏[5]。

高速视频实时处理系统采用Channel Link解码芯片将接收到的LVDS 视频信号转换为LVTTL 并行视频信号后输入至FPGA。FPGA 内部视频采集模块首先对输入的视频流进行解码,解码得到视频数据以及视频数据对应像素点的坐标(frame,line,sample),然后将每个像素点的坐标映射到DDR3存储的地址上,并将映射后的地址和像素数据打包存入视频输入FIFO中。最后由总线使用控制模块控制将像素数据按映射的地址存入DDR3 中。

视频采集模块根据视频输入进度向DSP 提供视频中断,视频采集模块共有3 个视频中断信号可用,分别为场中断、行中断0和行中断1。其中,场中断在接收完一整帧数据后产生,并将帧编号寄存。行中断在视频接收到设置的门限行时产生中断,并将帧编号寄存。详细关系如图2所示。

图2 视频中断时序示意图Fig.2 Video interrupt sequence diagram

上述的3个视频中断信号可以通过配置寄存器设置由GPIO4和GPIO5提供给DSP,原理如图3所示。

图3 视频中断选择逻辑原理图Fig.3 Schematic diagram of video interrupt selection logic

1.2 实时视频数据读取

高速视频实时处理系统可以实现DSP通过EMIFA接口灵活读取外部输入的视频数据。视频数据首先由FPGA进行解码,之后存入板载的DDR3存储器中,并向DSP发送中断。DSP收到中断后向FPGA设置要读取视频的窗口,并启动FPGA读取DDR3中的视频数据。FPGA收到DSP发送的读取视频命令后,将DSP指定的视频窗口内的视频数据按顺序从DDR3中读出并存入视频缓冲FIFO中供DSP读取。DSP发送完启动FPGA读取命令后,检测FPGA的视频FIFO状态,并将视频FIFO中的数据通过DMA方式搬移到L2中供视频解算使用。当DSP将所设置的窗口数据都读完后触发DMA 中断,在DMA 中断中对视频数据进行解算,如图4所示。

图4 DSP 读取视频数据原理框图Fig.4 Schematic diagram of DSP reading video data

2 系统功能测试

高速视频实时处理系统设计完成后,采用IDT公司的M3面阵相机以520fps的帧频(全分辨率1280×1024)的高速模式下进行实时跟踪测试。在某实时跟踪设备测试中,本高速视频实时处理系统能够实时处理高速视频,波门跟踪准确流畅,实时性高,测试效果如图5所示。

图5 高速视频实时处理系统测试中对渔船进行跟踪Fig.5 Track fishing boat in the test of high speed video real time processing system

3 结论

本设计基于FPGA+DSP的高性能视频实时处理系统能够实现高速视频的实时接收、缓存、处理和输出波门叠加等功能,能够作为一个通用的高速视频实时处理系统。其中高性能的DSP为实时图像处理算法提供强大的算力,高性能FPGA 作为控制器实现高速视频流的接收、缓存、分发和输出。试验结果表明,本系统能够稳定实现分辨率1280×1024、位宽8bit、帧频520FPS的视频实时跟踪处理算法。