大型视频多帧图像信息处理系统设计

温洪波

摘 要： 针对传统处理系统一直存在多通道视频多帧图像信息处理不全面的问题，提出并设计基于FPGA+2DSP架构的大型视频多帧图像信息处理系统。设计过程主要分为硬件设计及软件设计两部分，在给出系统整体模块图的基础上，通过视频多帧图像采集卡、DSP复位电路、串口控制电路等模块对硬件部分进行设计分析；软件部分主要通过其整体软件实现流程为主，并给出了部分结构图。实验结果表明，采用改进设计系统其图像信息处理结果跟踪误差分析结果比传统处理系统提高了15.02像素。

关键词： 大型视频； 多帧图像； 信息处理； 采集卡； 串口控制； DSP

中图分类号： TN911.73?34； TP271 文献标识码： A 文章编号： 1004?373X（2018）20?0053?04

Abstract： As the traditional processing system has a long?term existing problem of incomprehensive information processing of multi?frame images in the multi?channel video， a multi?frame image information processing system based on the FPGA+2DSP architecture is proposed and designed for the large?scale video. The design process is mainly divided into two parts of hardware design and software design. On the basis of presenting the overall module diagram of the system， the hardware part is designed and analyzed by using the modules of video multi?frame image acquisition card， DSP reset circuit， and serial port control circuit. The software part is focused on the overall software implementation process. The partial structure diagrams are given. The experimental results show that， in comparison with the traditional processing system， the improved design system′s tracking error from analysis of image information processing results is increased by 15.02 pixels.

Keywords： large?scale video； multi?frame image； information processing； acquisition card； serial port control； DSP

0 引 言

图像处理技术的应用范围变得越来越广泛，如在军事、医学、工业和交通等多领域的使用。这些不同领域的不同应用[1]，也产生了大量的视频图像，说明图像处理技术已经越来越深入的应用到人们的生活和社会工业生产中。因此根据行业需求的不同，图像帧数也不同，视频多帧图像也逐渐出现在图像库中，各种对视频多帧图像处理软件也被开发出来，但不同软件的应用方向和侧重点都不相同，且存在各种各样的问题[2]。如何对大型视频多帧图像信息进行处理，如何使处理系统界面简洁明了，图像信息处理功能完善，采用什么方法优化处理系统，解决系统处理速度慢、可扩展性差的问题成为了该领域亟待解决的问题。文献[3]通过SoPc和FPGA两大处理技术，以视频转换芯片SAA7113完成视频图像采集模块设计，采用CY7C1049 SRAM完成图像数据的存储，设计VGA显示输出控制关联模块，同时重新修改了显示芯片具体运作形式的配置信息，达到优化图像信息处理系统优化的目的，但是该方法存在运行耗时长的问题。对此，提出并设计了基于FPGA+2DSP架构的大型视频多帧图像信息处理系统。

1 视频多帧图像信息处理系统整体结构设计

采用运算能力满足系统运行要求的处理器对视频多帧图像信息处理系统进行设计。为了使处理系统能够满足多级预警机制和多路处理机制，选择合适的FPGA器件对内部缓存信息进行并行处理，采用适合的数字信号处理芯片（DSP）进行信息过滤和目标识别[4]。在选择系统硬件核心处理器时，主要以达到信息处理系统处理需求为基础，结合处理器功能特点进行系统整体结构设计。根据选用核心处理器的特点及其不同的技术指标，对大型视频多帧图像信息处理系统进行优化设计，如图1所示。

由图1可知，為达到对图像信息处理时可多级预警及多路处理，设计图像处理系统需满足多路图像子帧数据同步处理。在对目标图像信息进行识别时，系统需在设定时间里实现特征提取及相应方法的运算，而现有系统多使用FPGA+单DSP架构，无法满足系统的实时性要求。对此，引入DSP架构[5]，将原有的FPGA+单DSP架构转变为FPGA+2DSP架构，优化原有系统对图像信息处理能力。在设计过程中选择Xilinx公司生产的XC5VLX110T型FPGA内部资源丰富，共有17 280个资源片，每个资源片内核都包括25[×]18的乘法器，加法器和累加器；另外此型号FPGA的内部资源还包含了RAM、时钟管理模块、锁相环、[PCI?e]核，可供应用户使用的[IO]资源。采用XC5VLX110T型的FPGA，其功能内核寄存储资源较为丰富，可达到图像信息滤波处理、控制等功能的使用目的[6]。选用TI公司DSP芯片中适合进行视频多帧图像信息处理的TMS320C6455型DSP芯片。该芯片乘加运算的处理能力运用90 nm加工技术达到每秒9 600×106次。其最高工作频率为1.2 GHz，包含SRIO通信模块。利用SRIO协议进行处理器间的通信，这与早期C6000系列DSP芯片有很大的不同，有效提高处理器间的通信速率。

2 视频多帧图像信息处理系统硬件结构

该系统硬件部分有两个子系统：一是图像采集模块，主要是对图像信息处理的触发，采集性能；二是DSP图像处理系统，实现图像处理性能。其中最主要的是视频多帧图像的采集卡、DSP复位电路模块及串口控制电路模块的设计。

2.1 视频多帧图像采集卡

计算机通过使用CCD镜头获得视频图像信息流，通过视频卡将采集的视频多帧图像信息进行格式转变、存储，方便软件使用，实现视频多帧图像信息的处理。视频卡组成及工作原理，如图2所示。

图2中，以复合视频输入为基础，选取一路或一组视频当作目前输入的图像信息，传输给数字解码器，对图像信息进行分析[7?8]。数字解码器把传输的复合视频进行分离，经过控制电路让它达到同步要求的单号变成亮度信号Y及色差信号UV，传输到A/D实行模/数转换，获得图像帧数。经各种处理视频多帧图像信息后，采用PCI总线，將信息传送到VGA卡进行显示及存储。

2.2 DSP复位电路

DSP复位电路芯片选用MAX823芯片，该芯片能够提供自动启动复位、手动复位和看门狗电路功能，其结构如图3所示。

2.3 串口控制电路

系统采用RS 485串行接口，为完成图像信息处理系统使用max481芯片当作串口的控制芯片，由FPGA进行编写串口控制逻辑，结构如图4所示。

3 软件系统整体设计

一个完整的图像信息处理系统应重点包含视频图像信息采集、图像信息传输、信息处理和视频图像信息输出等部分，其中又包括各个部分的性能细节的达成。若要构建一套完整的图像信息处理系统，一个完善的软件体系是不可缺少的[9?10]。软件部分关键点是依据系统需求进行设计，系统的整体软件框架如图5所示。

4 实验结果分析

4.1 系统硬件配置

系统硬件配置CCD摄像头；CPLD采用Altera公司MAX7000系列EPM7128SQC100；FIFO采用TI公司SN74ALVC7804；DSP采用TI公司TMS320C6205，PCI2.2接口；FLASH采用SST公司SST39CF160存储格式为1M[×]16 bit 2 MB（2片）；SDRAM采用HYNIX公司HY57V651620B存储格式4Banks[×]1M[×]16 bit 8 MB（2片）；电源管理方面采用TI公司的TPS70148 3.3 V/1.5 V、MICREL公司的MIC29150；时钟方面采用DSP，20 MHz晶体 TDK ACF451832滤波芯片，SAA7111，25 MHz晶体输出 13.5 MHz LLC2。

4.2 实验结果分析

为了更精确地对诊断效果进行对比，采用FPGA+2DSP架构的诊断评价指标，对两个系统的诊断误差进行对比分析，其中目标中心位置由手动的模式经过在每一帧图像上标注而获得。图7是传统系统和改进系统对写作误差诊断结果分析。

图7中，横坐标代表图像序列的帧数，纵坐标代表目标的正确写作诊断信息和诊断误差估计的诊断结果与实际结果的距离差值，传统系统和改进系统的平均误差分别为19.80和4.78像素。

5 结 论

针对传统处理系统一直存在多通道视频多帧图像信息处理不全面的问题，提出并设计了基于FPGA+2DSP架构的大型视频多帧图像信息处理系统。在设计过程中主要分为硬件及软件两部分，在给出系统整体模块图的基础上，通过视频多帧图像采集卡、DSP复位电路、串口控制电路等模块对硬件部分进行设计分析；软件部分主要通过其整体软件实现流程为主，并给出部分结构图。实验结果表明，采用改进设计系统其图像信息处理结果跟踪误差分析结果比传统处理系统提高了15.02像素。

参考文献

[1] 王秉，吴超，黄浪.基于安全信息处理与事件链原理的系统安全行为模型[J].情报杂志，2017，36（9）：119?126.

WANG Bing， WU Chao， HUANG Lang. System′s safety behavior model based on the cognitive safety information processing and chain?of?events [J]. Journal of intelligence， 2017， 36（9）： 119?126.

[2] 郑冰，赵阳，葛东林.农机快速导航系统设计：基于图像边缘检测和3D深度视频帧内编码[J].农机化研究，2018，40（5）：181?184.

ZHENG Bing， ZHAO Yang， GE Donglin. Design for fast navigation system of agricultural machinery based on image edge detection and 3D depth video coding [J]. Journal of agricultural mechanization research， 2018， 40（5）： 181?184.

[3] 田杰，王广龙，乔中涛，等.基于FPGA高速视频图像实时采集与处理系统设计[J].电子器件，2016，39（3）：623?627.

TIAN Jie， WANG Guanglong， QIAO Zhongtao， et al. Design of a high?speed real?time video acquisition and processing system based on FPGA [J]. Chinese journal of electron devices， 2016， 39（3）： 623?627.

[4] 唐宁，赵鹏，吴绍启.基于FPGA的实时视频图像去雾系统[J].计算机工程与设计，2016，37（11）：3124?3129.

TANG Ning， ZHAO Peng， WU Shaoqi. Real?time video image dehazing system based on FPGA [J]. Computer engineering and design， 2016， 37（11）： 3124?3129.

[5] 袁庆升，张冬明，靳国庆，等.视频检索中图像信息量度量[J].通信学报，2016，37（2）：80?87.

YUAN Qingsheng， ZHANG Dongming， JIN Guoqing， et al. Image information measurement for video retrieval [J]. Journal on communications， 2016， 37（2）： 80?87.

[6] 曾志华，马小雨.FPGA及DSP技术下的实况视频图像处理多种算法探究[J].现代电子技术，2016，39（16）：88?90.

ZENG Zhihua， MA Xiaoyu. Various live video image processing algorithms based on FPGA and DSP technologies [J]. Modern electronics technique， 2016， 39（16）： 88?90.

[7] 姚佳，高志勇，张小云，等.基于众核平台的多路超高清视频编码系统设计[J].电视技术，2016，40（4）：7?11.

YAO Jia， GAO Zhiyong， ZHANG Xiaoyun， et al. Multi?channel UHD video encoding system based on many?core platform [J]. Video engineering， 2016， 40（4）： 7?11.

[8] 王嘉成，孙海江，刘培勋，等.高分辨率多传感器融合图像跟踪系统的设计与实现[J].液晶与显示，2016，31（8）：825?830.

WANG Jiacheng， SUN Haijiang， LIU Peixun， et al. Design and implementation of high resolution multi?sensors fusion tracking system [J]. Chinese journal of liquid crystals and displays， 2016， 31（8）： 825?830.

[9] 戴军，唐湘成，高志峰.海空背景下红外图像处理系统设计与实现[J].红外技术，2016，38（2）：121?125.

DAI Jun， TANG Xiangcheng， GAO Zhifeng. Design and implementation of an infrared image processing system under sea and sky background [J]. Infrared technology， 2016， 38（2）： 121?125.

[10] 刘伟，门金瑞，华园园.空间目标图像观测系统设计仿真研究[J].计算机仿真，2016，33（10）：254?257.

LIU Wei， MEN Jinrui， HUA Yuanyuan. Research and simulation of space target observation system [J]. Computer simulation， 2016， 33（10）： 254?257.