基于FPGA的图像数据融合技术研究

王 雪，刘 鹏，孙风雷，李 超，王晓曼

（1.长春理工大学电子信息工程学院，吉林长春 130022；2.长春理工大学空地激光通信技术国防重点学科实验室，吉林长春，130022）

0 引 言

随着图像信息技术的发展，人们希望在最短的时间内获取最全面的信息，以对目标场景有更完整的描述和正确的判断.因而依靠单一传感器所获得的信息，已经不能满足需求，进而使得多传感器同时观测数据这种方法得到了广泛的应用.多传感器信息融合技术的出现不仅提供了单一传感器无法满足的多源信息，而且可以最大限度地提高系统性能［1］.

数字CCD相机是获取图像信息的主要工具［2］，操作人员可根据CCD相机采集到的图像信息对目标场景进行分析和判断.信息融合技术的出现使得图像数据融合成为研究热点.在激光器动态测试中，数字CCD相机拍摄到激光器在运动靶板上形成的光斑图像会产生畸变，本文针对这一问题提出了一种基于FPGA的多源信息数据采集及图像数据融合的方法，利于有效地修正由于畸变所引起的系统误差，并最终提高了测试系统精度.

图1 系统总体框图Fig.1 Schematic diagram of the overall layout

1 系统测试原理

在激光光斑测试系统中，测试靶板以某一速度在轨道上移动，在垂直轨道某处设置承载测试相机的跟踪转台.激光器发射激光到移动靶板上，跟踪转台实时跟踪目标靶板，同时数字CCD相机实时采集靶板上的激光光斑图像.由于目标与相机间的相对运动，靶板与跟踪转台中数字CCD相机主光轴会产生一定角度，由于这个角度的存在，数字CCD相机拍摄到的光斑图像会产生一定的“畸变”，影响光斑重心的提取，降低了对激光器动态性能的测试精度.

为保证测试精度，本文提出利用FPGA将采集到的激光光斑图像、BD／GPS时间信息以及跟踪转台角位置信息进行数据融合的方法.最后，利用融合后的信息来校正畸变图像.

2 系统硬件功能设计与实现

系统主要包括以下几个模块：BD2／GPS授时模块、微处理器模块、数字CCD图像采集模块以及FPGA采集处理模块.FPGA为整个系统的核心部分，完成时间信息、角位置信息和光斑图像的融合.

图2 系统原理框图Fig.2 The system design diagram

系统方案设计图如图2所示，信号流程如下：①激光器发射激光信号到移动靶板，数字CCD相机抓拍靶板上的光斑图像，Cameralink接口输出的图像数据经电平转换后传输给FPGA.②BD2／GPS模块提供时间信息存储在微处理器的缓冲区内，PPS（PPS：One－Pulse Per Second）秒脉冲（Int1）每来一次更新一次时间.③视频跟踪转台的跟踪相机对靶板中心进行跟踪，两个编码器分别输出方位和俯仰信息，微处理器采集输出角位置信息并存储在缓冲区内.④FPGA根据数字相机帧频信号作为给微处理器

的中断信号（Int2），以中断方式将时间和角位置信息并行传送给FPGA，在FPGA内完成3路信息的融合.然后将融合数据分为两路，一路用以实时监测，另一路传输给上位机用于对畸变图像校正处理.

2.1 BD／GPS时统单元

本文采用BD2／GPS双系统芯片UM220为整个系统提供统一的参考时间，UM220由BD2和GPS双系统集成，可以单独或组合定位.输出的信号有时间信息、方位信息和PPS秒脉冲，时间和定位信息的数据格式为ASCII码［3］.在本文中，BD2／GPS接收单元提供的时间数据通过串口与微处理器进行通信.

图3 微处理器解调时间信息流程Fig.3 Flow chat of microprocessor demodulating time information

2.2 视频跟踪转台

根据测试系统需求，在视频跟踪转台的选取设计上，选取二维跟踪转台，水平方向和俯仰方向.其技术指标如下：① 跟踪角度范围：水平方向：±180°，俯仰方向：－10°～90°；②跟踪转台的转角速度：水平：5°／s，俯仰：5°／s；③跟踪精度：10′.

2.3 微处理器单元

微处理器采用Atmel公司的ATmega128单片机，主要完成以下两个工作：

1）获取并处理时间信息，以时、分、秒、毫秒格式存储在MCU的数据缓冲区.当MCU检测到PPS秒脉冲时，将触发外部中断1（Int1），执行更新时间操作.FPGA根据数字CCD相机的帧频信号同步触发MCU，作为MCU的中断信号（Int2）.产生中断后将时间数据传送给FPGA.微处理器解调时间信息流程如图3所示.

2）采集二维跟踪转台输出的方位和俯仰信息，以中断的方式传送给FPGA.

2.4 数字CCD图像采集模块

当移动靶板进入指定的测量区域，激光器开始发射激光，数字CCD相机便对靶板上的光斑图像进行抓拍，直至激光器停止发射激光.采集图像的数字CCD相机，输出帧频为25Hz，接口为Camera Link接口，输出低压差分LVDS（Low Voltage Differential Signaling）电平的图像信号，需要通过电平转换处理单元将LVDS信号转换成LVTTL（Low Voltage Transistor－Transistor Logic）电平的数字信号传送给FPGA［4，5］.

根据数字CCD相机帧频信号，FPGA向微处理器发送同步中断指令（Int2），微处理器中断后将缓冲区的时间和角位置信息并行传给FPGA.

2.5 基于FPGA的信息融合单元

系统核心器件FPGA，完成多路信息的融合，选用Altera公司CyeloneII系列的EP2C8Q208C8芯片.主要完成以下几个工作：①采集数字CCD相机抓拍的光斑图像，通过外接两片SDRAM，以乒乓操作方式对图像进行缓存，以保证图像数据的实时性采集、处理；② 根据相机的帧频信号触发微处理器，接收时间信息和角位置信息，存储在缓冲区；③ 提取缓冲区的时间和角位置信息，运用融合算法与光斑图像融合.

FPGA内部功能框图如图4所示.collection模块根据帧有效信号找到帧头，当行有效信号为高时对图像进行采集并锁存，同时对行列进行计数.wr buffer根据行列计数值产生写地址，将采集到的视频图像数据按乒乓方式进行缓存，wr change信号负责乒乓写入的切换.buffer control作为SDRAM的读写控制器；读操作同理，读出图像数据，送到video out模块，与时间和角位置信息进行融合处理［6，7］.

图4 FPGA内部功能框图Fig.4 Functional block diagram of FPGA

3 数据融合及实验结果分析

本文实现在FPGA内完成数据图像融合，而所谓数据融合（Data Fusion），是指对来自多个传感器的数据进行多级别、多方面、多层次的处理，从而产生新的有意义的信息.数据融合按照数据抽象程度，分为3级，即像素级融合、特征级融合和决策级融合［8］.本设计所使用的数据融合仅限于像素级融合，是直接在采集到的原始数据层上进行的融合.

像素级融合的空间域数据融合是直接在图像的像素灰度空间上进行融合，常用的融合算法有：加权融合、主成分分析、拉普拉斯变换、小波变换等.通过对相关算法的查阅和比较［9－11］，本系统采用改进的卡尔曼加权融合算法.

式中：即为多传感器的融合状态，是各传感器状态的线性组合.

图5为连续3个时刻的融合结果，如图5所示，一幅光斑图像通过数据图像融合携带了多种信息，以条形码的形式表现，从左至右依次代表时间信息、水平方向以及俯仰方向角位置信息.事后通过自动判读融合图像的条形码，根据时间信息提取此时的角位置信息并解决光斑畸变问题.同时，通过时间和角位置信息也可计算靶板的运动速度.

图5 融合结果Fig.5 Fusion results

4 结 论

本文充分利用微处理器对信息的处理能力及FPGA对图像的采集能力，结合改进的卡尔曼加权融合算法实现了基于FPGA的多源信息融合的研究，将时间和角位置信息融合叠加到光斑图像的指定位置，再传输给上位机，上位机根据融合结果获取光斑的时间和角位置信息，进而完成校正“畸变”光斑的工作，减小了畸变误差对光斑重心检测精度的影响.

［1］ 石章松，刘忠，王航宇，等.目标跟踪与数据融合理论及方法［M］.北京：国防工业出版社，2010.

［2］ 黄萍莉，岳军.图像传感器CCD技术［J］.信息记录材料，2005，6（1）：50－54.

Huang Pingli，Yue Jun.Technology of CCD as image sensor［J］.Information Recording Materials，2005，6（1）：50－54.（in Chinese）

［3］ 单庆晓，杨俊.北斗／GPS双模授时及其在CDMA系统的应用［J］.测试技术学报，2011，25（3）：223－228.

Shan Qingxiao，Yang Jun.Comqass／GPS dual mode timing and its application to CDMA system［J］.Journal of Test and Measurement Technology，2011，25（3）：223－228.（in Chinese）

［4］ 罗辉舞，洪海丽，任宇飞.基于Camera Link接口的图像采集控制器的设计与实现［J］.电子测量技术，2010，33（7）：23－25＋39.

Luo Huiwu，Hong Haili，Ren Yufei.Design and realization of image acquisition controller based on the interface of Camera Link［J］.Electronic Measurement Technology，2010，33（7）：23－25＋39.（in Chinese）

［5］ 马卫红，倪晋平，董涛，等.高精度CCD室内立靶测试系统设计［J］.光学技术，2012，38（2）：180－183.

Ma Weihong，Ni Jinping，Dong Tao，et al.Design of high precision CCD vertical target coordinate measurement system used indoor［J］.Optical Technique，2012，38（2）：180－183.（in Chinese）

［6］ 杨海钢，孙嘉斌，王慰.FPGA器件设计技术发展综述［J］.电子与信息学报，2010，32（3）：715－722.

Yang Haigang，SunJiabin，Wang Wei.An overview to FPGA device esign technologies［J］.Journal of Electronics＆Information Technology，2010，32（3）：715－722.（in Chinese）

［7］ 黄钉劲，阮照军，王刚，等.基于FPGA的图像采集与远程传输系统设计［J］.西安工业大学学报，2008，28（6）：577－580.

Huang Dingjin，Ruan Zhaojun，Wang Gang，et al.Design of video acquisition and long distance transmission system based on FPGA［J］.Journal of Xian Technological University，2008，28（6）：577－580.（in Chinese）

［8］ 何友，王国宏，陆大金，等.多传感器信息融合及应用（第二版）［M］.北京：电子工业出版社，2010.

［9］ 彭冬亮，文成林，薛安克.多传感器多源信息融合理论及应用［M］.北京：科学出版社，2010.

［10］ 李剑，张覃平.基于小波变换的实时图像融合技术的实现［J］.仪器仪表用户，2010，17（3）：56－58.

Li Jian，Zhang Tanping.The Implement of real－time image fusion based on wavelet－analysis［J］.Electronic Instrumentation Customer，2010，17（3）：56－58.（in Chinese）

［11］ 殷勤.智能车辆组合导航中数据融合算法［D］.长春：吉林大学，2012.