数字图像注入式红外目标捕获跟踪训练仿真

宋振丰,李 岩,于 洋

(1.中国科学院长春光学精密机械与物理研究所,吉林长春 130033; 2.中国科学院研究生院,北京 100039)

1 引 言

军队靶场训练基地用于跟踪高速运动目标的主要手段是光电跟瞄设备。对于光电跟瞄系统而言,操作训练需要与外部目标环境紧密配合,因此,训练所需的目标环境构建成为训练操作手和对光电跟瞄设备仿真检测的关键因素之一。但如果通过现场飞行试验来构造目标环境,则训练成本过大,还会受天气等环境因素的影响。因此,低成本、高效率地完成操作训练是目前靶场训练基地极为关注的问题。

图1 目标跟踪训练系统组成Fig.1 System composition of target tracking training

注入式仿真试验可以在不开启红外相机的情况下完成跟踪训练任务,其投资少、见效快,已成为有限条件下的理想训练手段。本文提出一种利用数字图像注入来构建目标环境,完成目标跟踪仿真训练任务的图像注入式红外目标跟踪仿真训练方法。该方法不体现红外图像的逼真度,而在于注重光电跟瞄设备对目标跟踪训练的性能,其关键技术是目标动态飞行的构建和闭环仿真训练(即自动跟踪)的实现。本文采用实测数据和理论计算相结合,实现了模拟目标的动态飞行;将被试系统编码器输出数据和目标运动方程综合处理,控制闭环系统的延时,精确仿真目标像素位置,实现了闭环仿真训练。

2 系统组成

目标跟踪训练系统主要由数字图像生成模块、数字图像注入模块和跟踪训练控制模块组成,系统框图如图1所示。

(1)数字图像生成模块

数字图像生成模块是整个仿真试验系统研制的难点,其主要用途有:(1)接收主控计算机发送来的训练参数,如图像画幅大小,帧频等;(2)实时接收由跟踪训练控制模块发送来的目标区域在数字图像画幅中的像素大小和像素位置,调用背景画幅数据并在背景中实时合成目标;(3)将数字图像实时送给数字图像注入模块。

(2)图像注入模块

数字图像注入模块提供图像注入接口,并负责数字图像数据通信控制,其通信和接口应与被试系统一致,设计中采用 Camera Link接口形式。

(3)跟踪训练控制模块

跟踪训练控制模块的主要任务:(1)接收主控计算机发送来的训练参数,如仿真目标的飞行速度、距离以及光学设备参数等,实时采集并解算出跟踪设备编码器输出的方位角A和俯仰角E;(2)仿真试验设定 (如模拟目标的飞行轨迹)和仿真试验进程控制;(3)目标运动轨迹实时计算,并将计算出的目标在画幅中的像素大小和像素位置发送到数字图像生成模块。

3 目标动态飞行的构建

模拟目标跟踪训练系统是基于目标脱靶量来实现的。在实际工作过程中,目标的运动和跟踪设备对象无关,跟踪设备的视轴跟随目标视线运动并构成闭环工作状态。在数字图像注入式跟踪仿真训练中,目标像素位置 (可以认为是目标脱靶量理论值)基于目标运动轨迹和跟踪设备编码器输出值计算得到,其值计算的精度和速度是关系到能否达到自动跟踪训练的决定因素,从控制学角度来看,是否影响跟踪设备的传递函数。

a)虚拟空间坐标系的建立

可假定跟踪设备工作站点为大地坐标,并以工作站点为原点建立虚拟空间直角坐标系o-xyz。

b)目标空间坐标计算

在模拟训练实验中,必须考虑目标的几何形状,而不能把目标当成一个质点,在描述目标的空间坐标时,以目标的几何中心 (形心)作为参考点。目标的空间坐标用o-xyz下直角坐标 (x,y,z)描述,如图2所示。在模拟训练试验前,需要给定目标运行参数,在训练过程中,根据给定的目标运动参数和试验进程时间实时计算目标的空间坐标值。

图2 目标直角坐标系Fig.2 Target rectangular coordinate

假设A、B为两条理论航迹,(x0,y0,z0)为目标起始点,z0为目标起始高度,假定目标在飞行进程中高度不变,则飞行过程中目标位置满足

式(1):

式中vx、vy为目标在x方向和y方向的速度,为了满足截距d,vx、vy应满足:

由式 (2)可以计算出目标在x方向和y方向的速度,如式 (3)所示:

式 (3)中v为目标飞行速度,为已知参数,由主控计算机提供。

c)目标像素大小和像素位置的计算

目标相对观测点的距离RT、方位角AT、俯仰角ET计算公式如式 (4)所示:

根据式 (4)计算的目标方位角AT、俯仰角ET,比照编码器数值得到设备的实际指向A、E来判断目标是否在跟踪设备的视场内,若 |A-AT|＜w,|E-ET|＜w(w为跟踪设备的半视场角),则目标在视场内,脱靶量为:

则根据光学系统参数可以计算得到:

目标像素尺寸为:

以像素为单位的目标脱靶量为:

式中a×a为 CCD尺寸,n×n为 CCD像元数,f为光学系统焦距,l为目标尺寸。

上面介绍了目标像素大小和位置的计算方法,它是形成目标模拟训练的基础。无论是目标轨迹的计算精度还是跟踪设备编码器输出的测试精度都非常高,其误差带来的对目标像素位置取值精度的影响可以忽略。影响目标像素位置取值精度的关键是时序精度,也就是说能否将数字图像生成、注入带来的延时控制在 0附近。

4 数字图像生成及图像注入接口

为达到目标跟踪训练的性能和自动跟踪的精度,目标跟踪训练系统对数字图像生成速度提出了很高的要求。为满足此要求,本文采用 FPGA直接生成图像数据信号的方法,该方法通过 Verilog HDL语言编程产生逻辑电路,反应时间快,数字图像信号连续、稳定、可靠,实时性高。通过调用存储器中的图像背景,实时接收目标像素大小和位置信息,在背景像素中实现目标的定位输出。

图3 图像注入接口时序图Fig.3 Timing diagram of image inject interface

图像注入接口采用标准的 Camera Link相机接口,Camera Link是在 Channel Link的基础上增加了一些相机控制信号和串行通信信号,定义出标准的接头,也就是标准化信号线,让 Camera及影像卡的信号传输更简单化,同时提供 3种构架,即基本构架 (Based Configuration)、中阶构架 (Medium Configuration)及完整构架 (Full Configuration),本文采用基本构架配置模式。

传输数据时使用的视频同步信号固定不变,分别为:

帧同步信号 FVAL:当 FVAL为高电平时,正输出一帧有效数据;

行同步信号 LVAL:当 LVAL为高电平时,正输出一个有效像元行 (在两个有效像元行中间,LVAL会跳过几个无效的像素点,可在实际应用时设定跳过的像素点数);

数据有效信号 DVAL:当 FVAL和 LVAL为高时,DVAL为高电平,正输出有效的数据;

SPARE为备用信号。

设计中使用了 FVAL和 LVAL信号,当 FVAL和LVAL信号都为高电平时,图像信号源数据在像素时钟信号 PIXCLK的控制下一次发送。其接口信号时序如图3所示。

Camera Link接口器件 DS90CR287是专用的电平转换器件,能将 28位 CMOS/TTL电平数据和一位像素时钟信号分别转换为 4组 LVDS数据流及一对 LVDS时钟信号进行传输,由于采用差分传输方式,提高了传输距离及信号精度。

5 目标跟踪训练的硬件实现

目标跟踪训练系统的硬件框图如图4所示。从图中可以看出,目标模拟器硬件主要以 FPGA作为核心,由硬件实现复杂的算法通常比用软件实现具有更高的速度和效率。Altera公司的 Nios软核嵌入式处理器是一种可特许的通用 R ISC架构的 CPU,也就是说,Altera公司以 IP核的方式将它提供给设计者,它可以与各种各样的外设、定制指令和硬件加速单元相组合,构造一个定制的可编程片上系统 (System on Programmable Chip,SOPC)。

图4 目标跟踪训练系统的硬件结构图Fig.4 Hardware architecture diagram of target tracking training system

定制 CPU和接口须根据设计要求使用 SOPC Builder来对Nios CPU进行定制,为了提高工作效率,设计中采用高性能内核 (Nios II/f),该 CPU是包含有 2 kb数据的数据 Cache和 4 kb的代码Cache、CPU的指令长度为 32 bit。除了 Nios CPU之外,还需要用 SOPC Builder将外围设备的接口添加进来.对于本设计来说,有如下接口:

1)串行通信接口 UART、DMA控制接口,通过DMA来接收串口数据,也就是接收跟踪设备的编码器输出值。

图5 N IOS II系统结构Fig.5 Nios II system structure

2)外部存储器 SDRAM和 FLASH接口,SDRAM用来存放系统运行时的程序代码、数据段、代码段及堆栈段 (相当于计算机中的内存),FLASH用来存放工程文件,以便在系统上电后自动加载代码(相当于计算机中的硬盘),同时存放背景的图像数据。

3)三态总线接口,起到数据总线的作用,将外设与 CPU连接起来。

4)P IO接口,用来与数字图像生成模块通信,由 3个 P IO接口来实现,分别为 target_x、target_y和 target_pix。接口关系如图5所示。

6 目标跟踪训练的软件实现

目标模拟器的软件实现分为两个部分来完成,一部分由 Quartus II建立硬件逻辑工程文件,通过 SOPC Builder建立软核。另一部分根据SOPC Builder建立的软核文件使用 Nios II IDE来编写软核控制程序,用 C语言进行编写控制程序。由于 Altera为 NiosⅡ处理器用户提供硬件抽象层 (HAL)系统库驱动程序,允许用户使用 HAL应用程序接口 (API)函数访问外设,所以用户能方便地操作底层硬件。

在通常的设计中,使用中断来接收串口数据,每收到一个 8位数据就会产生一个系统中断,而本系统中串口数据是以数据包的形式来发送,如果仍采用中断的方式接收,会给系统运行带来很大负担,也很难满足实时性的要求,所以本设计采用DMA的方式来接收串口的数据,每接收完一个数据包会自动产生一个系统中断,不但大大提高了系统运行的效率,而且满足了实时接收数据,并实时处理系统的要求。

图6 视频同步信号时序Fig.6 Video sync signal timing

数字图像生成模块使用 Verilog HDL语言来编写,这是考虑到系统要求数字图像的帧频为100 Hz,用 Nios II软核来完成图像数据的生成很难达到要求,而直接采用Verilog HDL语言可以在系统时钟的工作频率下工作,而且通过采样系统时钟,能够严格控制数字图像的生成。系统时钟为 50 MHz,数字图像时钟信号 PI XCLK为系统时钟 2分频,即 25 MHz,模拟的图像数据的像素为320×240,帧频为 100 Hz。行同步信号 LVAL和帧同步信号 FVAL均由像素时钟信号进行计数产生,其时序如图6所示。

其中P1为 35个 PIXCLK时钟周期;A为 320个 PIXCLK,即一行包含 320个像素点;Q为 47个PIXCLK;P2为 13个 PI XCLK;帧同步信号 FVAL为低电平的时间是 161 872个 PI XCLK。一帧图像包含 240行有效数据,可计算出传输一帧图像信号的时间为 250 000个 PIXCLK时钟周期(240(A+Q)+P1+P2+161 872),帧频为 100 Hz(25 MHz/250 000)。

7 实验结果

用 Flash Programmer下载工具将编译后生成的文件下载到 Flash中去,上电后系统自动运行,用 CL160图像采集卡对生成的图像进行采集,采集到的图像如图7所示。采用手动跟踪和自动跟踪两种训练模式进行训练,训练结果均能达到要求。

图7 生成的目标及背景Fig.7 Generated goals and background

8 结 论

本文提出了一种利用图像注入来构建目标环境,完成目标捕获跟踪训练任务彷真的新方法。该方法既可以完成模拟目标跟踪的日常训练任务,可以训练操作手对跟踪设备的操作,也可以完成检测跟踪设备的自动跟踪性能,还可以在不开启红外相机的情况下完成训练。节约了成本,达到了日常训练和维护的任务。该仿真训练系统已成功运用到某光电跟瞄系统模拟训练系统中。

[1] 李国宁,刘妍妍,金龙旭.用于动态目标跟踪的面阵 CCD成像系统[J].光学精密工程,2008,16(3):558-564.L I GN,L IU Y Y,J IN L X.Area CCD imaging system used in moving target tracking[J].Opt.Precision Eng.,2008,16(3):558-564.(in Chinese)

[2] 庄良,张涌,汤心溢,等.基于 PCI总线图像注入式红外探测器仿真系统[J].半导体光电,2008,29(1):113-116.ZHUANGL,ZHANG Y,TANG X Y.Design of digital image injected simulator based on PCI bus[J].Sem iconductor Optoelectronics,2008,29(1):113-116.(in Chinese)

[3] 王小艳,张会新,孙永生,等.Camera Link协议和 FPGA的数字图像信号源设计[J].国外电子元器件,2008,7:59-61.WANG X Y,ZHANG H X,SUN Y SH,et al..Design of numeralpicture signal source based on CameraLink standard and FPGA[J].International Electronic Elements,2008,7:59-61.(in Chinese)

[4]Specifications of the Cam era Link Interface Standard forD igital Camera and Frame Crabbers[M].Camera Link Specifications,2000.

[5] 王斌,赵跃进.基于电子稳像跟踪技术的运动滤波算法[J].光学精密工程,2009,17(1):202-206.WANGB,ZHAO Y J.Motion filtering algorithm for tracking technology based on image stabilization[J].Opt.Precision Eng.,2009,17(1):202-206.(in Chinese)